EISeg: An Efficient Interactive Segmentation Tool based on ...

乜仁

论文地址：https://arxiv.org/pdf/2210.08788.pdf
项目地址：https://github.com/PaddlePaddle/PaddleSeg/tree/release/2.7/EISeg  
摘要：近年来，随着深度学习的不断发展，基于神经网 络的图像分割、视频分割等技术取得了飞速的进步。 然而，优秀的深度学习模型需要依赖大量高质量标 注图像进行模型训练，而获取高质量的标注图片花 费的人力和物力都是巨大的。因此，降低标注成本成 为推动分割行业发展的关键一步。目前使用广泛的 开源标注工具仍然以手动标注为主，但此类标注方 式的人工成本较高，不利于快速生成高质量大规模的 数据集。在本工作中，我们推出了一个能够有效提升 分割效率的标注软件-EISeg。它能够根据用户点击行 为，快速帮助用户抠取目标区域，极大的提升标注效 率。同时，EISeg 还提供了特色的垂直领域标注模型， 方向涉及遥感、医疗、工业质检、人像分割等等。另外, EISeg 还增加了视频分割标注功能，方便用户对于视 频目标进行抠取。目前 EISeg 提供的各类模型能够 达到业界的领先水平，您可以通过如下方式进行获 取:https://github.com/PaddlePaddle/PaddleSeg。
1.引言

图像分割作为计算机视觉的基础任务，在我们的 日常生活中应用是非常广泛的，比如说自动驾驶，医疗诊断 ，人像抠图等等。随着深 度学习技术在计算机视觉领域研究的不断深入，图 像分割等任务的精度也在不断的提升。然而，深度 学习是以数据驱动的技术，想要获取高质量的图像   分割模型，就需要大量高质量标签。由于图像分割 任务是像素级别的标注任务，因此图像分割的标注 工作会更加复杂。现有的优秀的开源标注工具，如 LabelMe，LabelImage，虽然使用简单，但是 却主要依赖于人工标注，标注工作量较大，不利于 高效快速标注大规模数据集。一些功能全面的标注 工具，如 CVAT等，离线安装难度大，依赖环 境较多，使用不够直观，导致许多用户在安装时便 放弃。在线使用版本对于项目个数及数据集大小均 有较为严格的要求，且上传速度慢，不利于大规模 数据的标注。其他一些使用体验比较好的标注工具， 如 V7等，虽然功能强大，但需要付费使用，不 利于广泛降低数据标注的门槛。

针对上述问题，EISeg 提供了自己的解决方案， UI 界面如图 1所示。EISeg 是一款基于交互式分割 算法搭建的智能分割标注工具，相对于以往的分割 标注工具，EISeg 能够减少人工标注成本，有效的提   升分割效率，单图标注速度大幅提升。同时，EISeg 安装方便，支持多平台安装，兼容性好，仅需一个命 令便可安装。EISeg 界面简单，操作简便，完全开源 免费，降低用户的使用门槛。EISeg 的出现，能够给 广大用户提供一种新的标注形式，让数据获取变得 简单易得，也能够有效的促进分割行业的发展。
EISeg 以百度飞桨深度学习框架为基础，研发 面向产业标注应用的智能标注工具，显著降低行业 标注成本，提升标注效率。EISeg 涉及的垂类方向覆 盖遥感，工业质检，医疗影像等行业领域，能够针 对不同领域图像的标注特色提供定制化的标注插件， 满足不同行业的特定需求。另外，EISeg 还支持视频 分割标注任务，能够让用户高效的对视频中特定目 标进行快速标注，摆脱每一帧都要单独标注的繁重 冗余的工作。EISeg 还将视频标注扩展到 3d 医疗标 注领域，提供了腹部多器官及椎骨模型的 3d 标注能 力，为医疗影像标注提供一种新的思路。EISeg 主要 研究内容包括交互式分割、特色垂类场景在交互式 分割领域的应用探索，视频交互式分割等。我们在 工具中提供了特色交互式分割技术，达到业界领先 水平;研发交互式分割在医疗、遥感、工业质检等垂 类方向的应用，拓宽行业使用范围，满足多行业从    业人员的应用需求。将视频传播算法与交互式分割 算法结合，提供了交互式视频分割能力，极大的提 升视频分割的标注效率。同时，我们在视频分割的 基础上继续探索，将 3D 医疗图像分割与交互式视 频分割相融合，提供了 3D 医疗图像标注功能。智能 标注工具的研发为我国重点行业人工智能领域获取 高质量标注数据提供坚实有效的保障。

   总结一下，我们的优势主要包括:

• 交互式分割能力极大提升单图标注效率，减少 手工标注成本。
  
• 使用简便，操作简单，安装方便，支持多种不同 平台的一键安装。
  
• 提供通用、人像、医疗、遥感、工业质检、视频、 3D 医学图像等不同领域的标注任务，能够满足 不同行业的标注需求，覆盖范围广。
  

2. 相关工作

目前开源的分割标注工具主要有三种类型，手 工标注，优化算法辅助标注及交互式分割标注。
手动标注主要通过多边形标注方式或者通过像 素涂抹等方式来对图像完成像素级别的标注。这类 标注软件代表为 LabelMe，精灵标注等，它   们的主要特点是安装方便，使用简单直观，标注保 存格式多样化。主要缺点是完全依赖手工标注，标 注成本高，对于大规模数据集的标注人工成本巨大。

另外一种常见的分割标注工具基于传统的图像 处理方法，比如说 GrabCut，SLIC超像素分割算法等。这类方法同样操作较为简单，主要通过 scribble 的方式将前景及背景区域分割开。这种类型 的标注工具缺点是适用的场景较少，只适用于具有 简单背景且前景明显的特殊场景，且精度不高。这 类标注工具的代表包括:ImageSegmentation 及 ImageLabel。

交互式分割标注工具基于深度学习模型，它能够结合用户提供的标注信息灵活选择用户感兴趣的 区域。交互信息的形式不固定，根据算法需求不同， 可以提供点，线或者 bbox 等多种形式的交互信息。 其中 EISeg，CVAT等便是适用该方式的典型代 表。它们以待分割图片、用户输入的正负点交互信 息作为模型输入，快速输出目标的分割结果。用户 通过点击正点或负点来选择需要被分割的目标，不 需要再对目标周围进行点击和拉线。其中正点代表 该点击区域为目标区域，负点代表该点击区域为背 景区域。它利用训练好的交互式分割网络，半自动 化预测用户所需的目标标注结果，能减少用户交互 的次数，提升标注效率，从而降低标注的复杂性，使 分割算法落地的门槛大大降低。在分割领域，相比 于 CVAT适用于通用分割场景，EISeg 提供了更 为丰富的交互式分割垂类方向。另外，EISeg 提供的 交互式分割能力点击响应时间更短，点击精度更高， 安装更方便，因此在分割标注领域具有独特的优势。
3. 主要方法

3.1 交互式分割算法

交互式分割允许用户输入交互信息来选取感兴 趣的区域，相比于其他的分割方向，交互式分割具有 灵活的输出及结果可修改的特点。近几年来，交互式 分割在学术界和工业界都得到了广泛的关注，因为 它能够明显降低标注成本，从而降低获取高质量分 割标注的开销。在 EISeg 中，交互式分割算法主要使   用了 RITM及 EdgeFlow。其中 EdgeFlow 是自研的 SOTA 交互式分割算法，它主要有如下几 个方面的创新点:

• 我们充分使用了用户的交互信息，为了防止交互 信息随着网络的加深被遗忘，我们采用了 early- late fusion 的融合方式，这样能保证用户的交互 信息能够被网络及时准确的响应。
  
• 我们使用了网络输出的边缘信息代替 mask 作 为先验信息作为网络的输入，相比于 mask，边 缘信息的稳定性更高，从而稳定网络的输出。
  
• 我们提供了一种交互式分割和多边形调整相结 合的标注方式，两者结合使得用户的标注过程 更灵活流畅，方便使用。
  

EdgeFlow 模型结构如图 2所示，整体的算法流 程如下:算法以原始图像，用户的正负点击信息及边缘先验为输入，其中初始化边缘先验信息为全0。原 始图像信息和其他输入信息分别进入到两个独立的网络分支中，经过 CoarseNet 之后生成边缘先验信息和粗略的 mask。随后，将 CoarseNet 的输入和输出作为 FineNet 的输入，进一步对生成的 mask 进行精细化分割。在用户下次进行交互时，模型会记录上次输出的边缘信息作为先验信息，结合用户新 增点击信息来修正输出的分割结果，从而实现整个 交互过程的运转，直到产生用户满意的交互结果为止。

3.2 交互式视频分割算法


在交互式视频分割算法中， 我们使用了MiVOS算法的主要思想。该算法主要分为三个模块，交互式分割模块，传播模块及融合模块。主要流程包括，用户先选择视频中的某一帧进行标注， 标注完成后交给传播模型进行帧间传播。用户可以 修改中间帧的传播结果，对于两次标注传播产生的 结果的差异，会交给融合模块进行融合。用户仅需 要通过少量的标注就可以实现对整段视频的标注及 修改，极大的提升了视频标注效率。

在交互模型阶段，我们使用了 EISeg中已经提供的图像标注模型，它能够为视频标注提供高效而 准确的参考帧信息，多个垂直方向供用户选择，充分   满足大家不同标注场景的使用需求。在传播阶段，该 算法借鉴了使用了 STM 中的 memory bank 的思想， 将历史帧和参考帧进行编码，加入到 memory bank 中，随后将当前帧编码后的特征与 memory bank 进 行特征匹配，最后将处理后的特征放入解码器当中， 生成当前帧的 mask。融合模块是为了处理两次交互 中出现传播 mask 结果不一致的情况，作者经过实 验后发现，通过单独的融合模块进行 mask 融合效 果比直接取平均的效果要好。该算法在交互式视频 分割中取得了 SOTA 的效果。
3.3    遥感、医疗、工业质检等垂类方向建设

为满足不同行业的标注需求，我们针对特定数 据集进行训练并获得了高质量的交互式分割模型， 目前覆盖的场景包括:自动驾驶可行驶区域划分、医疗腹腔多器官、椎骨分割、工业质检瑕疵标注、遥感建筑物分割等。同时，针对不同场景的标注需求， 我们提供了相应的特色标注能力，具体如下:

• 针对遥感场景，提供了对大尺幅图像的切片标 注功能，对建筑物标注边缘进行平直简化，支持 遥感信息 GTiff 和 ESRI Shapefile 数据的读取 和保存。
  
• 针对医疗场景，提供了窗宽窗位的选择，并提供 了多个特色医疗场景交互式分割模型，包括腹 腔器官标注，胸腔标注及椎骨标注等。
  
• 针对 3D 医疗标注场景，我们将视频标注拓展到 3D 医疗图像切片上，并推出腹腔器官标注及椎 骨标注模型，并提供配套的 3D 可视化工具。
  • 针对工业质检场景，支持对大尺幅图像的切片 标注功能及多种工件瑕疵的标注。
  

4. 工具使用

本节将详细介绍不同类型数据标注的步骤，具体如下:
4.1 图像标注

图像包括常见的 RGB 图像，灰度图像，遥感 tiff 图像及医疗 Dicom 图像等，UI 界面如图 1, 工具使用步骤主要如下:

  (1)  模型参数的加载。根据标注场景，选择合适的 网络模型及参数进行加载。在EISeg中模型准备 选择合适的模型及参数下载解压后，模型结构 *.pdmodel 及相应的模型参数 *.pdiparams 需要 放到同一个目录下，加载模型时只需选择 *.pdiparams 结尾的模型参数位置即可。静态图模型 初始化时间稍长，请耐心等待模型加载完成后 进行下一步操作。正确加载的模型参数会记录 在近期模型参数中，可以方便切换，并且下次打 开软件时自动加载退出时的模型参数。

(2)  打开图像/图像文件夹。当看到主界面图像正确 加载，数据列表正确出现图像路径即可。若加 载遥感图像(tiff 或 tif 格式图像)，会提示用户 打开遥感专用标注组件，该组件支持波段设置 及地理信息显示等额外功能。若加载医疗图像(Dicom 格式图像)，会提示用户开启医疗组件， 该组件支持医疗图像窗宽窗位的选择。若图像 尺幅长或者宽有超过 2000 个像素，则会开启大 尺幅切图操作。

(3)  添加/加载标签。可以通过添加标签新建标签， 标签分为 4 列，分别对应像素值、说明、颜色 和删除。新建好的标签可以通过保存标签列表 保存为 txt 文件，其他合作者可以通过加载标 签列表将标签导入。通过加载方式导入的标签， 重启软件后会自动加载。

(4)  开始标注。标注首先进入交互式分割模式。鼠标 左键代表正点击，表示所选择的前景部分，鼠标 右键代表负点击，为用户选定的背景区域。用 户可以通过正负点击操作来选择感兴趣的区域， 直到满意为止。交互完成后使用 Space(空格) 完成交互标注，此时出现多边形边界，进入多边 形标注模式。多边形可以删除，使用鼠标左边可 以对锚点进行拖动，鼠标左键双击锚点可以删 除锚点，双击两点之间的边则可在此边添加一 个锚点。
（5）自动保存设置。在使用中可以将自动保存设置 上，设定好文件夹即可，这样在使用时切换图像 会自动将完成标注的图像进行保存。
4.2 视频及3D医疗图像标注

EISeg 将 3D 医疗图像的切片关系转化成视频 的时序关系，用户在标注 3D 医疗图像时可以根据 我们提供的脚本将切片数据转化成视频数据后再进 行标注。视频标注的 UI 界面如图4, 主要标注过程如下:
（1）打开图像/图像文件夹。当看到主界面图像正确 加载，数据列表正确出现图像路径即可。加载视 频文件后会自动弹出视频组件，点击确认即可。 额外的组件包括视频播放组件及视频分割组件。
（2）参考帧标注，参考帧标注的流程和图像标注流 程一致，具体可参考4.1标注流程。需要注意的 是标注的参考帧图像时尽可能覆盖所有待标注 及传播类别，否则会影响视频传播的结果。
（3）传播模型的加载。根据标注场景，选择我们提供 的与 EISeg模型匹配的传播模型。下载完模型 解压后，随意选择其中一个以 *.pdiparams 结 尾的模型参数位置即可实现所有所需传播模型的加载。
（4） 帧传播。按下视频组件中的传播按钮，模型会自 动计算与参考帧相似区域并生成标注结果。如 果对于一次传播的结果不满意，可以增加其他 参考帧的标注，随后再次进行帧传播。
   (5) 保存。点击左下角保存按钮，选择保存路径即可 将结果保存。


论文地址：https://arxiv.org/pdf/2210.08788.pdf
项目地址：https://github.com/PaddlePaddle/PaddleSeg/tree/release/2.7/EISeg

廖道健

mark

以和為貴

发发呆，回回帖，工作结束~