(资料图片仅供参考)

SurgicalSAM: 高效的分类提示手术器械分割

SurgicalSAM: 一种新颖的 SAM 端到端高效微调方法，可以有效地将手术特定信息与 SAM 预训练知识相结合，从而提高泛化能力，实现了最先进的性能，同时只需要少量的可调参数

Segment Anything Model (SAM) 是一个强大的基础模型，彻底改变了图像分割。 将 SAM 应用于手术器械分割，常见的方法是定位精确的器械点或框然后以零样本的方式将其用作 SAM 的提示。然而，我们观察到这个简单的流程存在两个问题: (1) 自然物体和手术器械之间的域差距导致 SAM 的泛化能力较差; (2)SAM 依靠精确的点或框位置来进行精确分割，需要大量的手动指导或性能良好的专业检测器来进行及时准备，这导致了复杂的多阶段pipeline。为了解决这些问题，本文引入了 SurgicalSAM，这是一种新颖的SAM 端到端高效微调方法，可以有效地将手术特定信息与 SAM 的预训练知识相结合，从而提高泛化能力。 具体来说，我们提出了一种用于调整的轻量级基于原型的类提示编码器，它直接从类原型生成提示嵌入，并消除了显式提示的使用，以提高鲁棒性和简化pipeline。 此外，为了解决手术器械类别之间的低类间差异，我们提出了对比原型学习，进一步增强了类原型的辨别力，以实现更准确的类提示。对 EndoVis2018 和 EndoVis2017 数据集进行的大量实验结果表明，SurgicalSAM 实现了最先进的性能，同时只需要少量的可调参数。

代码：/wenxi-yue/SurgicalSAM

论文：/abs/

AIGC生成技术交流：本星球主要分享AIGC最新技术，包括数字人实战技术、AI作画技术、声音克隆技术、大语言模型技术、三维重建技术等。我们还提供校招信息、面试题等内容，帮助各个层次的人实现自己的理想。不论是校招还是社招，还是你想快速融入AIGC创业潮流，迅速掌握AIGC论文方法的更新迭代，这个星球都适合你。