首先基于目标检测(CenterNet)得到的bbox,将每个边的中点提取出来构建出一个方块形的轮廓。而后第一次利用DeepSnake来计算这四个顶点需要的偏移量以获取图像中目标的极值点(最左,最上,最下,最右边点);在实际计算中,研究人员将四个中点构成的方块型轮廓上采样为40个点,以便涵盖更为丰富的上下文信息。
在获得了4极值点后也就得到了新的bbox,随后在每个点依照bbox的方向向两边生成1/4边长的线段,如果在生成过程中遇到bbox的顶点就停止。依次连接这四个线段的八个端点就可以获得一个八边形轮廓。
此时通过在八边形轮廓上进行采样就可以得到包含N个点的目标初始轮廓(N=128), DeepSnake将这N个点构成的轮廓作为输入预测出需要调整的偏移量。然而一次性预测出准确的偏移量还存在一定的困难,研究人员将迭代地进行三次预测以不断提高预测精度。通过这种方式可以不断地提高目标边缘的预测精度并解决目标检测器带来的初始定位误差。
实验结果
研究人员最终在Cityscape、Kins和Sdb上进行了实验,并对初始网络结果、初始化轮廓方法和圆卷积进行了消融性分析。下表显示了三个部分对于最终结果的贡献情况。网络架构中的全局融合模块带来了1.4AP的提升;其中通过极值点的方法初始化轮廓不仅解决了目标检测误差,同时也有效处理了过于靠近的物体,带来了1.3的AP提升;
而后圆卷积的引入相比于图卷积提升了0.8AP,并且在迭代中两个迭代就超过了图卷积三个迭代0.6AP,显示了圆卷积强大的形变适应能力。下图中也显示了圆卷积对于物体边界的变形适应能力。
与各种先进的算法相比,基于DeepSnake的分割算法显示出了良好的性能优势:
在复杂的Cityscape、Kins和Sdb数据集上都得到了十分优秀的实例分割结果:
本文地址:百科问答频道 https://www.neebe.cn/wenda/903056_2.html,易企推百科一个免费的知识分享平台,本站部分文章来网络分享,本着互联网分享的精神,如有涉及到您的权益,请联系我们删除,谢谢!