• 计算机视觉算法分享。问题或建议，请文章私信或者文章末尾扫码加微信留言。
• sora 具体介绍和使用方法：OpenAI Sora 下一代生产力：最新小白必看教程 | 解剖Sora的前世今生 | Sora核心源码
• 目前 openai 官方还未开放 sora 灰度，不过根据文生图模型 DALL·E 案例，一定是先给 ChatGPT Plus 付费用户使用，需要注册或者升级 GPT Plus 可以看这个教程:ChatGPT Plus 1分钟一键升级

1 论文题目

• 移动非对称双流网络用于实时和轻型RGB-D显著目标检测

2 论文摘要

• RGB-D显著物体检测（RGB-D SOD）的目的是通过RGB图像和深度线索的互补信息来检测显著物体。尽管RGB-D SOD已经提出了许多优秀的现有技术，但大多数都关注性能增强，而不关注在移动设备上的实际部署。在本文中，我们提出了移动非对称双流网络（MoADNet）的实时和轻量级的RGB-D SOD。首先，受RGB和深度模式之间内在差异的启发，我们观察到深度图可以用比RGB图像更少的通道来表示。因此，我们设计了基于MobileNetV3的非对称双流编码器。其次，我们开发了一个倒瓶颈跨模态融合（IBCMF）模块来融合多模态特征，该模块采用倒瓶颈结构来弥补轻量级骨干中的信息损失。第三，我们提出了一个自适应的无空间金字塔（A2SP）模块来加速推理，同时通过在解码器中适当地选择多尺度特征来保持性能。大量的实验进行了比较我们的方法与15种最先进的方法。我们的MoADNet在四个评估指标下获得了五个基准数据集上的竞争结果。在效率分析方面，所提出的方法的性能显著优于其他基线。MoADNet只包含5.03 M参数，当在单个NVIDIA 2080Ti GPU上测试一个256×256图像时，运行80 FPS。

3 论文创新点

• 目前提出的移动非对称双流网络（MoADNet），这是一种为实时RGB-D SOD设计的轻量级端到端架构。考虑到RGB图像之间的内在差异和深度图，一些冗余的通道不是必要的。因此，我们设计了基于MoibleNetV3的非对称骨干网，从RGB图像和深度图中提取特征。
• 为了补偿信息损失，我们设计了一个用于不同模态融合的倒置瓶颈交叉模态融合（IBCMF）的交叉模态融合模块。在IBCMF模块中，我们首先对齐来自不同模式的通道数，这涉及到在低水平阶段有更多的通道参与融合。然后，通过权衡多模态特征的重要性来融合它们。最后，减少信道数，以加速元素级操作。
• 开发一个自适应的面积空间金字塔（A2SP）模块，在解码过程中自适应地选择合适的尺度。通过避免一些冗余卷积，A2SP模块将推理速度提高了近10 FPS，并减少了参数的数量，同时保持了检测性能。
• 该方法在5个基准数据集上进行了评估，显示了与15种最先进的方法相比的竞争性能。同时，在效率分析方面，MoADNet的表现大大优于其他基线。我们的轻量级模型只有5.03 M参数，当输入图像的大小为256×256时，在一个2080Ti GPU上达到80 FPS。

4 论文架构

5 不足之处

• 通过有效性和效率分析，也值得研究失败案例的原因。如图8所示，我们的模型的不满意结果主要是由三种情况引起的。首先，当对象是由精细结构组成时，所提出的MoADNet的性能将会下降。由于这些相邻的像素很容易接近背景，因此我们无法得到理想的边界，如图8中的第一行。此外，有时RGB图像是在复杂的背景下拍摄的，而深度图提供的有用信息很少，如图8中的第二行。RGB分支和深度分支都难以提取出有意义的特征。最后，在一些有多个对象的场景中，我们的模型无法检测到被标注的区域。一种可能的解释是，在这种情况下，有各种不同的深度线索，这误导了神经网络。例如，图8的第三行就属于这种情况。

6 未来展望

• 在未来，我们将分析在其他一些平台上的效率，如NVIDIA Jetson TX2或基于arm的移动设备。

7 论文地址

• https://ieeexplore.ieee.org/abstract/document/9789193/

8 论文代码

• 无

计算机视觉最新进展-Sora

• 计算机视觉算法分享。问题或建议，请文章私信或者文章末尾扫码加微信留言。
• sora 具体介绍和使用方法：OpenAI Sora 下一代生产力：最新小白必看教程 | 解剖Sora的前世今生 | Sora核心源码
• 目前 openai 官方还未开放 sora 灰度，不过根据文生图模型 DALL·E 案例，一定是先给 ChatGPT Plus 付费用户使用，需要注册或者升级 GPT Plus 可以看这个教程:ChatGPT Plus 1分钟一键升级

• 如有其他疑问可以加以下微信二维码联系
  
• 更多计算机视觉最新最先进算法请扫描关注以下公众号
  -