论文阅读计划2

Deep Joint Rain Detection and Removal from a Single Image[1]

  • 简介:多任务全卷积从单张图片中去除雨迹。本文在现有的模型上,开发了一种多任务深度学习框架,学习了三个方面,包括二元雨条纹映射(binary rain streak map),雨条纹外观和干净的背景。特别是新添加的二元雨条纹映射,其损失函数可以为神经网络提供额外的强特征。对于雨带积累现象(暴雨形成的如烟如雾的现象),采取循环雨检测和清除,以迭代和渐进方式清除。

  • 动机:恢复暴雨下拍摄的图像,在自动驾驶等领域是重要的研究问题。在暴雨下拍摄的图像包含背景层和将与条纹层,此任务的目标在于输出干净的背景。

  • 雨模型由原来的: $$ O=B+\tilde{S} $$ 变为: $$ O=B+SR $$ 其中,$B$是背景层,$\tilde{S}$为雨迹层,O为原始图片,R是二元值,1表示雨区,0表示无雨区。

    联合的雨迹检测和移除:

    雨迹移除的过程如上图所示,首先使用基于上下文扩展的网络(Contextualized Dilated Networks,论文4.2详述)抽取雨迹特征表示F,基于此,接下来依次预测R,S,B。

[1] Yang W, Tan R T, Feng J, et al. Deep joint rain detection and removal from a single image[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2017: 1357-1366.