环境因素|暴雨/夜间/人群密集难倒视频分析？三篇CVPR2021论文攻克这些难题

智东西（公众号：zhidxcom）
作者 | 杨畅
编辑 | Panken
智东西7月25日消息，近日，由耶鲁-新加坡国立大学学院（Yale-NUS College）副教授Robby Tan领导的研究团队，在2021年国际计算机视觉与模式识别会议（CVPR）上发表了三项研究，介绍利用计算机视觉技术提高录制时受环境因素影响视频的分析准确度。
这三项研究分别优化了解决降雨因素、夜间因素和人群密集环境因素这3种视频分析中较常见问题的方法，均可用于改善监控设备、自动驾驶汽车、视频游戏和体育节目转播等与计算机视觉相关的应用性能。
第一项研究介绍科研人员利用帧对齐和深度估计等方法，实现同时处理雨天录制视频中雨水条纹和雨幕效果这两种主要影响视频清晰度的问题。

该论文题目为《具有传输深度一致性的自对齐视频去降雨影响（Self-Aligned Video Deraining with Transmission-Depth Consistency）》，发表在2021年国际计算机视觉与模式识别会议（会议时间6月19至6月25日）上。
论文地址：
https://openaccess.thecvf.com/content/CVPR2021/papers/Yan_Self-Aligned_Video_ Deraining_With_Transmission Depth_Consistency_CVPR_2021_paper.pdf
第二项研究是研究人员通过训练半监督网络来增加视频动态范围和抑制光效应，更彻底地解决了夜间视频清晰度问题。

该论文题目为《通过增加动态范围和抑制灯光效果来增强夜间能见度（Nighttime Visibility Enhancement by Increasing the Dynamic Range and Suppression of Light Effects）》，发表在2021年国际计算机视觉与模式识别会议上。
https://openaccess.thecvf.com/content/CVPR2021/papers/Sharma_Nighttime_Visibility_Enhancement_by_ Increasing_the_Dynamic_Range_and_Suppression_CVPR_2021_paper.pdf
第三项研究同样也是处理环境因素的影响，但不是雨天和夜间这种自然环境因素，而是视频中出现人群密集这种社会场景因素影响。研究人员结合自顶向下和自底向上方法，提高了估计视频中3D人体姿态准确度，进而提升了视频处理效果。
【环境因素|暴雨/夜间/人群密集难倒视频分析？三篇CVPR2021论文攻克这些难题】

该论文题目为《基于自顶向下和自底向上网络的单目三维多人姿态估计（Monocular 3D Multi-Person Pose Estimation by Integrating Top-Down and Bottom-Up Networks）》，发表在2021年国际计算机视觉与模式识别会议上。
https://openaccess.thecvf.com/content/CVPR2021/papers/Cheng_Monocular_3D_Multi-Person_Pose_Estimation_by_Integrating_Top-Down_and_Bottom-Up_CVPR_2021_paper.pdf
一、计算机视觉分析易受环境影响
计算机视觉技术越来越多地应用于自动监控系统、自动驾驶汽车、人脸识别、护理和社交距离工具等领域。
用户需要准确可靠的视觉信息，才能充分利用视频分析应用程序优势，但是视频数据质量通常会受到环境因素影响，例如拍摄时在下雨或处于夜间环境，以及视频图像中存在人群（一个场景中有多个重叠的人的图像）这三种较常见情况。这三种场景在实际中可能单独出现，也可能混合出现。
具体来说，下雨降低视频能见度的原因包括雨水流下产生的条纹和雨水积聚（或称雨幕效果）。
雨水条纹部分会遮挡背景外观，导致视频图像场景看起来模糊。雨水积聚就像出现雾一样，会冲淡场景颜色，降低视频整体对比度并产生遮蔽效果。这两者都会降低场景能见度，因此，要获得更好的视频背景场景视觉信息，人们就需要去除视频中雨水条纹和雨水积聚问题。