环境因素|暴雨/夜间/人群密集难倒视频分析？三篇CVPR2021论文攻克这些难题( 二 )

而晚上拍摄的视频存在的问题，跟在雨中拍摄的视频存在的问题有差异。
夜晚拍摄会受到光照变化和多个人造光源影响，夜间视频图像不仅存在低光区域，还有辉光灯、眩光灯和泛光灯照射区域，这会严重降低图像可见度。因此，通过提高低光区域强度来增强夜间图像可见性，同时抑制夜间光效应（辉光、眩光）是一项重要任务。
除了下雨和夜间等因素影响，当场景中出现很多人对于视频分析来讲也是一大挑战。
由于其对现实世界应用很重要，基于单目（单个相机拍摄的视频）的3D人体姿态估计技术已引起了越来越多关注。但是，这个技术存在挑战，就是当场景中存在多个人时，人多会产生遮挡，导致人体检测错误以及人体关节分组识别不可靠。
为了解决视频分析中遇到的这些影响准确性的环境因素问题，Robby Tan和来自中国香港城市大学、瑞士苏黎世联邦理工学院和腾讯游戏人工智能研究中心研究人员一起进行了三项研究，分别提高雨天视频、夜间视频和有人群密集场景视频处理准确性。
二、研究一：帧对齐和深度估计消除视频中雨水影响
针对雨天录制视频中存在的问题，研究人员先用合成降雨视频（带有地面实况）和真实降雨视频（没有地面实况）来训练对齐网络，然后研究人员使用基于特征的对齐网络去对齐几个连续的输入帧。最后，对齐网络根据相邻帧的对齐特征，删除每一帧中的雨条纹。
处理雨幕问题，研究人员使用了积累网络，利用从视频中获得的深度线索，结合去除雨水条纹的图像，最终输出无雨水影响的图像。

▲消除下雨环境影响的图像处理流程
从效果上来看三种方法都相较于之前方法有所改进。与现有专注于去除雨水条纹方法不同，新方法可以同时去除雨水条纹和雨幕效果。

▲从上到下，第一张图时输入（现有方法），中间图显示去除雨痕的中间输出，第三张是使用研究团队新方法去除雨水痕迹和雨幕效果的最终输出
三、研究二：半监督网络被用于优化夜间图像
处理夜间视频目标是，通过同时增加动态范围（以处理低光和过度曝光区域）和抑制光效应（辉光、眩光等）来提高其可见性。
研究人员提出一个半监督网络，使用配对图像（高动态范围成像的地面实况）来训练半监督网络以增加动态范围，并使用未配对的图像（没有地面实况）来训练半监督网络以抑制灯光效果，得到两种训练网络。
具体操作是研究人员首先使用线性化网络估计输入夜间图像的逆条件随机场（CRF），获得线性化图像后，将其分解为低频（光场，LF，包含辉光、眩光效果）和高频（同态滤波，HF，包含噪声、纹理等效果）特征图。光场特征图和同态滤波特征图使用训练得到的两个网络来，分别抑制光效应和去除噪声。最后将处理过的光场特征图和同态滤波特征图融合并输出。

▲消除夜间环境影响的图像处理流程
夜间视频图像新技术同样解决了以前方法处理不彻底的问题：夜间图像以及视频中因为眩光不能被忽视时对于视频清晰度的影响。

▲上面四张图是研究人员采用新方法，抑制光效并产生增强能见度；下面三张图是现有方法，无法处理的光学效果（如眩光），还错误增强了它
四、研究三：结合两种3D人体姿态估计方法，实现更可靠输出