近日，由耶魯-新加坡國立大學(xué)學(xué)院(Yale-NUS College)副教授 Robby Tan 領(lǐng)導(dǎo)的研究團(tuán)隊(duì)，在 2021 年國際計(jì)算機(jī)視覺與模式識別會議(CVPR)上發(fā)表了三項(xiàng)研究，介紹利用計(jì)算機(jī)視覺技術(shù)提高錄制時(shí)受環(huán)境因素影響視頻的分析準(zhǔn)確度。
這三項(xiàng)研究分別優(yōu)化了解決降雨因素、夜間因素和人群密集環(huán)境因素這 3 種視頻分析中較常見問題的方法，均可用于改善監(jiān)控設(shè)備、自動駕駛汽車、視頻游戲和體育節(jié)目轉(zhuǎn)播等與計(jì)算機(jī)視覺相關(guān)的應(yīng)用性能。
第一項(xiàng)研究介紹科研人員利用幀對齊和深度估計(jì)等方法，實(shí)現(xiàn)同時(shí)處理雨天錄制視頻中雨水條紋和雨幕效果這兩種主要影響視頻清晰度的問題。
該論文題目為《具有傳輸深度一致性的自對齊視頻去降雨影響(Self-Aligned Video Deraining with Transmission-Depth Consistency)》，發(fā)表在 2021 年國際計(jì)算機(jī)視覺與模式識別會議(會議時(shí)間 6 月 19 至 6 月 25 日)上。
第二項(xiàng)研究是研究人員通過訓(xùn)練半監(jiān)督網(wǎng)絡(luò)來增加視頻動態(tài)范圍和抑制光效應(yīng)，更徹底地解決了夜間視頻清晰度問題。
該論文題目為《通過增加動態(tài)范圍和抑制燈光效果來增強(qiáng)夜間能見度(Nighttime Visibility Enhancement by Increasing the Dynamic Range and Suppression of Light Effects)》，發(fā)表在 2021 年國際計(jì)算機(jī)視覺與模式識別會議上。
第三項(xiàng)研究同樣也是處理環(huán)境因素的影響，但不是雨天和夜間這種自然環(huán)境因素，而是視頻中出現(xiàn)人群密集這種社會場景因素影響。研究人員結(jié)合自頂向下和自底向上方法，提高了估計(jì)視頻中 3D 人體姿態(tài)準(zhǔn)確度，進(jìn)而提升了視頻處理效果。
該論文題目為《基于自頂向下和自底向上網(wǎng)絡(luò)的單目三維多人姿態(tài)估計(jì)(Monocular 3D Multi-Person Pose Estimation by Integrating Top-Down and Bottom-Up Networks)》，發(fā)表在 2021 年國際計(jì)算機(jī)視覺與模式識別會議上。
一、計(jì)算機(jī)視覺分析易受環(huán)境影響
計(jì)算機(jī)視覺技術(shù)越來越多地應(yīng)用于自動監(jiān)控系統(tǒng)、自動駕駛汽車、人臉識別、護(hù)理和社交距離工具等領(lǐng)域。
用戶需要準(zhǔn)確可靠的視覺信息，才能充分利用視頻分析應(yīng)用程序優(yōu)勢，但是視頻數(shù)據(jù)質(zhì)量通常會受到環(huán)境因素影響，例如拍攝時(shí)在下雨或處于夜間環(huán)境，以及視頻圖像中存在人群(一個(gè)場景中有多個(gè)重疊的人的圖像)這三種較常見情況。這三種場景在實(shí)際中可能單獨(dú)出現(xiàn)，也可能混合出現(xiàn)。
具體來說，下雨降低視頻能見度的原因包括雨水流下產(chǎn)生的條紋和雨水積聚(或稱雨幕效果)。
雨水條紋部分會遮擋背景外觀，導(dǎo)致視頻圖像場景看起來模糊。雨水積聚就像出現(xiàn)霧一樣，會沖淡場景顏色，降低視頻整體對比度并產(chǎn)生遮蔽效果。這兩者都會降低場景能見度，因此，要獲得更好的視頻背景場景視覺信息，人們就需要去除視頻中雨水條紋和雨水積聚問題。
而晚上拍攝的視頻存在的問題，跟在雨中拍攝的視頻存在的問題有差異。
夜晚拍攝會受到光照變化和多個(gè)人造光源影響，夜間視頻圖像不僅存在低光區(qū)域，還有輝光燈、眩光燈和泛光燈照射區(qū)域，這會嚴(yán)重降低圖像可見度。因此，通過提高低光區(qū)域強(qiáng)度來增強(qiáng)夜間圖像可見性，同時(shí)抑制夜間光效應(yīng)(輝光、眩光)是一項(xiàng)重要任務(wù)。
除了下雨和夜間等因素影響，當(dāng)場景中出現(xiàn)很多人對于視頻分析來講也是一大挑戰(zhàn)。
由于其對現(xiàn)實(shí)世界應(yīng)用很重要，基于單目(單個(gè)相機(jī)拍攝的視頻)的 3D 人體姿態(tài)估計(jì)技術(shù)已引起了越來越多關(guān)注。但是，這個(gè)技術(shù)存在挑戰(zhàn)，就是當(dāng)場景中存在多個(gè)人時(shí)，人多會產(chǎn)生遮擋，導(dǎo)致人體檢測錯(cuò)誤以及人體關(guān)節(jié)分組識別不可靠。
為了解決視頻分析中遇到的這些影響準(zhǔn)確性的環(huán)境因素問題，Robby Tan 和來自中國香港城市大學(xué)、瑞士蘇黎世聯(lián)邦理工學(xué)院和騰訊游戲人工智能研究中心研究人員一起進(jìn)行了三項(xiàng)研究，分別提高雨天視頻、夜間視頻和有人群密集場景視頻處理準(zhǔn)確性。
二、研究一：幀對齊和深度估計(jì)消除視頻中雨水影響
針對雨天錄制視頻中存在的問題，研究人員先用合成降雨視頻(帶有地面實(shí)況)和真實(shí)降雨視頻(沒有地面實(shí)況)來訓(xùn)練對齊網(wǎng)絡(luò)，然后研究人員使用基于特征的對齊網(wǎng)絡(luò)去對齊幾個(gè)連續(xù)的輸入幀。最后，對齊網(wǎng)絡(luò)根據(jù)相鄰幀的對齊特征，刪除每一幀中的雨條紋。
處理雨幕問題，研究人員使用了積累網(wǎng)絡(luò)，利用從視頻中獲得的深度線索，結(jié)合去除雨水條紋的圖像，最終輸出無雨水影響的圖像。
從效果上來看三種方法都相較于之前方法有所改進(jìn)。與現(xiàn)有專注于去除雨水條紋方法不同，新方法可以同時(shí)去除雨水條紋和雨幕效果。
三、研究二：半監(jiān)督網(wǎng)絡(luò)被用于優(yōu)化夜間圖像
處理夜間視頻目標(biāo)是，通過同時(shí)增加動態(tài)范圍(以處理低光和過度曝光區(qū)域)和抑制光效應(yīng)(輝光、眩光等)來提高其可見性。
研究人員提出一個(gè)半監(jiān)督網(wǎng)絡(luò)，使用配對圖像(高動態(tài)范圍成像的地面實(shí)況)來訓(xùn)練半監(jiān)督網(wǎng)絡(luò)以增加動態(tài)范圍，并使用未配對的圖像(沒有地面實(shí)況)來訓(xùn)練半監(jiān)督網(wǎng)絡(luò)以抑制燈光效果，得到兩種訓(xùn)練網(wǎng)絡(luò)。
具體操作是研究人員首先使用線性化網(wǎng)絡(luò)估計(jì)輸入夜間圖像的逆條件隨機(jī)場(CRF)，獲得線性化圖像后，將其分解為低頻(光場，LF，包含輝光、眩光效果)和高頻(同態(tài)濾波，HF，包含噪聲、紋理等效果)特征圖。光場特征圖和同態(tài)濾波特征圖使用訓(xùn)練得到的兩個(gè)網(wǎng)絡(luò)來，分別抑制光效應(yīng)和去除噪聲。最后將處理過的光場特征圖和同態(tài)濾波特征圖融合并輸出。
夜間視頻圖像新技術(shù)同樣解決了以前方法處理不徹底的問題：夜間圖像以及視頻中因?yàn)檠９獠荒鼙缓鲆晻r(shí)對于視頻清晰度的影響。
四、研究三：結(jié)合兩種 3D 人體姿態(tài)估計(jì)方法，實(shí)現(xiàn)更可靠輸出
而針對 3D 人體姿態(tài)估計(jì)問題，研究人員通過結(jié)合兩種現(xiàn)有方法(即自頂向下方法和自底向上方法)來估計(jì)視頻中的3D 人體姿態(tài)。
自頂向下網(wǎng)絡(luò)被用來估計(jì)每個(gè)檢測到的邊界框內(nèi)的人體關(guān)節(jié)，生成聯(lián)合熱圖(heatmap)反饋到自底向上網(wǎng)絡(luò)，自底向上網(wǎng)絡(luò)同樣也進(jìn)行估計(jì)生成圖像。最后研究人員將自頂向下和自底向上網(wǎng)絡(luò)輸出的 3D 估計(jì)姿態(tài)輸入到集成網(wǎng)絡(luò)中，以獲得給定圖像序列的最終 3D 姿態(tài)估計(jì)圖像。
3D 人體姿態(tài)新方法則可以產(chǎn)生更可靠的姿態(tài)估計(jì)，并更穩(wěn)健地處理個(gè)體之間距離(或尺度變化)。
結(jié)語：避免物理環(huán)境干擾，是計(jì)算機(jī)視覺熱點(diǎn)
計(jì)算機(jī)視覺技術(shù)在應(yīng)用時(shí)會受到各種各樣的影響，不止是下雨、夜晚或者出現(xiàn)人群等情況，比如白天光線過強(qiáng)、攝像頭處于逆光角度等因素也會影響計(jì)算機(jī)視覺技術(shù)的處理效果。有時(shí)視頻中只會有一種環(huán)境因素影響分析準(zhǔn)確性，有時(shí)會混合出現(xiàn)多種，這種情況下針對每個(gè)因素都需要分別研究最優(yōu)方法，最后才能分因素逐步優(yōu)化視頻分析結(jié)果。
計(jì)算機(jī)視覺是人工智能最廣泛的技術(shù)方向之一，如何減少物理環(huán)境對計(jì)算機(jī)視覺應(yīng)用方面影響仍是持續(xù)性熱點(diǎn)話題。
關(guān)鍵詞： 計(jì)算機(jī) 視覺分析 下雨 視頻分析
營業(yè)執(zhí)照公示信息