NICO競賽啟動：面向OOD的圖像識別新賽道

競賽背景

以深度學(xué)習(xí)為首的機器學(xué)習(xí)方法在計算機視覺、自然語言處理、推薦系統(tǒng)等領(lǐng)域都表現(xiàn)出了卓越的能力。盡管機器學(xué)習(xí)模型在很多實驗條件下的表現(xiàn)優(yōu)于人類，但許多研究者也揭示了其在面對不同分布的數(shù)據(jù)時存在泛化性能差的弱點。

為什么傳統(tǒng)機器學(xué)習(xí)模型容易在數(shù)據(jù)分布變化時失去泛化能力呢？目前研究界較為公認的原因是模型可能學(xué)到了數(shù)據(jù)中不具備泛化能力的虛假關(guān)聯(lián)。例如下圖所展示的例子，模型訓(xùn)練時看到的數(shù)據(jù)符合“狗大多在草地上、而貓大多在雪地上”的規(guī)律，為了最小化經(jīng)驗風(fēng)險誤差，模型就很可能把草地當(dāng)作識別狗的要素；因此當(dāng)測試模型遇見草地上的貓，它就會“指貓為狗”。

相對于傳統(tǒng)滿足獨立同分布假設(shè)下的學(xué)習(xí)問題，這種訓(xùn)練環(huán)境和測試環(huán)境存在數(shù)據(jù)分布偏移的問題稱為分布外泛化Out-of-Distribution (OOD) Generalization問題。在機器學(xué)習(xí)的應(yīng)用逐漸進入醫(yī)療、司法和金融等高風(fēng)險領(lǐng)域的當(dāng)下，研究者們不得不考慮如何讓模型在快速變化的場景中保持魯棒性。

為了進一步推動分布外泛化領(lǐng)域的研究，NICO圖像識別競賽應(yīng)運而生。基于巧妙設(shè)計和構(gòu)建的NICO++標(biāo)桿數(shù)據(jù)集和完善的賽道設(shè)置，NICO競賽不僅可以有效支撐傳統(tǒng)領(lǐng)域泛化方向的研究，還可以在更大尺度上全面且綜合地評估一個機器學(xué)習(xí)模型在真實場景下的魯棒性和泛化性。相對于現(xiàn)有流行的標(biāo)桿數(shù)據(jù)集和競賽（如PACS、DomainNet和Office-Home等），NICO的主要優(yōu)勢有：

更自然的上下文語義信息，有助于學(xué)習(xí)真實場景下的分布變化

更豐富的高質(zhì)量真實圖像，可以支撐深度學(xué)習(xí)模型（例如ResNet-50等）在不借助預(yù)訓(xùn)練的條件下進行充分學(xué)習(xí)

更多元的賽道設(shè)置，在兼容大部分已有研究方法的同時鼓勵更具創(chuàng)新性和開拓性的方法

NICO競賽以“研究模型的泛化機理”為主題，設(shè)置了公共上下文泛化和混合上下文泛化如下兩個賽道：

賽道一：公共上下文泛化

與傳統(tǒng)領(lǐng)域泛化任務(wù) (Domain Generalization，DG) 相同，公共上下文泛化旨在評估模型在訓(xùn)練域標(biāo)簽可知時在未知測試數(shù)據(jù)上的泛化能力。具體地，在本賽道中，訓(xùn)練數(shù)據(jù)中的所有類別都共享相同的域 (Domain) 空間。

如下圖所示，訓(xùn)練數(shù)據(jù)中的物體類別“車輛”，“火車”，“狗”都共享相同的公共上下文“草地”，“秋季”，“室內(nèi)”，“沙灘”，“水面”，“冬季”，所以每個訓(xùn)練樣本的標(biāo)簽都是二元組形式。本賽道旨在模擬真實應(yīng)用中訓(xùn)練數(shù)據(jù)采樣于若干已知領(lǐng)域（如若干不同搜索引擎，不同地點或不同季節(jié)等）且未知測試數(shù)據(jù)來源的場景。

本賽道支持需要領(lǐng)域標(biāo)簽的傳統(tǒng)領(lǐng)域泛化 (DG) 方法以及不需要領(lǐng)域標(biāo)簽的領(lǐng)域泛化 (DG) 方法。

受限于先前領(lǐng)域泛化數(shù)據(jù)集中領(lǐng)域個數(shù)和可用圖片的局限性，傳統(tǒng)領(lǐng)域泛化的模型評估方法較為單一且低效，他們大多采用“單一領(lǐng)域測試”(leave-one-out) 策略，每次選定一個領(lǐng)域作為目標(biāo)領(lǐng)域，剩余全部領(lǐng)域作為訓(xùn)練領(lǐng)域。

這種測試方式無法真正測試模型在一次訓(xùn)練結(jié)束后在多個未知領(lǐng)域的泛化能力，而只能評估模型在某些特定領(lǐng)域組合到一個特定目標(biāo)領(lǐng)域的泛化能力，無法滿足真實應(yīng)用場景中的需求。并且這種測試方式導(dǎo)致對每個模型的測試都需要遍歷所有領(lǐng)域作為目標(biāo)領(lǐng)域進行訓(xùn)練和測試，導(dǎo)致驗證開銷較大。而本賽道得益于NICO++數(shù)據(jù)集中豐富領(lǐng)域標(biāo)注和圖片數(shù)量，可以實現(xiàn)僅一次訓(xùn)練就可在多個未知領(lǐng)域上測試模型的泛化能力。

賽道二：混合上下文泛化

為了更好地驗證模型在未知領(lǐng)域上的泛化能力且不局限于僅使用特定領(lǐng)域的訓(xùn)練數(shù)據(jù)，混合上下文泛化賽道放寬了對訓(xùn)練數(shù)據(jù)的要求。每個物體類別都共享相同的上下文空間在實際應(yīng)用中并不合理，例如，鳥經(jīng)常出現(xiàn)在樹上而通常不會出現(xiàn)在水中，魚經(jīng)常出現(xiàn)水中而通常不會出現(xiàn)在樹上，所以對于物體類別“鳥”而言上下文“在樹上”合理而“在水中”不合理，對于物體類別“魚”而言上下文“在水中”合理而“在樹上”不合理。為了放寬對數(shù)據(jù)上下文的假設(shè)，在本賽道中不同類別的物體的上下文可以不同。

如圖所示，物體類別車輛，火車，狗的上下文各不相同，且在訓(xùn)練中這些上下文并無標(biāo)注。所以本賽道可以充分評估模型在真實應(yīng)用時跨分布場景中的泛化能力（訓(xùn)練數(shù)據(jù)集來源于未知領(lǐng)域的混合，測試數(shù)據(jù)的分布完全未知）。而由于不同類別的上下文各不相同，所以需要領(lǐng)域標(biāo)簽的方法無法直接應(yīng)用于本賽道中。故本賽道更適合創(chuàng)新性的直接利用數(shù)據(jù)分布的多樣性學(xué)習(xí)有預(yù)測能力表征的跨分布泛化方法。

NICO++：競賽數(shù)據(jù)集介紹

為了支持NICO CHALLENGE2022，我們對NICO數(shù)據(jù)集進行了全面的擴展升級，構(gòu)建了NICO++數(shù)據(jù)集。一致于NICO，NICO++把圖像分解成（主體概念，視覺上下文）組合，通過采集大量的視覺上下文，可以靈活在訓(xùn)練環(huán)境和測試環(huán)境形成不同的主體-上下文組合，產(chǎn)生數(shù)據(jù)分布偏移。

不同于NICO，NICO++包括公共上下文（common context）和特有上下文（unique context）兩種上下文。其中，公共上下文同時出現(xiàn)在所有NICO++的類別中（支持公共上下文視覺泛化任務(wù)），包含自然環(huán)境、季節(jié)、人文環(huán)境、光照條件；特有上下文僅出現(xiàn)在相關(guān)類別里（支持混合上下文視覺泛化任務(wù)），例如屬性、背景、拍著角度、常伴物體等。

目前，NICO++已經(jīng)包含了80個類別，從動物、植物、交通到物體，10個公共上下文，以及每個類別各有的10個特有上下文，共20W張圖像，可以支持大規(guī)模OOD視覺模型的訓(xùn)練。

和以往多環(huán)境的數(shù)據(jù)集（如DomainNet，PACS）相比，NICO++數(shù)據(jù)集具有數(shù)據(jù)規(guī)模大，圖像均采取真實場景，圖像內(nèi)容豐富，各環(huán)境樣本量均衡等優(yōu)勢，使其能支持足夠復(fù)雜的異質(zhì)性場景的模擬。

競賽時間節(jié)點

2022.04.18 NICO++數(shù)據(jù)集公布

2022.04.20 競賽注冊開始，第一階段開始

2022.07.10 競賽注冊結(jié)束，第一階段結(jié)束

2022.07.12 第一階段勝者公布，第二階段開始，模型提交開始

2022.07.30 第二階段結(jié)束，提交模型結(jié)束

2022.08.10 最終勝者公布

競賽官網(wǎng)

更多競賽信息，數(shù)據(jù)集信息，競賽注冊鏈接和數(shù)據(jù)集下載見：https://nicochallenge.com/

關(guān)鍵詞： NICO競賽啟動面向OOD的圖像識別新賽道 nico 圖像識別