谷歌母公司 Alphabet 旗下頂級英國 AI 研究機構(gòu) DeepMind 又放大招了。
此次 DeepMind 聚焦天氣預(yù)報這一重大挑戰(zhàn),與英國氣象局合作將 AI 應(yīng)用于預(yù)測降雨,能比現(xiàn)有預(yù)測模型更準確地預(yù)測未來 1-2 小時內(nèi)的降雨量。
根據(jù)論文,DeepMind 采用深度生成模型來實現(xiàn)精準降雨預(yù)測,使用 NVIDIA V100 GPU,該模型只需 1.3 秒即可生成一個全分辨率的臨近天氣預(yù)測樣本。
DeepMind 研究團隊稱,氣象專家經(jīng)評估表示,比起傳統(tǒng)方法,他們普遍更看好 DeepMind 提出的新 AI 模型,這為利用 AI 大大改善準確度的新天氣預(yù)報方法鋪平了道路。
這項研究剛剛發(fā)表于頂級學(xué)術(shù)期刊 Nature 上,題目為《用雷達深度生成模型進行有技巧的降雨臨近預(yù)報》,論文對模型、數(shù)據(jù)和驗證方法均進行了系統(tǒng)梳理及討論。
此外,DeepMind 已將訓(xùn)練數(shù)據(jù)及一個預(yù)訓(xùn)練的英國模型傳至 GitHub。
現(xiàn)代天氣預(yù)報的棘手問題,2 小時內(nèi)精準預(yù)測天氣
“今天晚上要下雨,記得帶傘!”像這樣圍繞天氣話題的討論和叮囑,在人們的聊天中相當常見。
小到生活日常,大到災(zāi)害預(yù)防,都需要天氣預(yù)報越早越好、越來越準確。但直至今日,預(yù)測降水降雨量,仍是氣象學(xué)家面臨的重大挑戰(zhàn)。
在中世紀,氣象學(xué)家首先使用恒星進行預(yù)測。慢慢地,記錄季節(jié)和降雨模式的表格開始保存。幾個世紀后,英國物理學(xué)家兼數(shù)學(xué)家劉易斯?弗萊?理查森設(shè)想了一個“預(yù)測工廠”(Forecast Factory),使用計算和大氣物理方程來預(yù)測全球天氣。
如今,在天氣預(yù)報系統(tǒng)中,DeepMind 添加了“機器學(xué)習(xí)”這一新元素。
現(xiàn)代天氣預(yù)報是由數(shù)值天氣預(yù)報(NWP,numerical weather prediction)系統(tǒng)驅(qū)動的。通過求解物理方程,NWP 能做到提前幾天預(yù)測未來天氣。這類方法通常在預(yù)測 6 小時到 2 周后的天氣時準確度很好,但在預(yù)測 2 小時內(nèi)的天氣時準確度會下降。
現(xiàn)在,臨近預(yù)報填補了這個關(guān)鍵時間間隔的性能差距。
臨近天氣預(yù)報對于水管理、農(nóng)業(yè)、航空、應(yīng)急計劃和戶外活動等部門至關(guān)重要,支持了許多依賴天氣決策的行業(yè)的現(xiàn)實社會經(jīng)濟需求。
天氣傳感技術(shù)的進步使測量地面降水量的高分辨率雷達數(shù)據(jù)能夠以高頻率提供(如每 5 分鐘 1 公里分辨率)?,F(xiàn)有方法難以解決的關(guān)鍵領(lǐng)域和高質(zhì)量數(shù)據(jù)的可用性的結(jié)合,為機器學(xué)習(xí)在臨近預(yù)報中做出貢獻提供了機會。
近年來,已有幾種基于機器學(xué)習(xí)的方法問世,他們在雷達觀測的大數(shù)據(jù)集上訓(xùn)練,目的是更好地模擬強降雨和其他難以預(yù)測的降雨現(xiàn)象。例如,谷歌與美國國家海洋和大氣管理局(NOAA)合作研究可能注入 NOAA 企業(yè)的機器學(xué)習(xí)系統(tǒng),微軟還出資從歷史數(shù)據(jù)中識別重復(fù)的天氣和氣候模式,以改進次季節(jié)性和季節(jié)性預(yù)測模型。
臨近預(yù)報的深度生成模型,準確性和實用性均排名第一
DeepMind 專注于預(yù)測臨近降雨量:提前 2 小時預(yù)測降雨的數(shù)量、時間和地點。
研究人員采用一種類似于 GAN 的深度生成模型方法 DGMR,以過去的雷達數(shù)據(jù)為基礎(chǔ),對未來的雷達作出詳細和可信的預(yù)測。
從概念上講,這是一個生成雷達影像的問題。降雨深度生成模型 DGMR 學(xué)習(xí)了數(shù)據(jù)的概率分布,描述隨機變量可能獲得的所有可能值,以從其學(xué)習(xí)的分布中生成“臨近預(yù)報”。
有了這些方法,研究團隊既可以準確地捕捉到大規(guī)模的降雨事件,同時也可以產(chǎn)生許多替代的降雨情景(也稱集成預(yù)測 ensemble prediction),從而探索降雨的不確定性。研究期間,研究團隊使用了英國和美國的雷達數(shù)據(jù)。
在訓(xùn)練過程,研究團隊通過比較 CPU(10 核心 AMD EPYC)和 GPU(NVIDIA V100)硬件的速度來評估采樣速度,發(fā)現(xiàn)生成每個樣本,CPU 所用平均時間為 23.7 秒,GPU 為 1.3 秒。
DeepMind 團隊在博客中提到:“我們特別感興趣的是這些模型對中到大雨事件的預(yù)測能力,這些事件對人們和經(jīng)濟的影響最大。”他們展示了與競爭方法相比,這些模型在統(tǒng)計方面的顯著改進。
為了驗證 DGMR 生成預(yù)測結(jié)果的精度,研究團隊準備了 2 個現(xiàn)有降雨預(yù)測模型,分別隱藏模型名,請英國國家氣象局的 56 名氣象預(yù)報專家來評估。
與其他主流臨近預(yù)測方法相比,DGMR 對 1536 公里乘 1280 公里的區(qū)域做出了更現(xiàn)實、更一致的預(yù)測,提前 5~90 分鐘進行預(yù)測。
“與廣泛使用的臨近預(yù)報方法相比,他們(56 名氣象專家)在 89% 的案例中將我們的新方法評為他們的首選,這體現(xiàn)我們的方法有能力為現(xiàn)實世界決策者提供洞察力。”DeepMind 研究人員寫道。相對于另外兩種競爭方法,DGMR 在準確性和實用性評估方面排名第一。
如圖所示,下圖左上角為觀測到的實際雨云的移動,右上是 DGMR 模型生成的預(yù)測結(jié)果,相比降水強度過高的對流方法(PySTEPS)和模擬結(jié)果模糊的確定性深度學(xué)習(xí)方法(UNet),DGMR 能更好地捕捉環(huán)流、強度和結(jié)構(gòu),并更準確地預(yù)測東北部的降雨量和運動,同時生成清晰的預(yù)測。
論文提到:“我們證明,生成式臨近預(yù)報可以提供概率預(yù)測,提高預(yù)測值,支持運營效用,并在解決方案和交付時間方面,替代方法難以做到。”
天氣預(yù)報往往受多重因素影響,也許一個預(yù)測對了降雨位置但算錯強度,另一個預(yù)測在錯誤的位置預(yù)測對了強度等。在這項研究中,研究人員付出了很多努力,根據(jù)廣泛的指標來評估其算法。
DeepMind 研究人員稱,DGMR 可以預(yù)測由于潛在的隨機性而本質(zhì)上難以追蹤的天氣事件,還可以像調(diào)整任務(wù)的系統(tǒng)一樣準確地預(yù)測降雨的位置,同時保留對決策有用的屬性。
下一步計劃:提高長期預(yù)測準確性
通過使用統(tǒng)計、經(jīng)濟和認知分析,DeepMind 展示了一種新的、有競爭力的雷達降雨臨近預(yù)報方法。
“建模復(fù)雜現(xiàn)象、快速預(yù)測和代表不確定性的能力使 AI 成為環(huán)境科學(xué)家的強大工具。”DeepMind 高級專職科學(xué)家 Shakir Mohamed 說。
他認為盡管現(xiàn)在還為時過早,但這次試驗表明,AI 能讓預(yù)測人員不必將時間耗費在不斷增加的預(yù)測數(shù)據(jù)堆里,而是專注于更好地了解其預(yù)測的影響。“這將是減輕當今氣候變化不利影響、支持適應(yīng)不斷變化的天氣模式并可能拯救生命不可或缺的一部分。”
不過,任何方法都有局限性,需要做更多的工作來提高長期預(yù)測的準確性和對罕見和激烈事件的準確性。
因此研究團隊計劃在未來的工作中,開發(fā)更多的評估性能的方法,并進一步將這些方法專業(yè)化,以適應(yīng)具體的現(xiàn)實應(yīng)用。
DeepMind 研究人員相信,這是一個令人興奮的研究領(lǐng)域,他們希望這篇論文能為新的工作提供數(shù)據(jù)和驗證方法,使提供有競爭力的驗證和操作效用成為可能。
他們還希望與英國氣象局的合作將促進機器學(xué)習(xí)和環(huán)境科學(xué)的更大整合,并更好地支持應(yīng)對氣候變化的決策。
結(jié)語:DeepMind 用 AI 破解,科學(xué)難題的又一突破
AI 和數(shù)據(jù)分析的價值正更多滲透到天氣預(yù)報領(lǐng)域。去年年初,華為云與深圳市氣象局合作,采用 AI 方法將預(yù)測準確率提高 10%~20%。借助 AI 及大數(shù)據(jù),國內(nèi)的彩云天氣應(yīng)用、蘋果去年 4 月收購的第三方天氣應(yīng)用 Dark Sky 均實現(xiàn)了分鐘級的降雨預(yù)測,預(yù)測準確度還在不斷提升。
Facebook 首席 AI 科學(xué)家 Yann LeCun、知名 AI 科學(xué)家吳恩達均曾表示,緩解氣候變化和促進能源效率對于 AI 研究人員來說是值得的挑戰(zhàn)。
環(huán)境科學(xué)和 AI 之間的合作側(cè)重于決策者的價值,為臨近預(yù)報降雨開辟了新渠道,也體現(xiàn)出 AI 在不斷變化的環(huán)境中支持應(yīng)對決策挑戰(zhàn)的機會。
從去年發(fā)布破解蛋白質(zhì)折疊難題的 AI 蛋白質(zhì)預(yù)測模型 AlphaFold,到如今 AI 降雨預(yù)測模型 DGMR 再登 Nature,DeepMind 的 AI 研究正愈發(fā)展現(xiàn)出解決關(guān)鍵科學(xué)問題的實際應(yīng)用價值。