有人聲稱“解決了”MNIST與CIFAR 10，實現(xiàn)了100％準確率

機器之心報道

機器之心編輯部

這不是數(shù)據(jù)泄露了吧？

MNIST 識別的準確率已經(jīng)卷上 100% 了？近日，預(yù)印版平臺 arXiv 中的一篇論文《Learning with Signatures》引起了人們的關(guān)注。

在這項工作中，作者研究了在學(xué)習環(huán)境中使用 Signature Transform。該論文提出了一個監(jiān)督框架，使用很少的標簽提供了最先進的分類準確性，無需信用分配（credit assignment），幾乎沒有過擬合。作者通過使用 Signature 和對數(shù) Signature 來利用諧波分析工具，并將其用作評分函數(shù) RMSE 和 MAE Signature 和對數(shù) Signature。

研究人員使用一個封閉式方程來計算可能的最佳比例因子。最終實現(xiàn)的分類結(jié)果在 CPU 上的執(zhí)行速度比其他方法快幾個數(shù)量級。作者報告了在 AFHQ 數(shù)據(jù)集、Four Shapes、MNIST 和 CIFAR10 的結(jié)果，在所有任務(wù)上都實現(xiàn)了 100% 的準確率。

MNIST 被認為是機器學(xué)習的 Hello World，是大家入門時都會用到的數(shù)據(jù)集，其包含 7 萬張手寫數(shù)字圖像，其中 6 萬張用于訓(xùn)練，1 萬用于測試。MNIST 中的圖像是灰度的，分辨率僅 28×28 像素。盡管問題「簡單」，但實現(xiàn) 100% 識別準確度的算法總是讓人感覺不靠譜，讓我們看看論文是怎么說的。

論文鏈接：https://arxiv.org/abs/2204.07953v1

代碼：https://github.com/decurtoydiaz/learning_with_signatures

借助Signature，少量標記樣本媲美深度學(xué)習收益

在上個世紀，讓計算機具有學(xué)習能力一直是重要的研究方向。近年來，使用深度學(xué)習中的有監(jiān)督和無監(jiān)督學(xué)習已經(jīng)成為 SOTA 解決方案代表?；谀Ｐ偷慕鉀Q方案占主導(dǎo)地位的領(lǐng)域已迅速轉(zhuǎn)變?yōu)閿?shù)據(jù)驅(qū)動的框架，并取得了前所未有的成功。然而，由于此類模型的超參數(shù)數(shù)量多，難以解釋，且其魯棒性缺乏收斂理論保證，因此在一些領(lǐng)域進展停滯不前。

近年來將 Signature Transform 集成到學(xué)習框架中已經(jīng)取得不錯進展，其主要作為 ML 范式中的特征提取器或作為深度網(wǎng)絡(luò)內(nèi)的池化層。由于 Signature 良好理論特性，不少研究者將其作為構(gòu)建學(xué)習問題的一種方式。然而，關(guān)于 Signature 的通用框架尚未建立，這主要是因為沒有一個正確定義的得分函數(shù)來指導(dǎo)學(xué)習機制。

近日，有研究者提出通過使用 Signature Transform 來研究一種新型的學(xué)習機制，這是一種最近開發(fā)的諧波分析工具，它提供了對不規(guī)則采樣數(shù)據(jù)流的緊湊豐富的描述。研究者探索了這樣一個觀點，即通過將數(shù)據(jù)轉(zhuǎn)換為一個緊湊而完整的域，該研究可以通過使用很少的標記樣本來獲得與深度學(xué)習相同的經(jīng)驗收益。

此外，Signature 的通用非線性屬性，不受時間重新參數(shù)化影響，使其成為更適合計算機推理知識替代表示的理想候選者。畢竟，人類不需要成千上萬的例子來學(xué)習簡單的概念，而只需要少量精心挑選的例子來快速正確地猜測。Signatures 的出現(xiàn)實現(xiàn)了這一目標，計算機可以迅速地推斷出信息，因為其表示形式容易理解、豐富且完整。不過這還需要一個得分函數(shù)，就像損失和信用分配給傳統(tǒng)的學(xué)習框架提供了將優(yōu)化引導(dǎo)到一個可能很好的解決方案的能力一樣。

該研究使用 RMSE、MAE Signature 和 log-signature 來評估圖像分布之間的視覺相似性，以確定 GAN 收斂。從另一個角度來看，RMSE、MAE Signature 和對數(shù) signature 確實是正確定義的得分函數(shù)，可用于分類、聚類等任務(wù)。在此假設(shè)下，本研究旨在進一步研究這種學(xué)習框架的行為、性質(zhì)及其在若干任務(wù)上的泛化能力。

在 Signature 情況下，該研究建議使用基于 Signature Transform 相似性度量。該框架在 CPU 上的工作速度比深度學(xué)習方法快幾個數(shù)量級，并且避免了在 GPU 上以高計算和環(huán)境成本完成的數(shù)百萬超參數(shù)的繁瑣信用分配。這些度量可以捕獲詳細的視覺線索，它們可用于內(nèi)存占用非常小、執(zhí)行速度快、準確度高的分類任務(wù)。

關(guān)于信用分配，例如反向傳播，一直是現(xiàn)代自動化學(xué)習技術(shù)的基礎(chǔ)；僅通過一次（pass）（即使用一個 epoch）從數(shù)據(jù)中提取所有后續(xù)信息在理論上是可行的。但實際上，由于學(xué)習機制的限制，很多方法使用不止一次的訓(xùn)練數(shù)據(jù)傳遞，這些特點不能歸結(jié)為其優(yōu)勢。給定一個適當?shù)牡梅趾瘮?shù)，signatures 提供一種緊湊表示，計算機可以使用它來推斷細粒度信息，而無需使用反向傳播，因此避免優(yōu)化數(shù)百萬個超參數(shù)。

與其他訓(xùn)練機制相比，使用帶有 signatures 的學(xué)習具有計算優(yōu)勢，因為標記示例的數(shù)量可以大大減少，并且訓(xùn)練被逐元素均值所取代，這賦予了良好泛化所需的統(tǒng)計魯棒性。

給定一組 signature 順序為元素均值定義為：則 RMSE 和 MAE signature 可定義為：

使用 Signature 的 Few-shot 分類

作者認為，可以使用 signature 和定義分數(shù)函數(shù)對比測試樣本（在可選的增強和計算元素平均值之后），從而實現(xiàn) Few-shot 樣本分類。實現(xiàn)極高分類準確率所需的 Signature 數(shù)量可能取決于任務(wù)的復(fù)雜性，某些類別可能只需要一個，具有更多可變性的類別可能需要數(shù)萬到數(shù)千個訓(xùn)練樣本。

為了進一步研究通過對同一測試實例的多個變換版本進行平均而引入的多重性的影響，作者使用特定增強技術(shù)（如隨機對比）展示了可視化結(jié)果。

）圖 1：在 AFHQ 的 300 張圖像上帶有簽名的 PCA 自適應(yīng) t-SNE，類別：貓（紅色）、狗（綠色）和野生（藍色）。

圖 2：給定 AFQH 樣本的特征變換光譜及其對應(yīng)變換與隨機對比度 (a)-(d) 的比較。

通常，人們會認為在訓(xùn)練集上實現(xiàn) 100% 準確率肯定是出現(xiàn)了數(shù)據(jù)泄露問題。對于該研究，社交網(wǎng)絡(luò)中的質(zhì)疑聲較多。

在 reddit 上，有網(wǎng)友表示：「MNIST 數(shù)據(jù)集中有幾個圖人類的分類方式與標簽不同。100% 的測試集準確率表明網(wǎng)絡(luò)實際上比那些錯誤率的 99.7% 的網(wǎng)絡(luò)還要差。所以正如其他人所說，100% 準確率的數(shù)字非常可疑?！?/p>

參考內(nèi)容：

https://www.reddit.com/r/MachineLearning/comments/u7ouxh/r_authors_claim_to_have_solved_mnist_and_cifar/

關(guān)鍵詞： 有人聲稱解決了MNIST與CIFAR 實現(xiàn)了100％準確率