大數(shù)據(jù)究竟有多“大”？谷歌搜索的規(guī)模為 62 PB，排名倒數(shù)第一

作者 | 西西

編輯 | 陳彩嫻

眾所周知，算法、算力與數(shù)據(jù)是人工智能（AI）發(fā)展的“三駕馬車”，吳恩達(dá)等學(xué)者也常說：以數(shù)據(jù)為中心的AI，或數(shù)據(jù)驅(qū)動(dòng)的AI。

由此可見，近年來激增的數(shù)據(jù)量是 AI 騰飛的源動(dòng)力之一，數(shù)據(jù)在 AI 中扮演重要角色。那么，人們口中常說的“大數(shù)據(jù)”，規(guī)模究竟有多大呢？

出于好奇心，一位意大利物理研究者 Luca Clissa 調(diào)查了 2021 年幾個(gè)知名大數(shù)據(jù)源（谷歌搜索、Facebook、Netflix、亞馬遜等等）的規(guī)模大小，并將它們與大型強(qiáng)子對(duì)撞機(jī)（LHC）的電子設(shè)備所檢測(cè)到的數(shù)據(jù)做了對(duì)比。

地址：https://arxiv.org/pdf/2202.07659.pdf

毫無疑問，LHC 的數(shù)據(jù)量是驚人的，高達(dá) 40k EB。但商業(yè)公司的數(shù)據(jù)量也不容小覷，比如，亞馬遜S3存儲(chǔ)的數(shù)據(jù)量也達(dá)到了大約 500 EB，大致相當(dāng)于谷歌搜索（62 PB）的 7530 倍。

此外，流數(shù)據(jù)在大數(shù)據(jù)市場(chǎng)中也占有一席之地。Netflix 和電子通信等服務(wù)產(chǎn)生的流量比單純的數(shù)據(jù)生產(chǎn)者要多一到兩個(gè)數(shù)量級(jí)。

1

LHC 的數(shù)據(jù)量

根據(jù) Luca Clissa 的調(diào)查，2021年各大知名數(shù)據(jù)源的體量大約如下：

圖注：2021年的大數(shù)據(jù)規(guī)模

右上角（灰色部分）是歐洲核子研究組織（CERN）大型強(qiáng)子對(duì)撞機(jī)（LHC）實(shí)驗(yàn)的電子設(shè)備所檢測(cè)到的數(shù)據(jù)，規(guī)模最大。

在上一次運(yùn)行（2018 年）中，LHC 在四個(gè)主要實(shí)驗(yàn)（ATLAS、ALICE、CMS 和 LHCb）中的每一個(gè)實(shí)驗(yàn)里，每秒產(chǎn)生大約 24 億次粒子碰撞，每次碰撞可以提供約 100 MB 數(shù)據(jù)，因此預(yù)計(jì)年產(chǎn)原始數(shù)據(jù)量約為 40k EB（=10億千兆字節(jié)）。

但根據(jù)目前的技術(shù)和預(yù)算，存儲(chǔ) 40k EB 數(shù)據(jù)是不可能的。而且，實(shí)際上只有一小部分?jǐn)?shù)據(jù)有意義，因此沒有必要記錄所有數(shù)據(jù)。記錄的數(shù)據(jù)量也降低到了每天大約 1 PB，2018 年的最后一次真實(shí)數(shù)據(jù)只采集了 160 PB，模擬數(shù)據(jù) 240 PB。

此外，收集的數(shù)據(jù)通過 WLCG （全球LHC計(jì)算網(wǎng)絡(luò)）不斷傳輸，2018 年產(chǎn)生了 1.9k PB 的年流量。

不過，歐洲核子研究組織（CERN）正在努力加強(qiáng) LHC 的能力，進(jìn)行 HL-LHC 升級(jí)。這個(gè)過程預(yù)計(jì)生成的數(shù)據(jù)量將增加 5 倍以上，到 2026 年，每年估計(jì)產(chǎn)生 800 PB的新數(shù)據(jù)。

2

大廠數(shù)據(jù)量對(duì)比

大公司的數(shù)據(jù)量很難追蹤，且數(shù)據(jù)通常不會(huì)公開。對(duì)此，Luca Clissa 采用了費(fèi)米估算法（Fermi estimation），將數(shù)據(jù)生產(chǎn)過程分解為其原子組成部分，并做出合理的猜測(cè)。

比如，針對(duì)特定數(shù)據(jù)源，檢索在給定時(shí)間窗口內(nèi)產(chǎn)生的內(nèi)容量。然后通過對(duì)這些內(nèi)容的單位大小的合理猜測(cè)來推斷數(shù)據(jù)總量，例如平均郵件或圖片大小，1 小時(shí)視頻的平均數(shù)據(jù)流量等等。

他對(duì)谷歌搜索、YouTube、Facebook等等數(shù)據(jù)源進(jìn)行了估算，結(jié)論如下：

谷歌搜索：最近的一項(xiàng)分析估計(jì)，Google 搜索引擎包含 30 到 500 億個(gè)網(wǎng)頁(yè)。根據(jù) Web Almanac 所提供的信息，假設(shè)谷歌的年度平均頁(yè)面大小約為 2.15 MB，截至 2021 年，Google 搜索引擎的數(shù)據(jù)總規(guī)模應(yīng)約為62 PB。

YouTube：根據(jù) Backlinko 的數(shù)據(jù)，2021 年用戶每天在 YouTube 上上傳的視頻時(shí)長(zhǎng)為 72 萬小時(shí)。假設(shè)平均大小為 1 GB（標(biāo)準(zhǔn)清晰度），2021年 YouTube 的數(shù)據(jù)大小約為263 PB。

Facebook 與 Instagram：Domo 的 Data Never Sleeps 9.0 報(bào)告估計(jì)，2021 年 Facebook 與 Instagram 每分鐘上傳的圖片數(shù)量分別為 240k 和 65k。假設(shè)平均大小為 2 MB，則總共大約為252 PB 和 68 PB。

DropBox：雖然 Dropbox 本身不產(chǎn)生數(shù)據(jù)，但它提供了云存儲(chǔ)解決方案來托管用戶的內(nèi)容。2020年，公司宣布新增用戶 1 億，其中付費(fèi)訂閱用戶達(dá)到 117 萬。通過推測(cè)免費(fèi)和付費(fèi)訂閱的占用率分別為 75%（2 GB）和 25%（2 TB），Dropbox 用戶在 2020 年所需的存儲(chǔ)量約為733 PB。

電子郵件：根據(jù) Statista 的數(shù)據(jù)，從 2020 年 10 月到 2021 年 9 月，用戶大約傳送了近 131,000 億次電子通信（包含 71,000 億封電子郵件和 60,000 億封垃圾郵件）。假設(shè)標(biāo)準(zhǔn)郵件和垃圾郵件的平均大小分別為 75 KB 和 5 KB ，我們可以估計(jì)電子郵件的總流量約為5.7k PB。

Netflix：Domo 估計(jì)，2021 年 Netflix 用戶每天消耗 1.4 億小時(shí)的流媒體播放，假設(shè)每小時(shí) 1 GB（標(biāo)準(zhǔn)定義），總計(jì)大約51.1k PB。

亞馬遜：亞馬遜網(wǎng)絡(luò)服務(wù) (AWS) 的首席布道師 Jeff Barr稱，截至 2021 年，亞馬遜 S3 （Simple Storage Service）中存儲(chǔ)了超過 100 萬億個(gè)對(duì)象。假設(shè)平均每桶的對(duì)象大小為 5 MB ，那么存儲(chǔ)在 S3 中的文件的總大小則約等于500 EB。

總的來說，科學(xué)數(shù)據(jù)可以在數(shù)量上與商業(yè)數(shù)據(jù)源相媲美。

參考鏈接：

1.https://towardsdatascience.com/how-big-are-big-data-in-2021-6dc09aff5ced

2.https://firstsiteguide.com/google-search-stats/

3.https://backlinko.com/

4.https://mms.businesswire.com/media/20210929005835/en/911394/5/data-never-sleeps-9.0-1200px.jpg?download=1

5.https://backlinko.com/dropbox-users

6.https://www.statista.com/

7.https://aws.amazon.com/cn/blogs/aws/amazon-s3s-15th-birthday-it-is-still-day-1-after-5475-days-100-trillion-objects/

8.https://atlas.cern/

雷峰網(wǎng)雷峰網(wǎng)

關(guān)鍵詞： 大數(shù)據(jù)究竟有多大谷歌搜索的規(guī)模為 排名倒數(shù)