譯者 | 陳峻
在大數(shù)據(jù)的世界里,您可能會(huì)經(jīng)常聽(tīng)到兩個(gè)詞語(yǔ):數(shù)據(jù)科學(xué)(Data Science)和數(shù)據(jù)分析(Data Analytics)。它們雖然從字面上有些相似,但是在大數(shù)據(jù)的背景下它們強(qiáng)調(diào)的是不同的能力和技能方面。下面,我將從職業(yè)決策與規(guī)劃的角度,和您討論兩者之間的差異。
一、知識(shí)儲(chǔ)備
無(wú)論是數(shù)據(jù)分析還是數(shù)據(jù)科學(xué)領(lǐng)域,都正在變得更加豐富、更加專業(yè)化。因此,如果您想進(jìn)入這兩種職業(yè)領(lǐng)域中的任何一種,都需要做好充分的準(zhǔn)備,以滿足各項(xiàng)實(shí)際工作的需求。其中:
數(shù)據(jù)分析
數(shù)據(jù)分析領(lǐng)域的相關(guān)工作,往往需要事先對(duì)RDBMS(關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng),Relational Database Management System)和操作數(shù)據(jù)結(jié)構(gòu)模式(Structure Schema)的SQL、以及查詢開(kāi)發(fā)等方面有所了解。同時(shí),您也需要具備使用R或Python語(yǔ)言,進(jìn)行統(tǒng)計(jì)編程的相關(guān)知識(shí)。此外,機(jī)器學(xué)習(xí)(Machine Learning,ML)、人工智能(Artificial Intelligence,AI)、自定義算法的開(kāi)發(fā)、以及圍繞著信息收集與存儲(chǔ)的數(shù)據(jù)管理知識(shí),也會(huì)讓您達(dá)到事半功倍的效果。簡(jiǎn)而言之,您需要擁有IT、計(jì)算機(jī)科學(xué)、數(shù)學(xué)、以及統(tǒng)計(jì)學(xué)的相關(guān)應(yīng)用知識(shí)與技能。
數(shù)據(jù)科學(xué)
數(shù)據(jù)科學(xué)家往往具有計(jì)算機(jī)科學(xué)、信息技術(shù)、應(yīng)用數(shù)學(xué)或統(tǒng)計(jì)學(xué)的教育背景。這些核心知識(shí)可以為您開(kāi)展提供、收集、組織、處理和建模業(yè)務(wù)數(shù)據(jù),做好準(zhǔn)備。同時(shí),您也可以了解并掌握有關(guān)數(shù)據(jù)可視化、基于API的數(shù)據(jù)收集與準(zhǔn)備等方面的專業(yè)知識(shí)。這些對(duì)于您開(kāi)展探索性數(shù)據(jù)分析,遵循和建立模型,以及對(duì)模型進(jìn)行定制化設(shè)計(jì)與測(cè)試等工作,都十分有益。此外,您在基于AI的預(yù)測(cè)性建模時(shí),前面提到的ML和AI領(lǐng)域的相關(guān)技能也總歸是技不壓身的。
2. 工作角色和職責(zé)
無(wú)論是數(shù)據(jù)分析師還是數(shù)據(jù)科學(xué)家,根據(jù)專業(yè)水平和企業(yè)性質(zhì)的差異,他們的日常角色和工作職能也會(huì)有所不同。主要體現(xiàn)在:
數(shù)據(jù)分析
數(shù)據(jù)分析師往往主要聚焦于分析、可視化、以及挖掘那些特定于業(yè)務(wù)的數(shù)據(jù)。其角色職能包括:
清理、處理、驗(yàn)證、以及例證(exemplify)數(shù)據(jù)的完整性
對(duì)大型數(shù)據(jù)集進(jìn)行探索性數(shù)據(jù)分析
實(shí)施ETL(抽取extract、轉(zhuǎn)換transform、加載load)管道,并進(jìn)行數(shù)據(jù)挖掘
使用邏輯回歸、KNN(K最鄰近,K-NearestNeighbor分類算法)、隨機(jī)森林、以及決策樹(shù),進(jìn)行統(tǒng)計(jì)分析
在編寫(xiě)自動(dòng)化代碼的同時(shí),構(gòu)建和管理機(jī)器學(xué)習(xí)(ML)庫(kù)
使用ML工具和算法獲得新的數(shù)據(jù)洞見(jiàn)
識(shí)別數(shù)據(jù)模型,進(jìn)而做出明智的、以數(shù)據(jù)為支持的預(yù)測(cè)
數(shù)據(jù)科學(xué)
數(shù)據(jù)科學(xué)主要涉及到從業(yè)務(wù)的上下文數(shù)據(jù)中,獲得洞見(jiàn)并得出推論。其角色職能包括:
收集和解釋數(shù)據(jù)
識(shí)別數(shù)據(jù)集中的相關(guān)模式
執(zhí)行基于SQL的數(shù)據(jù)查詢和子查詢
使用SQL、Python、SAS(統(tǒng)計(jì)分析軟件)等RDBMS工具去查詢數(shù)據(jù)
熟練掌握各種預(yù)測(cè)性、規(guī)范性、描述性和診斷性的分析工具
掌握Tableau和IBM Cognos Analytics等可視化工具的使用
3. 基本技能組合
由于這兩個(gè)角色都屬于專業(yè)領(lǐng)域,因此它們需要特定的技能集,才能勝任日常的基本工作。具體而言:
數(shù)據(jù)分析
除了具有問(wèn)題解決能力的中級(jí)統(tǒng)計(jì)(intermediate statistics)知識(shí)和高級(jí)分析技能外,數(shù)據(jù)分析師的技能還包括:
能夠通過(guò)Microsoft Excel和SQL數(shù)據(jù)庫(kù),對(duì)數(shù)據(jù)進(jìn)行切片和切塊
運(yùn)用商業(yè)智能工具生成相關(guān)報(bào)告
通過(guò)運(yùn)用Python、R和SAS等工具,來(lái)管理、操作和使用數(shù)據(jù)集
相對(duì)于IT工程經(jīng)驗(yàn),數(shù)據(jù)分析師更需要掌握學(xué)習(xí)統(tǒng)計(jì)、數(shù)據(jù)庫(kù)管理、數(shù)據(jù)建模、以及預(yù)測(cè)分析等技能。
數(shù)據(jù)科學(xué)
作為數(shù)據(jù)科學(xué)家,您除了需要精通數(shù)學(xué)、高級(jí)統(tǒng)計(jì)學(xué)、預(yù)測(cè)性建模、以及機(jī)器學(xué)習(xí)之外,還需要掌握如下領(lǐng)域的軟件知識(shí):
Hadoop和Spark針對(duì)大數(shù)據(jù)工具的專業(yè)知識(shí)
SQL、NoSQL和PostgreSQL數(shù)據(jù)庫(kù)方面的專業(yè)知識(shí)
了解數(shù)據(jù)可視化工具和諸如Scala和Python之類的語(yǔ)言
4. 工具譜
常言道:“工欲善其事,必先利其器?!焙玫墓ぞ邿o(wú)論是對(duì)于數(shù)據(jù)分析,還是數(shù)據(jù)科學(xué)都是至關(guān)重要。為了便于下載和選用,我將當(dāng)前市場(chǎng)上的工具,有針對(duì)性地進(jìn)行了分類:
數(shù)據(jù)分析
數(shù)據(jù)可視化類:Splunk、QlikView、Power BI、以及Tableau
ETL類:Talend
大數(shù)據(jù)處理類:Spark和RapidMiner
數(shù)據(jù)分析類:Microsoft Excel、R、以及Python
數(shù)據(jù)科學(xué)
應(yīng)用數(shù)據(jù)科學(xué)類:SAS、KNIME、RapidMiner、PowerBI、以及DataRobot
ETL類:Apache Kafka
大數(shù)據(jù)處理類:Apache Hadoop、Spark
數(shù)據(jù)可視化類:Tableau、BigML、Trifacta、QlikView、MicroStrategy、以及Google Analytics
數(shù)據(jù)分析類:Microsoft Excel、Apache Flink、SAP Hana、MongoDB、MiniTab、以及SPSS
編程類:R、Julia、以及Python
編程庫(kù)類:可用于針對(duì)基于Python數(shù)據(jù)建模的TensorFlow
5. 職業(yè)機(jī)會(huì)
有了前面的信息,您一定想知道在企業(yè)中,會(huì)有哪些適合數(shù)據(jù)分析和數(shù)據(jù)科學(xué)領(lǐng)域的熱門(mén)職業(yè)可供選擇呢?
數(shù)據(jù)分析
商業(yè)智能分析師
數(shù)據(jù)分析師
定量分析師
數(shù)據(jù)分析顧問(wèn)
運(yùn)營(yíng)分析師
營(yíng)銷分析師
項(xiàng)目經(jīng)理
IT系統(tǒng)分析師
運(yùn)輸物流專家
數(shù)據(jù)科學(xué)
數(shù)據(jù)分析師
數(shù)據(jù)工程師
數(shù)據(jù)庫(kù)管理員
機(jī)器學(xué)習(xí)工程師
數(shù)據(jù)科學(xué)家
數(shù)據(jù)架構(gòu)師
統(tǒng)計(jì)員
業(yè)務(wù)分析師
數(shù)據(jù)和分析經(jīng)理
小結(jié)
根據(jù)上述比較,我們不難發(fā)現(xiàn)企業(yè)對(duì)于數(shù)據(jù)科學(xué)家本身、以及技能上的要求,要比對(duì)普通數(shù)據(jù)分析師的要求高出一些。不過(guò),在職場(chǎng)上,人們通常會(huì)以數(shù)據(jù)分析師的身份開(kāi)始他們的職業(yè)生涯,然后再逐漸轉(zhuǎn)向數(shù)據(jù)科學(xué)領(lǐng)域。對(duì)于初學(xué)者而言,您也可以從數(shù)據(jù)架構(gòu)、以及數(shù)據(jù)工程的相關(guān)職位開(kāi)始,不斷打磨和歷練自己,最終成為該領(lǐng)域的專家。
譯者介紹
陳峻 (Julian Chen),51CTO社區(qū)編輯,具有十多年的IT項(xiàng)目實(shí)施經(jīng)驗(yàn),善于對(duì)內(nèi)外部資源與風(fēng)險(xiǎn)實(shí)施管控,專注傳播網(wǎng)絡(luò)與信息安全知識(shí)與經(jīng)驗(yàn);持續(xù)以博文、專題和譯文等形式,分享前沿技術(shù)與新知;經(jīng)常以線上、線下等方式,開(kāi)展信息安全類培訓(xùn)與授課。
原文標(biāo)題:Data Analysis vs. Data Science: 5 Things to Consider,作者:GAURAV SIYAL
關(guān)鍵詞: 數(shù)據(jù)分析和數(shù)據(jù)科學(xué)的五大不同之處 數(shù)據(jù)可視化 機(jī)器學(xué)習(xí)