大數(shù)據(jù)是企業(yè)技術(shù),、運(yùn)營中的一部分,，如何存儲、管理數(shù)據(jù)和分析數(shù)據(jù)需要專業(yè)知識?，F(xiàn)在大數(shù)據(jù)技能可以直接購買,、租用或教授，但個人在尋找專業(yè)知識之前,，就需要清楚地了解自身適合的大數(shù)據(jù)技能,，以及已經(jīng)具備的大數(shù)據(jù)技能都有什么,。

市場專家預(yù)測大數(shù)據(jù)行業(yè)人才短缺已經(jīng)有存在很長時間。麥肯錫曾預(yù)測,，到2020年,，大數(shù)據(jù)將成為推動生產(chǎn)總值(GDP)增長的五大"游戲規(guī)則改變者之一。因?yàn)槿狈θ瞬?，擁有大?shù)據(jù)技能的人才顯得更加緊缺,。

在這個數(shù)字化時代我們所需要關(guān)注的大數(shù)據(jù)技能都有哪些呢？

大數(shù)據(jù)是一個團(tuán)隊(duì)努力的結(jié)果,，所以大數(shù)據(jù)專家（大數(shù)據(jù)從業(yè)者,、數(shù)據(jù)科學(xué)家、數(shù)據(jù)分析師等等大數(shù)據(jù)崗位）將來自公司的所有部分,。一個跨各個領(lǐng)域的團(tuán)隊(duì)將代表所有受益或受大數(shù)據(jù)影響的人,，確定大數(shù)據(jù)項(xiàng)目的范圍，審查數(shù)據(jù)源和潛在結(jié)果,。然而,，還需要由IT技術(shù)人員決定，將實(shí)踐專業(yè)知識應(yīng)用于數(shù)據(jù)技能將分為三個基本領(lǐng)域：基礎(chǔ)架構(gòu),，編程和分析,。

為了支持分析，需要開發(fā)一個能夠存儲大量數(shù)據(jù)(不僅是tb,，可能是pb)的企業(yè)基礎(chǔ)設(shè)施,。高速大數(shù)據(jù)處理所需的存儲通常不是網(wǎng)絡(luò)附加存儲(NAS)或存儲區(qū)域網(wǎng)絡(luò)(san)，而是分散在集群計(jì)算節(jié)點(diǎn)中的直接附加存儲(DAS),。大數(shù)據(jù)系統(tǒng)必須是可伸縮的系統(tǒng),，并且能夠隨時添加存儲，無論是在企業(yè)內(nèi)部還是在云中,。它還必須設(shè)計(jì)用于高速I/O處理,、并行處理、虛擬化和高吞吐量等,。

IT技術(shù)人員幫助管理存儲的數(shù)據(jù)流,。盡管大數(shù)據(jù)的數(shù)據(jù)量很大無法通過DBMS、RDBMS和ORDBMS等標(biāo)準(zhǔn)數(shù)據(jù)庫管理系統(tǒng),，但這些數(shù)據(jù)庫編程技能仍然很有用,。從DBMS和RDBMS數(shù)據(jù)庫中提取結(jié)構(gòu)化數(shù)據(jù)并對其進(jìn)行標(biāo)記以進(jìn)行分析，非結(jié)構(gòu)化數(shù)據(jù)也是其中的一部分,，多達(dá)80%的業(yè)務(wù)數(shù)據(jù)以word文件,、電子表格、音頻、視頻和外部社交媒體的形式組成的非結(jié)構(gòu)化的,。數(shù)據(jù)庫編程技能能夠很好地適應(yīng)MongoDb,、Cassandra、Solr,、Redis和Neo4j等大數(shù)據(jù)NoSQL編程平臺,。

而數(shù)據(jù)庫程序員可以填補(bǔ)一些空白，填補(bǔ)轉(zhuǎn)換數(shù)據(jù)進(jìn)行分析,，大部分負(fù)擔(dān)將落在數(shù)據(jù)分析師等職業(yè)上,。

數(shù)據(jù)分析師們負(fù)責(zé)構(gòu)建和管理提供大數(shù)據(jù)見解的算法。 Apache Hadoop 已經(jīng)成為最常見的大數(shù)據(jù)框架,，大數(shù)據(jù)科學(xué)家擅長使用 Hadoop 進(jìn)行分布式文件處理,，以及使用開源工具，云計(jì)算資源和數(shù)據(jù)可視化工具,。如果您無法找到這些任務(wù)的數(shù)據(jù)科學(xué)家,，您可以嘗試招聘具有數(shù)學(xué)背景的程序員，或者了解業(yè)務(wù)問題的統(tǒng)計(jì)員,。

數(shù)據(jù)分析師負(fù)責(zé)建立和管理算法,，交付大數(shù)據(jù)的見解?？赡蹵pache Hadoop框架,，是最常見的大數(shù)據(jù)和大數(shù)據(jù)分析師家們使用的軟件，用Hadoop分布式文件處理,，以及使用開源工具,、云計(jì)算資源和數(shù)據(jù)可視化工具。

漸漸的Python脫穎而出,，Python在程序中使用最少的代碼進(jìn)行工作而聞名,。自動標(biāo)識和關(guān)聯(lián)數(shù)據(jù)類型，并遵循基于縮進(jìn)的嵌套結(jié)構(gòu),。總的來說,，Python易于使用,，并且在編碼中使用的時間較短，數(shù)據(jù)處理也沒有限制,?？梢栽谏唐窓C(jī)器、筆記本電腦,、云計(jì)算,、桌面等等基本上到處都可以計(jì)算數(shù)據(jù)。早期的Python被認(rèn)為比Java和Scala等同類語言要慢，隨著Anaconda平臺的發(fā)展,，Python已經(jīng)在速度上做到了反超,，因此，它在開發(fā)和執(zhí)行方面都是比較快速的,。

• 上一篇：助推現(xiàn)代IDC液體冷卻技術(shù)復(fù)興,，AI至關(guān)重要
• 下一篇：數(shù)據(jù)中心市場的五大新趨勢與五大技術(shù)解決方案
  
• 文章標(biāo)簽：
• 注：原創(chuàng)內(nèi)容，禁止轉(zhuǎn)載,，如有轉(zhuǎn)載,，請標(biāo)明出處。如有內(nèi)容侵犯您的權(quán)益,，請聯(lián)系刪除,！QQ:315212307