大數(shù)據(jù)是企業(yè)技術(shù)、運營中的一部分,，如何存儲,、管理數(shù)據(jù)和分析數(shù)據(jù)需要專業(yè)知識。現(xiàn)在大數(shù)據(jù)技能可以直接購買,、租用或教授,，但個人在尋找專業(yè)知識之前，就需要清楚地了解自身適合的大數(shù)據(jù)技能,，以及已經(jīng)具備的大數(shù)據(jù)技能都有什么,。

市場專家預(yù)測大數(shù)據(jù)行業(yè)人才短缺已經(jīng)有存在很長時間。麥肯錫曾預(yù)測,，到2020年,，大數(shù)據(jù)將成為推動生產(chǎn)總值(GDP)增長的五大"游戲規(guī)則改變者之一。因為缺乏人才,，擁有大數(shù)據(jù)技能的人才顯得更加緊缺,。

在這個數(shù)字化時代我們所需要關(guān)注的大數(shù)據(jù)技能都有哪些呢？

大數(shù)據(jù)是一個團隊努力的結(jié)果,，所以大數(shù)據(jù)專家（大數(shù)據(jù)從業(yè)者,、數(shù)據(jù)科學(xué)家、數(shù)據(jù)分析師等等大數(shù)據(jù)崗位）將來自公司的所有部分,。一個跨各個領(lǐng)域的團隊將代表所有受益或受大數(shù)據(jù)影響的人,，確定大數(shù)據(jù)項目的范圍，審查數(shù)據(jù)源和潛在結(jié)果,。然而,，還需要由IT技術(shù)人員決定，將實踐專業(yè)知識應(yīng)用于數(shù)據(jù)技能將分為三個基本領(lǐng)域：基礎(chǔ)架構(gòu),，編程和分析,。

為了支持分析，需要開發(fā)一個能夠存儲大量數(shù)據(jù)(不僅是tb,，可能是pb)的企業(yè)基礎(chǔ)設(shè)施,。高速大數(shù)據(jù)處理所需的存儲通常不是網(wǎng)絡(luò)附加存儲(NAS)或存儲區(qū)域網(wǎng)絡(luò)(san),，而是分散在集群計算節(jié)點中的直接附加存儲(DAS)。大數(shù)據(jù)系統(tǒng)必須是可伸縮的系統(tǒng),，并且能夠隨時添加存儲,，無論是在企業(yè)內(nèi)部還是在云中。它還必須設(shè)計用于高速I/O處理,、并行處理,、虛擬化和高吞吐量等。

IT技術(shù)人員幫助管理存儲的數(shù)據(jù)流,。盡管大數(shù)據(jù)的數(shù)據(jù)量很大無法通過DBMS,、RDBMS和ORDBMS等標準數(shù)據(jù)庫管理系統(tǒng)，但這些數(shù)據(jù)庫編程技能仍然很有用,。從DBMS和RDBMS數(shù)據(jù)庫中提取結(jié)構(gòu)化數(shù)據(jù)并對其進行標記以進行分析,，非結(jié)構(gòu)化數(shù)據(jù)也是其中的一部分，多達80%的業(yè)務(wù)數(shù)據(jù)以word文件,、電子表格,、音頻、視頻和外部社交媒體的形式組成的非結(jié)構(gòu)化的,。數(shù)據(jù)庫編程技能能夠很好地適應(yīng)MongoDb,、Cassandra、Solr,、Redis和Neo4j等大數(shù)據(jù)NoSQL編程平臺,。

而數(shù)據(jù)庫程序員可以填補一些空白，填補轉(zhuǎn)換數(shù)據(jù)進行分析,，大部分負擔將落在數(shù)據(jù)分析師等職業(yè)上。

數(shù)據(jù)分析師們負責構(gòu)建和管理提供大數(shù)據(jù)見解的算法,。 Apache Hadoop 已經(jīng)成為最常見的大數(shù)據(jù)框架,，大數(shù)據(jù)科學(xué)家擅長使用 Hadoop 進行分布式文件處理，以及使用開源工具,，云計算資源和數(shù)據(jù)可視化工具,。如果您無法找到這些任務(wù)的數(shù)據(jù)科學(xué)家，您可以嘗試招聘具有數(shù)學(xué)背景的程序員,，或者了解業(yè)務(wù)問題的統(tǒng)計員,。

數(shù)據(jù)分析師負責建立和管理算法，交付大數(shù)據(jù)的見解,?？赡蹵pache Hadoop框架，是最常見的大數(shù)據(jù)和大數(shù)據(jù)分析師家們使用的軟件,，用Hadoop分布式文件處理,，以及使用開源工具,、云計算資源和數(shù)據(jù)可視化工具。

漸漸的Python脫穎而出,，Python在程序中使用最少的代碼進行工作而聞名,。自動標識和關(guān)聯(lián)數(shù)據(jù)類型，并遵循基于縮進的嵌套結(jié)構(gòu),?？偟膩碚f，Python易于使用,，并且在編碼中使用的時間較短,，數(shù)據(jù)處理也沒有限制?？梢栽谏唐窓C器,、筆記本電腦、云計算,、桌面等等基本上到處都可以計算數(shù)據(jù),。早期的Python被認為比Java和Scala等同類語言要慢，隨著Anaconda平臺的發(fā)展,，Python已經(jīng)在速度上做到了反超,，因此，它在開發(fā)和執(zhí)行方面都是比較快速的,。

• 上一篇：助推現(xiàn)代IDC液體冷卻技術(shù)復(fù)興,，AI至關(guān)重要
• 下一篇：數(shù)據(jù)中心市場的五大新趨勢與五大技術(shù)解決方案
  
• 文章標簽：
• 注：原創(chuàng)內(nèi)容，禁止轉(zhuǎn)載,，如有轉(zhuǎn)載,，請標明出處。如有內(nèi)容侵犯您的權(quán)益,，請聯(lián)系刪除,！QQ:315212307