| 企服解答

大數(shù)據(jù)工作者可以施展拳腳的領(lǐng)域非常廣泛，從國防部、互聯(lián)網(wǎng)創(chuàng)業(yè)公司到金融機構(gòu)，到處需要大數(shù)據(jù)項目來做創(chuàng)新驅(qū)動。目前大數(shù)據(jù)的工作分為Hadoop大數(shù)據(jù)開發(fā)方向、數(shù)據(jù)挖掘、機器學習方向、大數(shù)據(jù)運維方向三個方向。

大數(shù)據(jù)是什么工作

1、Hadoop大數(shù)據(jù)開發(fā)方向 

Hadoop里面包括幾個組件HDFS、MapReduce和YARN，HDFS是存儲數(shù)據(jù)的地方就像我們電腦的硬盤一樣文件都存儲在這個上面，MapReduce是對數(shù)據(jù)進行處理計算的，它有個特點就是不管多大的數(shù)據(jù)只要給它時間它就能把數(shù)據(jù)跑完，但是時間可能不是很快所以它叫數(shù)據(jù)的批處理。

2、機器學習方向 

機器學習屬于人工智能研究與應用的一個分支領(lǐng)域。機器學習的研究更加偏向理論性，其目的更偏向于是研究一種為了讓計算機不斷從數(shù)據(jù)中學習知識，而使機器學習得到的結(jié)果不斷接近目標函數(shù)的理論。

機器學習，引用卡內(nèi)基梅隆大學機器學習研究領(lǐng)域的著名教授Tom Mitchell的經(jīng)典定義：如果一個程序在使用既有的經(jīng)驗E(Experience)來執(zhí)行某類任務(wù)T(Task)的過程中被認為是“具備學習能力的”，那么它一定要展現(xiàn)出：利用現(xiàn)有的經(jīng)驗E，不斷改善其完成既定任務(wù)T的性能(Performance)的特質(zhì)。

3、大數(shù)據(jù)運維方向

這里說的大數(shù)據(jù)運維主要是指hadoop生態(tài)體系方面的運維，在一些小公司或者傳統(tǒng)行業(yè)的大公司也會使用oracle、db2等技術(shù)棧，在互聯(lián)網(wǎng)行業(yè)數(shù)據(jù)量稍微大點的公司基本都是使用hadoop技術(shù)棧，像在電信或者銀行領(lǐng)域基本上是oracle/db2、hadoop同時使用。

| 拓展閱讀

目前大數(shù)據(jù)在各行各業(yè)中都能夠得到應用

1、醫(yī)療器械職業(yè)

醫(yī)療器械職業(yè)有著許許多多的病案，病理陳述，痊愈計劃以及藥品陳述這些。在未來，憑借著數(shù)據(jù)管理平臺，人們可以收集不一樣的病案與治療計劃及其患者的本質(zhì)特征，可以創(chuàng)立有關(guān)病癥特性的數(shù)據(jù)庫查詢。

2、生物大數(shù)據(jù)

自人類基因組計劃完成以來，以美國為代表，世界主要發(fā)達國家紛紛啟動了生命科學基礎(chǔ)研究計劃，如國際千人基因組計劃、DNA百科全書計劃、英國十萬人基因組計劃等。這些計劃引領(lǐng)生物數(shù)據(jù)呈爆炸式增長，目前每年全球產(chǎn)生的生物數(shù)據(jù)總量已達EB級，生命科學領(lǐng)域正在爆發(fā)一次數(shù)據(jù)革命，生命科學某種程度上已經(jīng)成為大數(shù)據(jù)科學。

3、金融交易

大數(shù)據(jù)在金融行業(yè)的應用主要是在金融交易。高頻交易(HFT)是大數(shù)據(jù)應用比較多的領(lǐng)域。其中，大數(shù)據(jù)算法被用來作出交易決定。現(xiàn)在，大多數(shù)股權(quán)交易都是通過大數(shù)據(jù)算法進行，這些算法越來越多地開始考慮社交媒體網(wǎng)絡(luò)和新聞網(wǎng)站的信息來在幾秒內(nèi)做出買入和賣出的決定。