毫無疑問,大數(shù)據(jù)是近年來科學(xué)技術(shù)中的一個(gè)重要概念,大數(shù)據(jù)開拓了一個(gè)新的領(lǐng)域。大數(shù)據(jù)本身的定義正在不斷豐富和發(fā)展,越來越多的企業(yè)開始逐步融入大數(shù)據(jù)產(chǎn)業(yè)鏈。那么什么是大數(shù)據(jù)呢?大數(shù)據(jù)包含了哪些內(nèi)容呢,接下來小編為大家介紹介紹,感興趣的話不妨接著看下去吧!
大數(shù)據(jù)包含的內(nèi)容
大數(shù)據(jù)技術(shù)包括數(shù)據(jù)收集、數(shù)據(jù)存取、基礎(chǔ)架構(gòu)、數(shù)據(jù)處理、統(tǒng)計(jì)分析、數(shù)據(jù)挖掘、模型預(yù)測、結(jié)果呈現(xiàn)。
1、數(shù)據(jù)收集:在大數(shù)據(jù)的生命周期中,數(shù)據(jù)采集處于第一個(gè)環(huán)節(jié)。根據(jù)MapReduce產(chǎn)生數(shù)據(jù)的應(yīng)用系統(tǒng)分類,大數(shù)據(jù)的采集主要有4種來源:管理信息系統(tǒng)、Web信息系統(tǒng)、物理信息系統(tǒng)、科學(xué)實(shí)驗(yàn)系統(tǒng)。
2、數(shù)據(jù)存取:大數(shù)據(jù)的存去采用不同的技術(shù)路線,大致可以分為3類。第1類主要面對的是大規(guī)模的結(jié)構(gòu)化數(shù)據(jù)。第2類主要面對的是半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。第3類面對的是結(jié)構(gòu)化和非結(jié)構(gòu)化混合的大數(shù)據(jù),
3、基礎(chǔ)架構(gòu):云存儲、分布式文件存儲等。
4、數(shù)據(jù)處理:對于采集到的不同的數(shù)據(jù)集,可能存在不同的結(jié)構(gòu)和模式,如文件、XML 樹、關(guān)系表等,表現(xiàn)為數(shù)據(jù)的異構(gòu)性。對多個(gè)異構(gòu)的數(shù)據(jù)集,需要做進(jìn)一步集成處理或整合處理,將來自不同數(shù)據(jù)集的數(shù)據(jù)收集、整理、清洗、轉(zhuǎn)換后,生成到一個(gè)新的數(shù)據(jù)集,為后續(xù)查詢和分析處理提供統(tǒng)一的數(shù)據(jù)視圖。
5、統(tǒng)計(jì)分析:假設(shè)檢驗(yàn)、顯著性檢驗(yàn)、差異分析、相關(guān)分析、T檢驗(yàn)、方差分析、卡方分析、偏相關(guān)分析、距離分析、回歸分析、簡單回歸分析、多元回歸分析、逐步回歸、回歸預(yù)測與殘差分析、嶺回歸、logistic回歸分析、曲線估計(jì)、因子分析、聚類分析、主成分分析、因子分析、快速聚類法與聚類法、判別分析、對應(yīng)分析、多元對應(yīng)分析(最優(yōu)尺度分析)、bootstrap技術(shù)等等。
6、數(shù)據(jù)挖掘:目前,還需要改進(jìn)已有數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)技術(shù);開發(fā)數(shù)據(jù)網(wǎng)絡(luò)挖掘、特異群組挖掘、圖挖掘等新型數(shù)據(jù)挖掘技術(shù);突破基于對象的數(shù)據(jù)連接、相似性連接等大數(shù)據(jù)融合技術(shù);突破用戶興趣分析、網(wǎng)絡(luò)行為分析、情感語義分析等面向領(lǐng)域的大數(shù)據(jù)挖掘技術(shù)。
7、模型預(yù)測:預(yù)測模型、機(jī)器學(xué)習(xí)、建模仿真。
8、結(jié)果呈現(xiàn):云計(jì)算、標(biāo)簽云、關(guān)系圖等。
大數(shù)據(jù)之所以重要,一個(gè)重要原因是大數(shù)據(jù)開辟了一個(gè)新的價(jià)值領(lǐng)域,大數(shù)據(jù)將逐漸成為一種重要的生產(chǎn)資料,甚至可以說大數(shù)據(jù)將是智能社會中的一種新興能源。以上就是大數(shù)據(jù)包含了哪些內(nèi)容的全部內(nèi)容了,相信大家閱讀過后對大數(shù)據(jù)已經(jīng)有了基礎(chǔ)的了解了,希望本篇內(nèi)容能幫到大家。
[免責(zé)聲明]
文章標(biāo)題: 大數(shù)據(jù)包含了哪些內(nèi)容
文章內(nèi)容為網(wǎng)站編輯整理發(fā)布,僅供學(xué)習(xí)與參考,不代表本網(wǎng)站贊同其觀點(diǎn)和對其真實(shí)性負(fù)責(zé)。如涉及作品內(nèi)容、版權(quán)和其它問題,請及時(shí)溝通。發(fā)送郵件至36dianping@36kr.com,我們會在3個(gè)工作日內(nèi)處理。