關于什么是大數據,IBM有一套著名的5V理論,即Volume(大量)、Velocity(高速)、Variety(多樣化)、Value(價值)和Veracity(真實)。簡單地說,就是數據規模大、流動快、種類多、來源廣、價值密度低,反映事物真實性的數據就是大數據。所以,或許Facebook每天要處理10TB的數據,這是一個龐大的數據量;這些數據每天都在快速變化,而且變化非常快;數據可以是文本、視頻、圖片,類型多樣;數據多而價值低;通過分析可以了解使用Facebook的人群是什么樣,這就是數據的真實性。今天,我們就來討論一下什么是大數據以及大數據分析和數據分析之間的差異和聯系。
大數據
數據分析是指用適當的統計分析方法對收集來的大量數據進行分析,未提取有用信息和形成結論而對數據加以詳細研究和概括總結的過程。數據分析包含“數據”和“分析”兩個方面,一方面包括收集、加工和整理數據,另一方面也包括分析數據,從中提取有價值的信息并形成對業務有幫助的結論。數據分析的成果通常以分析報告的形式呈現。對于數據分析報告,分析就是論點,數據就是論據,兩者缺一不可。
數據分析的核心工作是人對數據指標的分析、思考和解讀,人腦所能承載的數據量是極其有限的。所以,無論是“傳統數據分析”,還是“大數據分析”,均需要將原始數據按照分析思路進行統計處理,得到概要性的統計結果供人分析。兩者在這個過程中是類似的,區別只是原始數據量大小所導致處理方式的不同。
“傳統數據分析”使用的知識主要圍繞“能否通過少量的抽樣數據來推測真實世界”的主題展開。“大數據分析”主要是利用各種類型的全量數據(不是抽樣數據),設計統計方案,得到兼具細致和置信的統計結論。
“傳統數據分析”在大部分時候,知識將機器學習模型當黑盒工具來輔助分析數據。而“大數據分析”,更多時候是兩者的緊密結合,大數據分析產出的不僅是一份分析效果測評,后續基于此來升級產品。在大數據分析的場景中,數據分析往往是數據加墨的前奏,數據建模是數據分析的成果。
以上是關于大數據分析和傳統數據分析之間的區別和聯系的一些內容,相較于傳統的數據分析師,大數據分析工程師是針對日漸龐大的大數據而出現的一個適應時代發展的新興職業,相較于傳統的數據分析師,大數據分析師需要掌握的技能更多,更復雜。但同樣的,因大數據的良好趨勢,大數據分析師的職業前景非常廣闊。
[免責聲明]
文章標題: 大數據分析和數據分析的區別和聯系有哪些?
文章內容為網站編輯整理發布,僅供學習與參考,不代表本網站贊同其觀點和對其真實性負責。如涉及作品內容、版權和其它問題,請及時溝通。發送郵件至36dianping@36kr.com,我們會在3個工作日內處理。