国产精一区二区_午夜视频99_免费白白视频_中文字幕一区免费

熱門文章> hadoop是什么意思 >

hadoop是什么意思

36氪企服點評小編
2022-03-21 11:42
2270次閱讀

| 企服解答

Hadoop是一個由Apache基金會所開發的分布式系統基礎架構。用戶可以在不了解分布式底層細節的情況下,開發分布式程序。充分利用集群的威力進行高速運算和存儲。Hadoop實現了一個分布式文件系統(HadoopDistributedFileSystem),簡稱HDFS。HDFS有高容錯性的特點,并且設計用來部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(highthroughput)來訪問應用程序的數據,適合那些有著超大數據集(largedataset)的應用程序。Hadoop有高可靠性、高擴展性、高效性、高容錯性、低成本五個特點。

hadoop是什么意思hadoop是什么意思

1、高可靠性

Hadoop按位存儲和處理數據的能力值得人們信賴。

2、高擴展性

Hadoop是在可用的計算機集簇間分配數據并完成計算任務的,這些集簇可以方便地擴展到數以千計的節點中。

3、高效性

Hadoop能夠在節點之間動態地移動數據,并保證各個節點的動態平衡,因此處理速度非常快。

4、高容錯性

Hadoop能夠自動保存數據的多個副本,并且能夠自動將失敗的任務重新分配。

5、低成本

與一體機、商用數據倉庫以及QlikView、Yonghong Z-Suite等數據集市相比,hadoop是開源的,項目的軟件成本因此會大大降低。

| 拓展閱讀

Hadoop大數據處理的意義:

Hadoop得以在大數據處理應用中廣泛應用得益于其自身在數據提取、變形和加載(ETL)方面上的天然優勢。Hadoop的分布式架構,將大數據處理引擎盡可能的靠近存儲,對例如像ETL這樣的批處理操作相對合適,因為類似這樣操作的批處理結果可以直接走向存儲。Hadoop的MapReduce功能實現了將單個任務打碎,并將碎片任務(Map)發送到多個節點上,之后再以單個數據集的形式加載(Reduce)到數據倉庫里。

[免責聲明]

文章標題: hadoop是什么意思

文章內容為網站編輯整理發布,僅供學習與參考,不代表本網站贊同其觀點和對其真實性負責。如涉及作品內容、版權和其它問題,請及時溝通。發送郵件至36dianping@36kr.com,我們會在3個工作日內處理。

消息通知
咨詢入駐
商務合作