国产精一区二区_午夜视频99_免费白白视频_中文字幕一区免费

熱門文章> hadoop三大組件 >

hadoop三大組件

36氪企服點評小編
2022-01-13 14:07
6635次閱讀

Hadoop的三大組件分別是:分布式存儲系統 HDFS,提供了高可靠性、高擴展性和高吞吐率的數據存儲服務;分布式計算框架 MapReduce,具有易于編程、高容錯性和高擴展性等優點;分布式資源管理框架 YARN,負責集群資源的管理和調度。

hadoop三大組件hadoop三大組件

1、分布式存儲系統 HDFS(Hadoop Distributed File System)。

提供了高可靠性、高擴展性和高吞吐率的數據存儲服務。

一個高可靠、高吞吐量的分布式文件系統,存儲海量數據、分布式、安全性、副本數據、數據是以block的方式進行存儲的,128M。

比如:200M—128M 72M。

2、分布式計算框架 MapReduce。

具有易于編程、高容錯性和高擴展性等優點。

一個分布式的離線并行計算框架、對海量數據的處理、分布式。

思想:分而治之、大數據集分為小的數據集。每個數據集進行邏輯業務處理(map),合并統計數據結果(reduce)。

3、分布式資源管理框架 YARN(Yet Another Resource Management)。

負責集群資源的管理和調度。

分布式資源管理框架,管理整個集群的資源(內存、CPU核數),分配調度集群的資源。

[免責聲明]

文章標題: hadoop三大組件

文章內容為網站編輯整理發布,僅供學習與參考,不代表本網站贊同其觀點和對其真實性負責。如涉及作品內容、版權和其它問題,請及時溝通。發送郵件至36dianping@36kr.com,我們會在3個工作日內處理。

消息通知
咨詢入駐
商務合作