Hadoop是一種分析和處理大數(shù)據(jù)的軟件平臺，是Appach的一個開源軟件框架，它使用Java語言實現(xiàn)，可以編寫和運行分布式應(yīng)用，以處理大規(guī)模數(shù)據(jù)，是專門為離線和大規(guī)模數(shù)據(jù)分析而設(shè)計的，對于那種用于隨機讀取和寫入多條記錄的聯(lián)機事務(wù)處理模式不適用。接下來，小編將介紹hadoop是什么，hadoop是什么意思的相關(guān)內(nèi)容，一起來看看吧。

MyWebSQL

0

0條點評

咨詢產(chǎn)品

免費試用

解決用戶選型困難的好軟件，有各維度的信息

客戶案例

暫無

合作品牌

1

hadoop是什么

1.hadoop是什么

       Hadoop是一個由Apache基金會開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)，它能分布式處理大量數(shù)據(jù)；Hadoop以一種可靠、高效、可擴展的方式處理數(shù)據(jù)；用戶無需了解分布式程序就可以開發(fā)分布式程序。

       通過Hadoop，用戶可以很容易地開發(fā)和運行處理大量數(shù)據(jù)的應(yīng)用程序。

       Hadoop實現(xiàn)了一個分布式文件系統(tǒng)(HadoopDistributedFileSystem)，簡稱HDFS。HDFS具有高度容錯的特性，并被設(shè)計用于部署在低(low-cost)硬件上；它提供了高吞吐量(highthroughput)訪問應(yīng)用程序數(shù)據(jù)，適合擁有超大數(shù)據(jù)集(largedataset)的應(yīng)用程序。HDFS降低了POSIX對(relax)的要求，可以通過流的形式訪問(streamingaccess)文件系統(tǒng)中的數(shù)據(jù)。

       Hadoop框架的核心設(shè)計是：HDFS和MapReduce。HDFS可以存儲大量的數(shù)據(jù)，而MapReduce則提供了對大量數(shù)據(jù)的計算。

Hadoop有一些主要的優(yōu)勢：

• 高度可靠。Hadoop按位存儲和處理數(shù)據(jù)的能力是值得信賴的。
• 高度擴展性。Hadoop是在可用的計算機群集之間進行數(shù)據(jù)分配和完成計算任務(wù)，可以很容易地擴展到數(shù)千個節(jié)點。
• 高效率。Hadoop能夠在節(jié)點間動態(tài)傳輸數(shù)據(jù)，并且能保持各個節(jié)點的動態(tài)平衡，所以處理速度很快。
• 高度容錯能力。Hadoop可以自動保存多個數(shù)據(jù)拷貝，并能自動重新分配失敗的任務(wù)。
• 費用低廉。因此，相對于QlikView,YonghongZ-Suite這樣的單片機、商業(yè)數(shù)據(jù)倉庫和數(shù)據(jù)集市來說，hadoop都是開源的，因此項目的軟件成本將大大降低。

       Hadoop具有用Java語言編寫的框架，因此它非常適合在Linux生產(chǎn)平臺上運行。Hadoop上的應(yīng)用也可以用C++等其他語言編寫。

       HDFS和MapReduce.HDFS用于存儲大量數(shù)據(jù)，而MapReduce則提供了計算量大的數(shù)據(jù)，MapReduce則提供了計算海量數(shù)據(jù)的方法.在Hadoop處理數(shù)據(jù)的過程是：這些數(shù)據(jù)是經(jīng)過Hadoop集群處理的結(jié)果。以上就是hadoop是什么，hadoop是什么意思的相關(guān)內(nèi)容，感謝您的閱讀。