hadoop:分布式系統基礎架構-中文百科頻道

起源

Hadoop起源于Apache Nutch項目，始于2002年，是Apache Lucene的子項目之一。2004年，Google在“操作系統設計與實現”（Operating System Design and Implementation，OSDI）會議上公開發表了題為MapReduce：Simplified Data Processing on Large Clusters（Mapreduce：簡化大規模集群上的數據處理）的論文之後，受到啟發的Doug Cutting等人開始嘗試實現MapReduce計算框架，并将它與NDFS（Nutch Distributed File System）結合，用以支持Nutch引擎的主要算法。由于NDFS和MapReduce在Nutch引擎中有着良好的應用，所以它們于2006年2月被分離出來，成為一套完整而獨立的軟件，并被命名為Hadoop。到了2008年年初，hadoop已成為Apache的頂級項目，包含衆多子項目，被應用到包括Yahoo在内的很多互聯網公司。

優點

Hadoop是一個能夠對大量數據進行分布式處理的軟件框架。 Hadoop 以一種可靠、高效、可伸縮的方式進行數據處理。

Hadoop 是可靠的，因為它假設計算元素和存儲會失敗，因此它維護多個工作數據副本，确保能夠針對失敗的節點重新分布處理。

Hadoop 是高效的，因為它以并行的方式工作，通過并行處理加快處理速度。

Hadoop 還是可伸縮的，能夠處理 PB 級數據。

此外，Hadoop 依賴于社區服務，因此它的成本比較低，任何人都可以使用。

Hadoop是一個能夠讓用戶輕松架構和使用的分布式計算平台。用戶可以輕松地在Hadoop上開發和運行處理海量數據的應用程序。它主要有以下幾個優點：

1.高可靠性。Hadoop按位存儲和處理數據的能力值得人們信賴。

2.高擴展性。Hadoop是在可用的計算機集簇間分配數據并完成計算任務的，這些集簇可以方便地擴展到數以千計的節點中。

3.高效性。Hadoop能夠在節點之間動态地移動數據，并保證各個節點的動态平衡，因此處理速度非常快。

4.高容錯性。Hadoop能夠自動保存數據的多個副本，并且能夠自動将失敗的任務重新分配。

5.低成本。與一體機、商用數據倉庫以及QlikView、Yonghong Z-Suite等數據集市相比，hadoop是開源的，項目的軟件成本因此會大大降低。

Hadoop帶有用Java語言編寫的框架，因此運行在 Linux 生産平台上是非常理想的。Hadoop 上的應用程序也可以使用其他語言編寫，比如 C++ 。

Hadoop大數據處理的意義

Hadoop得以在大數據處理應用中廣泛應用得益于其自身在數據提取、變形和加載(ETL)方面上的天然優勢。Hadoop的分布式架構，将大數據處理引擎盡可能的靠近存儲，對例如像ETL這樣的批處理操作相對合适，因為類似這樣操作的批處理結果可以直接走向存儲。Hadoop的MapReduce功能實現了将單個任務打碎，并将碎片任務(Map)發送到多個節點上，之後再以單個數據集的形式加載(Reduce)到數據倉庫裡。

核心架構

Hadoop 由許多元素構成。其最底部是 Hadoop Distributed File System（HDFS），它存儲 Hadoop 集群中所有存儲節點上的文件。HDFS的上一層是MapReduce 引擎，該引擎由 JobTrackers 和 TaskTrackers 組成。通過對Hadoop分布式計算平台最核心的分布式文件系統HDFS、MapReduce處理過程，以及數據倉庫工具Hive和分布式數據庫Hbase的介紹，基本涵蓋了Hadoop分布式平台的所有技術核心。

HDFS

對外部客戶機而言，HDFS就像一個傳統的分級文件系統。可以創建、删除、移動或重命名文件，等等。但是 HDFS 的架構是基于一組特定的節點構建的（參見圖 1），這是由它自身的特點決定的。這些節點包括 NameNode（僅一個），它在 HDFS 内部提供元數據服務；DataNode，它為 HDFS 提供存儲塊。由于僅存在一個 NameNode，因此這是 HDFS 1.x版本的一個缺點（單點失敗）。在Hadoop 2.x版本可以存在兩個NameNode，解決了單節點故障問題。

存儲在 HDFS 中的文件被分成塊，然後将這些塊複制到多個計算機中（DataNode）。這與傳統的 RAID 架構大不相同。塊的大小（1.x版本默認為 64MB，2.x版本默認為128MB）和複制的塊數量在創建文件時由客戶機決定。NameNode 可以控制所有文件操作。HDFS 内部的所有通信都基于标準的 TCP/IP 協議。

NameNode

NameNode 是一個通常在 HDFS 實例中的單獨機器上運行的軟件。它負責管理文件系統名稱空間和控制外部客戶機的訪問。NameNode 決定是否将文件映射到 DataNode 上的複制塊上。對于最常見的 3 個複制塊，第一個複制塊存儲在同一機架的不同節點上，最後一個複制塊存儲在不同機架的某個節點上。

實際的 I/O事務并沒有經過 NameNode，隻有表示 DataNode 和塊的文件映射的元數據經過 NameNode。當外部客戶機發送請求要求創建文件時，NameNode 會以塊标識和該塊的第一個副本的 DataNode IP 地址作為響應。這個 NameNode 還會通知其他将要接收該塊的副本的 DataNode 。

NameNode 在一個稱為 FsImage 的文件中存儲所有關于文件系統名稱空間的信息。這個文件和一個包含所有事務的記錄文件（這裡是 EditLog）将存儲在 NameNode 的本地文件系統上。FsImage 和 EditLog 文件也需要複制副本，以防文件損壞或 NameNode 系統丢失。

NameNode本身不可避免地具有SPOF（Single Point Of Failure）單點失效的風險，主備模式并不能解決這個問題，通過Hadoop Non-stop namenode才能實現100% uptime可用時間。

DataNode

DataNode 也是一個通常在 HDFS實例中的單獨機器上運行的軟件。Hadoop 集群包含一個 NameNode 和大量 DataNode。DataNode 通常以機架的形式組織，機架通過一個交換機将所有系統連接起來。Hadoop 的一個假設是：機架内部節點之間的傳輸速度快于機架間節點的傳輸速度。

DataNode 響應來自 HDFS 客戶機的讀寫請求。它們還響應來自 NameNode 的創建、删除和複制塊的命令。NameNode 依賴來自每個 DataNode 的定期心跳（heartbeat）消息。每條消息都包含一個塊報告，NameNode 可以根據這個報告驗證塊映射和其他文件系統元數據。如果 DataNode 不能發送心跳消息，NameNode 将采取修複措施，重新複制在該節點上丢失的塊。

文件操作

可見，HDFS 并不是一個萬能的文件系統。它的主要目的是支持以流的形式訪問寫入的大型文件。

如果客戶機想将文件寫到 HDFS 上，首先需要将該文件緩存到本地的臨時存儲。如果緩存的數據大于所需的 HDFS 塊大小，創建文件的請求将發送給 NameNode。NameNode 将以 DataNode 标識和目标塊響應客戶機。

同時也通知将要保存文件塊副本的 DataNode。當客戶機開始将臨時文件發送給第一個 DataNode 時，将立即通過管道方式将塊内容轉發給副本 DataNode。客戶機也負責創建保存在相同 HDFS名稱空間中的校驗和（checksum）文件。

在最後的文件塊發送之後，NameNode 将文件創建提交到它的持久化元數據存儲（在 EditLog 和 FsImage 文件）。

Linux 集群

Hadoop 框架可在單一的 Linux 平台上使用（開發和調試時），官方提供MiniCluster作為單元測試使用，不過使用存放在機架上的商業服務器才能發揮它的力量。這些機架組成一個 Hadoop 集群。它通過集群拓撲知識決定如何在整個集群中分配作業和文件。Hadoop 假定節點可能失敗，因此采用本機方法處理單個計算機甚至所有機架的失敗。

Hadoop和高效能計算、網格計算的區别

在Hadoop 出現之前，高性能計算和網格計算一直是處理大數據問題主要的使用方法和工具，它們主要采用消息傳遞接口（Message Passing Interface，MPI）提供的API 來處理大數據。高性能計算的思想是将計算作業分散到集群機器上，集群計算節點訪問存儲區域網絡SAN 構成的共享文件系統獲取數據，這種設計比較适合計算密集型作業。當需要訪問像PB 級别的數據的時候，由于存儲設備網絡帶寬的限制，很多集群計算節點隻能空閑等待數據。而Hadoop卻不存在這種問題，由于Hadoop 使用專門為分布式計算設計的文件系統HDFS，計算的時候隻需要将計算代碼推送到存儲節點上，即可在存儲節點上完成數據本地化計算，Hadoop 中的集群存儲節點也是計算節點。

在分布式編程方面，MPI 是屬于比較底層的開發庫，它賦予了程序員極大的控制能力，但是卻要程序員自己控制程序的執行流程，容錯功能，甚至底層的套接字通信、數據分析算法等底層細節都需要自己編程實現。這種要求無疑對開發分布式程序的程序員提出了較高的要求。相反，Hadoop 的MapReduce 卻是一個高度抽象的并行編程模型，它将分布式并行編程抽象為兩個原語操作，即map 操作和reduce 操作，開發人員隻需要簡單地實現相應的接口即可，完全不用考慮底層數據流、容錯、程序的并行執行等細節。這種設計無疑大大降低了開發分布式并行程序的難度。

網格計算通常是指通過現有的互聯網，利用大量來自不同地域、資源異構的計算機空閑的CPU 和磁盤來進行分布式存儲和計算。這些參與計算的計算機具有分處不同地域、資源異構（基于不同平台，使用不同的硬件體系結構等）等特征，從而使網格計算和Hadoop 這種基于集群的計算相區别開。Hadoop 集群一般構建在通過高速網絡連接的單一數據中心内，集群計算機都具有體系結構、平台一緻的特點，而網格計算需要在互聯網接入環境下使用，網絡帶寬等都沒有保證。

發展現狀

Hadoop 設計之初的目标就定位于高可靠性、高可拓展性、高容錯性和高效性，正是這些設計上與生俱來的優點，才使得Hadoop 一出現就受到衆多大公司的青睐，同時也引起了研究界的普遍關注。Hadoop 技術在互聯網領域已經得到了廣泛的運用，例如，Yahoo 使用4 000 個節點的Hadoop集群來支持廣告系統和Web 搜索的研究；Facebook 使用1 000 個節點的集群運行Hadoop，存儲日志數據，支持其上的數據分析和機器學習；百度用Hadoop處理每周200TB 的數據，從而進行搜索日志分析和網頁數據挖掘工作；中國移動研究院基于Hadoop 開發了“大雲”（Big Cloud）系統，不但用于相關數據分析，還對外提供服務；淘寶的Hadoop 系統用于存儲并處理電子商務交易的相關數據。國内的高校和科研院所基于Hadoop 在數據存儲、資源管理、作業調度、性能優化、系統高可用性和安全性方面進行研究，相關研究成果多以開源形式貢獻給Hadoop 社區。

除了上述大型企業将Hadoop 技術運用在自身的服務中外，一些提供Hadoop 解決方案的商業型公司也紛紛跟進，利用自身技術對Hadoop 進行優化、改進、二次開發等，然後以公司自有産品形式對外提供Hadoop 的商業服務。比較知名的有創辦于2008 年的Cloudera 公司，它是一家專業從事基于ApacheHadoop 的數據管理軟件銷售和服務的公司，它希望充當大數據領域中類似RedHat 在Linux 世界中的角色。該公司基于Apache Hadoop 發行了相應的商業版本Cloudera Enterprise，它還提供Hadoop 相關的支持、咨詢、培訓等服務。在2009 年，Cloudera 聘請了Doug Cutting（Hadoop 的創始人）擔任公司的首席架構師，從而更加加強了Cloudera 公司在Hadoop 生态系統中的影響和地位。最近，Oracle 也表示已經将Cloudera 的Hadoop 發行版和Cloudera Manager 整合到Oracle Big Data Appliance 中。同樣，Intel 也基于Hadoop 發行了自己的版本IDH。從這些可以看出，越來越多的企業将Hadoop 技術作為進入大數據領域的必備技術。

應用程序

Hadoop 的最常見用法之一是 Web 搜索。雖然它不是唯一的軟件框架應用程序，但作為一個并行數據處理引擎，它的表現非常突出。Hadoop 最有趣的方面之一是 Map and Reduce 流程，它受到Google開發的啟發。這個流程稱為創建索引，它将 Web爬行器檢索到的文本 Web 頁面作為輸入，并且将這些頁面上的單詞的頻率報告作為結果。然後可以在整個 Web 搜索過程中使用這個結果從已定義的搜索參數中識别内容。

MapReduce

最簡單的 MapReduce應用程序至少包含 3 個部分：一個 Map 函數、一個 Reduce 函數和一個 main 函數。main 函數将作業控制和文件輸入/輸出結合起來。在這點上，Hadoop 提供了大量的接口和抽象類，從而為 Hadoop應用程序開發人員提供許多工具，可用于調試和性能度量等。

MapReduce 本身就是用于并行處理大數據集的軟件框架。MapReduce 的根源是函數性編程中的 map 和 reduce 函數。它由兩個可能包含有許多實例（許多 Map 和 Reduce）的操作組成。Map 函數接受一組數據并将其轉換為一個鍵/值對列表，輸入域中的每個元素對應一個鍵/值對。Reduce 函數接受 Map 函數生成的列表，然後根據它們的鍵（為每個鍵生成一個鍵/值對）縮小鍵/值對列表。

這裡提供一個示例，幫助您理解它。假設輸入域是 one small step for man,one giant leap for mankind。在這個域上運行 Map 函數将得出以下的鍵/值對列表：

（one,1）（small,1） (step,1） (for,1） (man,1）(one,1） (giant,1） (leap,1） (for,1） (mankind,1）

如果對這個鍵/值對列表應用 Reduce 函數，将得到以下一組鍵/值對：

（one,2） (small,1） (step,1） (for,2） (man,1）（giant,1） (leap,1） (mankind,1）

結果是對輸入域中的單詞進行計數，這無疑對處理索引十分有用。但是，假設有兩個輸入域，第一個是 one small step for man，第二個是 one giant leap for mankind。您可以在每個域上執行 Map 函數和 Reduce 函數，然後将這兩個鍵/值對列表應用到另一個 Reduce 函數，這時得到與前面一樣的結果。換句話說，可以在輸入域并行使用相同的操作，得到的結果是一樣的，但速度更快。這便是 MapReduce 的威力；它的并行功能可在任意數量的系統上使用。

回到 Hadoop 上，它實現這個功能的方法是：一個代表客戶機在單個主系統上啟動的 MapReduce應用程序稱為 JobTracker。類似于 NameNode，它是 Hadoop 集群中唯一負責控制 MapReduce應用程序的系統。在應用程序提交之後，将提供包含在 HDFS 中的輸入和輸出目錄。JobTracker 使用文件塊信息（物理量和位置）确定如何創建其他 TaskTracker 從屬任務。MapReduce應用程序被複制到每個出現輸入文件塊的節點。将為特定節點上的每個文件塊創建一個唯一的從屬任務。每個 TaskTracker 将狀态和完成信息報告給 JobTracker 。

Hadoop 的這個特點非常重要，因為它并沒有将存儲移動到某個位置以供處理，而是将處理移動到存儲。

區别

Hadoop是Apache軟件基金會發起的一個項目，在大數據分析以及非結構化數據蔓延的背景下，Hadoop受到了前所未有的關注。

Hadoop是一種分布式數據和計算的框架。它很擅長存儲大量的半結構化的數據集。數據可以随機存放，所以一個磁盤的失敗并不會帶來數據丢失。Hadoop也非常擅長分布式計算——快速地跨多台機器處理大型數據集合。

MapReduce是處理大量半結構化數據集合的編程模型。編程模型是一種處理并結構化特定問題的方式。例如，在一個關系數據庫中，使用一種集合語言執行查詢，如SQL。告訴語言想要的結果，并将它提交給系統來計算出如何産生計算。還可以用更傳統的語言(C++，Java)，一步步地來解決問題。這是兩種不同的編程模型，MapReduce就是另外一種。

MapReduce和Hadoop是相互獨立的，實際上又能相互配合工作得很好。