相關內容:hadoop2.5.2彙總:新增功能最新編譯 32位、64位安裝、源碼包、API、eclipse插件下載Hadoop2.5 Eclipse插件製作、連接集羣視頻、及hadoop-eclipse-plugin-2.5.0插件下載hadoop2.5.1彙總:最新編譯 32位、64位安裝、源碼包、API下載及新特性等新手指導:hadoop官網介紹及如何下載hadoop(2.4)各個版本與查看hadoop API介紹從零教你在Linux環境下(ubuntu 12.04)如何編譯hadoop2.4一、下載區域hadoop-2.6.0-src.tar.gz【maven包】鏈接:http://pan.baidu.com/s/1gdEJVSf 密碼:ixethadoop--2.6.0.tar.gz【官網下載】鏈接:http://pan.baidu.com/s/1kTLxwZP 密碼:9gp0hadoop-2.6.0-64.tar.gz鏈接:http://pan.baidu.com/s/1ntn3voH 密碼:

本帖隱藏的內容

hadoop2.6-api鏈接:http://pan.baidu.com/s/1pJLpmOz 密碼:7pmahadoop2.6-eclipse插件由於hadoop eclipse插件跟eclipse版本有關係,最好自己編譯Hadoop2.5 Eclipse插件製作、連接集羣視頻、及hadoop-eclipse-plugin-2.5.0插件下載二、部署文檔搭建hadoop2.6.0 HA及YARN HAhadoop 2.6.0單節點-偽分佈式模式安裝三、Apache Hadoop 2.6.0 新特性Apache Hadoop 2.6.0發佈了,新的穩定版,發佈頻率和質量越來越高了,增加了很多東西,從安裝包的大小就能看出來,直接增加了50M,30%有木有。下面看一下,2.6.0都有啥好東西。Common:1.      Hadoop Key Management Server(KMS)是一個基於HadoopKeyProvider API編寫的密鑰管理服務器。他提供了一個client和一個server組件,client和server之間基於HTTP協議使用REST API通信。Client是一個KeyProvider的實現,使用KMS HTTP REST API與KMS交互。KMS和它的client有內置的安全機制,支持HTTP SPNEGO Kerberos認證和HTTPS安全傳輸。KMS是一個Java Web應用程序,運行在與Hadoop發行版綁定在一起的預先配置好的Tomcat服務器上。2.      TracingHDFS-5274增加了追蹤通過HDFS的請求的功能,此功能使用了開源的庫,HTrace。大家可以看一下HTrace,功能很強大,Cloudera開源出來的。HDFS:1.      Transparent Encryption,HDFS實現了一個透明的,端到端的加密方式。一旦配置了加密,從HDFS讀出數據解密和寫入數據加密的過程對用户應用程序代碼帶來説都是透明的。加密過程是端到端的,這意味着數據只能在客户端被加密解密。HDFS從來不存儲,也不訪問未加密的數據和數據加密密鑰。這樣滿足了加密過程的兩個典型的需求:at-rest encryption(靜態加密,也就是説,數據持久化在像硬盤這樣的媒介上),in-transit encryption(在途加密,例如,當數據在網絡中傳輸的時候)。2.      Storage SSD&& Memory。ArchivalStorage(檔案存儲器)是將計算能力與不斷增長的存儲能力分離。擁有高密度低成本的存儲但是計算能力較低的節點將變得可用,可以在集羣中做冷存儲。增加更多的節點作為冷存儲可以提高集羣的存儲能力,跟集羣的計算能力無關。MapReduce這一部分主要是一些bug的修復和改進。增加了兩個新的新特,在2.5.2裏已經有所描述了。這裏在簡單看一下。1.      ResourceManger Restart2.      允許AM發送歷史事件信息到timeline server。YARN1.      NodeManager Restart:這個特性可以使NodeManager在不丟失運行在節點中的活動的container的情況下重新啓動。2.      Docker Container Executor:DockerContainer Executor(DCE)允許YARN NodeManager在Docker container中啓動YARN container。用户可以指定他們想用來運行YARN container的Docker的鏡像。這些container提供了一個可以自定義的軟件環境,用户的代碼可以運行在其中,與NodeManager運行的環境隔離。這些運行用户代碼的container可以包含應用程序需要的特定的庫,它們可以擁有與NodeManager不同版本的Perl,Python甚至是Java。事實上,這些container可以運行與NodeManager所在的OS不同版本的Linux。儘管YARN container必須定義運行Job所需的所有的環境和庫,但是NodeManager中的所有的東西都不會共享。Docer為YARN提供了一致和隔離兩種模式,一致模式下,所有的YARN container將擁有相同的軟件環境,在隔離模式下,不管物理機器安裝了什麼都不干擾。四、發佈Apache Hadoop 2.6.0亮點——異構存儲及hadoop2.7.0展望發佈Apache Hadoop 2.6.0——異構存儲,長時間運行的服務與滾動升級支持

我很高興地宣佈,在Apache的Hadoop社區已經發布的Apache Hadoop的2.6.0:http://markmail.org/message/gv75qf3orlimn6kt!

特別是,我們很高興在此版本中相關的三個主要片:異構存儲在HDFS使用SSD和內存層,支持長時間運行在YARN服務和滾動升級,將升級您的集羣軟件,然後重新啓動升級的節點而無需關閉羣集或丟失正在進行的工作。YARN作為其架構中心,Hadoop的不斷吸引新的引擎在數據平台中運行,作為組織想要在一個單一的存儲庫高效地存儲數據,並與它同時以不同的方式進行交互。

非常感謝所有的貢獻者和提交這些人所合作過這個版本,共有近900個 JIRA問題在四個方面解決的:•Hadoop通用:231個 JIRA問題解決•Hadoop的HDFS:305個 JIRA問題解決•Hadoop的YARN:290個 JIRA問題解決•Hadoop的MapReduce的:70個 JIRA問題解決

Apache Hadoop2.6.0的亮點

以下是有關的最重要的特徵的一些細節。對於功能,改進和bug修復的完整列表,請參閲發行説明:http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/releasenotes.html。

 

加強支持異構存儲層的HDFS

管理員可以在一個限定的Datanode跨磁盤存儲層,以及應用程序可利用的API將數據存儲到這些不同的存儲層。這意味着管理員可以優化他們的應用程序通過使用Hadoop運行:•在SSD存儲層以提高讀/寫延遲•內存存儲層進行快速讀/寫要麼臨時數據或故障的應用程序(如星火,TEZ等)•歸檔存儲層,以提高存儲效率。

 

支持長時間運行的服務在YARN

Apache Hadoop2.6.0包括增強了核心Apache Hadoop YARN平台,使長期存在的服務(如Apache Storm,Apache Samza,Apache Kafka或Apache HBase),可以在YARN中運行,並充分利用其優勢的容錯,安全性和易維護性。

Apache Hadoop最初架構,支持批量處理數據。但有些應用“永遠在線”,隨時準備處理輸入數據。例如,Apache  Storm必須準備在一天中的任何時間實時處理數據流,在一年中的任何一天。

用Hadoop2.6.0,集羣現在可以利用相同的基礎設施安排,執行和管理所有期限的多個工作負載。長住服務,如 Storm和HBase可以和平共處的一起是在特定的時間點(如Apache Hive或Apache Pig),用於特設工作應用程序。

滾動升級在YARN工作,保留重新啓動

新的工作,維護重啓功能可以讓應用程序保持其完成和正在進行的國家,在一個節點故障或重啓的臉。 YARN現在可以提供滾動以最小的服務質量下降用於運行應用程序的升級支持。已完成或正在進行中的應用工作節點重啓過程中保持不變,進度回升,而不必從頭開始重新啓動所有任務。

展望Apache Hadoop2.7版本

為ApacheHadoop的下一個版本的主要驅動力正在向JDK7+即我們現在要求使用JDK7(HADOOP-10530:https://issues.apache.org/jira/browse/HADOOP-10530)的ApacheHadoop的前進,也支持JDK8作為一個運行時(HADOOP-11090:https://issues.apache.org/jira/browse/HADOOP-11090)。

在ApacheHadoop社區開展的其他重要活動有:•在HDFS進行糾刪碼支持 -  HDFS-7285:https://issues.apache.org/jira/browse/HDFS-7285•支持磁盤YARN調度和隔離的資源 -  YARN-2139:https://issues.apache.org/jira/browse/YARN-2139•容器資源委派延長YARN資源管理 -  YARN-1488:https://issues.apache.org/jira/browse/YARN-1488

與往常一樣,你可以沿着發展,通過跟蹤路線圖的Wiki:http://wiki.apache.org/hadoop/Roadmap 的Apache Hadoop跟隨。