一、Yarn產生背景 Yarn（全稱為Yet Another Resource Negotiator，譯為"另一個資源協調者"）在Hadoop2.0版本中引入，其誕生是為了解決 Hadoop 1.x 架構中 MapReduce 的資源管理和計算框架耦合 的問題。簡而言之，就是之前MapReduce的資源管理和計算框架是耦合在一起的，為了解耦而設計出了Yarn。 Yarn是一種新的 Hadoop 資
一、HBase產生背景 在大數據時代，傳統的關係型數據庫（如Mysql、Oracle）在大數據量下的併發讀寫及可拓展性方面遇到瓶頸，尤其是處理海量的非結構化、半結構化數據時效率較低，而Hadoop的HDFS雖然支持海量數據的存儲以及批處理，但其無法支持隨機讀寫和低延遲查詢（HDFS 中的文件一旦寫入不能修改，只能追加），所以HBase被設計出來，彌補了HDFS在實時訪問能力上的不足。 HBase是
一、HDFS簡介 HDFS（Hadoop Distributed File System）是一個分佈式文件系統，它的主要設計目標是為了解決存儲和處理大規模數據的挑戰，尤其針對低成本硬件集羣和高吞吐量批處理場景。其有以下幾個主要特性： 跨平台（底層由Java開發，天然支持跨平台部署） 高容錯（數據冗餘存儲，數據塊默認有3個副本） 高吞吐（並行讀取或寫入多個數據塊，且是順序讀寫，流
六、分佈式鎖的實現原理 實現分佈式鎖的方式有許多種，比如使用數據庫鎖、redis等等。而Zookeeper也可以用於實現分佈式鎖，下面通過源碼來介紹Zookeeper是如何來實現分佈式鎖的？ 6.1 驚羣效應 假設用節點"/lock"來表示這個分佈式鎖，我們第一時間可能會想到通過判斷節點"/lock"存在與否，如果不存在則創建該節點，表示獲取到這個鎖，否則監聽該節點，等待鎖的釋放。如下圖所示
一、引言 實際系統通常需要實現多種認證方式，比如用户名密碼、手機驗證碼、郵箱等等。Spring Security可以通過自定義認證器AuthenticationProvider 來實現不同的認證方式。接下來介紹一下SpringSecurity具體如何來實現多種認證方式。 二、具體步驟 這裏我們以用户名密碼、手機驗證碼兩種方式來進行演示，其他一些登錄方式類似。 2.1 自定義認證器Authentic
