博客 / 詳情

返回

【趙渝強老師】大數據主從架構的單點故障

  大數據體系架構中的核心組件都是主從架構,即:存在一個主節點和多個從節點,從而組成一個分佈式環境。下圖為展示了大數據體系中主從架構的相關組件。
在這裏插入圖片描述
  視頻講解如下:
https://www.bilibili.com/video/BV1vz421z72U/?aid=1355982530&c...

  從上圖可以看出大數據的核心組件都是一種主從架構,而只要是主從架構就存在單點故障的問題。因為整個集羣中只存在一個主節點,如果這個主節點出現的故障或者發生了宕機,就會造成整個集羣無法正常的工作。因此在實際的生產環境中就需要實現大數據HA的功能,即:High Availablity(高可用的架構)。HA的思想其實非常簡單:既然整個集羣中只有一個主節點存在單點故障的問題,那麼只需要搭建多個主節點就可以解決這樣的問題了,這就是HA的核心思想。
  
  要解決大數據主從架構的單點故障問題,需要使用到ZooKeeper。ZooKeeper是一個分佈式的,開放源碼的分佈式應用程序協調服務,是Google的Chubby一個開源的實現,是大數據體系中的重要組件。它是一個為分佈式應用提供一致性服務的軟件,提供的功能包括:配置維護、域名服務、分佈式同步、組服務等。下圖展示了基於ZooKeeper的HDFS HA架構。
在這裏插入圖片描述

user avatar Jingkunliu 頭像
1 位用戶收藏了這個故事!

發佈 評論

Some HTML is okay.