摘要:本文聚焦於雲原生數據平台(Cloudeon),詳細闡述了其核心服務組件的擴展情況,具體涵蓋以下新增服務:

• 添加ZooKeeper服務

• 添加HDFS服務

• 添加FIink服務

• 添加YARN服務

• 添加doris服務

雲原生數據平台(cloudeon)--核心服務組件擴展_數據集

雲原生數據平台基於開源項目CloudEon建設

  • 基於開源項目CloudEon建設,簡化kubernetes上大數據集羣的運維管理,一款基於kubernetes的開源大數據平台,旨在為用户提供一種簡單、高效、可擴展的大數據解決方案。
  • CloudEon 將基於 Kubernetes 的資源安裝部署開源大數據組件,實現開源大數據平台的容器化運行,您可減少對於底層資源的運維關注。
  • 功能特性快速搭建大數據集羣容器化運行大數據服務支持監控告警等功能支持配置修改等功能自動化運維可視化管理界面

開源項目:https://github.com/dromara/CloudEon

更多教程可以參考官方教程文檔:https://cloudeon.dromara.org/#/index

一、添加ZooKeeper服務

1. 添加流程

1.1 進入新增服務頁面,選擇ZooKeeper

雲原生數據平台(cloudeon)--核心服務組件擴展_初始化_02

  • 下滑到最下方,點擊 “下一步”

1.2 分配角色

  • 三節點

雲原生數據平台(cloudeon)--核心服務組件擴展_初始化_03

  • 然後點擊 “下一步”

1.3 初始化配置

  • 默認配置即可

雲原生數據平台(cloudeon)--核心服務組件擴展_初始化_04

  • 點擊 “安裝”

1.4 等待安裝完成

雲原生數據平台(cloudeon)--核心服務組件擴展_初始化_05


 二、添加HDFS服務

雲原生數據平台(cloudeon)--核心服務組件擴展_數據集_06

  • 下滑到最下方,點擊 “下一步”

雲原生數據平台(cloudeon)--核心服務組件擴展_數據集_07

1. 分配角色

  • 配置相關節點,用户可根據實際情況自行修改

雲原生數據平台(cloudeon)--核心服務組件擴展_數據集_08

  • 然後點擊 “下一步”

2. 初始化配置

  • 默認配置即可,點擊 “安裝”

雲原生數據平台(cloudeon)--核心服務組件擴展_數據集_09

  • 點擊 “編輯配置項”

雲原生數據平台(cloudeon)--核心服務組件擴展_初始化_10

  • 點擊 添加自定義配置”

雲原生數據平台(cloudeon)--核心服務組件擴展_開源項目_11

  • 添加如下配
  • dfs.namenode.http-address.hdfscluster1.nn1 = 0.0.0.0:50070
  • dfs.namenode.http-address.hdfscluster1.nn2 = 0.0.0.0:50070

雲原生數據平台(cloudeon)--核心服務組件擴展_數據集_12

雲原生數據平台(cloudeon)--核心服務組件擴展_初始化_13

  • 點擊 “啓動-安裝”

3. 等待安裝完成

雲原生數據平台(cloudeon)--核心服務組件擴展_開源項目_14

三、添加Flink服務

1. 添加流程

1.1 進入新增服務頁面,選擇Flink

雲原生數據平台(cloudeon)--核心服務組件擴展_開源項目_15

  • 下滑到最下方,點擊 “下一步”

1.2 分配角色

雲原生數據平台(cloudeon)--核心服務組件擴展_數據集_16

  • 點擊 “下一步”

1.3 初始化配置

雲原生數據平台(cloudeon)--核心服務組件擴展_初始化_17

  • 根據用户實際需求進行修改,無需求則按照默認即可

1.4 等待安裝完成

雲原生數據平台(cloudeon)--核心服務組件擴展_數據集_18



四、添加YARN服務

1. 添加流程

1.1 進入新增服務頁面,選擇YARN

雲原生數據平台(cloudeon)--核心服務組件擴展_數據集_19

  • 下滑到最下方,點擊 “下一步”

雲原生數據平台(cloudeon)--核心服務組件擴展_數據集_20

1.2 分配角色

  • 配置相關節點,用户可根據實際情況自行修改

雲原生數據平台(cloudeon)--核心服務組件擴展_開源項目_21

  • 然後點擊 “下一步”

1.3 初始化配置

  • 默認配置即可,點擊 “安裝”

雲原生數據平台(cloudeon)--核心服務組件擴展_初始化_22

  • 點擊 編輯配置項”

雲原生數據平台(cloudeon)--核心服務組件擴展_初始化_23

  • 點擊 “添加自定義配置”

雲原生數據平台(cloudeon)--核心服務組件擴展_數據集_24

  • 添加如下配置


yarn.resourcemanager.webapp.address.rm1 = 0.0.0.0:8088



yarn.resourcemanager.webapp.address.rm2 = 0.0.0.0:8088



yarn.resourcemanager.webapp.address.rm3 = 0.0.0.0:8088



yarn.timeline-service.webapp.address = 0.0.0.0:8188


  • 點擊 “確定 - 安裝”

1.4 等待安裝完成

雲原生數據平台(cloudeon)--核心服務組件擴展_開源項目_25


五、添加doris服務

1. 添加流程

1.1 進入新增服務頁面,選擇Doris

雲原生數據平台(cloudeon)--核心服務組件擴展_開源項目_26

  • 下滑到最下方,點擊 “下一步”

1.2 分配角色

雲原生數據平台(cloudeon)--核心服務組件擴展_開源項目_27

  • 這裏建議 master、follower、observer 角色為不同一個節點,否則容易發生端口衝突

1.3 初始化配置

雲原生數據平台(cloudeon)--核心服務組件擴展_開源項目_28

  • 根據用户實際需求進行修改,無需求則按照默認即可

1.4 等待安裝完成

雲原生數據平台(cloudeon)--核心服務組件擴展_數據集_29