摘要:本文聚焦於雲原生數據平台(Cloudeon),詳細闡述了其核心服務組件的擴展情況,具體涵蓋以下新增服務:
• 添加ZooKeeper服務
• 添加HDFS服務
• 添加FIink服務
• 添加YARN服務
• 添加doris服務
雲原生數據平台基於開源項目CloudEon建設
- 基於開源項目CloudEon建設,簡化kubernetes上大數據集羣的運維管理,一款基於kubernetes的開源大數據平台,旨在為用户提供一種簡單、高效、可擴展的大數據解決方案。
- CloudEon 將基於 Kubernetes 的資源安裝部署開源大數據組件,實現開源大數據平台的容器化運行,您可減少對於底層資源的運維關注。
- 功能特性快速搭建大數據集羣容器化運行大數據服務支持監控告警等功能支持配置修改等功能自動化運維可視化管理界面
開源項目:https://github.com/dromara/CloudEon
更多教程可以參考官方教程文檔:https://cloudeon.dromara.org/#/index
一、添加ZooKeeper服務
1. 添加流程
1.1 進入新增服務頁面,選擇ZooKeeper
- 下滑到最下方,點擊 “下一步”
1.2 分配角色
- 三節點
- 然後點擊 “下一步”
1.3 初始化配置
- 默認配置即可
- 點擊 “安裝”
1.4 等待安裝完成
二、添加HDFS服務
- 下滑到最下方,點擊 “下一步”
1. 分配角色
- 配置相關節點,用户可根據實際情況自行修改
- 然後點擊 “下一步”
2. 初始化配置
- 默認配置即可,點擊 “安裝”
- 點擊 “編輯配置項”
- 點擊 “添加自定義配置”
- 添加如下配
- dfs.namenode.http-address.hdfscluster1.nn1 = 0.0.0.0:50070
- dfs.namenode.http-address.hdfscluster1.nn2 = 0.0.0.0:50070
- 點擊 “啓動-安裝”
3. 等待安裝完成
三、添加Flink服務
1. 添加流程
1.1 進入新增服務頁面,選擇Flink
- 下滑到最下方,點擊 “下一步”
1.2 分配角色
- 點擊 “下一步”
1.3 初始化配置
- 根據用户實際需求進行修改,無需求則按照默認即可
1.4 等待安裝完成
四、添加YARN服務
1. 添加流程
1.1 進入新增服務頁面,選擇YARN
- 下滑到最下方,點擊 “下一步”
1.2 分配角色
- 配置相關節點,用户可根據實際情況自行修改
- 然後點擊 “下一步”
1.3 初始化配置
- 默認配置即可,點擊 “安裝”
- 點擊 “編輯配置項”
- 點擊 “添加自定義配置”
- 添加如下配置
|
yarn.resourcemanager.webapp.address.rm1 = 0.0.0.0:8088
|
|
yarn.resourcemanager.webapp.address.rm2 = 0.0.0.0:8088
|
|
yarn.resourcemanager.webapp.address.rm3 = 0.0.0.0:8088
|
|
yarn.timeline-service.webapp.address = 0.0.0.0:8188
|
- 點擊 “確定 - 安裝”
1.4 等待安裝完成
五、添加doris服務
1. 添加流程
1.1 進入新增服務頁面,選擇Doris
- 下滑到最下方,點擊 “下一步”
1.2 分配角色
- 這裏建議 master、follower、observer 角色為不同一個節點,否則容易發生端口衝突
1.3 初始化配置
- 根據用户實際需求進行修改,無需求則按照默認即可
1.4 等待安裝完成