本文描述通過 Rainbond 雲原生應用管理平台 一鍵部署高可用的 DolphinScheduler 集羣,這種方式適合給不太瞭解 Kubernetes、容器化等複雜技術的用户使用,降低了在 Kubernetes 中部署 DolphinScheduler 的門檻。
前提條件
可用的 Rainbond 雲原生應用管理平台,請參閲文檔Rainbond 快速安裝。
DolphinScheduler 集羣一鍵部署
- 進入 Rainbond 的平台管理 -> 應用市場 -> 開源應用商店中搜索 dolphinscheduler 即可找到 DolphinScheduler 應用。
- 點擊 DolphinScheduler 右側的安裝進入應用安裝頁面,填寫對應的信息,點擊確定即可開始安裝,自動跳轉至應用視圖。
- 等待幾分鐘後,DolphinScheduler 集羣就會安裝完成,並運行起來。
-
點擊應用內的訪問按鈕,即可通過 Rainbond 默認提供的域名訪問 DolphinScheduler-API 組件,默認的用户密碼是 admin/dolphinscheduler123。
API Master Worker 節點伸縮
DolphinScheduler API、Master、Worker 都支持伸縮多個實例,多個實例可以保證整個集羣的高可用性。
以 Worker 為例,進入組件內 -> 伸縮,設置實例數量。
驗證 Worker 節點,進入 DolphinScheduler UI -> 監控中心 -> Worker 查看節點信息。
配置文件
API 和 Worker 服務共用 /opt/dolphinscheduler/conf/common.properties ,修改配置時只需修改 API 服務的配置文件。
常見問題
如何支持 Python 3?
Worker 服務默認安裝了 Python3,使用時可以添加環境變量 PYTHON_LAUNCHER=/usr/bin/python3。
如何支持 Hadoop, Spark, DataX 等?
以 Datax 為例:
- 安裝插件。Rainbond 團隊視圖 -> 插件 -> 從應用商店安裝插件 -> 搜索 通用數據初始化插件 並安裝。
-
開通插件。進入 Worker 組件內 -> 插件 -> 開通 通用數據初始化插件 ,並修改配置
- FILE_URL:http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.ta...
- FILE_PATH:/opt/soft
- LOCK_PATH:/opt/soft
- 更新組件,初始化插件會自動下載 Datax 並解壓到 /opt/soft目錄下。