博客 / 詳情

返回

一文教會你基於 Rainbond 部署 DolphinScheduler 高可用集羣

本文描述通過 Rainbond 雲原生應用管理平台 一鍵部署高可用的 DolphinScheduler 集羣,這種方式適合給不太瞭解 Kubernetes、容器化等複雜技術的用户使用,降低了在 Kubernetes 中部署 DolphinScheduler 的門檻。

前提條件

可用的 Rainbond 雲原生應用管理平台,請參閲文檔Rainbond 快速安裝。

DolphinScheduler 集羣一鍵部署

  1. 進入 Rainbond 的平台管理 -> 應用市場 -> 開源應用商店中搜索 dolphinscheduler 即可找到 DolphinScheduler 應用。

  1. 點擊 DolphinScheduler 右側的安裝進入應用安裝頁面,填寫對應的信息,點擊確定即可開始安裝,自動跳轉至應用視圖。

  1. 等待幾分鐘後,DolphinScheduler 集羣就會安裝完成,並運行起來。

  1. 點擊應用內的訪問按鈕,即可通過 Rainbond 默認提供的域名訪問 DolphinScheduler-API 組件,默認的用户密碼是 admin/dolphinscheduler123

    API Master Worker 節點伸縮

    DolphinScheduler API、Master、Worker 都支持伸縮多個實例,多個實例可以保證整個集羣的高可用性。

以 Worker 為例,進入組件內 -> 伸縮,設置實例數量。

驗證 Worker 節點,進入 DolphinScheduler UI -> 監控中心 -> Worker 查看節點信息。

配置文件

API 和 Worker 服務共用 /opt/dolphinscheduler/conf/common.properties ,修改配置時只需修改 API 服務的配置文件。

常見問題

如何支持 Python 3?

Worker 服務默認安裝了 Python3,使用時可以添加環境變量 PYTHON_LAUNCHER=/usr/bin/python3

如何支持 Hadoop, Spark, DataX 等?

以 Datax 為例:

  1. 安裝插件。Rainbond 團隊視圖 -> 插件 -> 從應用商店安裝插件 -> 搜索 通用數據初始化插件 並安裝。
  2. 開通插件。進入 Worker 組件內 -> 插件 -> 開通 通用數據初始化插件 ,並修改配置

    1. FILE_URL:http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.ta...
    2. FILE_PATH:/opt/soft
    3. LOCK_PATH:/opt/soft
  3. 更新組件,初始化插件會自動下載 Datax 並解壓到 /opt/soft目錄下。

user avatar
0 位用戶收藏了這個故事!

發佈 評論

Some HTML is okay.