二次開發必看!DolphinScheduler 3.1.9 開發環境搭建指南
在生產實踐中,Apache DolphinScheduler 3.1.9 版本因其穩定性和成熟的特性,成為眾多企業用户的首選版本。隨着使用深入,不少用户希望在此基礎上進行二次開發,以更好地滿足自身業務需求。然而,開展二次開發前,搭建完善的本地開發環境至關重要。本文結合真實案例,詳細介紹 DolphinScheduler 3.1.9 的二次開發環境配置流程,希望為有定製化開發需求的用户提供實用、可靠
在生產實踐中,Apache DolphinScheduler 3.1.9 版本因其穩定性和成熟的特性,成為眾多企業用户的首選版本。隨着使用深入,不少用户希望在此基礎上進行二次開發,以更好地滿足自身業務需求。然而,開展二次開發前,搭建完善的本地開發環境至關重要。本文結合真實案例,詳細介紹 DolphinScheduler 3.1.9 的二次開發環境配置流程,希望為有定製化開發需求的用户提供實用、可靠
我們非常高興地宣佈,Apache DolphinScheduler 3.3.2 正式發佈! 本次版本重點圍繞 性能優化、穩定性增強、文檔完善與關鍵問題修復 展開,為廣大用户帶來更加順暢、可靠的數據工作流編排體驗。 主要改進內容 1. 穩定性與數據庫性能提升 在表 t_ds_schedules 中為字段 workflow_definition_code 新增索引,大幅提升訪問調度信息時的數據庫
一、為什麼我們放棄了Azkaban? 我們最早選擇用 LinkedIn 開源的 Azkaban 做調度,主要是看中它兩個特點:一是界面清爽,操作簡單;二是它用“項目”來管理任務,非常直觀。那時候團隊剛開始搭建數據平台,這種輕量又清晰的工具,正好符合我們的需要。其他還有其他原因: 社區活躍(當時) 部署簡單,依賴少(僅需 MySQL + Web Server + Executor) 支持 j
👋 大家好,我是遠朋。過去 3 年,我們團隊把部分調度任務從 Azkaban 逐步遷移到 DolphinScheduler,並開展了 K8s 容器化。今天把踩過的坑、攢下的經驗一次性覆盤,建議收藏! 作者介紹 王遠朋 上海奇虎科技有限公司 數據專家 商業化 SRE 大數據團隊核心成員 長期負責 DolphinScheduler 在生產環境的部署與優化,具備豐富的容器化與大
本文手把手演示瞭如何在 K8s + Rancher 環境中快速拉起一套生產可用的 Apache DolphinScheduler 3.2.2 集羣。全文圍繞“鏡像加速、依賴本地化、存儲持久化”三大痛點展開,附有詳細的代碼解析,收藏細看吧! 環境準備 1、軟件準備 2、環境規劃 部署 1、官網下載apache-dolphinscheduler源碼 [root@master ~]# mkdir
導語:今年的 GSoC 已近尾聲,在這場代碼開發盛宴中,Apache DolphinScheduler 的開發者們積極參與,取得了一項對用户意義重大的成果——引入通用 OIDC 認證,實現無縫安全訪問。令人欣喜的是,該成果出自一位印度開發者之手。在項目導師 Gallardot 與向梓豪(SbloodyS)的精心指導下,這一成果成功在 Apache DolphinScheduler 中落地。今天,就
一、背景 DolphinScheduler(海豚調度器)作為開源分佈式調度系統,核心價值在於破解大數據場景下複雜任務的調度與流程編排難題,憑藉可靠的任務調度、可視化工作流管理等能力,已成為生產環境的核心調度中樞——當前95%以上的大數據任務均通過其實現協調調度。而Open-Falcon作為專注大規模分佈式系統的開源監控工具,二者形成"調度核心+監控中樞"的協同關係:前者承擔任務調度的核心職責,後者
最近使用 Apache DolphinScheduler 調度任務,不可避免地使用到【補數據】功能,經過不斷嘗試,終於成功運行了【補數據】功能,以此帖記錄。 版本説明:3.1.9 補數據功能簡介 "補數據" 在 Apache DolphinScheduler 中指的是 補數據(Complement Data) 功能,用於補充執行歷史時間段內的工作流實例。 補數據功能概述 補數據是工作流執行
各位熱愛 Apache DolphinScheduler 的小夥伴們,社區 9 月份月報姍姍來遲啦! 本月聚焦功能修復與性能優化,修復工作流計劃設置、HDFS 存儲啓動等關鍵問題,優化數據庫索引、Quartz 數據源配置等提升性能,11 位貢獻者共完成多項 PR,保障系統穩定高效運行。 月度Merge Star 感謝以下小夥伴上個月為 Apache DolphinScheduler 所做的精彩貢獻