飛書創建羣，並添加自定義機器人 記住這個【Webhook】後面配置【海豚告警】的時候會用到。 配置告警 在【安全中心】中，選擇【告警實例管理】中的【創建告警實例】。 在【選擇插件】中，選擇【Feishu】，將前面的【Webhook】填進【Web鈎子】。 然後，在【安全中心】的【告警組管理】中，創建對應的告警組： 這樣，告警組就創建好了
過去兩週，我們對開源之夏活動中表現優異的開發者們進行了簡單的採訪，初步粗略地瞭解了一下他們的開發過程和心得體會。今天，我們將通過同學們的完整結項報告，深入瞭解項目的開發技術細節，希望能夠幫助大家更好地瞭解 Apache DolphinScheduler 項目的最新進展。 接下來是關於為 Apache DolphinScheduler 添加 gRPC 插件這一項目的完整報告： 1. 項目目標 Dol
今年的開源之夏活動已接近尾聲，Apache DolphinScheduler 社區的開發者在經過漫長的開發過程收穫了自己的成果，同時為 Apache DolphinScheduler 帶來了全新的任務插件 gRPC。 這項成果是由來自北京交通大學電氣工程專業的優秀同學趙海波帶來的，今天我們就來看看他是如何在本次活動中圓滿完成開發任務的吧！ 個人介紹 趙海波，北京交通大學 電氣工程專業 導師
在使用 DolphinScheduler 進行數據調度開發的過程中，參數的靈活運用是提升任務複用性、動態化執行邏輯的關鍵。無論是日常跑批任務中的日期處理，還是複雜工作流中的上下游傳參，掌握參數的正確使用方式，能極大提高開發效率與任務健壯性。本文基於海豚調度3.1.9版本將系統梳理 DolphinScheduler 中各類參數的使用方法，涵蓋內置參數、衍生函數、日期計算、全局變量設置以及跨任務參數傳
在生產實踐中，Apache DolphinScheduler 3.1.9 版本因其穩定性和成熟的特性，成為眾多企業用户的首選版本。隨着使用深入，不少用户希望在此基礎上進行二次開發，以更好地滿足自身業務需求。然而，開展二次開發前，搭建完善的本地開發環境至關重要。本文結合真實案例，詳細介紹 DolphinScheduler 3.1.9 的二次開發環境配置流程，希望為有定製化開發需求的用户提供實用、可靠
我們非常高興地宣佈，Apache DolphinScheduler 3.3.2 正式發佈！ 本次版本重點圍繞 性能優化、穩定性增強、文檔完善與關鍵問題修復 展開，為廣大用户帶來更加順暢、可靠的數據工作流編排體驗。 主要改進內容 1. 穩定性與數據庫性能提升 在表 t_ds_schedules 中為字段 workflow_definition_code 新增索引，大幅提升訪問調度信息時的數據庫
一、為什麼我們放棄了Azkaban？ 我們最早選擇用 LinkedIn 開源的 Azkaban 做調度，主要是看中它兩個特點：一是界面清爽，操作簡單；二是它用“項目”來管理任務，非常直觀。那時候團隊剛開始搭建數據平台，這種輕量又清晰的工具，正好符合我們的需要。其他還有其他原因： 社區活躍（當時） 部署簡單，依賴少（僅需 MySQL + Web Server + Executor） 支持 j
👋 大家好，我是遠朋。過去 3 年，我們團隊把部分調度任務從 Azkaban 逐步遷移到 DolphinScheduler，並開展了 K8s 容器化。今天把踩過的坑、攢下的經驗一次性覆盤，建議收藏！ 作者介紹 王遠朋 上海奇虎科技有限公司 數據專家 商業化 SRE 大數據團隊核心成員 長期負責 DolphinScheduler 在生產環境的部署與優化，具備豐富的容器化與大
本文手把手演示瞭如何在 K8s + Rancher 環境中快速拉起一套生產可用的 Apache DolphinScheduler 3.2.2 集羣。全文圍繞“鏡像加速、依賴本地化、存儲持久化”三大痛點展開，附有詳細的代碼解析，收藏細看吧！ 環境準備 1、軟件準備 2、環境規劃 部署 1、官網下載apache-dolphinscheduler源碼 [root@master ~]# mkdir
導語：今年的 GSoC 已近尾聲，在這場代碼開發盛宴中，Apache DolphinScheduler 的開發者們積極參與，取得了一項對用户意義重大的成果——引入通用 OIDC 認證，實現無縫安全訪問。令人欣喜的是，該成果出自一位印度開發者之手。在項目導師 Gallardot 與向梓豪（SbloodyS）的精心指導下，這一成果成功在 Apache DolphinScheduler 中落地。今天，就
一、背景 DolphinScheduler（海豚調度器）作為開源分佈式調度系統，核心價值在於破解大數據場景下複雜任務的調度與流程編排難題，憑藉可靠的任務調度、可視化工作流管理等能力，已成為生產環境的核心調度中樞——當前95%以上的大數據任務均通過其實現協調調度。而Open-Falcon作為專注大規模分佈式系統的開源監控工具，二者形成"調度核心+監控中樞"的協同關係：前者承擔任務調度的核心職責，後者
近日，第十屆“創客中國”北京市中小企業創新創業大賽暨“創客北京2025”創新創業大賽結果揭曉，北京白鯨開源科技有限公司憑藉“白鯨開源-Agentic AI 時代下的數據基礎設施平台”，榮登企業組 TOP150，並獲得大賽組委會頒發的獲獎證書。 據統計，本次 “創客北京” 活動共有 6000 + 項目報名參賽，規模亮眼。我司歷經初賽、決賽、總決賽多輪角逐，最終榮獲佳績。 在 AI 技術
最近使用 Apache DolphinScheduler 調度任務，不可避免地使用到【補數據】功能，經過不斷嘗試，終於成功運行了【補數據】功能，以此帖記錄。 版本説明：3.1.9 補數據功能簡介 "補數據" 在 Apache DolphinScheduler 中指的是 補數據(Complement Data) 功能，用於補充執行歷史時間段內的工作流實例。 補數據功能概述 補數據是工作流執行
各位熱愛 Apache DolphinScheduler 的小夥伴們，社區 9 月份月報姍姍來遲啦！ 本月聚焦功能修復與性能優化，修復工作流計劃設置、HDFS 存儲啓動等關鍵問題，優化數據庫索引、Quartz 數據源配置等提升性能，11 位貢獻者共完成多項 PR，保障系統穩定高效運行。 月度Merge Star 感謝以下小夥伴上個月為 Apache DolphinScheduler 所做的精彩貢獻
《新興數據湖倉設計與實踐手冊·數據湖倉建模及模型命名規範（2025年）》 由四篇遞進式指南組成，以“模型架構—公共規範—分層規範—命名規範”為主線，系統構建可演進、可治理、可共享的現代數據湖倉。 首篇 《數據模型架構原則》 提出了 “ODS-DW-APP” 四層（含DW內DWD/DWM/DWS）數據分層架構，並圍繞主題域劃分、高內聚低耦合、公共邏輯下沉及成本性能平衡四大原則，為湖倉一體的維度建模奠
概述 Apache DolphinScheduler作為現代化的數據編排平台，在實際部署和使用過程中可能會遇到各種故障和問題。本文將從架構層面深入分析常見故障類型，提供詳細的排查思路和解決方案，幫助運維人員和開發者快速定位並解決問題。 系統架構與核心組件 在開始故障排查前，首先需要了解DolphinScheduler的核心架構： 常見故障分類與排查 1. 服務啓動失敗 症狀描述 服務無
本文詳細介紹了Apache DolphinScheduler的RESTful API接口體系及其在企業系統集成中的應用。內容涵蓋API架構設計、核心控制器模塊、統一響應格式、認證授權機制、錯誤處理體系以及Swagger接口文檔。同時深入探討了Java SDK集成開發指南，包括環境準備、核心API接口、工作流編程式創建與管理，以及與企業現有系統的集成方案。文章提供了豐富的代碼示例和最佳實踐，幫助開發
本文將帶你一步步通過外部PostgreSQL和Zookeeper來啓動Apache DolphinScheduler。無論你是新手還是有經驗的開發者，都能輕鬆跟着這些步驟在Linux/Unix環境中完成安裝和配置。除了常見的安裝步驟，我們還會分享一些集羣部署的技巧，讓你輕鬆擴展系統規模。 當然，如果遇到數據庫連接、Zookeeper連接或者啓動服務的問題，不用擔心，文中也有詳細的排查方案，幫你輕
本文描述通過 Rainbond 雲原生應用管理平台 一鍵部署高可用的 DolphinScheduler 集羣，這種方式適合給不太瞭解 Kubernetes、容器化等複雜技術的用户使用，降低了在 Kubernetes 中部署 DolphinScheduler 的門檻。 前提條件 可用的 Rainbond 雲原生應用管理平台，請參閲文檔Rainbond 快速安裝。 DolphinScheduler 集
DolphinScheduler是一個分佈式易擴展的可視化DAG工作流任務調度開源系統，能高效地執行和管理大數據流程。用户可以在DolphinScheduler Web界面輕鬆創建、編輯和調度雲原生數據倉庫 AnalyticDB MySQL 版的Spark作業。 前提條件 AnalyticDB for MySQL集羣的產品系列為企業版、基礎版或湖倉版。 AnalyticDB for MySQ
