博客 / 詳情

返回

XXL-JOB v3.3.0 | 分佈式任務調度平台

XXL-JOB 正在角逐 “2025 年度Gitee最受歡迎的開源軟件”,期待您投出寶貴一票,你的認可對我們很重要🌹~

  • 投票鏈接👉:https://gitee.com/activity/2025opensource?ident=ISLBOH

Release Notes

  • 1、【新增】執行器新增“任務掃描排除路徑”配置項(xxl.job.executor.excludedpackage),任務掃描時忽略指定包路徑下的任務;
  • 2、【優化】執行器任務Bean掃描邏輯調整,優化懶加載Bean檢測及過濾機制,避免提前初始化類問題;
  • 3、【新增】合併PR-3840,執行器支持通過XxlJobHelper獲取任務觸發時間戳;XxlJobHelper組件完善,支持通過“XxlJobHelper.getLogId/getLogDateTime/getLogFileName”方法獲取執行日誌相關信息;
  • 4、【升級】調度中心UI框架升級,統一交互組件,支持多主題、多標籤與局部渲染等,升級UI組件及性能;
  • 5、【優化】調度時間輪組件強化,保障不重不漏:調度時間輪單刻度數據去重,避免極端情況下任務重複執行;時間輪轉動時校驗臨近刻度,避免極端情況下遺漏刻度;
  • 6、【優化】調度任務鎖邏輯優化,事務SQL下沉至Mapper層統一管理,並增加測試用例,提升代碼可讀性以及可維護性;
  • 7、【優化】調度快慢線程池默認配置上調,提升默認配置單機負載;調度預讀任務數計算係數下調,降低事務顆粒度,提升性能及穩定性;
  • 8、【性能】調度中心調整資源加載邏輯,移除不必要的攔截器,提升頁面加載性能;
  • 9、【優化】優化日誌列表頁面展示邏輯,新增展示“日誌ID”與“任務名稱”信息;
  • 10、【優化】報表統計SQL優化,修復小概率情況下查詢null值問題;報表初始化SQL優化,修復小概率情況增改競爭問題;
  • 11、【優化】優日誌報告與清理邏輯,增加清理過期日誌的異常捕獲,避免線程異常退出;
  • 12、【優化】任務回調失敗日誌讀寫磁盤邏輯優化,解決極端情況下大文件讀寫內存問題;
  • 13、【升級】Http通訊組件升級,基於接口代理方式重構通訊組件,提升組件性能及擴展性;
  • 14、【重構】規範API交互協議,通用響應結構體調整為Response,調度中心API統一為Response封裝數據;
    (注意:響應結構體從ReturnT升級為Response,其中屬性值“content”會調整為“data”,通過openapi交互場景需要關注)
  • 15、【重構】調度過期策略、調度類型策略邏輯重構,代碼組件化拆分並完善日誌,提升健壯性及可維護性;
  • 16、【重構】調度中心底層組件重構,組件初始化以及銷燬邏輯統一處理,任務觸發及和回調邏輯優化,避免資源泄漏風險;
  • 17、【重構】調度中心底層組件模塊化拆分,移除組件單例以及靜態代碼邏輯,提升組件可維護性;
  • 18、【重構】重構Rolling日誌讀寫邏輯,解決邊界條件下異常情況,優化讀寫性能;
  • 19、【修復】腳本任務process銷燬邏輯優化,解決風險情況下腳本進程無法終止問題;
  • 20、【修復】合併PR-2369,修復腳本任務參數取值問題;
  • 21、【新增】任務審計日誌,記錄任務操作敏感日誌信息,如任務新建/更新/刪除/啓停/觸發以及GLUE代碼更新等,用於系統監控、審計和安全分析,可快速追溯異常行為以及定位排查問題等。
    (當前任務審計日誌以Info級別輸出在系統日誌中,可通過關鍵詞 "xxl-job operation log:" 檢索過濾)
  • 22、【強化】通用HTTP任務(httpJobHandler)強化,支持更豐富請求參數設置,完整參數示例如下:

<details>

<summary>完整參數示例參考:</summary>    

```
{
    "url": "http://www.baidu.com",
    "method": "POST",
    "contentType": "application/json",
    "headers": {
        "header01": "value01"
    },
    "cookies": {
        "cookie01": "value01"
    },
    "timeout": 3000,
    "data": "request body data",
    "form": {
        "key01": "value01"
    },
    "auth": "auth data"
}
```

</details>

  • 23、【優化】調度組件日誌完善,提升邊界情況下問題定位效率;
  • 24、【升級】升級多項maven依賴至較新版本,如 netty、groovy、springboot、spring-ai、dify、mybatis、xxl-sso 等;

備註:

  • a、本次升級數據模型向前兼容,v3.2.*版本可直接升級不需要進行數據庫表調整;
  • b、本次升級針對客户端rollinglog依賴字段做規範約束,如不關注該功能 v2.4.* 及後續版本客户端不需要升級/可兼容,否則需要升級客户端版本;

“AI任務”接入示例

此處以 difyWorkflowJobHandler 為例,注意需要前置部署AI執行器(xxl-job-executor-sample-ai),可參考官方文檔説明。

步驟一:調度中心,新建 difyWorkflowJobHandler 任務

在這裏插入圖片描述

步驟二:任務執行,查看任務進度及日誌

在這裏插入圖片描述

“常規任務”接入示例

XXL-JOB支持多模式任務,下文以簡單的“Bean模式任務”為例介紹,三步快速開發接入。

步驟一:執行器,開發Job方法
@XxlJob("demoJobHandler")
 public void demoJobHandler() throws Exception {
    XxlJobHelper.log("XXL-JOB, Hello World.");
}

步驟二:調度中心,新建調度任務

img_ZAsz.png

步驟三:任務執行,查看任務進度及日誌

img_eYrv.png

簡介

XXL-JOB是一個輕量級分佈式任務調度平台,其核心設計目標是開發迅速、學習簡單、輕量級、易擴展。現已開放源代碼並接入多家公司線上產品線,開箱即用。

  • 中文文檔:http://www.xuxueli.com/xxl-job/
  • 社區交流:http://www.xuxueli.com/page/community.html

img_Qohm.png

特性

  • 1、簡單:支持通過Web頁面對任務進行CRUD操作,操作簡單,一分鐘上手;
  • 2、動態:支持動態修改任務狀態、啓動/停止任務,以及終止運行中任務,即時生效;
  • 3、調度中心HA(中心式):調度採用中心式設計,“調度中心”自研調度組件並支持集羣部署,可保證調度中心HA;
  • 4、執行器HA(分佈式):任務分佈式執行,任務"執行器"支持集羣部署,可保證任務執行HA;
  • 5、註冊中心: 執行器會週期性自動註冊任務, 調度中心將會自動發現註冊的任務並觸發執行。同時,也支持手動錄入執行器地址;
  • 6、彈性擴容縮容:一旦有新執行器機器上線或者下線,下次調度時將會重新分配任務;
  • 7、觸發策略:提供豐富的任務觸發策略,包括:Cron觸發、固定間隔觸發、固定延時觸發、API(事件)觸發、人工觸發、父子任務觸發;
  • 8、調度過期策略:調度中心錯過調度時間的補償處理策略,包括:忽略、立即補償觸發一次等;
  • 9、阻塞處理策略:調度過於密集執行器來不及處理時的處理策略,策略包括:單機串行(默認)、丟棄後續調度、覆蓋之前調度;
  • 10、任務超時控制:支持自定義任務超時時間,任務運行超時將會主動中斷任務;
  • 11、任務失敗重試:支持自定義任務失敗重試次數,當任務失敗時將會按照預設的失敗重試次數主動進行重試;其中分片任務支持分片粒度的失敗重試;
  • 12、任務失敗告警;默認提供郵件方式失敗告警,同時預留擴展接口,可方便的擴展短信、釘釘等告警方式;
  • 13、路由策略:執行器集羣部署時提供豐富的路由策略,包括:第一個、最後一個、輪詢、隨機、一致性HASH、最不經常使用、最近最久未使用、故障轉移、忙碌轉移等;
  • 14、分片廣播任務:執行器集羣部署時,任務路由策略選擇"分片廣播"情況下,一次任務調度將會廣播觸發集羣中所有執行器執行一次任務,可根據分片參數開發分片任務;
  • 15、動態分片:分片廣播任務以執行器為維度進行分片,支持動態擴容執行器集羣從而動態增加分片數量,協同進行業務處理;在進行大數據量業務操作時可顯著提升任務處理能力和速度。
  • 16、故障轉移:任務路由策略選擇"故障轉移"情況下,如果執行器集羣中某一台機器故障,將會自動Failover切換到一台正常的執行器發送調度請求。
  • 17、任務進度監控:支持實時監控任務進度;
  • 18、Rolling實時日誌:支持在線查看調度結果,並且支持以Rolling方式實時查看執行器輸出的完整的執行日誌;
  • 19、GLUE:提供Web IDE,支持在線開發任務邏輯代碼,動態發佈,實時編譯生效,省略部署上線的過程。支持30個版本的歷史版本回溯。
  • 20、腳本任務:支持以GLUE模式開發和運行腳本任務,包括Shell、Python、NodeJS、PHP、PowerShell等類型腳本;
  • 21、命令行任務:原生提供通用命令行任務Handler(Bean任務,"CommandJobHandler");業務方只需要提供命令行即可;
  • 22、任務依賴:支持配置子任務依賴,當父任務執行結束且執行成功後將會主動觸發一次子任務的執行, 多個子任務用逗號分隔;
  • 23、一致性:“調度中心”通過DB鎖保證集羣分佈式調度的一致性, 一次任務調度只會觸發一次執行;
  • 24、自定義任務參數:支持在線配置調度任務入參,即時生效;
  • 25、調度線程池:調度系統多線程觸發調度運行,確保調度精確執行,不被堵塞;
  • 26、數據加密:調度中心和執行器之間的通訊進行數據加密,提升調度信息安全性;
  • 27、郵件報警:任務失敗時支持郵件報警,支持配置多郵件地址羣發報警郵件;
  • 28、推送maven中央倉庫: 將會把最新穩定版推送到maven中央倉庫, 方便用户接入和使用;
  • 29、運行報表:支持實時查看運行數據,如任務數量、調度次數、執行器數量等;以及調度報表,如調度日期分佈圖,調度成功分佈圖等;
  • 30、全異步:任務調度流程全異步化設計實現,如異步調度、異步運行、異步回調等,有效對密集調度進行流量削峯,理論上支持任意時長任務的運行;
  • 31、跨語言/OpenAPI:調度中心與執行器提供語言無關的 OpenApi(RESTful 格式),第三方任意語言可據此對接調度中心或者實現執行器,實現多語言支持。除此之外,還提供了 “多任務模式”和“httpJobHandler”等其他跨語言方案;
  • 32、國際化:調度中心支持國際化設置,提供中文、英文兩種可選語言,默認為中文;
  • 33、容器化:提供官方docker鏡像,並實時更新推送dockerhub,進一步實現產品開箱即用;
  • 34、線程池隔離:調度線程池進行隔離拆分,慢任務自動降級進入"Slow"線程池,避免耗盡調度線程,提高系統穩定性;
  • 35、用户管理:支持在線管理系統用户,存在管理員、普通用户兩種角色;
  • 36、權限控制:執行器維度進行權限控制,管理員擁有全量權限,普通用户需要分配執行器權限後才允許相關操作;
  • 37、AI任務:原生提供AI執行器,並內置多個AI任務Handler,與spring-ai、ollama、dify等集成打通,支持快速開發AI類任務。
  • 38、審計日誌:記錄任務操作敏感信息,用於系統監控、審計和安全分析,可快速追溯異常行為以及定位排查問題。
user avatar
0 位用戶收藏了這個故事!

發佈 評論

Some HTML is okay.