第 29 屆中國計算機系統研討會(ChinaSys 2025) 將於 12 月 27 日- 12 月 28 日,在吉林長春舉辦。ChinaSys 是中國計算機系統及相關領域的學術團體,宗旨是為本領域的研究者和從業者提供資源共享、交換思想和會晤的平台,交流和探討系統領域的最新研究成果,促進中國計算機系統行業的發展。
阿里雲大數據 AI 團隊將深度參與ChinaSys 2025。 PAI 團隊將在 ChinaSys 2025 帶來演講,與參會者分享大模型長上下文微調中的高效動態數據調度方案 Skrull。同時將在阿里雲展台為大家揭秘 Qwen3 訓練端到端加速比提效 3 倍的核心技術、分享阿里雲大數據 AI 平台的最新研究成果和技術思考,更有核心研發團隊面對面交流的機會!
大模型長上下文微調中的高效動態數據調度 Skrull 技術揭秘
長文本處理能力是大語言模型的一項核心技能,直接影響很多下游任務的效果。目前,業界主要通過繼續預訓練和長上下文微調來提升模型在這方面的表現。這類訓練通常使用精心構造的數據集,而數據集在序列長度上往往有着極度長尾或雙峯分佈的特點,對現有訓練系統提出了很大挑戰,系統很難在長短樣本之間高效調度資源,常常導致整體訓練效率低下。
PAI 團隊在 ICML 2025 上發表長序列訓練優化 ChunkFlow工作後,再度提出高效動態數據調度方案 Skrull,進一步從上下文並行和負載均衡的角度,優化系統訓練性能。Skrull 研究成果被 NeurIPS 2025 收錄,《Skrull: Towards Efficient Long Context Fine-tuning through Dynamic Data Scheduling》(https://arxiv.org/abs/2505.19609),同時獲邀在 ChinaSys 2025 與參會者分享其技術原理。
大模型長上下文微調中的高效動態數據調度 Skrull 設計思路
實測表明,Skrull 相比基線平均提速 3.76 倍,最高達 7.54 倍,為高效長上下文訓練提供了實用的系統優化思路,充分驗證了 Skrull 在長上下文微調中的性能與價值。
Skrull 在不同 Qwen 模型尺寸和數據集上的系統性能收益
如需瞭解 Skrull 相關的的更多技術細節,歡迎您關注 ChinaSys 2025 - 產業論壇演講,或閲讀往期文章https://segmentfault.com/a/1190000047500885。
ChinaSys 現場交流
1、阿里雲展台
會議期間,阿里雲大數據 AI 團隊將在阿里雲展台與大家共同探討系統領域研究創新,為大家揭秘 Qwen3 訓練端到端加速比提效 3 倍的核心技術,以及分享阿里雲大數據 AI 平台的最新研究成果和技術思考,期待您前往交流、體驗!
- 時間:12月27日-12月28日,會議期間全天
- 地點:吉林大學 前衞南區 — 敬信報告廳
2、產業論壇演講
阿里雲 PAI 團隊受邀,將為參會者帶來大模型長上下文微調中的高效動態數據調度方案 Skrull 技術分享。
- 時間:12月27日 下午 17:15
- 地點:吉林大學 前衞南區 — 敬信報告廳