tag seatunnel

標籤
貢獻3
95
04:43 PM · Oct 26 ,2025
seatunnel 頭像 u_15459354 頭像 dolphinscheduler 頭像

@seatunnel / 博客 RSS 訂閱

seatunnel 頭像

SeaTunnel - 最佳實踐：基於Apache SeaTunnel從MySQL同步到PostgreSQL

作者 | 陳飛 中付支付大數據工程師 今天和大家分享一個 簡單但常見的 MySQL 到 MySQL 數據同步與合併場景案例，這個案例也是我在實際工作中遇到的問題，希望能拋磚引玉，歡迎有更豐富經驗的大佬一起分享交流。 版本要求：Apache SeaTunnel -- Apache SeaTunnel-2.3.9 場景描述 在我們的業務系統中，存在兩個 MySQL 源庫： source_a

數據同步 , MySQL , postgresql , 開源 , seatunnel

收藏 評論

dolphinscheduler 頭像

海豚調度 - Apache DolphinScheduler 新增 gRPC 任務插件 | 開源之夏成果總結

今年的開源之夏活動已接近尾聲，Apache DolphinScheduler 社區的開發者在經過漫長的開發過程收穫了自己的成果，同時為 Apache DolphinScheduler 帶來了全新的任務插件 gRPC。 這項成果是由來自北京交通大學電氣工程專業的優秀同學趙海波帶來的，今天我們就來看看他是如何在本次活動中圓滿完成開發任務的吧！ 個人介紹 趙海波，北京交通大學 電氣工程專業 導師

大數據 , 任務調度 , 開源 , seatunnel

收藏 評論

seatunnel 頭像

SeaTunnel - 結項報告完整版 | Apache SeaTunnel支持metalake開發

過去兩週，我們對開源之夏活動中表現優異的開發者們進行了簡單的採訪，初步粗略地瞭解了一下他們的開發過程和心得體會。今天，我們將通過同學們的完整結項報告，深入瞭解項目的開發技術細節，希望能夠幫助大家更好地瞭解 Apache SeaTunnel 項目的最新進展。 接下來是關於Apache SeaTunnel支持metalake開發這一項目的完整報告： 一、項目背景 目前，Apache SeaTunnel

大數據 , 開源 , seatunnel , 開發者

收藏 評論

seatunnel 頭像

SeaTunnel - 結項報告完整版：Apache SeaTunnel 支持 Flink 引擎 Schema Evolution 功能

過去兩週，我們對開源之夏活動中表現優異的開發者們進行了簡單的採訪，初步粗略地瞭解了一下他們的開發過程和心得體會。今天，我們將通過同學們的完整結項報告，深入瞭解項目的開發技術細節，希望能夠幫助大家更好地瞭解 Apache SeaTunnel 項目的最新進展。 接下來是關於在 Flink 引擎上對 Schema Evolution 功能的支持這一項目的完整報告： 一. 已完成工作 根據原定方案（htt

數據同步 , 大數據 , 開源 , seatunnel , flink

收藏 評論

seatunnel 頭像

SeaTunnel - LLM 時代，DataAgent × WhaleTunnel 如何將數據庫變更瞬時 “轉譯” 為洞察？

在軟件世界中，用户的形態正在發生變化。 過去，軟件的使用者是工程師、分析師或運維人員；而如今，他們正在被一羣“數字化身”——Agent 所取代。AI 不再只是一個算法模型，而是逐漸演變為能理解業務語境、自動執行任務、並進行協同決策的智能體。 隨着大模型技術的快速成熟，這場以 “Agent 化” 為核心的軟件革命，正推動企業數據系統從傳統的自動化，走向真正的智能化。 在這一趨勢中，數據基礎設施的智

llm , 數據同步 , 大數據 , 開源 , seatunnel

收藏 評論

seatunnel 頭像

SeaTunnel - Apache SeaTunnel 支持 Metalake 開發了！避免任務配置敏感信息暴露

今年的開源之夏活動已接近尾聲，Apache SeaTunnel 社區的開發者們在經過漫長的開發過程也都收穫了自己的成果。上週，我們通過文章《巾幗力量助力 Flink 引擎 CDC 源模式演進》分享了董嘉欣同學的開發故事，今天，讓來看看另一位同學——來自上海交通大學軟件工程專業的吳天宇，在本次活動中是如何完成開發任務的吧！ 個人介紹 吳天宇，來自上海交通大學軟件工程專業，目前是碩士二年級學生（Git

大數據 , 開源 , seatunnel , 開發者 , 軟件工程

收藏 評論

seatunnel 頭像

SeaTunnel - 數據採集故障頻發，中控技術靠SeaTunnel實現日均TB級核心數據同步任務0出錯

在企業數字化浪潮中，數據採集早已不是 "能同步就行" 的簡單命題——多元異構數據源的割裂、TB 級數據的吞吐壓力、跨系統同步的穩定性挑戰，正成為多數企業的 "數據頑疾"。而中控技術，這家服務全球 35000 家客户的工業 AI 平台型企業，卻用 Apache SeaTunnel 交出了一份驚豔答卷：核心數據同步任務實現 0 故障運行。 11 月 11 日 14:00，SeaTunnel 視頻號線

數據同步 , 大數據 , 技術分享 , 開源 , seatunnel

收藏 評論

seatunnel 頭像

SeaTunnel - Apache SeaTunnel 9 月動態：多模塊修復 + 新功能上線，社區貢獻成果亮眼

各位熱愛 Apache SeaTunnel 的小夥伴們，社區 9 月份月報來啦！ 本月，社區 21 位貢獻者共同參與了 Apache SeaTunnel 的修復與功能升級，助力數據同步能力提升。 核心亮點總結 核心功能持續豐富：新增正則提取轉換、多模態嵌入、向量降維等Transform-V2能力；支持HDFS文件多表源讀取、Databend CDC模式接收，拓展數據處理場景。 多模塊問題修

數據同步 , 大數據 , 開源 , seatunnel , 開源項目介紹

收藏 評論

seatunnel 頭像

SeaTunnel - 速看！用 Apache SeaTunnel 輕鬆實現數據到 S3 Tables 的快速集成

業務技術背景 在當今數字化轉型浪潮下，企業正面臨着海量數據的爆炸式增長，尤其在構建數據湖業務、BI分析以及AI/ML數據準備等關鍵場景中，需要高效、可擴展的大規模大數據存儲解決方案。這些場景往往要求數據存儲系統不僅能處理PB級甚至EB級的數據規模，還必須支持事務性操作，以確保數據一致性、原子性和隔離性，從而避免數據混亂或丟失的風險。 正因如此，Apache Iceberg作為一種先進的開源數據湖格

大數據 , aws-organizations , s3-rewrite-rules , seatunnel

收藏 評論

seatunnel 頭像

SeaTunnel - 深陷 Sqoop+Canal 困境？中控技術用 SeaTunnel 打造高效數據採集破局方案

核心數據一致性達99.99%、開發效率提升50%、運維成本降低70%——這是中控技術採用 Apache SeaTunnel 構建數據採集框架及相關數據服務體系後的實測成效。 上週 Apache SeaTunnel 線上 Meetup 上，中控技術工程師崔俊樂分享了這家大型工業 AI 平台型公司的實踐經驗。我們已將視頻內容整理成文，供行業同仁參考借鑑。 作者簡介 崔俊樂，中控技術股份有限公司數據技術

數據同步 , 大數據 , 開源 , seatunnel

收藏 評論

seatunnel 頭像

SeaTunnel - 一行代碼引發 12G 內存 5 分鐘爆倉！SeaTunnel Kafka 連接器"內存溢出"元兇抓到了

轉載 | 滑思眉Philip 問題背景 在Apache SeaTunnel 2.3.9版本的Kafka連接器實現中，存在一個潛在的內存溢出風險。當用户配置流式作業從Kafka讀取數據時，即使設置了讀取速率限制(read_limit.rows_per_second)，系統仍可能出現內存持續增長直至OOM(Out Of Memory)的情況。 問題現象 用户在實際部署中觀察到以下現象： 在8核1

數據同步 , 數據庫 , 開源 , seatunnel , kafka

收藏 評論

seatunnel 頭像

SeaTunnel - 實測有效｜用 SeaTunnel 免費實現 MySQL→Oracle 實時同步，步驟超細

要説 MySQL 同步到Oracle的工具，除了傳統的 OGG，應該考慮的就是 ST（SeaTunnel） 了吧，簡直太好用啦 ~ 當前生產已穩定運行 4 個月，源端 3 個庫，完美支持！推薦給大家試試~ 1. SeaTunnel怎麼用？來看看幫助信息 ./bin/seatunnel.sh -h Usage: seatunnel.sh [options] Options: -

oracle , 大數據 , MySQL , seatunnel , JAVA

收藏 評論

seatunnel 頭像

SeaTunnel - 從日誌到告警，帶你用好 SeaTunnel 的事件監聽能力

在數據集成任務日益複雜的今天，如何實時掌握作業執行過程中的關鍵事件，並基於這些事件觸發後續邏輯處理，已經成為企業構建數據平台時不可或缺的一環。Apache SeaTunnel 從 2.3.0 開始引入了全新的事件監聽機制（Event Listener），為用户提供了靈活的鈎子體系，助力構建更智能、更具業務驅動的數據集成流程。 本文將圍繞事件監聽機制的整體架構、核心概念、使用方式與最佳實踐，帶你深入

數據同步 , 事件監聽 , 日誌 , 開源 , seatunnel

收藏 評論

seatunnel 頭像

SeaTunnel - 破 400！Apache SeaTunnel 成為全球開發者共建熱土

隨着 Apache SeaTunnel 項目在全球數據集成領域的不斷髮展壯大，今天我們迎來了一個重要的里程碑 —— GitHub 貢獻者數量正式突破 400 人！ 🎉 這不僅是一個數字的躍升，更是全球開發者對 SeaTunnel 技術價值與開源精神的持續認可和熱情參與。 Apache SeaTunnel 成長軌跡一覽 作為 Apache 軟件基金會旗下的頂級項目，Apache SeaTunne

github , 大數據 , 開源 , seatunnel , 開發者

收藏 評論

u_15459354 頭像

ApacheSeaTunnel - 深陷 Sqoop+Canal 困境？中控技術用 SeaTunnel 打造高效數據採集破局方案

核心數據一致性達99.99%、開發效率提升50%、運維成本降低70%——這是中控技術採用 Apache SeaTunnel 構建數據採集框架及相關數據服務體系後的實測成效。 上週 Apache SeaTunnel 線上 Meetup 上，中控技術工程師崔俊樂分享了這家大型工業 AI 平台型公司的實踐經驗。我們已將視頻內容整理成文，供行業同仁參考借鑑。 作者簡介 崔俊樂，中控技

spark , 大數據 , 運維 , 開源 , seatunnel , apache

收藏 評論

seatunnel 頭像

SeaTunnel - Apache SeaTunnel 如何將 CDC 數據流轉換為 Append-Only 模式？

RowKindExtractor 是 Apache SeaTunnel 的一個轉換插件，它能將 CDC 數據流轉為 Append-Only 模式，並提取原始 RowKind 信息為新字段。本文將介紹 RowKindExtractor 的核心功能，其在 CDC 數據同步場景下的使用方法，以及配置選項、注意事項及多種應用示例。 RowKindExtractor RowKindExtractor 轉換

大數據 , 開源 , seatunnel , 開發者

收藏 評論

u_15459354 頭像

ApacheSeaTunnel - Apache SeaTunnel 如何將 CDC 數據流轉換為 Append-Only 模式？

RowKindExtractor 是 Apache SeaTunnel 的一個轉換插件，它能將 CDC 數據流轉為 Append-Only 模式，並提取原始 RowKind 信息為新字段。本文將介紹 RowKindExtractor 的核心功能，其在 CDC 數據同步場景下的使用方法，以及配置選項、注意事項及多種應用示例。 RowKindExtractor RowKindE

spark , 大數據 , 數據 , 數據轉換 , 開源 , seatunnel

收藏 評論