博客 / 列表

ApacheSeaTunnel - 2025 白鯨開源:“溯” 光前行,“源” 啓新程!

引言:2025 年,我們的年終總結髮布姍姍來遲,但此刻開啓回顧正當時。 這一年,數據浪潮洶涌澎湃,開源領域競爭激烈,我們共同經歷了數據行業的高速發展和開源生態不斷演進,在這片充滿挑戰與機遇的海洋裏揚帆遠航。 值此歲末,讓我們一同回首過去一年的奮鬥歷程,審視得失,為新一年的征程汲取力量。接下來,讓我們一同梳理這一年白鯨開源的重要歷程。

spark , 年終總結 , 大數據 , 開源 , 白鯨開源

ApacheSeaTunnel - 一次被大 JSON 教訓後的 Apache SeaTunnel 調優筆記

作者 | 肌肉娃子 起因:我以為只是“複製一份配置”這麼簡單 最開始的想法很樸素: amzn_order 的 Seatunnel CDC → Doris 同步已經跑得挺穩了,那我把這套配置直接“平移”到 amzn_api_logs 上,表名改一改,跑起來就完事。 結果就是: 線上機器內存一路飆到十幾 G,Java 進程頻繁 OOM,Doris / Trino 全在同一台

sed , spark , 大數據 , seatunnel , JAVA , Json

ApacheSeaTunnel - Apache SeaTunnel 2025 案例精選重磅發佈!

🎉哇塞!《2025 年 Apache SeaTunnel 案例精選集》 閃亮登場啦!免費領取通道開啓,限時 7 天,手快有手慢無哦,寶子們衝呀! 過去這一年,Apache SeaTunnel 就像個數據小能手,成功“打入”眾多企業的生產環境,為那些複雜的數據同步和集成難題,量身定製超棒的解決方案。社區小夥伴們超用心,把這些應用實踐精心整理,編成了這本案例集。 豐富案例,全

spark , 大數據 , 數據 , 案例 , Apache SeaTunnel , 解決方案 , apache

ApacheSeaTunnel - Apache SeaTunnel 社區年終盤點

Apache SeaTunnel 的社區成員、開發者、合作伙伴以及關心我們的朋友們: 2025 匆匆而過,Apache SeaTunnel 卻在這一年裏收穫了滿滿的成長與驚喜!作為全球增長最快的數據集成項目之一,我們看着 GitHub 上的 Star 和 Fork 數一路攀升,關注的目光越來越多;我們迭代發佈多個重要版本,打磨核心引擎、豐富連接器生態、新增實用功能,讓數據集成的性能、

spark , 年終總結 , 大數據 , 數據 , 數據集成 , apache

ApacheSeaTunnel - (四)收官篇!從分層架構到數據湖倉架構系列:數據服務層和數據應用層及湖倉技術趨勢小結

《新興數據湖倉設計與實踐手冊·從分層架構到數據湖倉架構設計(2025 年)》 系列文章將聚焦從數據倉庫分層到數據湖倉架構的設計與實踐。手冊將闡述數據倉庫分層的核心價值、常見分層類型,詳解分層下的 ETL 架構及數據轉換環節,介紹數據倉庫分層對應的技術架構,並以貼源層(ODS)、數據倉庫層(DW)、數據服務層(DWS)為例,深入剖析數湖倉分層設計,最後探討數據倉庫技術趨勢並進行小結。

spark , WhaleStudio , 大數據 , 數據倉庫 , 數據庫 , 白鯨開源

ApacheSeaTunnel - 深陷 Sqoop+Canal 困境?中控技術用 SeaTunnel 打造高效數據採集破局方案

核心數據一致性達99.99%、開發效率提升50%、運維成本降低70%——這是中控技術採用 Apache SeaTunnel 構建數據採集框架及相關數據服務體系後的實測成效。 上週 Apache SeaTunnel 線上 Meetup 上,中控技術工程師崔俊樂分享了這家大型工業 AI 平台型公司的實踐經驗。我們已將視頻內容整理成文,供行業同仁參考借鑑。 作者簡介 崔俊樂,中控技

spark , 大數據 , 運維 , 開源 , seatunnel , apache

ApacheSeaTunnel - Apache SeaTunnel 如何將 CDC 數據流轉換為 Append-Only 模式?

RowKindExtractor 是 Apache SeaTunnel 的一個轉換插件,它能將 CDC 數據流轉為 Append-Only 模式,並提取原始 RowKind 信息為新字段。本文將介紹 RowKindExtractor 的核心功能,其在 CDC 數據同步場景下的使用方法,以及配置選項、注意事項及多種應用示例。 RowKindExtractor RowKindE

spark , 大數據 , 數據 , 數據轉換 , 開源 , seatunnel