在關係型數據庫的世界裏，join 是數據建模和查詢優化的核心。但隨着業務複雜度的提升，大量依賴 join 會讓系統變得笨重：查詢延遲增加，事務處理受阻，架構也越來越脆弱。 在文檔數據庫（如 MongoDB）以及更廣泛的分佈式系統中，類似 $lookup 的功能能夠滿足多集合查詢，但當它成為獲取完整視圖的主要方式時，也會帶來性能瓶頸。越來越多的團隊意識到：與其在查詢時臨時拼接數據，不如在數據生成和流
昵稱 Tapdata鈦鉑
國家電影局數據顯示，2024年全國觀影總人次為10.1億，同比下滑23.1%。與此同時，啓信寶統計數據顯示，電影相關企業數量在五年內翻了三番，年均增速超25%。電影行業呈現“冰火兩重天”的態勢。 “消費端收縮、供給端活躍”的現象，勾勒出中國電影產業在深度調整期的真實圖景。近日，啓信寶發佈的《2025電影行業觀察報告》指出，行業的增長動力已從市場擴容轉向結構升級，資源向頭部企業、核心地域與AI技術高
昵稱 合合技術團隊
隨着人工智能深入各行各業，多模態大模型正在成為AI發展的重要方向之一。近期，由中國圖象圖形學學會、中國人工智能學會、中國計算機學會和中國自動化學會聯合主辦，上海交通大學承辦的第八屆中國模式識別與計算機視覺學術會議（PRCV 2025）順利舉行。大會期間，“多模態文本智能大模型前沿技術與應用”論壇（簡稱“論壇”）獲得了廣泛關注。論壇彙集了來自華南理工大學、哈爾濱工業大學、南開大學、華中科技大學、小紅
昵稱 合合技術團隊
2024年，中國城市智駕迎來全面爆發。在這場高階智能駕駛的競速賽中，廣汽正以穩健而堅定的步伐，向行業第一梯隊邁進。 廣汽的“星靈智行”ADiGO技術品牌，以AI重構智能汽車，全面推動AI賦能智能駕駛和智能座艙，加速汽車從“移動工具”，向“智能終端”進化。廣汽GSD智能輔助駕駛實現了對複雜城市場景的泛化理解能力。系統現已覆蓋至少35個主場景、357個子場景，在紅綠燈起停、擁堵博弈變道、待轉區左轉等高
昵稱 阿里雲大數據AI
導語：今年的 GSoC 已近尾聲，在這場代碼開發盛宴中，Apache DolphinScheduler 的開發者們積極參與，取得了一項對用户意義重大的成果——引入通用 OIDC 認證，實現無縫安全訪問。令人欣喜的是，該成果出自一位印度開發者之手。在項目導師 Gallardot 與向梓豪（SbloodyS）的精心指導下，這一成果成功在 Apache DolphinScheduler 中落地。今天，就
昵稱 海豚調度
Apache Flume支持採集各類數據發送方產生的日誌信息，並且可以將採集到的日誌信息寫到各種數據接收方。其核心是把數據從數據源（Source）收集過來，在將收集到的數據送到指定的目的地（Sink）。為了保證輸送的過程一定成功，在送到目的地（Sink）之前，會先緩存數據（Channel）,待數據真正到達目的地（Sink）後，Flume再刪除自己緩存的數據。 一、 Apache Flume的體系架
昵稱 趙渝強老師
一、背景 DolphinScheduler（海豚調度器）作為開源分佈式調度系統，核心價值在於破解大數據場景下複雜任務的調度與流程編排難題，憑藉可靠的任務調度、可視化工作流管理等能力，已成為生產環境的核心調度中樞——當前95%以上的大數據任務均通過其實現協調調度。而Open-Falcon作為專注大規模分佈式系統的開源監控工具，二者形成"調度核心+監控中樞"的協同關係：前者承擔任務調度的核心職責，後者
昵稱 海豚調度
近日，第十屆“創客中國”北京市中小企業創新創業大賽暨“創客北京2025”創新創業大賽結果揭曉，北京白鯨開源科技有限公司憑藉“白鯨開源-Agentic AI 時代下的數據基礎設施平台”，榮登企業組 TOP150，並獲得大賽組委會頒發的獲獎證書。 據統計，本次 “創客北京” 活動共有 6000 + 項目報名參賽，規模亮眼。我司歷經初賽、決賽、總決賽多輪角逐，最終榮獲佳績。 在 AI 技術
昵稱 海豚調度
業務技術背景 在當今數字化轉型浪潮下，企業正面臨着海量數據的爆炸式增長，尤其在構建數據湖業務、BI分析以及AI/ML數據準備等關鍵場景中，需要高效、可擴展的大規模大數據存儲解決方案。這些場景往往要求數據存儲系統不僅能處理PB級甚至EB級的數據規模，還必須支持事務性操作，以確保數據一致性、原子性和隔離性，從而避免數據混亂或丟失的風險。 正因如此，Apache Iceberg作為一種先進的開源數據湖格
昵稱 SeaTunnel
本文根據2025雲棲大會演講整理而成，演講信息如下 演講人：黃鵬程阿里雲智能集團計算平台事業部實時計算Flink版產品負責人 引言 在數據驅動的時代，實時數據處理已成為企業數字化轉型的核心能力。阿里雲實時計算Flink版用了十年時間來進行產品發展，從技術引進到自主創新，已成為實時數據處理的行業標杆。在這次雲棲大會上，阿里雲發佈了實時計算Flink的全新升級，不僅在計算和存儲層面實現重大突
昵稱 ApacheFlink
《新興數據湖倉設計與實踐手冊·從分層架構到數據湖倉架構設計（2025 年）》 系列文章將聚焦從數據倉庫分層到數據湖倉架構的設計與實踐。手冊將闡述數據倉庫分層的核心價值、常見分層類型，詳解分層下的 ETL 架構及數據轉換環節，介紹數據倉庫分層對應的技術架構，並以貼源層（ODS）、數據倉庫層（DW）、數據服務層（DWS）為例，深入剖析數湖倉分層設計，最後探討數據倉庫技術趨勢並進行小結。 本文為系列文
昵稱 SeaTunnel
本文根據2025雲棲大會DataWorks產品年度發佈實錄整理而成 演講人：田奇銑，阿里雲智能集團計算平台事業部DataWorks產品負責人 DataWorks下一代Data+AI數據開發與治理平台，全面邁向“數據驅動智能、智能反哺數據”的新階段。作為中國大數據平台公有云市場份額和中國數據治理平台市場份額連續四年排名第一的領軍產品，DataWorks不僅見證了企業數字化轉型過程，更在生成式
昵稱 阿里雲大數據AI
在2025年雲棲大會上，阿里雲DLF產品負責人李魯兵正式發佈了DLF（DataLakeFormation）3.0，升級為面向AI時代的智能全模態湖倉管理平台。此次發佈標誌着DLF從傳統的湖倉管理工具，全面進化為支持結構化、半結構化與非結構化數據統一管理、安全開放、性能卓越的新一代數據基礎設施。本文將系統梳理DLF3.0的架構演進、核心能力、典型應用場景以及其在實際業務中的落地價值。 一、D
昵稱 阿里雲大數據AI
各位熱愛 Apache SeaTunnel 的小夥伴們，社區 9 月份月報來啦！ 本月，社區 21 位貢獻者共同參與了 Apache SeaTunnel 的修復與功能升級，助力數據同步能力提升。 核心亮點總結 核心功能持續豐富：新增正則提取轉換、多模態嵌入、向量降維等Transform-V2能力；支持HDFS文件多表源讀取、Databend CDC模式接收，拓展數據處理場景。 多模塊問題修
昵稱 SeaTunnel
在企業數字化浪潮中，數據採集早已不是 "能同步就行" 的簡單命題——多元異構數據源的割裂、TB 級數據的吞吐壓力、跨系統同步的穩定性挑戰，正成為多數企業的 "數據頑疾"。而中控技術，這家服務全球 35000 家客户的工業 AI 平台型企業，卻用 Apache SeaTunnel 交出了一份驚豔答卷：核心數據同步任務實現 0 故障運行。 11 月 11 日 14:00，SeaTunnel 視頻號線
昵稱 SeaTunnel
本文根據 2025 雲棲大會演講整理而成，演講信息如下 演講人： 聶清 零跑汽車大數據高級專家 零跑科技的快速發展與數據挑戰 零跑科技成立於2015年12月，總部位於浙江杭州，是國內造車新勢力中唯一具備全域自研自造能力及垂直整合度最高的智能電動車企業。業務涵蓋整車設計、研發製造、智能駕駛等領域，始終致力於為用户創造價值。 特別值得一提的是，就在演講前一天，零跑迎來了第100萬台量產車的下
昵稱 ApacheFlink
不少開發者在部署 qData數據中台開源版 時，常會遇到了環境依賴、端口衝突、容器啓動失敗等問題。 本視頻由 qData官方團隊 錄製，手把手演示如何在 Linux環境下通過 Docker Compose 一鍵部署完整的qData數據中台，幫助你快速完成系統搭建與運行。 📘 視頻內容 1️⃣ 環境與準備工作 2️⃣ 安裝並驗證 Docker / Docker Compose 3️⃣
昵稱 吳大同
Flink 自1.1版本起通過FLIP-49 Unified Memory Configuration for TaskExecutors 和FLIP-116 Unified Memory Configuration for Job Managers對 TaskManager 和 JobManager 的內存模型進行了重大重構，統一了內存配置方式，本文詳細介紹 Flink TaskManager
昵稱 bigdata1
作者：黃睿阿里雲智能集團產品專家 本文基於阿里雲Flink平台的實際實踐經驗整理，希望能為廣大流計算從業者提供有價值的參考。 引言 在流計算領域，ApacheFlink作為業界領先的流處理引擎，為眾多企業提供了強大的實時數據處理能力。然而，隨着業務規模的不斷擴大和數據量的持續增長，如何確保Flink作業能夠長期穩定運行，同時實現資源的高效利用，成為了每個技術團隊都必須面對的核心挑戰。 根據前期用户
昵稱 ApacheFlink
10 月版本煥新上線！Smartbi AIChat 與一站式 ABI 平台再升級，聚焦「交互體驗、數據效率、部署適配、安全管控」四大方向，解決溝通閉環、國產化遷移、大規模授權加載慢等實際業務痛點，讓數據分析更順暢、部署更靈活、安全更可靠，助力企業降本提效！下文為你拆解功能亮點～ 01 Smartbi AIChat 1 新增對話評論與回覆，雙向溝通更高效 AIChat 以往的反饋是單向的：用户提交問
昵稱 Smartbi
近年來，我國數據要素市場規模保持高速增長，隨着《數據安全法》、《個人信息保護法》、《數據二十條》等相關政策相繼出台，對隱私數據安全提出了新的要求。作為數據要素流通的實踐探索者與隱私計算技術的佈道者，隱語希望凝聚學術界與產業界生態共建力量，帶來“數據安全/隱私計算”的系列課程分享。 緊跟數據要素市場發展前沿趨勢，普及數據安全與隱私保護的重要意義，隱語開源社區聯合學術屆與產業界的數十位專家學者，於20
昵稱 隱語SecretFlow
Merkle 樹，也被稱為 "hash tree"，是一種二叉樹的數據結構。這種樹的每個節點都是基於其子節點的一種特殊形式的 hash。具體來説，葉節點的 hash 是由存儲在那裏的數據塊（例如文件或文件的部分）生成的，而非葉節點的 hash 是由其子節點的 hash 生成的。如果 Merkle 樹只有一個節點（也就是根節點），那麼該節點的 hash 就是所有數據的 hash。 Merkle 樹的
昵稱 註銷
大家好，我是 Java陳序員。 我們都知道，《數據結構與算法》 —— 是程序員的必修課。 無論是使用什麼編程語音，亦或者是前後端開發，都需要修好《數據結構與算法》這門課！ 在各個互聯網大產的面試中，對數據結構和算法的考核樂此不疲。往往《數據結構與算法》學得好的，都能拿到高薪！ 但是《數據結構和算法》是一門不容易掌握的課程，需要花費長時間的學習、 總結和打磨。 今天，給大家介紹一個動畫圖解、一
昵稱 Java陳序員
退火算法 是一種啓發式優化算法，靈感來源於金屬退火過程。在金屬退火中，將金屬加熱到高温然後逐漸冷卻，以消除內部結晶缺陷，使其達到更穩定的狀態。類比於優化問題，退火算法通過模擬這個過程，從一個高温狀態開始，逐漸減小温度，使系統跳出局部最小值，最終趨向全局最優解。 基本思想： 初始化： 隨機生成初始解。 温度控制： 引入温度參數，控制在一定範圍內。 接受準則： 根據一定準則（如Metropol
昵稱 註銷