tag flink

標籤
貢獻26
124
05:15 PM · Oct 25 ,2025
ververica 頭像 daimajiangxin 頭像 elhix0bg 頭像 zhaoqianglaoshi 頭像 doge_king 頭像 baidujiagoushi 頭像 alijishu 頭像 data_ai 頭像 mirrorship 頭像 u_16213578 頭像 lenglingx 頭像 u_16213617 頭像

@flink / 博客 RSS 訂閱

elhix0bg 頭像

阿里雲大數據AI - 雲棲實錄 | 馳騁在數據洪流上：Flink+Hologres 驅動零跑科技實時計算的應用與實踐

本文根據2025雲棲大會演講整理而成，演講信息如下 _演講人：_聶清零跑汽車大數據高級專家 零跑科技的快速發展與數據挑戰 零跑科技成立於2015年12月，總部位於浙江杭州，是國內造車新勢力中唯一具備全域自研自造能力及垂直整合度最高的智能電動車企業。業務涵蓋整車設計、研發製造、智能駕駛等領域，始終致力於為用户創造價值。 特別值得一提的是，就在演講前一天，零跑迎來了第100萬台量產車的

阿里雲 , flink , 實時計算

收藏 評論

elhix0bg 頭像

阿里雲大數據AI - 雲棲實錄 | 實時計算 Flink 全新升級 - 全棧流處理平台助力實時智能

本文根據2025雲棲大會演講整理而成，演講信息如下 演講人： 黃鵬程阿里雲智能集團計算平台事業部實時計算Flink版產品負責人 引言 在數據驅動的時代，實時數據處理已成為企業數字化轉型的核心能力。阿里雲實時計算Flink版用了十年時間來進行產品發展，從技術引進到自主創新，已成為實時數據處理的行業標杆。在這次雲棲大會上，阿里雲發佈了實時計算Flink的全新升級，不僅在計算和存儲層面

fluss , 阿里雲 , flink , 流計算 , 實時計算

收藏 評論

ververica 頭像

ApacheFlink - 雲棲實錄｜馳騁在數據洪流上：Flink+Hologres驅動零跑科技實時計算的應用與實踐

本文根據 2025 雲棲大會演講整理而成，演講信息如下 演講人： 聶清 零跑汽車大數據高級專家 零跑科技的快速發展與數據挑戰 零跑科技成立於2015年12月，總部位於浙江杭州，是國內造車新勢力中唯一具備全域自研自造能力及垂直整合度最高的智能電動車企業。業務涵蓋整車設計、研發製造、智能駕駛等領域，始終致力於為用户創造價值。 特別值得一提的是，就在演講前一天，零跑迎來了第100萬台量產車的下

大數據 , flink , 實時計算

收藏 評論

ververica 頭像

ApacheFlink - Flink 智能調優：從人工運維到自動化的實踐之路

作者：黃睿阿里雲智能集團產品專家 本文基於阿里雲Flink平台的實際實踐經驗整理，希望能為廣大流計算從業者提供有價值的參考。 引言 在流計算領域，ApacheFlink作為業界領先的流處理引擎，為眾多企業提供了強大的實時數據處理能力。然而，隨着業務規模的不斷擴大和數據量的持續增長，如何確保Flink作業能夠長期穩定運行，同時實現資源的高效利用，成為了每個技術團隊都必須面對的核心挑戰。 根據前期用户

大數據 , flink , 實時計算

收藏 評論

daimajiangxin 頭像

代碼匠心 - 從零開始學Flink：事件驅動

在實時計算領域，很多業務邏輯天然適合“事件驅動”模式：當事件到達時觸發處理、在某個時間點觸發補償或彙總、根據狀態變化發出告警等。Apache Flink 為此提供了強大的 ProcessFunction 家族（KeyedProcessFunction、CoProcessFunction、BroadcastProcessFunction 等），它們在算子層面同時具備“事件處理 + 定時器 + 狀態”

大數據 , 事件驅動 , JAVA , flink , 數據處理

收藏 評論

seatunnel 頭像

SeaTunnel - 結項報告完整版：Apache SeaTunnel 支持 Flink 引擎 Schema Evolution 功能

過去兩週，我們對開源之夏活動中表現優異的開發者們進行了簡單的採訪，初步粗略地瞭解了一下他們的開發過程和心得體會。今天，我們將通過同學們的完整結項報告，深入瞭解項目的開發技術細節，希望能夠幫助大家更好地瞭解 Apache SeaTunnel 項目的最新進展。 接下來是關於在 Flink 引擎上對 Schema Evolution 功能的支持這一項目的完整報告： 一. 已完成工作 根據原定方案（htt

數據同步 , 大數據 , 開源 , seatunnel , flink

收藏 評論

lenglingx 頭像

lenglingx - flink-cdc同步mysql到doris的一個常見的數據類型錯誤處理

flink-cdc同步mysql到doris的一個常見的類型錯誤處理 一、varchar類型 日誌報錯如下： java.lang.IllegalArgumentException: Variable character string length must be between 1 and 21474

MySQL , 數據庫 , JAVA , flink , apache

收藏 評論

elhix0bg 頭像

阿里雲大數據AI - Lazada 如何用實時計算 Flink + Hologres 構建實時商品選品平台

本文整理自 Lazada Group EVP 及供應鏈技術負責人陳立羣在 Flink Forward Asia 2025 新加坡實時分析專場的分享。 引言：實時數據驅動，海外電商競爭的新高地 在電商行業，用户行為瞬息萬變，促銷節奏日益緊湊，能否在毫秒級做出數據驅動的決策，已成為決定成敗的關鍵。作為東南亞領先的電商平台，Lazada 面臨着一項巨大挑戰：在六個國家管理數十億商品 SKU，同時為不同市

flink

收藏 評論

daimajiangxin 頭像

代碼匠心 - 從零開始學Flink：流批一體的執行模式

在大數據處理領域，批處理和流處理曾經被視為兩種截然不同的範式。然而，隨着Apache Flink的出現，這種界限正在逐漸模糊。Flink的一個核心特性是其批流一體的架構設計，允許用户使用統一的API和執行引擎處理有界數據（批處理）和無界數據（流處理）。本文將深入探討Flink的執行模式（Execution Mode），特別是在Flink 1.20.1版本中對批處理和流處理模式的支持和優化。 一、F

大數據處理 , 大數據 , JAVA , flink

收藏 評論

ververica 頭像

ApacheFlink - 阿里雲、Ververica、Confluent、Linkedin攜手推進流式創新，共築智能體AI未來

ApacheFlinkAgents：一項里程碑式合作，旨在構建可擴展、面向生產的事件驅動型流式智能體框架。 作者：宋辛童，ApacheFlinkPMCMember，阿里雲高級技術專家 在FlinkForwardBarcelona2025大會上，我們宣佈：阿里雲、Ververica、Confluent與LinkedIn四家數據流領域的領軍企業正式攜手，共同推進ApacheFlinkAgent

大數據 , flink , 實時計算

收藏 評論

baidujiagoushi 頭像

百度Geek説 - Iceberg在圖靈落地應用

導讀 百度MEG上一代大數據產品存在平台分散、易用性差等問題，導致開發效率低下、學習成本高，業務需求響應遲緩。為了解決這些問題，百度MEG內部開發了圖靈3.0生態系統，包括Turing Data Engine(TDE)計算存儲引擎、Turing Data Studio(TDS)數據開發治理平台和Turing Data Analysis(TDA)可視化BI產品。依託圖靈3.0生態，我們引入了數據湖表

spark , 數據倉庫 , flink , iceberg , 數據湖

收藏 評論

ververica 頭像

ApacheFlink - 打造可編程可集成的實時計算平台：阿里雲實時計算 Flink被集成能力深度解析

關於作者 本文內容整理自阿里雲實時計算Flink產品團隊的技術分享，由李昊哲主講。李昊哲負責Flink平台的控制枱體驗、企業級能力建設，包括開放性、權限管理和可觀測性等方向。 在企業數字化轉型的浪潮中，實時計算已經成為核心技術能力之一。然而，一個強大的實時計算引擎如何才能真正融入企業複雜的技術生態?答案在於"被集成能力"——讓平台不僅僅是一個獨立的服務，而是能夠無縫嵌入到企業現有的開發流程、運維

大數據 , flink , 實時計算

收藏 評論

ververica 頭像

ApacheFlink - 在 OpenAI 打造流處理平台：超大規模實時計算的實踐與思考

本文整理自__OpenAI__基礎設施團隊的ShuyiChen和JoeyPereira在Current2025倫敦會議上的演講”_BuildingaStreamProcessingPlatformatOpenAI_“ 主要演講內容為： OpenAI的流式基礎設施； 構建流處理平台的動機及遇到的挑戰； OpenAI的整體架構及深入解讀； OpenAI業務用例以及平台未來的演

大數據 , flink , 實時計算

收藏 評論

ververica 頭像

ApacheFlink - Delta Join：為超大規模流處理實現計算與歷史數據解耦

Flink流式Join的範式轉變：DeltaJoin解決了什麼問題？ ApacheFlink一直以來都擅長有狀態流處理，但傳統流式Join在面對海量數據和高基數Key時卻遇到了瓶頸。問題在於為了保證正確性，你必須將所有歷史數據永久保存在Flink狀態中——這顯然不可持續。 DeltaJoin（FLIP-486）徹底改變了這一局面。它不再將所有數據緩存在內部，而是將Join轉變為一種無狀態的查詢機制

大數據 , flink , 實時計算

收藏 評論

daimajiangxin 頭像

代碼匠心 - 從零開始學Flink：數據源

在實時數據處理場景中，數據源（Source）是整個數據處理流程的起點。Flink作為流批一體的計算框架，提供了豐富的Source接口支持，其中通過Kafka獲取實時數據是最常見的場景之一。本文將以Flink DataStream API為核心，帶你從0到1實現“從Kafka消費數據並輸出到日誌”的完整流程，掌握Flink Source的核心用法。 一、為什麼選擇Kafka作為Flink的數據源？

大數據 , JAVA , flink

收藏 評論

zhaoqianglaoshi 頭像

趙渝強老師 - 【趙渝強老師】大數據主從架構的單點故障

  大數據體系架構中的核心組件都是主從架構，即：存在一個主節點和多個從節點，從而組成一個分佈式環境。下圖為展示了大數據體系中主從架構的相關組件。   視頻講解如下： https://www.bilibili.com/video/BV1vz421z72U/?aid=1355982530c...   從上圖可以看出大數據的核心組件都是一種主從架構，而只要是主從架構就存在單點故障的問

spark , 大數據 , hadoop , zookeeper , flink

收藏 評論

elhix0bg 頭像

阿里雲大數據AI - 淘寶閃購基於Flink&Paimon的Lakehouse生產實踐：從實時數倉到湖倉一體化的演進之路

摘要： 本文整理自淘寶閃購(餓了麼)大數據架構師王沛斌老師在FlinkForwardAsia2025城市巡迴上海站的分享。 引言 在數字化轉型的浪潮中，企業對實時數據處理的需求日益增長。傳統的實時數倉架構在面對業務快速變化和數據規模爆炸性增長時，逐漸暴露出數據孤島、成本高企、研發效率低下等問題。淘寶閃購（餓了麼）作為阿里巴巴集團重要的本地生活服務平台，在數據架構演進過程中積累了豐富的實踐經驗

阿里雲 , flink

收藏 評論

u_16213578 頭像

智能探索者之家 - Flink源碼解讀系列 | Flink集羣Standalone啓動腳本 -

前文中，我們已經瞭解了 Flink 的三種執行圖是怎麼生成的。今天繼續看一下 Flink 集羣是如何啓動的。 前文中，我們已經瞭解了 Flink 的三種執行圖是怎麼生成的。今天繼續看一下 Flink 集羣是如何啓動的。 啓動腳本 集羣啓動腳本的位置在： flink-dist/src/main/flink

後端開發 , flink , 啓動流程 , apache , Python

收藏 評論

u_16213615 頭像

mob64ca1400133b - Table API & SQL - 概念與通用 API - 《Apache Flink v1.13 官方中文文檔》

1. 項目結構與最小閉環 1.1 建立 TableEnvironment（入口） import org.apache.flink.table.api.*; EnvironmentSettings settings = EnvironmentSettings .newInstance() .inStreamingMo

大數據 , API , flink , Css , SQL , 前端開發 , HTML

收藏 評論

ververica 頭像

ApacheFlink - Flink Agents：基於Apache Flink的事件驅動AI智能體框架

本文基於 Apache Flink PMC成員宋辛童在 Community Over Code Asia 2025 Streaming 專題技術分享中的演講內容整理而成，詳細介紹了Flink Agents項目的技術背景、架構設計和應用前景。 在人工智能技術快速發展的今天，AI應用從簡單的對話交互正在向更加複雜和智能化的方向演進。Apache Flink社區最近推出了一個全新的項目——Flink A

大數據 , flink , 實時計算

收藏 評論

alijishu 頭像

阿里雲開發者 - 快手基於 Apache Flink 的實時數倉建設實踐

一、快手實時數倉的發展 作為短視頻領域的領頭羊，快手 APP 一直致力於視頻、直播技術的迭代，其背後對數據實時性、準確性的要求非常高，這對於數倉體系的構建也提出了新的挑戰。 下面是快手實時數倉發展到現在經歷的幾個階段： 在第一個階段，快手的實時數倉起始於春節、國慶、快手之夜等大型活動場景。在這些活動場景下，實時數據主要用於滿足活動大屏、運營看板、活動效果監控等實時需求。在這個階段

構建工具 , 數據 , 數據倉庫 , flink , apache

收藏 評論

data_ai 頭像

數據庫知識分享者 - 微博機器學習平台雲上最佳實踐

簡介： 本文講述了微博機器學習平台和深度學習平台的業務功能和雲上實踐，剖析了阿里雲大數據在微博這兩大學習平台的架構建設上所起到的作用。 作者：新浪微博數據計算平台系統架構師 曹富強 本文講述了微博機器學習平台和深度學習平台的業務功能和雲上實踐，剖析了阿里雲大數據在微博這兩大學習平台的架構建設上所起到的作用。 微博介紹 微博是2008年上線的，中國頭部、流行的社交媒體平台，提供人們在線創作、分享和發

微博 , flink

收藏 評論

u_16213617 頭像

mob64ca140088a9 - Flink on Yarn

目錄 一、HDFS：分佈式存儲的“數據倉庫” 1. HDFS核心架構：三大角色分工 二、Flink：大數據處理的“計算引擎” 1. Flink核心特性 2. Flink核心架構：三層協作模型 三、Flink+K8s+HDFS：雲原生大數據的“黃金組合” 1. 彈性資源調度：降本增效的核心 2. 可靠數據存儲

hdfs , kubernetes , 雲計算 , flink , 前端開發 , Javascript

收藏 評論

ververica 頭像

ApacheFlink - Flink Agents 0.1.0 發佈公告

ApacheFlink社區很高興地宣佈發佈ApacheFlinkAgents的首個預覽版本（0.1.0）。 什麼是ApacheFlinkAgents ApacheFlinkAgents是ApacheFlink的全新子項目，用於在Flink的流處理運行時之上直接構建事件驅動的AI智能體。它在同一框架內統一了流處理與自主智能體能力，將Flink在規模、低時延、容錯能力和狀態管理方面的成熟優勢，與構建智

大數據 , flink , 實時計算

收藏 評論