tag flink

標籤
貢獻26
121
05:15 PM · Oct 25 ,2025
ververica 頭像 daimajiangxin 頭像 elhix0bg 頭像 zhaoqianglaoshi 頭像 doge_king 頭像 baidujiagoushi 頭像 alijishu 頭像 data_ai 頭像 mirrorship 頭像 u_16213578 頭像 lenglingx 頭像 u_16213617 頭像

@flink / 博客 RSS 訂閱

u_16099257 頭像

編程小匠人 - Flink學習筆記（四）State管理與恢復

Apache Flink State Backends 詳解 1. 基本概念 State Backend（狀態後端）是 Flink 用於存儲和管理狀態的組件。它決定了狀態數據的存儲位置、存儲格式以及如何進行檢查點操作。Flink 提供了多種狀態後端實現，每種都有其特定的適用場景和優缺點。 2. 狀態後端類型 2.1 MemoryS

大數據 , 檢查點 , 後端開發 , flink , harmonyos , apache

收藏 評論

daimajiangxin 頭像

代碼匠心 - 從零開始學Flink：事件驅動

在實時計算領域，很多業務邏輯天然適合“事件驅動”模式：當事件到達時觸發處理、在某個時間點觸發補償或彙總、根據狀態變化發出告警等。Apache Flink 為此提供了強大的 ProcessFunction 家族（KeyedProcessFunction、CoProcessFunction、BroadcastProcessFunction 等），它們在算子層面同時具備“事件處理 + 定時器 + 狀態”

大數據 , 事件驅動 , JAVA , flink , 數據處理

收藏 評論

ververica 頭像

ApacheFlink - 實時計算 Flink 全新升級 - 全棧流處理平台助力實時智能

本文根據2025雲棲大會演講整理而成，演講信息如下 演講人：黃鵬程阿里雲智能集團計算平台事業部實時計算Flink版產品負責人 引言 在數據驅動的時代，實時數據處理已成為企業數字化轉型的核心能力。阿里雲實時計算Flink版用了十年時間來進行產品發展，從技術引進到自主創新，已成為實時數據處理的行業標杆。在這次雲棲大會上，阿里雲發佈了實時計算Flink的全新升級，不僅在計算和存儲層面實現重大突

大數據 , flink , 實時計算

收藏 評論

lenglingx 頭像

lenglingx - flink-cdc同步mysql到doris的一個常見的數據類型錯誤處理

flink-cdc同步mysql到doris的一個常見的類型錯誤處理 一、varchar類型 日誌報錯如下： java.lang.IllegalArgumentException: Variable character string length must be between 1 and 21474

MySQL , 數據庫 , JAVA , flink , apache

收藏 評論

seatunnel 頭像

SeaTunnel - 結項報告完整版：Apache SeaTunnel 支持 Flink 引擎 Schema Evolution 功能

過去兩週，我們對開源之夏活動中表現優異的開發者們進行了簡單的採訪，初步粗略地瞭解了一下他們的開發過程和心得體會。今天，我們將通過同學們的完整結項報告，深入瞭解項目的開發技術細節，希望能夠幫助大家更好地瞭解 Apache SeaTunnel 項目的最新進展。 接下來是關於在 Flink 引擎上對 Schema Evolution 功能的支持這一項目的完整報告： 一. 已完成工作 根據原定方案（htt

數據同步 , 大數據 , 開源 , seatunnel , flink

收藏 評論

ververica 頭像

ApacheFlink - 雲棲實錄｜馳騁在數據洪流上：Flink+Hologres驅動零跑科技實時計算的應用與實踐

本文根據 2025 雲棲大會演講整理而成，演講信息如下 演講人： 聶清 零跑汽車大數據高級專家 零跑科技的快速發展與數據挑戰 零跑科技成立於2015年12月，總部位於浙江杭州，是國內造車新勢力中唯一具備全域自研自造能力及垂直整合度最高的智能電動車企業。業務涵蓋整車設計、研發製造、智能駕駛等領域，始終致力於為用户創造價值。 特別值得一提的是，就在演講前一天，零跑迎來了第100萬台量產車的下

大數據 , flink , 實時計算

收藏 評論

elhix0bg 頭像

阿里雲大數據AI - 雲棲實錄 | 實時計算 Flink 全新升級 - 全棧流處理平台助力實時智能

本文根據2025雲棲大會演講整理而成，演講信息如下 演講人： 黃鵬程阿里雲智能集團計算平台事業部實時計算Flink版產品負責人 引言 在數據驅動的時代，實時數據處理已成為企業數字化轉型的核心能力。阿里雲實時計算Flink版用了十年時間來進行產品發展，從技術引進到自主創新，已成為實時數據處理的行業標杆。在這次雲棲大會上，阿里雲發佈了實時計算Flink的全新升級，不僅在計算和存儲層面

fluss , 阿里雲 , flink , 流計算 , 實時計算

收藏 評論

elhix0bg 頭像

阿里雲大數據AI - 雲棲實錄 | 馳騁在數據洪流上：Flink+Hologres 驅動零跑科技實時計算的應用與實踐

本文根據2025雲棲大會演講整理而成，演講信息如下 _演講人：_聶清零跑汽車大數據高級專家 零跑科技的快速發展與數據挑戰 零跑科技成立於2015年12月，總部位於浙江杭州，是國內造車新勢力中唯一具備全域自研自造能力及垂直整合度最高的智能電動車企業。業務涵蓋整車設計、研發製造、智能駕駛等領域，始終致力於為用户創造價值。 特別值得一提的是，就在演講前一天，零跑迎來了第100萬台量產車的

阿里雲 , flink , 實時計算

收藏 評論

ververica 頭像

ApacheFlink - Flink 智能調優：從人工運維到自動化的實踐之路

作者：黃睿阿里雲智能集團產品專家 本文基於阿里雲Flink平台的實際實踐經驗整理，希望能為廣大流計算從業者提供有價值的參考。 引言 在流計算領域，ApacheFlink作為業界領先的流處理引擎，為眾多企業提供了強大的實時數據處理能力。然而，隨着業務規模的不斷擴大和數據量的持續增長，如何確保Flink作業能夠長期穩定運行，同時實現資源的高效利用，成為了每個技術團隊都必須面對的核心挑戰。 根據前期用户

大數據 , flink , 實時計算

收藏 評論

alijishu 頭像

阿里雲開發者 - eKuiper 1.8.0 發佈：零代碼實現圖像/視頻流的實時 AI 推理

LF Edge eKuiper 是 Golang 實現的輕量級物聯網邊緣分析、流式處理開源軟件，可以運行在各類資源受限的邊緣設備上。eKuiper 的主要目標是在邊緣端提供一個流媒體軟件框架（類似於 Apache Flink ）。eKuiper 的規則引擎允許用户提供基於 SQL 或基於圖形（類似於 Node-RED）的規則，在幾分鐘內創建物聯網邊緣分析應用。 近日，eKuiper 發佈了 1.8

編碼 , 阿里雲 , 人工智能 , flink , SQL

收藏 評論

u_16099271 頭像

代碼魔術師之手 - 大數據Flink進階（十三）：Flink 任務提交模式-

一、Flink部署 環境版本： Flink1.17.0 hadoop2.7.6 jdk1.8 1.集羣角色 客户端（client）：代碼由客户端獲取並做轉換，之後提交給jobmanager Jobmanager就是Flink集羣裏的"管理者"，對作業進行中央調度管理；獲取到客户端提交的任務後，進一步進行任

服務器 , jar , 客户端 , flink , 集羣

收藏 評論

zhaoqianglaoshi 頭像

趙渝強老師 - 【趙渝強老師】大數據生態圈中的組件

  大數據體系架構中的組件非常多，每個組件又屬於不同的生態圈系統。從最早的Hadoop生態圈體系開始，逐步有了Spark生態圈體系和Flink生態圈體系。因此在學習大數據之前有必要了解一下每一個生態圈體系中具體包含哪些組件，以及它們的作用又是什麼。   視頻講解如下： https://www.bilibili.com/video/BV1UE421N7RC/?aid=1655938699

spark , 大數據 , hadoop , flink , kafka

收藏 評論

mulavar 頭像

Mulavar - 【Flink】TaskManager 內存模型及計算邏輯詳解

本文旨在詳解 Flink TaskManager 的內存模型以及其各部分內存佔比的計算邏輯。首先，結合官網展示了當前 Flink 的內存模型，並在之後結合 JVM 自身內存模型和管理機制結合講解 Flink 內存模型的各個部分，最後結合源碼解釋了各部分內存佔比的計算邏輯。 1 內存模型組成部分 本節摘自官網：https://nightlies.apache.org/flink/flink-docs

內存 , 大數據 , jvm , 源碼分析 , flink

收藏 評論

u_16099262 頭像

信息流星 - 2021年最新最全Flink系列教程

1. 什麼時候需要“混用”？ 先用 Table 生態（Catalog、Connector、SQL 函數）做取數/清洗，再回到 DataStream 寫低階算子（自定義定時器、精細狀態）。 某些 無狀態歸一化（大小寫、正則清洗、簡單投影）交給 SQL；複雜業務/亂序處理交給 DataStream。 歷史補數（有界流）走 Ba

服務器 , 大數據 , 自定義 , 後端開發 , flink , SQL , Python

收藏 評論

u_16099279 頭像

夜行者3號 - flink-cdc實時增量同步mysql數據到elasticsearch_51CTO博客

一、整體架構與 Demo 思路 本 Demo 裏會啓動 4 個容器： observer：OceanBase CE 單機 mini 集羣； oblogproxy：OceanBase 日誌代理，用於提供日誌流； elasticsearch：7.6.0 版本，用來存儲 Flink 下游數據； kibana：可視化

elasticsearch , 數據 , oceanbase , flink , Css , Docker , 前端開發 , HTML

收藏 評論

u_16213574 頭像

數據分析家 - 對雲計算，大數據和人工智能的淺談（三） - 好文

在日常生活中，互聯網技術已經無處不在。你刷的短視頻、收到的個性化購物推薦、智能家居控制，甚至出行導航，背後都有AI、大數據和雲計算在默默支撐。雖然很多人只感受到便利，但這些技術背後有許多趣味故事和科學邏輯。本文將通過生活場景，展示技術如何悄悄改變我們的日常體驗。 清晨，你醒來，智能音箱已經根據天氣、日程和興趣播放新聞或音樂。這是AI與大數據分析的結

智能家居 , 雲計算 , 大數據分析 , flink , Css , 前端開發 , HTML

收藏 評論

ververica 頭像

ApacheFlink - 淘寶閃購基於Flink&Paimon的Lakehouse生產實踐：從實時數倉到湖倉一體化的演進之路

摘要：本文整理自淘寶閃購(餓了麼)大數據架構師王沛斌老師在FlinkForwardAsia2025城市巡迴上海站的分享。 引言 在數字化轉型的浪潮中，企業對實時數據處理的需求日益增長。傳統的實時數倉架構在面對業務快速變化和數據規模爆炸性增長時，逐漸暴露出數據孤島、成本高企、研發效率低下等問題。淘寶閃購（餓了麼）作為阿里巴巴集團重要的本地生活服務平台，在數據架構演進過程中積累了豐富的實踐經驗。 本文

大數據 , flink , 實時計算

收藏 評論

daimajiangxin 頭像

代碼匠心 - Lambda架構：實時與批處理的完美融合

引言 在當今數據爆炸的時代，企業面臨着前所未有的數據處理挑戰——如何同時滿足海量歷史數據的批處理分析需求和實時數據的低延遲查詢需求？2014年，Storm的作者Nathan Marz提出了一種革命性的架構模式——Lambda架構，為解決這一矛盾提供了優雅的解決方案。 Lambda架構通過巧妙地將數據處理分解為批處理層(Batch Layer)、加速層(Speed Layer)和服務層(Servin

大數據處理 , 大數據 , hadoop , flink

收藏 評論

yunshu_blog 頭像

雲叔_又拍雲 - Flink 在又拍雲日誌批處理中的實踐

日前，由又拍雲舉辦的大數據與 AI 技術實踐｜Open Talk 杭州站沙龍在杭州西溪科創園順利舉辦。本次活動邀請了有贊、個推、方得智能、又拍雲等公司核心技術開發者，現場分享各自領域的大數據技術經驗和心得。以下內容整理自又拍雲資深開發工程師張召現場分享： 張召，資深開發工程師，目前負責又拍雲 CDN 的刷新預熱、日誌處理和運維平台開發。熟悉 OpenResty，在 Web 開發領域經驗頗豐，目前熱

批處理 , 又拍雲 , 雲存儲 , 雲服務 , flink

收藏 評論

ververica 頭像

ApacheFlink - Forrester發佈流式數據平台報告：Flink 創始團隊躋身領導者行列，實時AI能力獲權威認可

近日，全球權威研究機構 Forrester 正式發佈《The Forrester Wave™: Streaming Data Platforms, Q4 2025》報告（後簡稱“報告”），Ververica 首次進入領導者象限，成為該年度報告中最受關注的"新晉領導者"。 Ververica 由 Apache Flink 的創始團隊建立，這一突破性成就標誌着 Ververica 在全球流式數據平台領

大數據 , flink , 實時計算

收藏 評論

daimajiangxin 頭像

代碼匠心 - 從零開始學Flink：數據轉換的藝術

在實時數據處理流程中，數據轉換（Transformation）是連接數據源與輸出結果的橋樑，也是體現計算邏輯的核心環節。Flink提供了豐富的數據轉換操作，讓開發者能夠靈活地對數據流進行各種處理和分析。本文將以Flink DataStream API為核心，帶你探索Flink數據轉換的精妙世界，並結合之前文章中的Kafka Source實現一個完整的數據處理流程。 一、數據轉換概覽 數據轉換是指將

大數據處理 , 大數據 , JAVA , flink , 後端

收藏 評論

daimajiangxin 頭像

代碼匠心 - 從零開始學Flink：數據輸出的終極指南

在實時數據處理的完整鏈路中，數據輸出（Sink）是最後一個關鍵環節，它負責將處理後的結果傳遞到外部系統供後續使用。Flink提供了豐富的數據輸出連接器，支持將數據寫入Kafka、Elasticsearch、文件系統、數據庫等各種目標系統。本文將深入探討Flink數據輸出的核心概念、配置方法和最佳實踐，並基於Flink 1.20.1構建一個完整的數據輸出案例。 一、Flink Sink概述 1. 什

大數據處理 , 大數據 , JAVA , flink , 後端

收藏 評論

data_ai 頭像

數據庫知識分享者 - Flink 實時計算在微博的應用

簡介： 微博通過將 Flink 實時流計算框架跟業務場景相結合，在平台化、服務化方面做了很大的工作，在開發效率、穩定性方面也做了很多優化。我們通過模塊化設計和平台化開發，提高開發效率。 微博機器學習研發中心數據計算負責人，高級系統工程師曹富強為大家帶來 Flink 實時計算在微博的應用介紹。內容包括： 1、微博介紹 2、數據計算平台介紹 3、Flink 在數據計算平台的典型應用 一、微

微博 , flink

收藏 評論

u_17480953 頭像

AIIData數據中台 - 實時開發平台(Streampark)--Flink SQL功能演示

摘要： • 使用Flink StandaIone模式運行FIink SQL Demo •Flink 安裝包需要與 StreamPark 服務同在一台服務器 實時開發平台基於開源項目StreamPark建設 實時開發平台 StreamPark 提供了一系列快捷 API 和 Connector，開箱即用，作業狀態自動追蹤，快速完成作業的開發和管理。同

服務器 , 數據庫 , SQL Server , flink , 流處理

收藏 評論