tag flink

標籤
貢獻26
122
05:15 PM · Oct 25 ,2025
ververica 頭像 daimajiangxin 頭像 elhix0bg 頭像 zhaoqianglaoshi 頭像 doge_king 頭像 baidujiagoushi 頭像 alijishu 頭像 data_ai 頭像 mirrorship 頭像 u_16213578 頭像 lenglingx 頭像 u_16213617 頭像

@flink / 博客 RSS 訂閱

ververica 頭像

ApacheFlink - 流、表與“二元性”的幻象

本文由Ververica首席架構師GiannisPolyzos撰寫，__探討了流與表的“二元性”本質，澄清常見誤解，指出Kafka與Iceberg等系統在缺乏主鍵和變更語義時無法真正實現該二元性，並強調統一系統對流表融合的重要性。 什麼是流/表二元性？ 核心思想其實很簡單： 流（Stream）是一個永不停止的變更日誌📜。 表（Table）是這些變更的物化視圖，即當前狀態🗄️。 👉任

fluss , 大數據 , flink , 實時計算

收藏 評論

ververica 頭像

ApacheFlink - Flink + Fluss 實戰: Delta Join 原理解析與操作指南

在使用FlinkSQL進行實時數據處理的過程中，雙流Join是非常常見的操作之一。典型的場景包括分析廣告效果（曝光流訂單流實時關聯）、實時推薦（點擊流和商品信息）等等。然而，雙流Join需要在狀態中維護兩側全量的歷史數據，以確保計算結果的準確性。隨着作業的持續運行，雙流Join會逐漸帶來一些問題： 運維層面 狀態過大，開發者需要不斷加大作業的資源才能維持較高的吞吐。 C

大數據 , flink , 實時計算

收藏 評論

mirrorship 頭像

鏡舟科技 - MPP 架構解析：原理、核心優勢與對比指南

一、引言：大數據時代的數據處理挑戰 全球數據量正以指數級增長。據 Statista 統計，2010 年全球數據量僅 2ZB，2025 年預計達 175ZB。企業面臨的核心挑戰已從“如何存儲數據”轉向“如何快速分析數據”。傳統架構在處理海量數據時暴露明顯瓶頸：單點資源爭用導致查詢延遲激增，垂直擴展成本高昂（如某金融機構單台服務器擴容費用超百萬美元），且難以支持實時分析需求。 MPP 架構的歷史演進

分佈式計算 , 大數據處理 , 架構 , 數據分析 , flink

收藏 評論

u_16213636 頭像

mob64ca1404ed65 - flink一定要和hadoop flink hadoop

文章目錄 一、下載安裝IDEA 二、搭建本地hadoop環境（window10） 三、安裝Maven 四、新建項目和模塊 1）新建maven項目 2）新建flink模塊 五、配置IDEA環境（scala） 1）下載安裝scala插件 2）配置scala插件到模塊或者全局環境 3）創建scala項目 4）DataSt

flink一定要和hadoop , 大數據 , hadoop , flink

收藏 評論

ververica 頭像

ApacheFlink - 理想汽車基於 Hologres + Flink 構建萬億級車聯網信號實時分析平台

作者：海博 理想汽車高級大數據工程師、賈天福 理想汽車高級大數據工程師 引言：智能汽車時代的數據挑戰 隨着電動車和智能汽車的快速普及，車聯網信號數據呈現爆發式增長。理想汽車作為國內領先的智能電動汽車企業，已擁有超過100萬輛在網車輛，每輛車每秒上報多達上萬個信號（如車速、胎壓、温度、電池狀態等），整體數據規模達到萬億級別。這些數據不僅體量巨大，而且對實時性要求極高——端到端延遲需控制在2秒以內，至

大數據處理 , flink , 實時計算

收藏 評論

tech 頭像

青雲交技術圈 - Java 大視界 -- Java 大數據在智能教育自適應學習系統中的學習效果評估指標體系構建與應用

(centerJava 大視界 -- Java 大數據在智能教育自適應學習系統中的學習效果評估指標體系構建與應用/center) 引言： 嘿，親愛的 Java 和 大數據愛好者們，大家好！我是CSDN（全區域）四榜榜首青雲交！凌晨兩點，北京海淀區某重點中學初三學生張曉陽完成了英語語法專項訓練。基於 Java 構建的智能教育系統，在 1.8 秒內完成了對其學習過程的深度解碼：通過分

spark , 大數據 , yyds乾貨盤點 , 數據 , Java大數據 , JAVA , flink

收藏 評論

baidujiagoushi 頭像

百度Geek説 - 基於Flink的配置化實時反作弊系統

導讀 本文詳細闡述了基於Flink構建的實時反作弊流式過濾系統，針對大流量場景下的複雜特徵計算、高頻策略熱更新、模擬過濾驗證及多場景數倉對接等核心挑戰，提出來多項解決方案，實現了秒級特徵計算的實時過濾功能，有效支撐高併發場景下的精準風控判定，並通過ClickHouse與圖靈雙鏈路數據輸出，滿足實時監控與離線分析的多樣化需求，為互聯網業務提供了高吞吐、低延遲、強穩定的實時反作弊解決方案。 01 簡介

大數據 , 配置 , flink

收藏 評論

ververica 頭像

ApacheFlink - Flink基於Paimon的實時湖倉解決方案的演進

引言 現代數據環境要求架構能夠無縫融合數據湖的靈活性與傳統數據倉庫的性能特徵。隨着企業越來越多地採用實時分析來驅動業務決策，ApacheFlink作為流處理引擎與ApachePaimon作為湖存儲格式的結合，已成為構建強大實時湖倉平台的引人注目的解決方案。 本文整理自 Apache CommunityOverCode Asia 2025 大會上，阿里雲技術專家，Apache Flink Commi

大數據 , flink , 實時計算

收藏 評論

ververica 頭像

ApacheFlink - Flink Forward Asia 2025 城市巡迴 · 深圳站

繼上海站順利舉辦後，ApacheFlink社區年度技術活動——FlinkForwardAsia（FFA）2025城市巡迴第二站，將於12月5日在深圳舉行。 作為亞太地區聚焦實時計算的技術交流活動，FFA長期關注Flink的技術演進與行業應用。本次深圳站將邀請開發者、技術專家和企業用户，圍繞實際案例、技術實踐與生態共建展開分享與討論。💥 八年深耕，持續引領實時計算未來 自2018年首屆Flink

大數據 , flink , 實時計算

收藏 評論

daimajiangxin 頭像

代碼匠心 - 從零開始學Flink：揭開實時計算的神秘面紗

一、為什麼需要Flink？ 當你在電商平台秒殺商品時，1毫秒的延遲可能導致交易失敗；當自動駕駛汽車遇到障礙物時，10毫秒的計算延遲可能釀成事故。這些場景揭示了一個殘酷事實：數據的價值隨時間呈指數級衰減。 傳統批處理（如Hadoop）像老式火車，必須等所有乘客（數據）到齊才能發車；而流處理（如Flink）如同磁懸浮列車，每個乘客（數據）上車即刻出發。Flink的誕生，讓數據從"考古材料"變為"新鮮血

大數據處理 , 大數據 , JAVA , flink , 後端

收藏 評論

elhix0bg 頭像

阿里雲大數據AI - Forrester發佈流式數據平台報告：Ververica首次躋身領導者行列，實時AI能力獲權威認可

近日，全球權威研究機構Forrester正式發佈《The Forrester Wave™: Streaming Data Platforms, Q4 2025》報告（後簡稱“報告”），Ververica首次進入領導者象限，成為該年度報告中最受關注的"新晉領導者"。這一突破性成就標誌着Ververica在全球流式數據平台領域的技術實力和市場影響力獲得行業認可，其在實時AI領域的創新能力尤為突出。

阿里雲 , flink

收藏 評論

ververica 頭像

ApacheFlink - Apache Flink 2.2.0: 推動實時數據與人工智能融合，賦能AI時代的流處理

Apache Flink PMC 很高興地宣佈 Apache Flink 2.2.0 版本發佈了。Flink 2.2.0 版本進一步增強了 AI 函數 和 向量檢索功能，改進了物化表和連接器框架，並優化了批處理和 PyFlink 支持。Flink 2.2.0 版本總共由來自全球的 73 位貢獻者參與，累計推進了 9 個 FLIP（Flink 重要改進提案），完成了 220 多項缺陷修復和改進。 F

大數據 , flink , 實時計算

收藏 評論

daimajiangxin 頭像

代碼匠心 - 從零開始學Flink：實時流處理實戰

在大數據處理領域，實時流處理正變得越來越重要。Apache Flink作為領先的流處理框架，提供了強大而靈活的API來處理無界數據流。本文將通過經典的SocketWordCount示例，深入探討Flink實時流處理的核心概念和實現方法，幫助你快速掌握Flink流處理的實戰技能。 一、實時流處理概述 1. 流處理的基本概念 流處理是一種持續處理無界數據的計算範式。與批處理不同，流處理系統需要在數據到

大數據 , JAVA , flink , 數據處理 , 後端

收藏 評論

u_16213673 頭像

mob64ca140dc73b - Doris淺略介紹 +部署+使用_doris部署

Apache Doris 4.0 的 AI 功能（LLM 函數 + 向量索引）與 Cloudera CDP 7.3（或類 CDP 的 CMP 7.13 平台，如華為鯤鵬 ARM 版）在銀行信信用卡的操作指南和腳本 針對 國有商業銀行 場景下，Apache Doris 4.0（ARM64 鯤鵬環境）與華為 Cloud Data AI CMP 7.13

大數據 , hive , hadoop , zookeeper , flink , kafka

收藏 評論