tag kafka

標籤
貢獻57
110
05:15 PM · Oct 25 ,2025
plcode 頭像 automq 頭像 wangying_5e4b645338a98 頭像 zhuyundataflux 頭像 doge_king 頭像 alixitongruanjianjishu 頭像 kerrywu 頭像 vivo_tech 頭像 zhaoqianglaoshi 頭像 a_yu_super 頭像 linybjikezhilu 頭像 u_16213577 頭像

@kafka / 博客 RSS 訂閱

alixitongruanjianjishu 頭像

阿里云云原生 - AI 時代的數據通道：雲消息隊列 Kafka 的演進與實踐

作者：家澤 本文整理自 2025 年雲棲大會阿里雲智能集團產品專家劉堯的主題演講《AI 時代的數據通道：雲消息隊列 Kafka 的演進與實踐》 前言 隨着 AI 業務的蓬勃興起與發展，Apache Kafka 作為數據流的關鍵入口與通道，在企業智能化轉型中的核心價值日益凸顯。非常榮幸能夠在 2025 雲棲大會上，系統性地回顧並分享雲消息隊列 Kafka 版在過去一年所取得的產品技術演進與行業實踐

雲原生 , kafka

收藏 評論

automq 頭像

AutoMQ - 重磅發佈｜AutoMQ v1.6.0 開源版：Kafka 成本直降 17 倍，原生支持 Strimzi 與 Iceberg

核心概覽 我們很高興宣佈開源項目 AutoMQ v1.6.0 版本正式發佈。該版本為開發者帶來三大核心優化： 成本效益提升最高達 17 倍：通過對寫入路徑的深度優化，在高吞吐負載場景下，AutoMQ 的總擁有成本（TCO）較自管理 Apache Kafka 降低最高 17 倍。 Table Topic 功能增強：原生支持 CDC 流，並提供更靈活的 Schema 管理能力，簡化數據湖寫入流程

開源 , 雲原生 , kafka

收藏 評論

alixitongruanjianjishu 頭像

阿里云云原生 - 爆款遊戲背後：尚娛如何藉助阿里雲 Kafka Serverless 輕鬆駕馭“潮汐流量”？

作者：橫槊、永安、鐳嶼 關於尚娛 尚遊遊戲（https://www.syyx.com）成立於2007年，專注遊戲研發與發行，集團旗下乙亥互娛、其樂遊戲、尚娛軟件覆蓋多元遊戲賽道，共同致力於為玩家提供創新的遊戲產品。 秉持“熱愛創造無限的可能”理念，公司通過《無悔華夏》、《新月同行》、《元氣騎士》、《歡喜鬥地主》、《諾亞傳説》、《霓虹深淵：無限》等多款自主研發或發行的精品遊戲，持續獲得廣大玩家的喜愛

雲原生 , kafka

收藏 評論

wangying_5e4b645338a98 頭像

騰訊雲中間件 - TDMQ CKafka 版客户端實戰指南系列之二：消費消息最佳實踐

導語 在數字化時代，消息隊列系統已成為企業架構中不可或缺的一部分，其中，TDMQ CKafka 版作為一種高效、可擴展的分佈式消息系統，廣泛應用於各類業務場景中。上一篇我們深入探討了 TDMQ CKafka 版的生產實踐，從消息發送、分區策略到高可用性保障，全方位解析瞭如何在生產環境中高效利用 TDMQ CKafka 版。本文將接續前文，聚焦於 TDMQ CKafka 版的消費實踐，探討如何穩紮穩

騰訊雲 , 消息隊列 , kafka

收藏 評論

wangying_5e4b645338a98 頭像

騰訊雲中間件 - TDMQ CKafka 版客户端實戰指南系列之一：生產最佳實踐

導語 在當今數字化時代，數據的產生和流動呈爆發式增長，消息隊列作為一種高效的數據傳輸和處理工具，在各種應用場景中發揮着關鍵作用。TDMQ CKafka 版作為一款分佈式、高吞吐量、高可擴展性的消息系統，100% 兼容開源 Kafka API 2.4、2.8、3.2 版本 ，基於發佈 / 訂閲模式，通過消息解耦，使生產者和消費者異步交互，無需彼此等待。憑藉高可用、數據壓縮、同時支持離線和實時數據處理

騰訊雲 , 客户端 , 消息隊列 , kafka

收藏 評論

zhuyundataflux 頭像

觀測雲 - Kafka4.0 可觀測性最佳實踐

Kafka4.0 介紹 Kafka4.0 的重大變革 —— KRaft 模式。Kafka4.0 最具革命性的變化，默認運行在 KRaft（Kafka Raft）模式下，徹底摒棄了對 Apache ZooKeeper 的依賴。KRaft 模式的引入，可謂是 Kafka 架構演進的一次重大飛躍。它基於 Raft 一致性算法構建共識機制，將元數據管理功能巧妙地集成到 Kafka 自身的體系之中，從而實現

kafka

收藏 評論

alixitongruanjianjishu 頭像

阿里云云原生 - 嘉銀科技基於阿里雲 Kafka Serverless 提升業務彈性能力，節省成本超過 20%

作者：四牛 前言 雲消息隊列Kafka版Serverless系列憑藉其秒級彈性擴展、按需付費、輕運維的優勢，助力嘉銀科技業務系統實現靈活擴縮容，在業務效率和成本優化上持續取得突破，保證服務的敏捷性和穩定性，並節省超過20%的成本。 客户介紹 嘉銀科技是一家專注於科技驅動普惠金融的上市企業，在多年的發展過程中，始終堅持以技術為核心推動業務迭代，公司致力於以大數據、雲計算、人工智能等技術在消費場景內

serverless , kafka

收藏 評論

a_yu_super 頭像

企業任務調度平台 - Kafka集羣管理：🛠️ 如何實現數據均衡與性能最大化

Kafka 概述 Kafka 起初是 由 LinkedIn 公司採用 Scala 語言開發的一個多分區、多副本且基於 ZooKeeper 協調的分佈式消息系統，現已被捐獻給 Apache 基金會。 目前 Kafka 已經定位為一個分佈式流式處理平台，它以高吞吐、可持久化、可水平擴展、支持流數據處理等多種特性而被廣泛使用，主要是由 Scala 和 Java 編寫。 它是一種高吞吐量的分佈式發佈訂閲消

集羣管理系統 , cloudera , 運維自動化 , zookeeper , kafka

收藏 評論

haitangyijiu_640e92f08aef6 頭像

數新智能 - 雲環境中的日誌收集和處理方案

在雲環境中，高效的日誌收集與處理是系統監控和運維的關鍵。本文圍繞《雲環境中的日誌收集和處理方案》展開，先介紹日誌收集的兩種方式，再聚焦處理環節，探討寫入 kafka、共享存儲、S3 等路徑，分析使用 raft 組日誌集羣及 NewSQL 的方案，最後結合 Spark 端調度進行總結，為雲日誌管理提供多維度技術參考。 日誌收集-兩種方式 這裏是將pod中的日誌收集，放到一個指定的地方 首先是將

SQL , sqlserver , kafka

收藏 評論

automq 頭像

AutoMQ - AutoMQ 亮相首爾：KafkaKRU 分享日誌流處理新思路

全球 Kafka 社區都在關注 AutoMQ！憑藉在 Kafka 生態的獨特創新，AutoMQ深受 Kafka 用户喜愛，已成為眾多企業和開發者的首選實時數據解決方案。 我們非常高興看到來自韓國的KafkaKRU核心社區在首爾舉辦第2屆官方線下交流會。作為韓國最具影響力的 Kafka 開發者社區，KafkaKRU 聚集了大量核心開發者和企業用户。本次交流會中，將分享 AutoMQ 的真實應用案例

雲計算 , 開源 , kafka

收藏 評論

seatunnel 頭像

SeaTunnel - 一行代碼引發 12G 內存 5 分鐘爆倉！SeaTunnel Kafka 連接器"內存溢出"元兇抓到了

轉載 | 滑思眉Philip 問題背景 在Apache SeaTunnel 2.3.9版本的Kafka連接器實現中，存在一個潛在的內存溢出風險。當用户配置流式作業從Kafka讀取數據時，即使設置了讀取速率限制(read_limit.rows_per_second)，系統仍可能出現內存持續增長直至OOM(Out Of Memory)的情況。 問題現象 用户在實際部署中觀察到以下現象： 在8核1

數據同步 , 數據庫 , 開源 , seatunnel , kafka

收藏 評論

wangzhongyang_go 頭像

王中陽講編程 - 頭一次見問這麼多kafka的問題

分享一篇粉絲朋友整理的面經，第一次遇見問那麼多kafka的問題，看看他是怎麼回答的。 先來看看 職位描述： 崗位職責： 負責基於 Go 的後端服務的設計、開發和維護； 參與系統架構設計，確保系統的高可用性、高性能和可擴展性； 編寫高質量、可維護的代碼，並進行代碼評審； 解決複雜的技術問題，優化系統性能； 與跨職能團隊合作，確保項目按時交付； 編寫技術文檔和開發規範，提升團隊整體開發效

kafka , 後端

收藏 評論

hangzhoukaiyunjizhikejiyouxiangongsi 頭像

clougence - Kafka vs RabbitMQ vs RocketMQ vs Pulsar：四大開源消息中間件全面對比

消息中間件應用廣泛，Kafka、RabbitMQ 、RocketMQ 和 Pulsar 更是其中的佼佼者，經常被放在一起比較。 從數據遷移同步行業來看，Kafka 用户佔了大多數，因為在大數據生態中，其是核心組件之一。RocketMQ 在國內也比較流行，主要應用在在線業務場景，這和它的技術特性和發展路徑緊密相關。相比之下，RabbitMQ 和 Pulsar 的使用量在國內相對少些。 那麼，它們到底

rocketmq , rabbitmq , 消息中間件 , kafka , pulsar

收藏 評論

zhuyundataflux 頭像

觀測雲 - 通過 KafkaMQ 接入Skywalking 數據最佳實踐

Skywalking SkyWalking 是一個開源的分佈式追蹤系統，主要用於監控和分析分佈式系統的性能和行為。它支持多種語言和框架，能夠實時收集和分析服務間的調用鏈路數據、性能指標和日誌信息，幫助開發者快速定位系統瓶頸和問題。 SkyWalking Java Agent 是 SkyWalking 提供的針對 Java 應用的自動追蹤工具。它通過字節碼增強技術，在不修改應用代碼的情況下，自動注入

kafka

收藏 評論

zhuyundataflux 頭像

觀測雲 - KafkaMQ 日誌採集最佳實踐

概述 Kafka 是由 LinkedIn 開發、後由Apache軟件基金會維護的分佈式流處理平台，採用Scala和Java編寫。它本質是一個高吞吐、持久化的發佈-訂閲消息系統，專注於處理實時數據流（如用户行為日誌、點擊流等）。在收集日誌的場景中，Kafka 可以作為一個消息中間件，用於接收、存儲和轉發大量的日誌，鏈路，指標數據。 觀測雲 觀測雲是一款專為 IT 工程師打造的全鏈路可觀測產品，它集成

kafka

收藏 評論

doge_king 頭像

泊浮目 - Fluss RoadMap裏Zero Disk是啥

本文在綠泡泡“狗哥瑣話”首發於2024.12.23 -關注不走丟。 上期Fluss的內容還算受歡迎，這期加更，講講Fluss RoadMap裏提到的Zero Disks是怎麼個事兒。 所謂Zero Disks就是把所有的存儲放在S3這種遠程，容量無限的存儲上。這樣集羣本身就可以做到無狀態了。 那這玩意兒會怎麼做呢？我們直接看一篇先成的文章。 原文鏈接： https://medium.com/the

fluss , 大數據 , flink , kafka

收藏 評論

vivo_tech 頭像

vivo互聯網技術 - vivo Pulsar 萬億級消息處理實踐（3）-KoP指標異常修復

作者：vivo 互聯網大數據團隊- Chen Jianbo 本文是《vivo Pulsar萬億級消息處理實踐》系列文章第3篇。 Pulsar是Apache基金會的開源分佈式流處理平台和消息中間件，它實現了Kafka的協議，可以讓使用Kafka API的應用直接遷移至Pulsar，這使得Pulsar在Kafka生態系統中更加容易被接受和使用。KoP提供了從Kafka到Pulsar的無縫轉換，

大數據 , JAVA , 消息隊列 , kafka , pulsar

收藏 評論

plcode 頭像

wx65dfdaaec020c - 消息隊列在物聯網(IoT)與邊緣計算中的深度應用

消息隊列在物聯網(IoT)與邊緣計算中的深度應用 摘要 本文將深入探討消息隊列在物聯網設備管理、邊緣計算、實時數據處理等場景下的高級應用模式。涵蓋MQTT協議集成、邊緣消息路由、設備管理、時序數據處理等關鍵技術，提供完整的物聯網消息架構解決方案。 物聯網消息架構設計 雲邊端協同架構 物聯網消息流架構 物聯網消息處理架構： ┌────────────────

物聯網 , 後端開發 , 消息隊列 , kafka , Python

收藏 評論

u_16099343 頭像

編程夢想編織者 - 如何獲取 Kafka 的消費者詳情 ——從 Scala 到 Java 的切換_Java_老男孩的技術博客

1. Kafka 消費者監控概述 1.1 為什麼需要監控 Kafka 消費者 Kafka 消費者監控是確保消息系統穩定運行的關鍵環節。通過監控消費者，我們可以： 實時瞭解消息消費進度 及時發現消費延遲或積壓問題 診斷消費者組重新平衡問題 優化消費者性能和資源配置 保障業務數據的及時處理

linq , Css , c , kafka , 前端開發 , apache , HTML

收藏 評論

u_15469972 頭像

mb61c46a7ab1eee - 實用指南：【Kafka系列】第四篇｜ 硬核Kafka面試題集錦：一網打盡32道核心題

1. 請簡述 Kafka 的核心架構組件及作用？ 核心組件： Producer：消息生產者，支持批量、異步向 Topic 發送消息。 Broker：服務器節點，存儲消息並提供讀寫服務，集羣可橫向擴展。 Consumer：消息消費者，通過消費者組訂閲 Topic，構建負載均衡。 Topic：消息邏輯分類，物理由多個 Partition

數據 , 負載均衡 , 後端開發 , harmonyos , kafka

收藏 評論

u_16099172 頭像

編程小天匠 - 2021年最新Java大廠面試題來襲，Java工程師必看書籍_mb5ff58fc86bda8的技術博客

面試現場：戰五渣勇闖互聯網大廠 面試官（推了推眼鏡，面無表情）：請坐。我們開始吧。 戰五渣（緊張地搓手）：好、好的！我準備好了！ 第一輪：基礎技術棧考察（Spring Boot + Web + 構建工具） 面試官：你們項目用什麼構建工具？為什麼選它？ 戰五渣：Maven！因為……公司都用這個，我也跟着用。（撓頭）

Spring Boot , JAVA , 向量數據庫 , RAG , Css , kafka , 前端開發 , HTML

收藏 評論

u_16213694 頭像

mob64ca1412b28c - KAFKA進階：【十】能否説一下KAFKA是如何處理延時任務的？時間輪？_51CTO博客

trait TimerTask extends Runnable { // 通常是request.timeout.ms參數值 // timestamp in millisecond val delayMs: Long // 每個TimerTask實例關聯一個TimerTaskEntry // 就是説每個定時任務需要知道它在哪

數據結構 , linq , 鏈表 , Css , 分佈式 , kafka , 前端開發 , HTML

收藏 評論

chenfenglove 頭像

魚弦CTO - 在 Spring Boot 2.7.x 中引入 Kafka-0.9 的實踐

1. Kafka 簡介與核心特性 Kafka 簡介 Apache Kafka 是一個分佈式流處理平台，主要用於構建實時數據管道和流應用。它的核心特性包括： 高吞吐量：支持每秒處理數百萬條消息。 持久化：消息持久化到磁盤，支持數據備份和恢復。 分佈式：支持水平擴展和高可用性。 實時性：支持實時數據流處理。 Kafka

spring , yyds乾貨盤點 , MySQL , 數據庫 , kafka , apache

收藏 評論

vleedesigntheory 頭像

維李設論 - 前端日誌採集方案淺析

前言 在前端部署過程中，通常會使用nginx作為部署服務器，而對於默認的nginx服務來説，其提供了對應的日誌記錄，可以用於記錄服務器訪問的相關日誌，對於系統穩定性及健壯性監控來説，日誌採集、分析等能夠提供更加量化的指標性建設，本文旨在簡述前端應用及打點服務過程中所需要使用的nginx採集方案。 架構 打點日誌採集 對於前端應用來説，通常需要埋點及處理對應的數據服務 應用日誌採集 對於日常應用

日誌 , filebeat , Nginx , elk , kafka

收藏 評論