tag kafka

標籤
貢獻57
112
05:15 PM · Oct 25 ,2025
plcode 頭像 automq 頭像 wangying_5e4b645338a98 頭像 zhuyundataflux 頭像 doge_king 頭像 alixitongruanjianjishu 頭像 kerrywu 頭像 vivo_tech 頭像 zhaoqianglaoshi 頭像 a_yu_super 頭像 linybjikezhilu 頭像 u_16213577 頭像

@kafka / 博客 RSS 訂閱

nancheng_692928b663b3c 頭像

南城 - Kafka入門必知概念——Topic、分區、Offset、消費組的協作機制與影響

寫在前面，本人目前處於求職中，如有合適內推崗位，請加：lpshiyue 感謝 理解Kafka的核心概念如同掌握分佈式系統的通用語言，這些基礎組件的高效協作正是Kafka海量數據處理能力的源泉 在消息隊列選型框架中，Kafka以其高吞吐、可擴展架構成為大數據場景的首選。然而，要真正發揮Kafka的潛力，必須深入理解其核心概念之間的協作關係。本文將全面解析Topic、分區、Offset和消費組四大核心

kafka

收藏 評論

u_15336176 頭像

龍翔淺帝 - 基於EFK+logstash+kafka構建高吞吐量的日誌收集平台

通過Filebeat採集日誌，本文以Nginx日誌為例 -- kafka topic存儲日誌 -- logstash去kafka獲取日誌，進行格式轉換 -- elasticsearch -- kibana。 一、環境準備 實驗環境如下： 序號

elasticsearch , yyds乾貨盤點 , logstash , 運維 , zookeeper , filebeat , kafka

收藏 評論

automq 頭像

AutoMQ - 當 Kafka 架構顯露“疲態”：共享存儲領域正迎來創新變革

文章導讀 本文作者為沃爾瑪開發者 Ankur Ranjan 與 Sai Vineel Thamishetty 。二人長期關注 Apache Kafka 與流處理系統的演進，深入研究現代流處理架構面臨的挑戰與創新方向。文章不僅總結了 Kafka 的歷史價值與當前侷限，還展示了下一代開源項目 AutoMQ 如何藉助雲原生設計，解決 Kafka 在成本、擴展性與運維方面的痛點，為實時數據流架構提供全新視

data , 雲原生 , kafka

收藏 評論

u_16099228 頭像

勇往直前的巨人 - Kafka 延遲操作模塊（三）：DelayedOperation 與 DelayedOperationPurgatory

Apache Kafka 中 延遲操作管理器（DelayedOperationPurgatory） 用於高效管理大量延遲任務（如 DelayedProduce、DelayedFetch）。下面我將從整體架構、核心機制、併發控制和性能優化四個方面詳細解析。 一、整體架構：延遲操作的"中轉站" 設計目標 管理大量延遲操作：

性能優化 , 高併發 , Css , kafka , 前端開發 , apache , HTML

收藏 評論

shawn_5dd516205b8bd 頭像

Shawn - Java客户端向kafka發送protobuf序列化的數據

需求 跨部門協作，通過Kafka進行溝通，我們是生產者，對方是消費者。因為對方部門後台是使用golang，所以默認是使用Protobuf來解析數據。 解決方法 給Kafka創建一個Protobuf的序列化類，這樣每次發送數據時就會序列化成Protobuf格式的。 根據.proto文件生成對應的Java實體類。 protoc --java_out=./ x.proto java_out後

protobuf , JAVA , kafka

收藏 評論

u_16213719 頭像

mob64ca1418e88d - Docker學習筆記之docker數據卷_suifeng528

從單機到集羣：Docker 數據卷在高可用日誌平台中的實戰指南 目錄 一、引子：為什麼我的日誌平台必須用好數據卷？ 二、第一步：理解 Docker 數據卷的本質 三、第二步：命名卷 vs 綁定掛載 —— 如何選擇？ 四、第三步：在 docker-compose.yml 中正確聲明數據卷 五、第四步：三

容器 , 數據 , 雲計算 , 運維 , Docker , kafka

收藏 評論

plcode 頭像

wx65dfdaaec020c - 消息隊列性能優化與調優實戰指南

消息隊列性能優化與調優實戰指南 摘要 本文將深入探討消息隊列在生產環境中的性能優化策略，涵蓋Kafka、RabbitMQ、RocketMQ三大主流消息中間件的性能調優技巧。通過詳細的配置示例、性能測試數據和實戰案例，幫助開發者構建高性能、高可用的消息系統。 性能優化指標體系 關鍵性能指標定義 指標類別 具體指標 優化目

性能優化 , 後端開發 , 消息隊列 , kafka , Python

收藏 評論

zzger 頭像

我不是碼農 - kafka stream的自定義時間段窗口實現

最近系統需要做一個日誌平台，對所有接入的系統進行日誌的統計分析，因為之前用的是kafka來實現各業務系統日誌接入日誌平台的，所以想到了直接使用kafka官方本身提供的一個實時計算框架kafka stream。 kafka stream的時間窗口有兩個重要的屬性：窗口大小和步長(移動間隔)，滾動窗口Tumbling Time Window：步長等於窗口大小，滾動窗口是沒有記錄的重疊；跳躍窗口H

大數據 , stream , kafka , 實時計算

收藏 評論

u_14499 頭像

coolfengsy - 分佈式之elk日誌架構的演進_weixin

引言 在分佈式系統中，日誌是問題排查、性能監控、業務分析的核心數據來源。隨着業務規模從單節點擴展到百萬級集羣，日誌架構也需隨之演進 —— 從簡單的 LEK 組合，到標準的 ELK 方案，再到高可用的 EFK 架構，每一步都對應着不同場景的核心訴求。本文將從原理、流程、配置實踐、優缺點等維度，全方位解析三種架構的演進邏輯，幫助開發者根據自身業務選擇合

服務器 , 運維 , 架構 , 單節點 , 分佈式 , kafka

收藏 評論

u_16213577 頭像

信息小飛俠 - Flink 1.11.1:flink CDC Debezium自定義修改debezium-json格式

Flink CDC系列之：Kafka的Debezium JSON 結構定義類DebeziumJsonStruct 這是一個 Debezium JSON 結構定義類，使用枚舉來定義 Debezium JSON 格式的字段結構和位置信息。 類概述 public class DebeziumJsonStruct 這個類

Flink CDC系列 , Debezium JSON , 結構定義類 , debezium , kafka , 前端開發 , Javascript

收藏 評論

u_16366971 頭像

u_16366971 - 如何選擇合適的 Diskless Kafka

文章導讀 隨着越來越多企業將 Kafka 遷移至雲原生架構，AutoMQ 正逐漸成為 Kafka 用户的雲端優選。作為兼容 Apache Kafka 協議、專為雲設計的新一代發行版，AutoMQ 憑藉高性能、彈性擴展和極致成本等優勢，在全球範圍內的熱度持續攀升，GitHub Star 數也順勢突破 8k 大關。在海外社區涌現的眾多討論與推文中，我們發現了這樣一篇來自開發者的深度好文，

diskless , 數據 , 雲計算 , 雲原生 , 對象存儲 , kafka

收藏 評論

u_16099361 頭像

16099361 - flume使用kafka作為sink-

Kafka作為數據管道中的Sink（輸出端），常用於將處理後的數據寫入Kafka主題，供下游系統消費。以下是實現要點和示例： 核心概念 生產者角色 Kafka Sink本質上是生產者（Producer），負責將數據推送到指定主題（Topic） 數據可靠性 通過配置a

sed , 數據 , linq , 後端開發 , c , kafka , Python

收藏 評論

u_13544 頭像

deanyuancn - 2022年數據工程現狀 -

數據工程持續監控：awesome-data-engineering工具的健康檢查與自動恢復 數據工程系統平均每30天會發生一次未計劃停機，每次故障造成約4.2萬美元損失。當Kafka集羣出現分區不可用、Spark作業堆積或數據管道數據質量驟降時，傳統依賴人工介入的響應模式往往導致業務中斷超過1小時。本文基於awesome-data-

數據 , 後端開發 , harmonyos , kafka , Python

收藏 評論

automq 頭像

AutoMQ - 如何選擇合適的 Diskless Kafka

文章導讀 隨着越來越多企業將 Kafka 遷移至雲原生架構，AutoMQ 正逐漸成為 Kafka 用户的雲端優選。作為兼容 Apache Kafka 協議、專為雲設計的新一代發行版，AutoMQ 憑藉高性能、彈性擴展和極致成本等優勢，在全球範圍內的熱度持續攀升，GitHub Star 數也順勢突破 8k 大關。在海外社區涌現的眾多討論與推文中，我們發現了這樣一篇來自開發者的深度好文，將其內容翻譯並

架構 , 雲原生 , kafka

收藏 評論

plcode 頭像

wx65dfdaaec020c - ClickHouse深度解析：高性能列式分析數據庫

ClickHouse深度解析：高性能列式分析數據庫 摘要 ClickHouse作為開源的列式分析數據庫，以其卓越的查詢性能、實時數據攝入能力和水平擴展性著稱。本文將深入探討ClickHouse的存儲引擎、分佈式架構、數據分區策略，以及在大規模數據分析場景下的優化實踐。 ClickHouse架構深度解析 列式存儲架構 數據存儲結構 ClickHouse存儲層次結構：

數據 , 後端開發 , SQL , kafka , Python

收藏 評論

u_16213598 頭像

mob64ca13fbd761 - Kafka03--Kafka消費者使用方式

主要步驟 Kafka消費者的使用流程主要包括配置消費者、訂閲主題、拉取消息、處理消息和提交偏移量等關鍵步驟。 消費者配置與初始化 必須配置bootstrap.servers（Kafka集羣地址）、group.id（消費者組ID）和序列化器推薦使用手動提交偏移量以保證消息處理的可靠性

偏移量 , 消息處理 , 分佈式 , kafka , 前端開發 , ide , Javascript

收藏 評論

u_16099217 頭像

技術博客達人 - kafka集羣安裝

Kafka_4.1.0(Kraft模式)集羣安裝 環境準備 系統：Ubuntu 22.04 JDK：21 Kafka: 4.1.0 CPU：4核+ 內存：8GB+（生產環境建議16GB+）

服務器 , 主機名 , ip , 集羣 , kafka

收藏 評論

u_12228 頭像

香奈兒 - Kafka為什麼要拋棄ZooKeeper？

Kafka 拋棄 Zookeeper 的背景 早期的 Kafka 嚴重依賴 Zookeeper 完成集羣元數據管理和控制器選舉等核心功能。Zookeeper 作為分佈式協調服務，雖然成熟穩定，但隨着 Kafka 規模擴大和功能迭代，逐漸暴露出以下問題： 性能瓶頸：Zookeeper 的寫操作需通過 Leader 節點同步到 Foll

數據同步 , zookeeper , 元數據 , 分佈式 , jquery , kafka , 前端開發

收藏 評論

plcode 頭像

wx65dfdaaec020c - 微服務消息隊列監控與運維實戰指南

微服務消息隊列監控與運維實戰指南 摘要 本文將深入探討微服務架構下消息隊列的監控體系構建、運維管理策略以及故障應急處理方案，通過完整的監控指標、自動化運維腳本和實戰案例，幫助構建穩定可靠的消息中間件運維體系。 監控體系架構設計 多維度監控指標採集 監控架構全景圖 監控數據流架構： ┌─────────────────────────────────────

bash , 後端開發 , 消息隊列 , kafka , Python

收藏 評論

mapengfei 頭像

馬鵬飛 - 解決 Kafka KRaft 模式下 Consumer 無法讀取消息的問題

一、背景 在使用 Kafka 4.x 版本（KRaft 模式）時，我們遇到了一個令人困惑的問題：雖然 Producer 發送消息沒有報錯，但使用 `kafka-console-consumer.sh` 和 `--group` 參數時，Consumer 卻無法讀取任何消息。本文將詳細描述該問題的現象、分析原因，並提供完整的解決方案。 二、問題現象 1.

bootstrap , 服務器 , 發送消息 , 分佈式 , kafka

收藏 評論

u_17499862 頭像

u_17499862 - AutoMQ聯手RustFS：構建下一代雲原生Diskless Kafka架構

2025年，雲原生數據基礎設施領域迎來重大突破。AutoMQ與RustFS宣佈達成戰略合作，將共同打造基於對象存儲的新一代Diskless Kafka解決方案，徹底解決傳統Kafka在雲環境下面臨的成本、彈性與運維難題。 目錄 一、雲原生時代下傳統Kafka的架構瓶頸 二、技術突圍：存算分離與高性能對象存儲的融合

企業存儲 , 架構 , RustFS , 雲原生 , kafka , 前端開發 , Javascript

收藏 評論

u_16213684 頭像

mob64ca14106f2f - MQ選型對比ActiveMQ,RabbitMQ,RocketMQ,Kafka 消息隊列框架選哪個？ - 個人文章

在當今的分佈式系統架構中，消息隊列（MQ）作為解耦、異步和削峯填谷的核心組件，其選型直接影響到系統的性能、可靠性和可維護性。 面對眾多優秀的消息中間件，如老牌的 RabbitMQ、阿里巴巴的 RocketMQ、 Apache 的 Kafka 以及經典的 ActiveMQ，開發者們常常會陷入選擇困難。 本文將從吞吐量、延遲、可靠性、功能特性等多

rocketmq , 服務器 , rabbitmq , activemq , 分佈式 , kafka

收藏 評論

automq 頭像

AutoMQ - Kafka 性能調優：linger.ms 和 batch.size 的最佳實踐

2025 年 3 月 18 日，Apache Kafka 4.0 正式發佈。 在此次版本更新中，相較於架構層面的升級，開發者們也應關注一個關鍵的細節變更：官方將生產者參數 linger.ms 的默認值，從沿用多年的 0ms 正式修改為 5ms。 這一調整直擊傳統性能調優的認知盲區，在傳統觀念中，linger.ms=0 意味着"零等待"和實時發送，通常被視為降低延遲的首選策略。然而，Kafka 4.

kafka

收藏 評論

kerrywu 頭像

KerryWu - 記 Kafka Consumer 消息阻塞（2）

前言 這次是繼 《記 Kafka Consumer 消息阻塞（1）》 之後，其實應該是放在同一篇文章裏面。但因為是新問題，就再加一篇文章。 還是繼那篇文章，提出要調大 max.partition.fetch.bytes、message.max.bytes 的參數值。但是不能調太大，調太大之後，同樣帶來新的問題。 本次就是新問題。再調大10倍後，消費能力下降了不止100倍。 通過消費的監控圖來看，不

kafka

收藏 評論