tag kafka

標籤
貢獻57
108
05:15 PM · Oct 25 ,2025
plcode 頭像 automq 頭像 wangying_5e4b645338a98 頭像 zhuyundataflux 頭像 doge_king 頭像 alixitongruanjianjishu 頭像 kerrywu 頭像 vivo_tech 頭像 zhaoqianglaoshi 頭像 a_yu_super 頭像 linybjikezhilu 頭像 u_16213577 頭像

@kafka / 博客 RSS 訂閱

u_15336176 頭像

龍翔淺帝 - 基於EFK+logstash+kafka構建高吞吐量的日誌收集平台

通過Filebeat採集日誌，本文以Nginx日誌為例 -- kafka topic存儲日誌 -- logstash去kafka獲取日誌，進行格式轉換 -- elasticsearch -- kibana。 一、環境準備 實驗環境如下： 序號

elasticsearch , yyds乾貨盤點 , logstash , 運維 , zookeeper , filebeat , kafka

收藏 評論

kerrywu 頭像

KerryWu - 記 Kafka Consumer 消息阻塞

事件概述 最近在接入一個新的埋點 Kafka Topic 後，遇到一個非常隱蔽的問題： 新 Topic 一直消費不到消息； 在公司 MQ 平台上查看 Topic，查不到消費組的註冊信息； 日誌平台沒有任何 Error 日誌。 消費端的邏輯是典型的主動拉取模式，由異步線程循環執行： poll() 拉取一批消息； 事務處理（讀取消息、執行腳本、寫入存儲）； commit 提交偏移量。

kafka

收藏 評論

u_16099346 頭像

雲端築夢者 - Kafka到底有多高可靠？（RNG NB）

kafka的高可靠性的核心是保證消息在傳遞過程中不丟失，涉及如下核心環節： 消息從生產者可靠的發送至Broker；—網絡、本地丟數據。 發送Broker的消息可靠持久化；—PageCache緩存落盤、單點崩潰、主從同步跨網絡。 消費者從Broker消費到消息且最好只消費一次。—跨網絡消息傳輸。

數據 , 持久化 , 分佈式 , kafka , 前端開發 , Javascript

收藏 評論

u_14987 頭像

attitude - Kafka/RocketMQ 多線程消費時如何保證消費順序？

多線程問題 對於mysql裏面上萬條信息，我開多線程，比如10個，要是完成第一個線程處理前k條，後面的依次處理後k條，這怎麼建立？要是第3個線程處理k到k+n條數據出問題的時候，我應該記錄這批次信息的id到一個單獨的地方，我覺得這數據量小，可以存在List裏面，然後該批次（批次大小200）的所有數據都進行事務回滾，不提交。最後全部都處理完了，再去處理這些異常的list列表裏

線程池 , 數據 , 後端開發 , harmonyos , kafka

收藏 評論

u_13259 頭像

kekenai - 消息中間件kafka部署(一、使用kafka內置zookeeper組件部署kafka單節點服務)

Kafka 消息中間件實戰指南 1. 引言 在現代分佈式系統中，消息中間件扮演着至關重要的角色，它能夠實現系統間的解耦、異步通信和可靠消息傳遞。Apache Kafka是目前最流行的分佈式流處理平台之一，廣泛應用於構建實時數據管道、流處理應用和事件驅動架構。 Kafka具有高吞吐量、低延遲、高可靠性和可擴展性等特點，能夠處理每秒數百萬條

linq , Css , 分佈式 , kafka , 前端開發 , apache , HTML

收藏 評論

u_16099228 頭像

勇往直前的巨人 - Kafka 延遲操作模塊（三）：DelayedOperation 與 DelayedOperationPurgatory

Apache Kafka 中 延遲操作管理器（DelayedOperationPurgatory） 用於高效管理大量延遲任務（如 DelayedProduce、DelayedFetch）。下面我將從整體架構、核心機制、併發控制和性能優化四個方面詳細解析。 一、整體架構：延遲操作的"中轉站" 設計目標 管理大量延遲操作：

性能優化 , 高併發 , Css , kafka , 前端開發 , apache , HTML

收藏 評論

u_16099343 頭像

編程夢想編織者 - 如何獲取 Kafka 的消費者詳情 ——從 Scala 到 Java 的切換_Java_老男孩的技術博客

1. Kafka 消費者監控概述 1.1 為什麼需要監控 Kafka 消費者 Kafka 消費者監控是確保消息系統穩定運行的關鍵環節。通過監控消費者，我們可以： 實時瞭解消息消費進度 及時發現消費延遲或積壓問題 診斷消費者組重新平衡問題 優化消費者性能和資源配置 保障業務數據的及時處理

linq , Css , c , kafka , 前端開發 , apache , HTML

收藏 評論

u_15469972 頭像

mb61c46a7ab1eee - 實用指南：【Kafka系列】第四篇｜ 硬核Kafka面試題集錦：一網打盡32道核心題

1. 請簡述 Kafka 的核心架構組件及作用？ 核心組件： Producer：消息生產者，支持批量、異步向 Topic 發送消息。 Broker：服務器節點，存儲消息並提供讀寫服務，集羣可橫向擴展。 Consumer：消息消費者，通過消費者組訂閲 Topic，構建負載均衡。 Topic：消息邏輯分類，物理由多個 Partition

數據 , 負載均衡 , 後端開發 , harmonyos , kafka

收藏 評論

u_16099172 頭像

編程小天匠 - 2021年最新Java大廠面試題來襲，Java工程師必看書籍_mb5ff58fc86bda8的技術博客

面試現場：戰五渣勇闖互聯網大廠 面試官（推了推眼鏡，面無表情）：請坐。我們開始吧。 戰五渣（緊張地搓手）：好、好的！我準備好了！ 第一輪：基礎技術棧考察（Spring Boot + Web + 構建工具） 面試官：你們項目用什麼構建工具？為什麼選它？ 戰五渣：Maven！因為……公司都用這個，我也跟着用。（撓頭）

Spring Boot , JAVA , 向量數據庫 , RAG , Css , kafka , 前端開發 , HTML

收藏 評論

u_16213694 頭像

mob64ca1412b28c - KAFKA進階：【十】能否説一下KAFKA是如何處理延時任務的？時間輪？_51CTO博客

trait TimerTask extends Runnable { // 通常是request.timeout.ms參數值 // timestamp in millisecond val delayMs: Long // 每個TimerTask實例關聯一個TimerTaskEntry // 就是説每個定時任務需要知道它在哪

數據結構 , linq , 鏈表 , Css , 分佈式 , kafka , 前端開發 , HTML

收藏 評論

chenfenglove 頭像

魚弦CTO - 在 Spring Boot 2.7.x 中引入 Kafka-0.9 的實踐

1. Kafka 簡介與核心特性 Kafka 簡介 Apache Kafka 是一個分佈式流處理平台，主要用於構建實時數據管道和流應用。它的核心特性包括： 高吞吐量：支持每秒處理數百萬條消息。 持久化：消息持久化到磁盤，支持數據備份和恢復。 分佈式：支持水平擴展和高可用性。 實時性：支持實時數據流處理。 Kafka

spring , yyds乾貨盤點 , MySQL , 數據庫 , kafka , apache

收藏 評論

vleedesigntheory 頭像

維李設論 - 前端日誌採集方案淺析

前言 在前端部署過程中，通常會使用nginx作為部署服務器，而對於默認的nginx服務來説，其提供了對應的日誌記錄，可以用於記錄服務器訪問的相關日誌，對於系統穩定性及健壯性監控來説，日誌採集、分析等能夠提供更加量化的指標性建設，本文旨在簡述前端應用及打點服務過程中所需要使用的nginx採集方案。 架構 打點日誌採集 對於前端應用來説，通常需要埋點及處理對應的數據服務 應用日誌採集 對於日常應用

日誌 , filebeat , Nginx , elk , kafka

收藏 評論

nancheng_692928b663b3c 頭像

南城 - Kafka入門必知概念——Topic、分區、Offset、消費組的協作機制與影響

寫在前面，本人目前處於求職中，如有合適內推崗位，請加：lpshiyue 感謝 理解Kafka的核心概念如同掌握分佈式系統的通用語言，這些基礎組件的高效協作正是Kafka海量數據處理能力的源泉 在消息隊列選型框架中，Kafka以其高吞吐、可擴展架構成為大數據場景的首選。然而，要真正發揮Kafka的潛力，必須深入理解其核心概念之間的協作關係。本文將全面解析Topic、分區、Offset和消費組四大核心

kafka

收藏 評論

kerrywu 頭像

KerryWu - 記 Kafka Consumer 消息阻塞（2）

前言 這次是繼 《記 Kafka Consumer 消息阻塞（1）》 之後，其實應該是放在同一篇文章裏面。但因為是新問題，就再加一篇文章。 還是繼那篇文章，提出要調大 max.partition.fetch.bytes、message.max.bytes 的參數值。但是不能調太大，調太大之後，同樣帶來新的問題。 本次就是新問題。再調大10倍後，消費能力下降了不止100倍。 通過消費的監控圖來看，不

kafka

收藏 評論

automq 頭像

AutoMQ - 當 Kafka 架構顯露“疲態”：共享存儲領域正迎來創新變革

文章導讀 本文作者為沃爾瑪開發者 Ankur Ranjan 與 Sai Vineel Thamishetty 。二人長期關注 Apache Kafka 與流處理系統的演進，深入研究現代流處理架構面臨的挑戰與創新方向。文章不僅總結了 Kafka 的歷史價值與當前侷限，還展示了下一代開源項目 AutoMQ 如何藉助雲原生設計，解決 Kafka 在成本、擴展性與運維方面的痛點，為實時數據流架構提供全新視

data , 雲原生 , kafka

收藏 評論

plcode 頭像

wx65dfdaaec020c - 消息隊列在物聯網(IoT)與邊緣計算中的深度應用

消息隊列在物聯網(IoT)與邊緣計算中的深度應用 摘要 本文將深入探討消息隊列在物聯網設備管理、邊緣計算、實時數據處理等場景下的高級應用模式。涵蓋MQTT協議集成、邊緣消息路由、設備管理、時序數據處理等關鍵技術，提供完整的物聯網消息架構解決方案。 物聯網消息架構設計 雲邊端協同架構 物聯網消息流架構 物聯網消息處理架構： ┌────────────────

物聯網 , 後端開發 , 消息隊列 , kafka , Python

收藏 評論

shawn_5dd516205b8bd 頭像

Shawn - Java客户端向kafka發送protobuf序列化的數據

需求 跨部門協作，通過Kafka進行溝通，我們是生產者，對方是消費者。因為對方部門後台是使用golang，所以默認是使用Protobuf來解析數據。 解決方法 給Kafka創建一個Protobuf的序列化類，這樣每次發送數據時就會序列化成Protobuf格式的。 根據.proto文件生成對應的Java實體類。 protoc --java_out=./ x.proto java_out後

protobuf , JAVA , kafka

收藏 評論

u_16213719 頭像

mob64ca1418e88d - Docker學習筆記之docker數據卷_suifeng528

從單機到集羣：Docker 數據卷在高可用日誌平台中的實戰指南 目錄 一、引子：為什麼我的日誌平台必須用好數據卷？ 二、第一步：理解 Docker 數據卷的本質 三、第二步：命名卷 vs 綁定掛載 —— 如何選擇？ 四、第三步：在 docker-compose.yml 中正確聲明數據卷 五、第四步：三

容器 , 數據 , 雲計算 , 運維 , Docker , kafka

收藏 評論

plcode 頭像

wx65dfdaaec020c - 消息隊列性能優化與調優實戰指南

消息隊列性能優化與調優實戰指南 摘要 本文將深入探討消息隊列在生產環境中的性能優化策略，涵蓋Kafka、RabbitMQ、RocketMQ三大主流消息中間件的性能調優技巧。通過詳細的配置示例、性能測試數據和實戰案例，幫助開發者構建高性能、高可用的消息系統。 性能優化指標體系 關鍵性能指標定義 指標類別 具體指標 優化目

性能優化 , 後端開發 , 消息隊列 , kafka , Python

收藏 評論

zzger 頭像

我不是碼農 - kafka stream的自定義時間段窗口實現

最近系統需要做一個日誌平台，對所有接入的系統進行日誌的統計分析，因為之前用的是kafka來實現各業務系統日誌接入日誌平台的，所以想到了直接使用kafka官方本身提供的一個實時計算框架kafka stream。 kafka stream的時間窗口有兩個重要的屬性：窗口大小和步長(移動間隔)，滾動窗口Tumbling Time Window：步長等於窗口大小，滾動窗口是沒有記錄的重疊；跳躍窗口H

大數據 , stream , kafka , 實時計算

收藏 評論

u_14499 頭像

coolfengsy - 分佈式之elk日誌架構的演進_weixin

引言 在分佈式系統中，日誌是問題排查、性能監控、業務分析的核心數據來源。隨着業務規模從單節點擴展到百萬級集羣，日誌架構也需隨之演進 —— 從簡單的 LEK 組合，到標準的 ELK 方案，再到高可用的 EFK 架構，每一步都對應着不同場景的核心訴求。本文將從原理、流程、配置實踐、優缺點等維度，全方位解析三種架構的演進邏輯，幫助開發者根據自身業務選擇合

服務器 , 運維 , 架構 , 單節點 , 分佈式 , kafka

收藏 評論

u_16213577 頭像

信息小飛俠 - Flink 1.11.1:flink CDC Debezium自定義修改debezium-json格式

Flink CDC系列之：Kafka的Debezium JSON 結構定義類DebeziumJsonStruct 這是一個 Debezium JSON 結構定義類，使用枚舉來定義 Debezium JSON 格式的字段結構和位置信息。 類概述 public class DebeziumJsonStruct 這個類

Flink CDC系列 , Debezium JSON , 結構定義類 , debezium , kafka , 前端開發 , Javascript

收藏 評論

u_16366971 頭像

u_16366971 - 如何選擇合適的 Diskless Kafka

文章導讀 隨着越來越多企業將 Kafka 遷移至雲原生架構，AutoMQ 正逐漸成為 Kafka 用户的雲端優選。作為兼容 Apache Kafka 協議、專為雲設計的新一代發行版，AutoMQ 憑藉高性能、彈性擴展和極致成本等優勢，在全球範圍內的熱度持續攀升，GitHub Star 數也順勢突破 8k 大關。在海外社區涌現的眾多討論與推文中，我們發現了這樣一篇來自開發者的深度好文，

diskless , 數據 , 雲計算 , 雲原生 , 對象存儲 , kafka

收藏 評論

u_16099361 頭像

16099361 - flume使用kafka作為sink-

Kafka作為數據管道中的Sink（輸出端），常用於將處理後的數據寫入Kafka主題，供下游系統消費。以下是實現要點和示例： 核心概念 生產者角色 Kafka Sink本質上是生產者（Producer），負責將數據推送到指定主題（Topic） 數據可靠性 通過配置a

sed , 數據 , linq , 後端開發 , c , kafka , Python

收藏 評論