@kafka / 博客 RSS 訂閱

May 08 2024

觀測雲 - Kafka 業務日誌採集最佳實踐

簡介 Apache Kafka 是一個分佈式流處理平台，主要用於構建實時數據流管道和應用程序。在收集業務日誌的場景中，Kafka 可以作為一個消息中間件，用於接收、存儲和轉發大量的日誌數據。將 Kafka 與其他系統（如 Elasticsearch、Flume、Spark Streaming 等）集成，以提供更豐富的日誌處理和分析功能。本文提到的是和觀測雲集成，即通過觀測雲的採集器 Datakit

日誌分析 , kafka

收藏 評論

Nov 21 2025

互聯網小墨風 - Spring Cloud 從入門到精通（二）集成 Nacos 構建微服務實現服務註冊 - freelife -

簡單實用Nest+Nacos+Kafka+Docker實現微服務架構 設計 新建三個Nest服務 Nacos 配置中心 嘗試 服務註冊 嘗試 改造user-service (TCP)

微服務 , nacos , Css , nestjs , kafka , 前端開發 , 後端 , HTML

收藏 評論

Dec 05 2025

mob64ca140dc73b - Doris淺略介紹 +部署+使用_doris部署

Apache Doris 4.0 的 AI 功能（LLM 函數 + 向量索引）與 Cloudera CDP 7.3（或類 CDP 的 CMP 7.13 平台，如華為鯤鵬 ARM 版）在銀行信信用卡的操作指南和腳本 針對 國有商業銀行 場景下，Apache Doris 4.0（ARM64 鯤鵬環境）與華為 Cloud Data AI CMP 7.13

大數據 , hive , hadoop , zookeeper , flink , kafka

收藏 評論

Dec 24 2025

AutoMQ - AutoMQ x FSx: 10ms Latency Diskless Kafka on AWS

介紹 今天，我們正式宣佈：繼 S3 WAL、EBS/Regional EBS WAL[1] 之後，AutoMQ 將在 2025 年的 12 月的新版本中全面支持以 AWS FSx 作為新的 WAL 存儲選項。AutoMQ 本身是一款完全兼容 Apache Kafka 協議、基於 S3 對象存儲構建的新一代 Diskless Kafka，通過自研的「WAL + 對象存儲」創新流存儲引擎，將寫入日誌與

知識 , 開源 , kafka

收藏 評論

Dec 19 2025

智能開發藝術家 - kafka配置參數詳解【收藏】_51CTO博客

Kafka4.x配置詳解 server.properties broker.properties consumer.properties producer.properties server.properties broker.id 在4.x的時候就已經移除掉了，採用node.id

ssl , 服務器 , 後端開發 , harmonyos , kafka

收藏 評論

Dec 14 2025

長袖員大表哥 - Flink 與 Kafka

Flink 與 Kafka 是大數據實時處理領域的 “黃金組合”——Kafka 負責高吞吐、高可靠的實時數據收發，Flink 負責低延遲、高精度的實時計算分析，二者深度適配，能支撐電商實時風控、物流軌跡追蹤、直播數據大屏等各類高併發實時業務場景。下面用通俗易懂的方式拆解核心信息： 一、核心分工（為什麼是 “黃金搭檔”？）

大數據 , 數據 , 數據倉庫 , 實時監控 , kafka

收藏 評論

Nov 20 2025

雲端築夢者 - Kafka到底有多高可靠？（RNG NB）

kafka的高可靠性的核心是保證消息在傳遞過程中不丟失，涉及如下核心環節： 消息從生產者可靠的發送至Broker；—網絡、本地丟數據。 發送Broker的消息可靠持久化；—PageCache緩存落盤、單點崩潰、主從同步跨網絡。 消費者從Broker消費到消息且最好只消費一次。—跨網絡消息傳輸。

數據 , 持久化 , 分佈式 , kafka , 前端開發 , Javascript

收藏 評論

Dec 04 2025

attitude - Kafka/RocketMQ 多線程消費時如何保證消費順序？

多線程問題 對於mysql裏面上萬條信息，我開多線程，比如10個，要是完成第一個線程處理前k條，後面的依次處理後k條，這怎麼建立？要是第3個線程處理k到k+n條數據出問題的時候，我應該記錄這批次信息的id到一個單獨的地方，我覺得這數據量小，可以存在List裏面，然後該批次（批次大小200）的所有數據都進行事務回滾，不提交。最後全部都處理完了，再去處理這些異常的list列表裏

線程池 , 數據 , 後端開發 , harmonyos , kafka

收藏 評論

Dec 25 2025

kekenai - 消息中間件kafka部署(一、使用kafka內置zookeeper組件部署kafka單節點服務)

Kafka 消息中間件實戰指南 1. 引言 在現代分佈式系統中，消息中間件扮演着至關重要的角色，它能夠實現系統間的解耦、異步通信和可靠消息傳遞。Apache Kafka是目前最流行的分佈式流處理平台之一，廣泛應用於構建實時數據管道、流處理應用和事件驅動架構。 Kafka具有高吞吐量、低延遲、高可靠性和可擴展性等特點，能夠處理每秒數百萬條

linq , Css , 分佈式 , kafka , 前端開發 , apache , HTML

收藏 評論