Contributes19
Followers0
事件概述 最近在接入一個新的埋點 Kafka Topic 後，遇到一個非常隱蔽的問題： 新 Topic 一直消費不到消息； 在公司 MQ 平台上查看 Topic，查不到消費組的註冊信息； 日誌平台沒有任何 Error 日誌。 消費端的邏輯是典型的主動拉取模式，由異步線程循環執行： poll() 拉取一批消息； 事務處理（讀取消息、執行腳本、寫入存儲）； commit 提交偏移量。
Nickname KerryWu
本文基於 Netty 4.1.112.Final , Kafka 3.9.0 版本進行討論 在業務開發的場景中，我們經常會遇到很多定時任務的需求。比如，生成業務報表，週期性對賬，同步數據，訂單支付超時處理等。針對業務場景中定時任務邏輯複雜，執行時間長的特點，市面上已經有很多成熟的任務調度中間件可供我們選擇。比如：ElasticJob , XXL-JOB , PowerJob 等等。 而在中間件的場
Nickname bin的技術小屋
Kafka消費者組中的消息消費模型有兩種，即：推送模式（push）和拉取模式（pull）。視頻講解如下： https://www.bilibili.com/video/BV1kG23Y4EZP/?aid=113282815891... 一、消息的推送模式 這種消息的消費模式需要記錄消費者的消費者狀態。當把一條消息推送給消費者後，需要維護消息的狀態。如果這條消息已經被消費將會對消息進行標記。這
Nickname 趙渝強老師
搭建Zookeeper、Kafka集羣 Zookeeper、Kafka集羣系統環境配置 配置IP ssh root@192.168.1.190 "rm -rf /etc/machine-id; systemd-machine-id-setup;reboot" ssh root@192.168.1.192 "rm -rf /etc/machine-id; systemd-machine-id-set
Nickname 小陳運維
本文在綠泡泡“狗哥瑣話”首發於2024.12.15 -關注不走丟。 上期講Flink Forward Aisa的視頻比較受歡迎，這期加更講Fluss。 為了方便新觀眾瞭解Fluss。簡單介紹一下Fluss，這玩意兒主要是為實時分析而生的流存儲。 所以它會有和Kafka一樣的能力，但是比起Kafka，多一個直接查的能力。 用在數據湖場景，比如配合Paimon，那麼就可以當作一個實時層，整個鏈路的延
Nickname 泊浮目
本文在綠泡泡“狗哥瑣話”首發於2024.12.23 -關注不走丟。 上期Fluss的內容還算受歡迎，這期加更，講講Fluss RoadMap裏提到的Zero Disks是怎麼個事兒。 所謂Zero Disks就是把所有的存儲放在S3這種遠程，容量無限的存儲上。這樣集羣本身就可以做到無狀態了。 那這玩意兒會怎麼做呢？我們直接看一篇先成的文章。 原文鏈接： https://medium.com/the
Nickname 泊浮目
作者：vivo 互聯網大數據團隊- You Shuo 本文是《vivo Pulsar萬億級消息處理實踐》系列文章第2篇，Pulsar支持上報分區粒度指標，Kafka則沒有分區粒度的指標，所以Pulsar的指標量級要遠大於Kafka。在Pulsar平台建設初期，提供一個穩定、低時延的監控鏈路尤為重要。 系列文章： 《vivo Pulsar萬億級消息處理實踐-數據發送原理解析和性能調優
Nickname vivo互聯網技術
bitnami/kafka 提供的 helm 包用起來非常穩定，公司生產環境有兩個 kafka 集羣，已經使用兩年了，沒有出過任何故障，穩如老狗！下面介紹安裝方式。 環境依賴 helm 工具 k8s 集羣（已經安裝好並且配置好了 storageClass） 生產環境 不用 zookeeper 使用內置的 kraft，節點選舉更快，更輕量。 新建 kafka-values.yaml 文件，填
Nickname 路易港
解鎖 CKafka 事務能力的神秘面紗 在當今數字化浪潮下，分佈式系統已成為支撐海量數據處理和高併發業務的中流砥柱。但在這看似堅不可摧的架構背後，數據一致性問題卻如影隨形，時刻考驗着系統的穩定性與可靠性。 CKafka 作為分佈式流處理平台的佼佼者，以其高吞吐量、可擴展性和容錯性等特點備受青睞。而它的事務功能，就是解決數據一致性問題的 “秘密武器”。通過事務能力，CKafka 能確保一組消息要麼全
Nickname 騰訊雲中間件
導語 在當今大數據和實時通信的時代，消息隊列在分佈式系統中扮演着至關重要的角色。CKafka 作為一種高性能、高可靠的消息中間件，被廣泛應用於各種業務場景中。然而，隨着業務的增長和數據流量的增加，CKafka 在生產者和消費者以極高的速度生產/消費大量數據或產生請求時，可能會導致 Broker上資源的過度消耗，造成網絡 IO 飽和等問題。為了避免這種情況對全量業務產生影響，CKafka 設計了一套
Nickname 騰訊雲中間件
作者：vivo 互聯網大數據團隊- Chen Jianbo 本文是《vivo Pulsar萬億級消息處理實踐》系列文章第3篇。 Pulsar是Apache基金會的開源分佈式流處理平台和消息中間件，它實現了Kafka的協議，可以讓使用Kafka API的應用直接遷移至Pulsar，這使得Pulsar在Kafka生態系統中更加容易被接受和使用。KoP提供了從Kafka到Pulsar的無縫轉換，
Nickname vivo互聯網技術
本文在綠泡泡“狗哥瑣話”首發於2024.12.23 -關注不走丟。 上期Fluss的內容還算受歡迎，這期加更，講講Fluss RoadMap裏提到的Zero Disks是怎麼個事兒。 所謂Zero Disks就是把所有的存儲放在S3這種遠程，容量無限的存儲上。這樣集羣本身就可以做到無狀態了。 那這玩意兒會怎麼做呢？我們直接看一篇先成的文章。 原文鏈接： https://medium.com/the
Nickname 泊浮目
概述 Kafka 是由 LinkedIn 開發、後由Apache軟件基金會維護的分佈式流處理平台，採用Scala和Java編寫。它本質是一個高吞吐、持久化的發佈-訂閲消息系統，專注於處理實時數據流（如用户行為日誌、點擊流等）。在收集日誌的場景中，Kafka 可以作為一個消息中間件，用於接收、存儲和轉發大量的日誌，鏈路，指標數據。 觀測雲 觀測雲是一款專為 IT 工程師打造的全鏈路可觀測產品，它集成
Nickname 觀測雲
Skywalking SkyWalking 是一個開源的分佈式追蹤系統，主要用於監控和分析分佈式系統的性能和行為。它支持多種語言和框架，能夠實時收集和分析服務間的調用鏈路數據、性能指標和日誌信息，幫助開發者快速定位系統瓶頸和問題。 SkyWalking Java Agent 是 SkyWalking 提供的針對 Java 應用的自動追蹤工具。它通過字節碼增強技術，在不修改應用代碼的情況下，自動注入
Nickname 觀測雲
分享一篇粉絲朋友整理的面經，第一次遇見問那麼多kafka的問題，看看他是怎麼回答的。 先來看看 職位描述： 崗位職責： 負責基於 Go 的後端服務的設計、開發和維護； 參與系統架構設計，確保系統的高可用性、高性能和可擴展性； 編寫高質量、可維護的代碼，並進行代碼評審； 解決複雜的技術問題，優化系統性能； 與跨職能團隊合作，確保項目按時交付； 編寫技術文檔和開發規範，提升團隊整體開發效
Nickname 王中陽講編程
轉載 | 滑思眉Philip 問題背景 在Apache SeaTunnel 2.3.9版本的Kafka連接器實現中，存在一個潛在的內存溢出風險。當用户配置流式作業從Kafka讀取數據時，即使設置了讀取速率限制(read_limit.rows_per_second)，系統仍可能出現內存持續增長直至OOM(Out Of Memory)的情況。 問題現象 用户在實際部署中觀察到以下現象： 在8核1
Nickname SeaTunnel
全球 Kafka 社區都在關注 AutoMQ！憑藉在 Kafka 生態的獨特創新，AutoMQ深受 Kafka 用户喜愛，已成為眾多企業和開發者的首選實時數據解決方案。 我們非常高興看到來自韓國的KafkaKRU核心社區在首爾舉辦第2屆官方線下交流會。作為韓國最具影響力的 Kafka 開發者社區，KafkaKRU 聚集了大量核心開發者和企業用户。本次交流會中，將分享 AutoMQ 的真實應用案例
Nickname AutoMQ
過去，企業數據集成大多采用ETL（提取、轉換、加載）批處理模式，即在夜間或業務低峯期將數據從業務庫同步到數據倉庫。然而，在數字化轉型的浪潮下，實時推薦、實時風控、實時監控等場景要求數據能在秒級甚至毫秒級內得到處理和分析。 ETLCloud作為一個專業的數據集成平台，提供了強大的實時數據集成與ETL處理能力，能夠高效採集業務系統的增量數據並進行實時轉換。然而，在實際應用中，任何處理平台都會面臨資源（
Nickname RestCloud
作者：四牛 前言 雲消息隊列Kafka版Serverless系列憑藉其秒級彈性擴展、按需付費、輕運維的優勢，助力嘉銀科技業務系統實現靈活擴縮容，在業務效率和成本優化上持續取得突破，保證服務的敏捷性和穩定性，並節省超過20%的成本。 客户介紹 嘉銀科技是一家專注於科技驅動普惠金融的上市企業，在多年的發展過程中，始終堅持以技術為核心推動業務迭代，公司致力於以大數據、雲計算、人工智能等技術在消費場景內
Nickname 阿里云云原生
Kafka4.0 介紹 Kafka4.0 的重大變革 —— KRaft 模式。Kafka4.0 最具革命性的變化，默認運行在 KRaft（Kafka Raft）模式下，徹底摒棄了對 Apache ZooKeeper 的依賴。KRaft 模式的引入，可謂是 Kafka 架構演進的一次重大飛躍。它基於 Raft 一致性算法構建共識機制，將元數據管理功能巧妙地集成到 Kafka 自身的體系之中，從而實現
Nickname 觀測雲
導語 在當今數字化時代，數據的產生和流動呈爆發式增長，消息隊列作為一種高效的數據傳輸和處理工具，在各種應用場景中發揮着關鍵作用。TDMQ CKafka 版作為一款分佈式、高吞吐量、高可擴展性的消息系統，100% 兼容開源 Kafka API 2.4、2.8、3.2 版本 ，基於發佈 / 訂閲模式，通過消息解耦，使生產者和消費者異步交互，無需彼此等待。憑藉高可用、數據壓縮、同時支持離線和實時數據處理
Nickname 騰訊雲中間件
導語 在數字化時代，消息隊列系統已成為企業架構中不可或缺的一部分，其中，TDMQ CKafka 版作為一種高效、可擴展的分佈式消息系統，廣泛應用於各類業務場景中。上一篇我們深入探討了 TDMQ CKafka 版的生產實踐，從消息發送、分區策略到高可用性保障，全方位解析瞭如何在生產環境中高效利用 TDMQ CKafka 版。本文將接續前文，聚焦於 TDMQ CKafka 版的消費實踐，探討如何穩紮穩
Nickname 騰訊雲中間件
作者：橫槊、永安、鐳嶼 關於尚娛 尚遊遊戲（https://www.syyx.com）成立於2007年，專注遊戲研發與發行，集團旗下乙亥互娛、其樂遊戲、尚娛軟件覆蓋多元遊戲賽道，共同致力於為玩家提供創新的遊戲產品。 秉持“熱愛創造無限的可能”理念，公司通過《無悔華夏》、《新月同行》、《元氣騎士》、《歡喜鬥地主》、《諾亞傳説》、《霓虹深淵：無限》等多款自主研發或發行的精品遊戲，持續獲得廣大玩家的喜愛
Nickname 阿里云云原生
核心概覽 我們很高興宣佈開源項目 AutoMQ v1.6.0 版本正式發佈。該版本為開發者帶來三大核心優化： 成本效益提升最高達 17 倍：通過對寫入路徑的深度優化，在高吞吐負載場景下，AutoMQ 的總擁有成本（TCO）較自管理 Apache Kafka 降低最高 17 倍。 Table Topic 功能增強：原生支持 CDC 流，並提供更靈活的 Schema 管理能力，簡化數據湖寫入流程
Nickname AutoMQ
