作者：vivo 互聯網大數據團隊- You Shuo 本文是《vivo Pulsar萬億級消息處理實踐》系列文章第2篇，Pulsar支持上報分區粒度指標，Kafka則沒有分區粒度的指標，所以Pulsar的指標量級要遠大於Kafka。在Pulsar平台建設初期，提供一個穩定、低時延的監控鏈路尤為重要。 系列文章： 《vivo Pulsar萬億級消息處理實踐-數據發送原理解析和性能調優
昵稱 vivo互聯網技術
解鎖 CKafka 事務能力的神秘面紗 在當今數字化浪潮下，分佈式系統已成為支撐海量數據處理和高併發業務的中流砥柱。但在這看似堅不可摧的架構背後，數據一致性問題卻如影隨形，時刻考驗着系統的穩定性與可靠性。 CKafka 作為分佈式流處理平台的佼佼者，以其高吞吐量、可擴展性和容錯性等特點備受青睞。而它的事務功能，就是解決數據一致性問題的 “秘密武器”。通過事務能力，CKafka 能確保一組消息要麼全
昵稱 騰訊雲中間件
導語 在當今大數據和實時通信的時代，消息隊列在分佈式系統中扮演着至關重要的角色。CKafka 作為一種高性能、高可靠的消息中間件，被廣泛應用於各種業務場景中。然而，隨着業務的增長和數據流量的增加，CKafka 在生產者和消費者以極高的速度生產/消費大量數據或產生請求時，可能會導致 Broker上資源的過度消耗，造成網絡 IO 飽和等問題。為了避免這種情況對全量業務產生影響，CKafka 設計了一套
昵稱 騰訊雲中間件
作者：vivo 互聯網大數據團隊- Chen Jianbo 本文是《vivo Pulsar萬億級消息處理實踐》系列文章第3篇。 Pulsar是Apache基金會的開源分佈式流處理平台和消息中間件，它實現了Kafka的協議，可以讓使用Kafka API的應用直接遷移至Pulsar，這使得Pulsar在Kafka生態系統中更加容易被接受和使用。KoP提供了從Kafka到Pulsar的無縫轉換，
昵稱 vivo互聯網技術
導語 在當今數字化時代，數據的產生和流動呈爆發式增長，消息隊列作為一種高效的數據傳輸和處理工具，在各種應用場景中發揮着關鍵作用。TDMQ CKafka 版作為一款分佈式、高吞吐量、高可擴展性的消息系統，100% 兼容開源 Kafka API 2.4、2.8、3.2 版本 ，基於發佈 / 訂閲模式，通過消息解耦，使生產者和消費者異步交互，無需彼此等待。憑藉高可用、數據壓縮、同時支持離線和實時數據處理
昵稱 騰訊雲中間件
導語 在數字化時代，消息隊列系統已成為企業架構中不可或缺的一部分，其中，TDMQ CKafka 版作為一種高效、可擴展的分佈式消息系統，廣泛應用於各類業務場景中。上一篇我們深入探討了 TDMQ CKafka 版的生產實踐，從消息發送、分區策略到高可用性保障，全方位解析瞭如何在生產環境中高效利用 TDMQ CKafka 版。本文將接續前文，聚焦於 TDMQ CKafka 版的消費實踐，探討如何穩紮穩
昵稱 騰訊雲中間件
常見的消息隊列（MQ）及其區別 消息隊列 協議 特點 適用場景 性能表現 消息持久化方式 是否保證消息順序 RabbitMQ AMQP 功能完備、穩定可靠，支持多種消息路由模式 適用於對消息可靠性和事務支持要求較高的應用 高可靠性，但在高併發下性能一般 消息和隊列都可以設置為持久化，保證重
昵稱 今夜有點兒涼
導語 2025年6月起，騰訊雲 TDMQ RabbitMQ 版正式推出 Serverless 版本，該版本基於自研的存算分離架構，兼容 AMQP 0-9-1 協議和開源 RabbitMQ 的各個組件與概念，且能夠規避開源版本固有的不抗消息堆積、腦裂等穩定性缺陷，具有穩定、安全、靈活擴縮容等優勢。本文將全面解析 TDMQ RabbitMQ Serverless 版的核心特性、技術優勢及售賣形態。 T
昵稱 騰訊雲中間件
導語 分佈式集羣限流是保障雲服務高可用性的核心技術手段，其意義不僅在於防止系統過載，更是構建彈性架構、優化資源效率、實現業務可持續性的關鍵策略。未來，隨着邊緣計算和 Serverless 的普及，限流技術將進一步與底層基礎設施深度融合，成為構建下一代高可用架構的核心基石。 騰訊雲 TDMQ RabbitMQ Serverless 版作為一款極致彈性、高性能且高可靠的消息中間件，通過提供穩定低延遲的
昵稱 騰訊雲中間件
導語 RabbitMQ 作為開源消息隊列的標杆產品，憑藉靈活的路由機制與高可用設計，支撐着海量業務場景的消息流轉。而經典隊列（Classic Queue） 作為 RabbitMQ 最基礎、應用最廣泛的隊列類型，其底層存儲機制直接決定了消息處理的性能邊界與可用性上限。 理解經典隊列的存儲架構，不僅是掌握 RabbitMQ 核心原理的關鍵，更為生產環境的運維優化提供了理論支撐。本文將從文件目錄結構、存
昵稱 騰訊雲中間件
1 RabbitMQ集羣簡介 RabbitMQ 集羣是一個或多個節點的邏輯分組，每個節點共享用户、虛擬主機、隊列、流、交換機、綁定、運行時參數和其他分佈式狀態。 集羣中的節點名稱必須是唯一的。在集羣中，節點使用節點名稱來識別和相互聯繫。這意味着每個節點名稱的主機名部分必須可以解析。CLI工具也使用節點名稱來識別和尋址節點。當節點啓動時，它會檢查是否已為其分配了節點名稱。如果未顯式配置值，
昵稱 ICollection
Apache RocketMQ 社區的持續發展和不斷壯大，離不開創始團隊和眾多開發者多年來的努力。為了回饋眾多優秀的小夥伴們一直以來積極參與社區建設、對社區的發展作出傑出的貢獻；為了讓中國開發者便捷獲取全面、垂直、優質的資訊，更低門檻地參與社區的學習和交流。 Apache RocketMQ 中文社區全新升級！ https://rocketmq-learning.com 複製網址到瀏覽器，開啓 Ro
昵稱 ApacheRocketMQ
RocketMQ篇之-消息存儲 RocketMQ作為一款分佈式消息中間件，高可靠性是其最重要的特性之一。 所以需要將消息進行持久化存儲，以保證消息不丟失。 RocketMQ的消息存儲是RocketMQ的核心組件之一，負責消息的存儲和傳輸。RocketMQ的消息存儲主要包括CommitLog、ConsumeQueue、IndexFile、Checkpoint等幾個部分。 （前置）消息存儲交互流
昵稱 seazhan
在高併發系統中，RocketMQ作為消息隊列被廣泛使用，但在某些極端情況下，可能會遇到消息丟失的問題。消息丟失通常是由以下幾種原因導致的： 1. 消息丟失的原因 Producer端發送消息失敗： 由於網絡問題或RocketMQ服務端壓力過大，可能出現消息發送失敗。如果沒有重試機制或補償機制，消息可能丟失。 Broker端存儲問題： 如果Rocke
昵稱 今夜有點兒涼
Release Notes： 1、【重構】XXL-MQ 核心代碼重構，基於“存算分離”與“分區機制”設計思想。在輕量級、分佈式的基礎上，強化高吞吐、海量消息及水平擴展能力。； 2、【新增】存算分離：消息中心（Broker）與消息存儲層（Store）解耦。消息中心 提供消息OpenApi以及消息控制枱管理能力；消息存儲層 提供消息存儲能力。得益於存算分離系統設計，消息中心支持水平擴展，支持線性
昵稱 xuxueli
