tag 消息隊列

標籤
貢獻26
81
08:42 AM · Nov 04 ,2025

@消息隊列 / 博客 RSS 訂閱

seazhan - 【RocketMQ 消息中間件】RocketMQ篇之-消息存儲 為什麼性能高 CommitLog 刷盤機制 同步 異步

RocketMQ篇之-消息存儲 RocketMQ作為一款分佈式消息中間件,高可靠性是其最重要的特性之一。 所以需要將消息進行持久化存儲,以保證消息不丟失。 RocketMQ的消息存儲是RocketMQ的核心組件之一,負責消息的存儲和傳輸。RocketMQ的消息存儲主要包括CommitLog、ConsumeQueue、IndexFile、Checkpoint等幾個部分。 (前置)消息存儲交互流

中間件 , JAVA , 消息隊列

收藏 評論

騰訊雲中間件 - 高彈性、高可靠!騰訊雲 TDMQ RabbitMQ Serverless 版全新發布

導語 2025年6月起,騰訊雲 TDMQ RabbitMQ 版正式推出 Serverless 版本,該版本基於自研的存算分離架構,兼容 AMQP 0-9-1 協議和開源 RabbitMQ 的各個組件與概念,且能夠規避開源版本固有的不抗消息堆積、腦裂等穩定性缺陷,具有穩定、安全、靈活擴縮容等優勢。本文將全面解析 TDMQ RabbitMQ Serverless 版的核心特性、技術優勢及售賣形態。 T

騰訊雲 , rabbitmq , 消息隊列 , serverless

收藏 評論

騰訊雲中間件 - TDMQ RocketMQ 版事務消息原理解析

引言 在分佈式架構系統中,確保跨服務應用的數據一致性始終是系統設計的核心挑戰之一。TDMQ RocketMQ 版作為一款基於 Apache RocketMQ 構建的企業級消息中間件,憑藉其高可用性和高可靠性特點,通過提供完善的事務消息機制,為這一難題提供了專業的解決方案。本文將結合核心源碼,深入解析 RocketMQ 事務消息的實現原理,希望能幫助開發者去構建更健壯的分佈式事務系統。 事務消息的概

騰訊雲 , rocketmq , 消息隊列

收藏 評論

騰訊雲中間件 - TDMQ CKafka 版事務:分佈式環境下的消息一致性保障

解鎖 CKafka 事務能力的神秘面紗 在當今數字化浪潮下,分佈式系統已成為支撐海量數據處理和高併發業務的中流砥柱。但在這看似堅不可摧的架構背後,數據一致性問題卻如影隨形,時刻考驗着系統的穩定性與可靠性。 CKafka 作為分佈式流處理平台的佼佼者,以其高吞吐量、可擴展性和容錯性等特點備受青睞。而它的事務功能,就是解決數據一致性問題的 “秘密武器”。通過事務能力,CKafka 能確保一組消息要麼全

騰訊雲 , 消息隊列 , kafka

收藏 評論

vivo互聯網技術 - vivo Pulsar 萬億級消息處理實踐(2)-從0到1建設 Pulsar 指標監控鏈路

作者:vivo 互聯網大數據團隊- You Shuo 本文是《vivo Pulsar萬億級消息處理實踐》系列文章第2篇,Pulsar支持上報分區粒度指標,Kafka則沒有分區粒度的指標,所以Pulsar的指標量級要遠大於Kafka。在Pulsar平台建設初期,提供一個穩定、低時延的監控鏈路尤為重要。 系列文章: 《vivo Pulsar萬億級消息處理實踐-數據發送原理解析和性能調優

大數據 , 消息隊列 , kafka , pulsar

收藏 評論

騰訊雲中間件 - 限流系列之二:TDMQ CKafka 版限流方案詳解及最佳實踐

導語 在當今大數據和實時通信的時代,消息隊列在分佈式系統中扮演着至關重要的角色。CKafka 作為一種高性能、高可靠的消息中間件,被廣泛應用於各種業務場景中。然而,隨着業務的增長和數據流量的增加,CKafka 在生產者和消費者以極高的速度生產/消費大量數據或產生請求時,可能會導致 Broker上資源的過度消耗,造成網絡 IO 飽和等問題。為了避免這種情況對全量業務產生影響,CKafka 設計了一套

騰訊雲 , 消息隊列 , kafka

收藏 評論

騰訊雲中間件 - 深度剖析 TDMQ RabbitMQ 版經典隊列底層存儲機制

導語 RabbitMQ 作為開源消息隊列的標杆產品,憑藉靈活的路由機制與高可用設計,支撐着海量業務場景的消息流轉。而經典隊列(Classic Queue) 作為 RabbitMQ 最基礎、應用最廣泛的隊列類型,其底層存儲機制直接決定了消息處理的性能邊界與可用性上限。 理解經典隊列的存儲架構,不僅是掌握 RabbitMQ 核心原理的關鍵,更為生產環境的運維優化提供了理論支撐。本文將從文件目錄結構、存

騰訊雲 , rabbitmq , 消息隊列

收藏 評論

騰訊雲中間件 - TDMQ CKafka 版客户端實戰指南系列之一:生產最佳實踐

導語 在當今數字化時代,數據的產生和流動呈爆發式增長,消息隊列作為一種高效的數據傳輸和處理工具,在各種應用場景中發揮着關鍵作用。TDMQ CKafka 版作為一款分佈式、高吞吐量、高可擴展性的消息系統,100% 兼容開源 Kafka API 2.4、2.8、3.2 版本 ,基於發佈 / 訂閲模式,通過消息解耦,使生產者和消費者異步交互,無需彼此等待。憑藉高可用、數據壓縮、同時支持離線和實時數據處理

騰訊雲 , 客户端 , 消息隊列 , kafka

收藏 評論

騰訊雲中間件 - TDMQ CKafka 版客户端實戰指南系列之二:消費消息最佳實踐

導語 在數字化時代,消息隊列系統已成為企業架構中不可或缺的一部分,其中,TDMQ CKafka 版作為一種高效、可擴展的分佈式消息系統,廣泛應用於各類業務場景中。上一篇我們深入探討了 TDMQ CKafka 版的生產實踐,從消息發送、分區策略到高可用性保障,全方位解析瞭如何在生產環境中高效利用 TDMQ CKafka 版。本文將接續前文,聚焦於 TDMQ CKafka 版的消費實踐,探討如何穩紮穩

騰訊雲 , 消息隊列 , kafka

收藏 評論

ICollection - RabbitMQ的安裝集羣、仲裁隊列配置

1 RabbitMQ集羣簡介   RabbitMQ 集羣是一個或多個節點的邏輯分組,每個節點共享用户、虛擬主機、隊列、流、交換機、綁定、運行時參數和其他分佈式狀態。 集羣中的節點名稱必須是唯一的。在集羣中,節點使用節點名稱來識別和相互聯繫。這意味着每個節點名稱的主機名部分必須可以解析。CLI工具也使用節點名稱來識別和尋址節點。當節點啓動時,它會檢查是否已為其分配了節點名稱。如果未顯式配置值,

rabbitmq , 消息隊列 , 集羣

收藏 評論

mob64ca13fe62db - Redis 高級特性 Redis Stream使用

概念 Redis Stream 主要用於消息隊列(MQ,Message Queue),Redis 本身是有一個 Redis 發佈訂閲 (pub/sub) 來實現消息隊列的功能,但它有個缺點就是消息無法持久化,如果出現網絡斷開、Redis 宕機等,消息就會被丟棄。 簡單來説發佈訂閲 (pub/sub) 可以分發消息,但無法記錄歷史消息。

redis , 緩存 , 數據庫 , 後端開發 , 消息隊列 , Python

收藏 評論

vivo互聯網技術 - vivo Pulsar 萬億級消息處理實踐(3)-KoP指標異常修復

作者:vivo 互聯網大數據團隊- Chen Jianbo 本文是《vivo Pulsar萬億級消息處理實踐》系列文章第3篇。 Pulsar是Apache基金會的開源分佈式流處理平台和消息中間件,它實現了Kafka的協議,可以讓使用Kafka API的應用直接遷移至Pulsar,這使得Pulsar在Kafka生態系統中更加容易被接受和使用。KoP提供了從Kafka到Pulsar的無縫轉換,

大數據 , JAVA , 消息隊列 , kafka , pulsar

收藏 評論

xuxueli - XXL-MQ v1.4.0 | 輕量級分佈式消息隊列

Release Notes: 1、【重構】XXL-MQ 核心代碼重構,基於“存算分離”與“分區機制”設計思想。在輕量級、分佈式的基礎上,強化高吞吐、海量消息及水平擴展能力。; 2、【新增】存算分離:消息中心(Broker)與消息存儲層(Store)解耦。消息中心 提供消息OpenApi以及消息控制枱管理能力;消息存儲層 提供消息存儲能力。得益於存算分離系統設計,消息中心支持水平擴展,支持線性

mq , 消息隊列 , 分佈式 , kafka

收藏 評論

今夜有點兒涼 - 常見的消息隊列(MQ)及其區別

常見的消息隊列(MQ)及其區別 消息隊列 協議 特點 適用場景 性能表現 消息持久化方式 是否保證消息順序 RabbitMQ AMQP 功能完備、穩定可靠,支持多種消息路由模式 適用於對消息可靠性和事務支持要求較高的應用 高可靠性,但在高併發下性能一般 消息和隊列都可以設置為持久化,保證重

rocketmq , rabbitmq , 消息隊列 , activemq , kafka

收藏 評論

今夜有點兒涼 - RocketMQ 消息丟失及其處理方式

在高併發系統中,RocketMQ作為消息隊列被廣泛使用,但在某些極端情況下,可能會遇到消息丟失的問題。消息丟失通常是由以下幾種原因導致的: 1. 消息丟失的原因 Producer端發送消息失敗: 由於網絡問題或RocketMQ服務端壓力過大,可能出現消息發送失敗。如果沒有重試機制或補償機制,消息可能丟失。 Broker端存儲問題: 如果Rocke

rocketmq , 高併發 , JAVA , 消息隊列 , 異步

收藏 評論

ApacheRocketMQ - Apache RocketMQ 中文社區全新升級!

Apache RocketMQ 社區的持續發展和不斷壯大,離不開創始團隊和眾多開發者多年來的努力。為了回饋眾多優秀的小夥伴們一直以來積極參與社區建設、對社區的發展作出傑出的貢獻;為了讓中國開發者便捷獲取全面、垂直、優質的資訊,更低門檻地參與社區的學習和交流。 Apache RocketMQ 中文社區全新升級! https://rocketmq-learning.com 複製網址到瀏覽器,開啓 Ro

rocketmq , 中間件 , mq , 消息隊列 , apache

收藏 評論

騰訊雲中間件 - Apache Pulsar 技術系列 - 大規模延遲消息解析

導語 Apache Pulsar 是一個多租户、高性能的服務間消息傳輸解決方案,支持多租户、低延時、讀寫分離、跨地域複製(GEO replication)、快速擴容、靈活容錯等特性。在很多場景下,用户需要使用到延遲消息,本文是 Pulsar 技術系列中的一篇,主要介紹 Pulsar 3.x 大規模延遲消息投遞的實現。 背景 之前有文章介紹過延遲消息的使用場景、使用方式以及實現原理,同時也提出了當時

消息隊列 , pulsar

收藏 評論

騰訊雲中間件 - 深度解析 RocketMQ 核心組件:ConsumeQueue 的設計與實現

導語 在分佈式消息隊列 RocketMQ 中,ConsumeQueue(消費隊列) 是消息消費的核心組件之一。它作為 CommitLog 的索引機制,幫助消費者快速定位並拉取消息。如果沒有 ConsumeQueue,消費者將無法高效地從海量消息中篩選出自己訂閲的數據。 本文將基於 RocketMQ 5.0 源碼,深入探討 ConsumeQueue 的設計原理與實現細節。 為什麼需要 Consume

騰訊雲 , rocketmq , 消息隊列

收藏 評論

網絡智葉 - 最簡單的 RabbitMQ 監控方法 - 每天5分鐘玩轉 OpenStack(158) - CloudMAN的個人空間 -

RabbitMQ作為業界領先的消息隊列中間件,在生產環境中承擔着關鍵的數據傳輸任務。為了確保消息隊列的穩定運行和性能優化,使用RabbitMQ Exporter進行監控是必不可少的環節。本指南將詳細介紹如何安裝、配置和使用RabbitMQ Exporter,幫助您構建完整的消息隊列監控體系。 項目概述與核心價值 RabbitMQ Exporter是一個專門為Prome

新版本 , rpc , 消息隊列 , 前端開發 , Javascript

收藏 評論

星如雨 - nats,一種高性能、輕量級的分佈式消息系統(純理論,無代碼)

nats 是一種高性能、輕量級的分佈式消息系統,專為雲原生架構設計。以簡單性、高性能、低延遲聞名,適用於構建分佈式系統和微服務架構。 NATS的核心特性 簡單易用: NATS的設計理念之一是保持簡單,無需複雜的配置和管理。NATS 使用簡單的主題(subjects)來實現消息的發佈和訂閲。 高性能: NATS優化了內存管理和網絡性能,處理消息高吞吐量、低延遲。在快速響應系統中表

消息總線 , 消息隊列 , 程序員 , 後端

收藏 評論

網絡安全戰士 - 消息隊列RabbitMQ入門與5種模式詳解

消息隊列 介紹 開發環境 技術支持 安裝 補充介紹 消息隊列概念 聯繫 工作流程 介紹 在併發編程中,有一種特殊的隊列叫阻塞隊列,一般可以用來實現生產者-消費者模型。生產者生產數據到隊列中,消費者取出數據進行處理。它存在諸多好處:

解耦 , 封裝 , rabbitmq , 後端開發 , 消息隊列 , 分佈式 , Python

收藏 評論

騰訊雲中間件 - TDMQ for RocketMQ MCP Server 實戰,一站式查詢提升運維效率

導語 在 RocketMQ 的日常運維中,我們經常需要訪問不同的數據源來獲取診斷信息。傳統的方式往往需要編寫複雜的查詢語句,或者在多個系統之間切換,效率低下。為了解決這個問題,我們使用 LLM 結合 MCP 來實現高效的數據訪問。通過這種方式,可以用自然語言一站式查詢所需的信息,提高運維效率。 前言 在騰訊雲消息隊列團隊日常運維 TDMQ RocketMQ 版的過程中,經常需要訪問不同的數據源來獲

騰訊雲 , rocketmq , 消息隊列

收藏 評論

騰訊雲中間件 - TDMQ RocketMQ 版秒級定時消息原理解析

導語 隨着分佈式系統架構的普及,消息隊列已成為支撐大規模、高併發在線業務的核心組件之一。騰訊雲消息隊列 RocketMQ 版作為一款高性能、高可靠的消息中間件,通過提供穩定、低延遲的消息服務,幫助企業輕鬆應對業務洪峯、實現系統解耦。 最初的消息隊列只支持簡單的在線消息收發,但隨着業務場景的豐富,越來越多的需求涌現,例如訂單超時處理、輕量級延時任務調度、定時通知推送等場景,這些場景都要求消息能夠延遲

騰訊雲 , rocketmq , 消息隊列

收藏 評論

wx65dfdaaec020c - 消息隊列在微服務架構中的實戰應用

消息隊列在微服務架構中的實戰應用 摘要 本文將深入探討消息隊列在微服務架構中的核心作用,通過實際案例展示如何利用Kafka、RabbitMQ和RocketMQ解決服務解耦、異步通信、流量削峯等關鍵問題,並提供完整的實現方案和最佳實踐。 微服務架構中的消息隊列模式 事件驅動架構模式 核心架構設計 微服務消息隊列架構: ┌───────────────────

微服務 , 後端開發 , 消息隊列 , kafka , Python

收藏 評論