雲原生時代消息隊列和流融合系統,提供統一的消費模型,支持消息隊列和流兩種場景,既能為隊列場景提供企業級讀寫服務質量和強一致性保障,又能為流場景提供高吞吐、低延遲;採用存儲計算分離架構,支持大集羣、多租户、百萬級 Topic、跨地域數據複製、持久化存儲、分層存儲、高可擴展性等企業級和金融級功能。 GitHub 地址:http://github.com/apache/pulsar/ 場景關鍵詞
關於 Apache Pulsar Apache Pulsar 是 Apache 軟件基金會頂級項目,是下一代雲原生分佈式消息流平台,集消息、存儲、輕量化函數式計算為一體,採用計算與存儲分離架構設計,支持多租户、持久化存儲、多機房跨區域數據複製,具有強一致性、高吞吐、低延時及高可擴展性等流數據存儲特性。 GitHub 地址:http://github.com/apache/pulsa
導語 在高速、高吞吐量的消息處理場景中,TDMQ Pulsar 版以其卓越的性能和可擴展性成為眾多企業的首選。然而,隨着生產者和消費者以極高的速度生產/消費大量消息,服務器資源如 CPU、內存、網絡及磁盤 IO 等可能會面臨飽和風險。為此,TDMQ Pulsar 版設計了完善的限流機制,以保護集羣資源,確保系統的全局穩定性。本文將深入探討 TDMQ Pulsar 版的集羣級與主題分區限流技術,並提
導語 Apache Pulsar 是一個多租户、高性能的服務間消息傳輸解決方案,支持多租户、低延時、讀寫分離、跨地域複製(GEO replication)、快速擴容、靈活容錯等特性。在很多場景下,用户需要使用到延遲消息,本文是 Pulsar 技術系列中的一篇,主要介紹 Pulsar 3.x 大規模延遲消息投遞的實現。 背景 之前有文章介紹過延遲消息的使用場景、使用方式以及實現原理,同時也提出了當時
一、Pulsar存儲架構簡析 Pulsar作為新一代MQ中間件,在底層架構設計上充分貫徹了存算分離的思想,broker與Bookeeper兩個組件獨立部署,前者負責流量的調度、聚合、計算,後者負責數據的存儲,這也契合了雲原生下k8s大行其道的時代背景。Bookeeper又名Bookie ,是一個單獨的存儲引擎。在組件關係上,broker深度依賴Bookie,內部集成了 Bookie的client端
作者:vivo 互聯網大數據團隊- You Shuo 本文是《vivo Pulsar萬億級消息處理實踐》系列文章第2篇,Pulsar支持上報分區粒度指標,Kafka則沒有分區粒度的指標,所以Pulsar的指標量級要遠大於Kafka。在Pulsar平台建設初期,提供一個穩定、低時延的監控鏈路尤為重要。 系列文章: 《vivo Pulsar萬億級消息處理實踐-數據發送原理解析和性能調優
作者:vivo 互聯網大數據團隊- Chen Jianbo 本文是《vivo Pulsar萬億級消息處理實踐》系列文章第3篇。 Pulsar是Apache基金會的開源分佈式流處理平台和消息中間件,它實現了Kafka的協議,可以讓使用Kafka API的應用直接遷移至Pulsar,這使得Pulsar在Kafka生態系統中更加容易被接受和使用。KoP提供了從Kafka到Pulsar的無縫轉換,
作者:Liu Sikang、互聯網大數據團隊-Luo Mingbo Pulsar作為下一代雲原生架構的分佈式消息中間件,存算分離的架構設計能有效解決大數據場景下分佈式消息中間件老牌一哥"Kafka"存在的諸多問題,2021年vivo 分佈式消息中間件團隊正式開啓對Pulsar的調研,2022年正式引入Pulsar作為大數據場景下的分佈式消息中間件,本篇文章主要從Pulsar運維痛點、Ansi
消息中間件應用廣泛,Kafka、RabbitMQ 、RocketMQ 和 Pulsar 更是其中的佼佼者,經常被放在一起比較。 從數據遷移同步行業來看,Kafka 用户佔了大多數,因為在大數據生態中,其是核心組件之一。RocketMQ 在國內也比較流行,主要應用在在線業務場景,這和它的技術特性和發展路徑緊密相關。相比之下,RabbitMQ 和 Pulsar 的使用量在國內相對少些。 那麼,它們到底