博客 / 列表

AutoMQ - 當 Kafka 架構顯露“疲態”:共享存儲領域正迎來創新變革

文章導讀 本文作者為沃爾瑪開發者 Ankur Ranjan 與 Sai Vineel Thamishetty 。二人長期關注 Apache Kafka 與流處理系統的演進,深入研究現代流處理架構面臨的挑戰與創新方向。文章不僅總結了 Kafka 的歷史價值與當前侷限,還展示了下一代開源項目 AutoMQ 如何藉助雲原生設計,解決 Kafka 在成本、擴展性與運維方面的痛點,為實時數據流架構提供全新視

data , 雲原生 , kafka

AutoMQ - AutoMQ x FSx: 10ms Latency Diskless Kafka on AWS

介紹 今天,我們正式宣佈:繼 S3 WAL、EBS/Regional EBS WAL[1] 之後,AutoMQ 將在 2025 年的 12 月的新版本中全面支持以 AWS FSx 作為新的 WAL 存儲選項。AutoMQ 本身是一款完全兼容 Apache Kafka 協議、基於 S3 對象存儲構建的新一代 Diskless Kafka,通過自研的「WAL + 對象存儲」創新流存儲引擎,將寫入日誌與

知識 , 開源 , kafka

AutoMQ - Kafka 性能調優:linger.ms 和 batch.size 的最佳實踐

2025 年 3 月 18 日,Apache Kafka 4.0 正式發佈。 在此次版本更新中,相較於架構層面的升級,開發者們也應關注一個關鍵的細節變更:官方將生產者參數 linger.ms 的默認值,從沿用多年的 0ms 正式修改為 5ms。 這一調整直擊傳統性能調優的認知盲區,在傳統觀念中,linger.ms=0 意味着"零等待"和實時發送,通常被視為降低延遲的首選策略。然而,Kafka 4.

kafka

AutoMQ - 如何選擇合適的 Diskless Kafka

文章導讀 隨着越來越多企業將 Kafka 遷移至雲原生架構,AutoMQ 正逐漸成為 Kafka 用户的雲端優選。作為兼容 Apache Kafka 協議、專為雲設計的新一代發行版,AutoMQ 憑藉高性能、彈性擴展和極致成本等優勢,在全球範圍內的熱度持續攀升,GitHub Star 數也順勢突破 8k 大關。在海外社區涌現的眾多討論與推文中,我們發現了這樣一篇來自開發者的深度好文,將其內容翻譯並

架構 , 雲原生 , kafka

AutoMQ - AutoMQ GitHub 突破 8,000 Star!

🚀 里程碑達成!AutoMQ GitHub 突破 8,000 Star! 🎉 從 0 到 8000+, 這份熱度的背後,是 AutoMQ 對雲原生流存儲的重新定義。我們基於 Diskless 架構設計,將數據完全卸載至對象存儲(S3/OSS),讓數據基礎設施真正生於雲、長於雲,徹底解決了傳統架構的痛點: 💸 消除 100% 跨 AZ 流量費用:採用共享存儲架構,徹底避免了高額的跨可用區(

架構 , 雲原生

AutoMQ - 騰訊音樂如何基於 AutoMQ 降低 Kafka 50%+ 成本

編輯導讀:騰訊音樂娛樂集團作為中國在線音樂娛樂服務的領航者,旗下擁有 QQ 音樂、酷狗音樂、酷我音樂和全民 K 歌等眾多國民級移動音頻應用。每天,這些產品都會產生海量的用户行為和業務數據,為精準推薦、用户增長和商業化等核心業務提供着源源不斷的數據驅動力。在這一切背後,一個強大、穩定且高效的 Kafka 流系統是支撐其業務持續創新和發展的關鍵。 然而,隨着業務的飛速發展,傳統的自建 Kafk

中間件 , 架構 , 雲原生

AutoMQ - AutoMQ 亮相首爾:KafkaKRU 分享日誌流處理新思路

全球 Kafka 社區都在關注 AutoMQ!憑藉在 Kafka 生態的獨特創新,AutoMQ深受 Kafka 用户喜愛,已成為眾多企業和開發者的首選實時數據解決方案。 我們非常高興看到來自韓國的KafkaKRU核心社區在首爾舉辦第2屆官方線下交流會。作為韓國最具影響力的 Kafka 開發者社區,KafkaKRU 聚集了大量核心開發者和企業用户。本次交流會中,將分享 AutoMQ 的真實應用案例

雲計算 , 開源 , kafka

AutoMQ - 重磅發佈|AutoMQ v1.6.0 開源版:Kafka 成本直降 17 倍,原生支持 Strimzi 與 Iceberg

核心概覽 我們很高興宣佈開源項目 AutoMQ v1.6.0 版本正式發佈。該版本為開發者帶來三大核心優化: 成本效益提升最高達 17 倍:通過對寫入路徑的深度優化,在高吞吐負載場景下,AutoMQ 的總擁有成本(TCO)較自管理 Apache Kafka 降低最高 17 倍。 Table Topic 功能增強:原生支持 CDC 流,並提供更靈活的 Schema 管理能力,簡化數據湖寫入流程

開源 , 雲原生 , kafka