@分佈式系統 / 博客 RSS 訂閱

Sep 19 2025

deephub - SAPO去中心化訓練：多節點協作讓LLM訓練效率提升94%

Swarm sAmpling Policy Optimization，簡稱SAPO，這個名字聽起來有點學術，但它解決的問題很實際。大規模語言模型的後訓練一直是個讓人頭疼的事情——要麼資源不夠，要麼效率太低。SAPO提出了一種去中心化的異步RL方案，讓各個計算節點之間可以互相分享rollouts，避開了傳統並行化訓練的各種瓶頸。 論文的實驗結果。在成千上萬個社區節點的測試中，這套方法能帶來9

llm , 人工智能 , 分佈式系統 , 深度學習

收藏 評論

Sep 25 2023

JerryTse - 為什麼要使用zookeeper

本文標題為《為什麼要使用zookeeper》，但是本文並不是專門介紹zookeeper原理及其使用方法的文章。如果你在網上搜索為什麼要使用zookeeper，一定能能到從zookeeper原理、適用場景到Zab算法原理等各種各樣的介紹，但是看過之後是不是還是懵懵懂懂，只是學會了一些片面的、具體的知識點，還是不能文章標題的問題。zookeeper使用一種名為Zab的共識算法實現，除了Zab算法之外還

分佈式鎖 , zookeeper , 分佈式系統 , 多進程 , 一致性

收藏 評論

Nov 23 2024

Protonbase - 分佈式 Data Warebase - 構築 AI 時代數據基石

導讀：作者以人類世界一個信息層次模型 DIKW 為出發點，引出對計算機世界（系統）處理數據過程的介紹。接着以一個民宿平台數據架構隨業務發展而不斷演進的過程，展示了這場信息革命中，在具體應用場景下，一個系統是如何一步一步變得龐大、複雜的，伴隨而來的是運維、開發、業務中的一系列棘手問題。最後作者引入解決問題的一種新思路：以擴展關係型數據庫為基礎，引入分佈式事務並支持更多數據模型。基於此打造瞭解決性能瓶

數據倉庫 , 數據庫 , 人工智能 , 分佈式系統 , 分佈式事務

收藏 評論

Feb 26 2025

月半大熊貓 - 本地？線上？分佈式系統前後端架構、部署、聯調指南，突破技術

“ 引言：對於常見的BS架構系統，程序員如何進行本地或者線上環 境聯調，這有助於提高個人工作效率，站在更高的角度審視系統， 從此以後再無懼Bug，讓你早幹完活，早摸魚🐟，早下班。 對於Java初學者，或者是三年工作經驗的“新手” ，希望此文對你有所裨益！ -- 詩經有云，有匪君子，如切如磋，如琢如磨。 前端啓動之後，訪問後端服務，需要通過

gateway , 分佈式系統 , Nginx , 網關 , 後端

收藏 評論

Dec 07 2025

JerryTse - 分佈式系統服務間通信方法

分佈式系統架構（或稱微服務架構）【1】是由多個小型的服務（微服務）組成單一系統的架構風格，既然是多個服務構成，必然涉及到服務間相同通信以完成特定的功能的情況。服務間通信的方式除了參考單體應用本地方法調用衍生出來的程過程調用（Remote Procedure Call）這種最主要的方式外，還有消息投遞、數據共享、分佈式鎖等，他們都是參考自進程內和進程間（IPC）通信方法，在跨進程間通信場景也發揮了重

通信 , 遠程調用 , 微服務 , 分佈式系統 , 消息隊列

收藏 評論

Dec 04 2024

deephub - 分佈式機器學習系統：設計原理、優化策略與實踐經驗

人工智能領域正在經歷一場深刻的變革。隨着深度學習模型的規模呈指數級增長，我們正面臨着前所未有的計算挑戰。當前最先進的語言模型動輒包含數千億個參數，這種規模的模型訓練已經遠遠超出了單機系統的處理能力。在這個背景下，分佈式機器學習系統已經成為支撐現代人工智能發展的關鍵基礎設施。 分佈式機器學習的演進 在深度學習早期，研究人員通常使用單個GPU就能完成模型訓練。隨着研究的深入，模型架構變得越來越複雜，參

機器學習 , 人工智能 , 分佈式系統 , Python

收藏 評論

Dec 15 2023

京東雲開發者 - 基於Raft算法的DLedger-Library分析 | 京東物流技術團隊

1 背景 在分佈式系統應用中，高可用、一致性是經常面臨的問題，針對不同的應用場景，我們會選擇不同的架構方式，比如master-slave、基於ZooKeeper選主。隨着時間的推移，出現了基於Raft算法自動選主的方式，Raft是在Paxos的基礎上，做了一些簡化和限制，比如增加了日誌必須是連續的，只支持領導者、跟隨者和候選人三種狀態，在理解和算法實現上都相對容易許多。 1）DLedger 是op

算法 , raft , 分佈式系統 , 高可用

收藏 評論