tag 分佈式系統

標籤
貢獻18
85
05:15 PM · Oct 25 ,2025
longbig 頭像 lidong_58afb57096f8c 頭像 deephub 頭像 jerrytse 頭像 chen_67f9ccbe6f07b 頭像 alluxio_com 頭像 dolphindb 頭像 jdcdevloper 頭像 lyflexi 頭像 aijianshendexuegao 頭像 swiftcommunity 頭像 baidujiagoushi 頭像

@分佈式系統 / 博客 RSS 訂閱

longbig 頭像

卷福同學 - 分佈式系統架構8：分佈式緩存

這是小卷對分佈式系統架構學習的第11篇文章，今天瞭解分佈式緩存的理論知識以及Redis集羣。 分佈式緩存也是面試常見的問題，通常面試官會問為什麼要用緩存，以及用的Redis是哪種模式，用的過程中遇到哪些問題這些 1. AP還是CP Redis 集羣就是典型的 AP 式，它具有高性能、高可用等特點，但它卻並不保證強一致性。 而能夠保證強一致性的 ZooKeeper、Doozerd、Etcd

分佈式系統 , springboot , JAVA , 分佈式 , 後端

收藏 評論

swiftcommunity 頭像

Swift社區 - 【微服務架構】從鏈路追蹤到日誌關聯：打造分佈式系統問題定位利器

摘要 微服務架構為系統帶來了靈活性與擴展性，但也讓問題定位變得更加複雜。服務間缺乏日誌關聯性是微服務調試和運維中的核心痛點之一。本文章將深入探討如何通過分佈式追蹤、鏈路ID等技術實現服務間日誌關聯，並通過示例代碼與工具展示如何落地這些方法。 引言 微服務架構中，系統被拆分為多個服務模塊，每個服務都有獨立的日誌記錄機制。然而，在複雜的分佈式系統中，單個服務的日誌信息往往不足以定位跨服務問題。為此，引

微服務 , 分佈式系統

收藏 評論

chen_67f9ccbe6f07b 頭像

異常君 - Paxos 協議三階段解密：原理剖析與 Java 實現

你是否遇到過這樣的情況：公司的微服務集羣中，多個節點需要選出主節點，但因為網絡故障卻導致兩個節點同時認為自己是"主"？或者在容器編排系統中，因為通信延遲導致不同節點看到的系統狀態不一致，引發了一連串莫名其妙的錯誤？在分佈式系統中，這些場景時有發生，而它們本質上都指向一個核心問題：如何在不可靠的網絡環境中，讓多個獨立節點對某個決策達成一致？ 這個看似簡單的問題卻難倒了無數系統設計師。幸運的是，Les

分佈式系統 , JAVA , paxos , 一致性 , 後端

收藏 評論

jianghushinian 頭像

江湖十年 - 如何基於 Go 語言設計一個簡潔優雅的分佈式任務系統

在當今雲計算與微服務盛行的時代，分佈式任務系統已成為支撐大規模業務的核心基礎設施。今天就來為大家分享下如何基於 Go 語言從零設計和實現一個架構簡潔且擴展性強的分佈式任務系統。 前置概念 本文會設計並實現一個分佈式任務系統，這裏我們要先明確兩個概念。 分佈式：在我們將要實現的分佈式任務系統中，分佈式是指我們的服務可以部署多個副本，這樣才能確保服務更加穩定。 任務：這裏的任務是指異步任務，可能

面試 , 架構設計 , 分佈式系統 , go , 後端

收藏 評論

dolphindb 頭像

DolphinDB - DolphinDB定時作業教程

DolphinDB提供的定時作業（scheduled job）功能，可以讓系統在指定的時間以指定的頻率自動執行作業。當我們需要數據庫定時自動執行一些腳本進行計算分析（譬如每日休市後分鍾級的K線計算、每月統計報表生成）、數據庫管理（譬如數據庫備份、數據同步）、操作系統管理（譬如過期的日誌文件刪除）等工作時，可以用這個功能來實現。 定時作業用一個函數來表示，這給了作業定義極大的靈活性。凡是能用函數來表

大數據處理 , 定時任務 , dolphindb , 時序數據庫 , 分佈式系統

收藏 評論

dolphindb 頭像

DolphinDB - 時序數據庫DolphinDB文本數據加載教程

DolphinDB提供以下4個函數，將文本數據導入內存或數據庫： loadText: 將文本文件導入為內存表。 ploadText: 將文本文件並行導入為分區內存表。與loadText函數相比，速度更快。 loadTextEx: 將文本文件導入數據庫中，包括分佈式數據庫，本地磁盤數據庫或內存數據庫。 textChunkDS：將文本文件劃分為多個小數據源，再通過mr函數進行靈活的數據處理。 Dolp

大數據處理 , dolphindb , 時序數據庫 , 分佈式系統

收藏 評論

dongdong_chainwiseweb3 頭像

tg_ChainwiseWeb3 - 解鎖未來：深入探索去中心化應用程序（DApps）的潛力與挑戰

引言 近年來，隨着區塊鏈技術的迅猛發展，去中心化應用程序（DApps）逐漸成為業界關注的焦點。那麼，什麼是DApps？它們如何工作？又能為我們的生活和工作帶來哪些影響和改變？本文將深入探討去中心化應用程序的基本概念、特點、工作原理及其應用場景，幫助讀者全面瞭解這一新興的技術及其未來潛力。 去中心化應用程序（DApps）的基本概念 去中心化應用程序（DApps，Decentral

區塊鏈 , 區塊鏈開發 , dapper , 分佈式系統 , web3

收藏 評論

mr_black_627c7dde6aa18 頭像

Mr_Black - 分佈式系統中亞穩定失敗狀態

這篇文章的初衷，是記錄拜讀由Nathan Bronson, Aleksey Charapko, Abutalib Aghayev, and Timothy Zhu共同發表的論文Metastable Failures in Distributed Systems的收穫，這篇論文描述了一個在大規模分佈式系統中很常見的失敗場景：亞穩定失敗（metastable failures），它們為什麼通常在高負載

分佈式系統 , 架構模式

收藏 評論

alluxio_com 頭像

Alluxio - Meta（Facebook）: 基於Alluxio Shadow Cache優化Presto架構決策

Facebook Presto是一個以SQL語言作為接口的分佈式實時查詢引擎，可以對PB級的數據進行快速的交互式查詢。它支持標準的ANSI SQL.包含查詢、聚合、JOIN以及窗口函數等。 Alluxio將其在數據層的創新作為Presto和各種分析應用程序和用例的關鍵支持技術。它創建了一個虛擬數據層，可以聚合來自任何文件或對象存儲的數據，提供跨存儲系統的統一命名空間，並允許應用程序

分佈式系統 , meta , presto , 過濾器 , SQL

收藏 評論

lidong_58afb57096f8c 頭像

李棟 - 【zookeeper 第二篇章】安裝

一、linux 安裝 1、基礎環境 在 Linux 種安裝 zookeeper 需要安裝 jdk。具體的安裝 jdk 方式就不再進行描述，根據你的 Linux 系統的不同安裝的方式也會不同。 2、下載 zookeeper 安裝包 通過此地址可以下載對應的安裝包 https://zookeeper.apache.org/releases.html。 3、解壓 zookeeper 壓縮包 tar -z

zookeeper , 分佈式系統 , JAVA

收藏 評論

deephub 頭像

deephub - 融合AMD與NVIDIA GPU集羣的MLOps：異構計算環境中的分佈式訓練架構實踐

在深度學習的背景下，NVIDIA的CUDA與AMD的ROCm框架缺乏有效的互操作性，導致基礎設施資源利用率顯著降低。隨着模型規模不斷擴大而預算約束日益嚴格，2-3年更換一次GPU的傳統方式已不具可持續性。但是Pytorch的最近幾次的更新可以有效利用異構計算集羣，實現對所有可用GPU資源的充分調度，不受制於供應商限制。 本文將深入探討如何混合AMD/NVIDIA GPU集羣以支持PyTor

神經網絡 , pytorch , 人工智能 , 分佈式系統 , 深度學習

收藏 評論

longbig 頭像

卷福同學 - 分佈式系統架構3：服務容錯

這是小卷對分佈式系統架構學習的第3篇文章，雖然知道大家都不喜歡看純技術文章，寫了也沒多少閲讀量，但是個人要成長的話，還是需要往深一點的技術上去探索的 1.為什麼需要容錯 分佈式系統的本質是不可靠的，一個大的服務集羣中，程序可能崩潰、節點可能宕機、網絡可能中斷，這些“意外情況”其實全部都在“意料之中”。故障的發生是必然的，所以需要設計一套健壯的容錯機制來應對這些問題。 容錯策略，指的是“面對故障，我

分佈式系統 , JAVA , 後端

收藏 評論

qiehxb8 頭像

小奇Java面試 - 面試官：説一説Zookeeper中Leader選舉機制

哈嘍！大家好，我是小奇，一位不靠譜的程序員 小奇打算以輕鬆幽默的對話方式來分享一些技術，如果你覺得通過小奇的文章學到了東西，那就給小奇一個贊吧 文章持續更新 一、前言 今天又是一個陽光明媚的一天，我又懷着沉重的心情踏上了面試的道路，有時我就在懷疑自己，自己是不是不適合程序員這個職業，難道真的要去做段子手。。。 不知不覺的走到了要面試公司的樓下，興奮又期待的撥通了hr的電話，

面試 , zookeeper , 2022招聘季 , 分佈式系統 , 原理

收藏 評論

u_15700799 頭像

我叫喵手呀 - 保證一致性，還是犧牲性能？——分佈式系統到底是“高併發利器”還是“複雜性的地獄”？

(全文目錄：) 開篇語 哈嘍，各位小夥伴們，你們好呀，我是喵手。運營社區：C站/掘金/騰訊雲/阿里雲/華為雲/51CTO；歡迎大家常來逛逛   今天我要給大家分享一些自己日常學習到的一些知識點，並以文字的形式跟大家一起交流，互相學習，一個人雖可以走的更快，但一羣人可以走的更遠。   我是一名後端開發愛好者，工作日常接觸到最多的就是Java語言啦，所以我都儘量

分庫分表 , 分佈式鎖 , 後端開發 , 分佈式系統 , JAVA

收藏 評論

alluxio_com 頭像

Alluxio - Meta公司內部項目-RaptorX：將Presto性能提升10倍

概要速覽 RaptorX是Meta（前“Facebook公司”，下文統稱“Meta”）公司的一個內部項目名稱，目的是為了降低查詢延遲，讓Presto的查詢性能大大超越原生（vanilla） Presto，這篇文章介紹了RaptorX的關鍵模塊——分層緩存。 有了分層緩存，我們能夠將查詢性能提升10倍。這一新的架構不僅可以完勝像Raptor之類以性能為導向的連接器，還具有向存儲分離化（即存算分離架構

Facebook , 大數據 , 分佈式系統 , meta , presto

收藏 評論

lidong_58afb57096f8c 頭像

李棟 - 【zookeeper 第五篇章】Curator 庫

一、概述 Curator是 Netflix 開源的一套 zookeeper 客户端框架，解決原生 Api 的好多問題。 二、添加依賴 !-- 對zookeeper的底層api的一些封裝 -- dependency groupIdorg.apache.curator/groupId artifactIdcurator-fr

zookeeper , 分佈式系統 , JAVA , 後端

收藏 評論

longbig 頭像

卷福同學 - 如何設計一個分佈式配置中心？

這是小卷對分佈式系統架構學習的第7篇文章，前面已經講了很多理論知識，今天結合具體的中間件來講分佈式配置中心 1.面試官提問 面試官：假設你是公司的基礎架構部門，現在需要設計內部的配置中心中間件，你要怎麼設計？ 我：設計客户端和服務端，客户端集成到業務項目中，項目啓動時從服務端pull配置加載到本地，並且定時check服務端和本地配置是否一致，服務端如有更新，再pull到本地 面試官：那如果

分佈式系統 , JAVA , 後端

收藏 評論

lidong_58afb57096f8c 頭像

李棟 - 【zookeeper 第一篇章】介紹

一、簡介 在過去，每個應用程序都是運行在一台計算機上的單程序單CPU。今天，情況變了。在大數據和雲計算領域，應用程序是由運行在不斷變化的計算機上的許多獨立程序組成的。程序員不能夠專注編寫業務代碼，反而要花費大量的時間維護各個服務之間的關係。為了解決程序員能夠專注於業務代碼的實現，zookeeper相關的應用應世而生。 它支持分佈式系統的調度任務，協調任務是涉及多個進程的任務。這樣的任務是可以為了合

zookeeper , 分佈式系統 , JAVA

收藏 評論

baidujiagoushi 頭像

百度Geek説 - 百度搜索結果波動的極致治理

作者 | ZZ 導讀 本文講述百度搜索系統面臨搜索結果一致性的挑戰，如何準確衡量並消除不一致因素成為關鍵問題。本文介紹了百度搜索系統針對結果波動問題的創新解決方案，通過設計數據打平技術，將問題量化至服務與特徵層面，並利用fake流量與動態debug機制進行大量實驗與數據收集。同時，採用多實驗統籌與自動巡檢機制提高實驗效率與分析自動化，最終成功捕獲所有對結果波動有實質貢獻的特徵，為系統優化提供了精確

服務治理 , 分佈式系統 , 一致性

收藏 評論

longbig 頭像

卷福同學 - 分佈式系統架構5：限流設計模式

分佈式系統架構5：限流設計模式 這是小卷對分佈式系統架構學習的第5篇文章，今天來學習限流器和限流設計模式 1.為什麼要限流？ 任何一個系統的運算、存儲、網絡資源都不是無限的，當系統資源不足以支撐外部超過預期的突發流量時，就應該要有取捨，建立面對超額流量自我保護的機制，而這個機制就是微服務中常説的“限流” 2.四種限流設計模式 説到限流，大家直接的想法就是Sentinel，但是Sentinel限流的

限流 , 設計模式 , 分佈式系統 , JAVA , 分佈式

收藏 評論

chen_67f9ccbe6f07b 頭像

異常君 - CAP 理論：分佈式系統的三選二原則與 Java 實戰

還記得那次生產環境的數據庫突然宕機嗎？整個團隊手忙腳亂，老闆不停打電話催進度，用户投訴電話打爆客服。那一刻，我們多希望系統能持續可用啊！但現實是，為了保證數據一致性，我們不得不讓系統暫時下線。這就是分佈式系統中最經典的矛盾 —— CAP 理論下的抉擇。無論是構建微服務架構，還是設計分佈式數據庫，這個問題都繞不開。今天，我們一起深入理解 CAP 理論，看看為什麼它不可能三者兼得，以及在 Java 中

zookeeper , 分佈式系統 , JAVA , cap , 後端

收藏 評論

lidong_58afb57096f8c 頭像

李棟 - 【zookeeper 第三篇章】客户端操作

一、新增 create 命令 格式：create [-s] [-e] path data 説明：用於創建節點並賦值。 [-s] [-e]：-s 和 -e 都是可選的，-s 代表順序節點， -e 代表臨時節點，注意其中 -s 和 -e 可以同時使用的，並且臨時節點不能再創建子節點。 path: 指定要創建節點的路徑，比如 /test。 data: 要在此節點存儲的數據。 1、創建持久

zookeeper , 分佈式系統 , 後端

收藏 評論

longbig 頭像

卷福同學 - 分佈式系統架構4：容錯設計模式

這是小卷對分佈式系統架構學習的第4篇文章，雖然知道大家都不喜歡看純技術文章，寫了也沒多少閲讀量，但是為了個人要成長，小卷最近每天都會更新分佈式的文章 1.概念 容錯策略，指的是“面對故障，我們該做些什麼”；而容錯設計模式，指的是“要實現某種容錯策略，我們該如何去做”。 上一篇已經講了7種容錯策略，為了實現各種策略，開發總結了一些容錯設計模式，包括微服務常見的：斷路器模式、艙壁隔離模式、超時重試模式

分佈式系統 , JAVA , 後端

收藏 評論

jinyeyoudianerliang 頭像

今夜有點兒涼 - Dubbo 的底層原理

Dubbo 是阿里巴巴開源的一款分佈式服務框架，主要用於解決服務治理、遠程調用和高併發等問題，廣泛應用於微服務架構中。Dubbo 底層原理涉及多個核心組件和機制，主要包括服務註冊與發現、通信機制、集羣容錯和負載均衡等。以下是 Dubbo 的底層原理的詳細解析： 1. 架構設計 Dubbo 的架構主要分為三大角色： 服務提供者（Provider）：提供服務的實體。 服務消費者（Consume

服務註冊 , dubbo , 負載均衡 , zookeeper , 分佈式系統

收藏 評論