tag 分佈式

標籤
貢獻88
108
05:27 PM · Oct 25 ,2025

@分佈式 / 博客 RSS 訂閱

gjnet - 如何利用RabbitMQ生產一個簡單的消息

上週在Review學員代碼的時候,我們發現了一個很基礎但很重要的問題:支付回調流程中缺少了庫存扣減環節。這類問題雖然基礎,但如果直接進入生產環境,可能導致庫存的數據和實際銷售的情況不一致,出現超賣的情況。能夠及時發現這種問題,這就是Review代碼的重要性。 先看這段有問題的代碼: // 原來的支付回調邏輯(問題代碼) func P

數據 , rabbitmq , ruby , 後端開發 , 分佈式 , 解決方案 , harmonyos

收藏 評論

kekenai - 消息中間件kafka部署(一、使用kafka內置zookeeper組件部署kafka單節點服務)

Kafka 消息中間件實戰指南 1. 引言 在現代分佈式系統中,消息中間件扮演着至關重要的角色,它能夠實現系統間的解耦、異步通信和可靠消息傳遞。Apache Kafka是目前最流行的分佈式流處理平台之一,廣泛應用於構建實時數據管道、流處理應用和事件驅動架構。 Kafka具有高吞吐量、低延遲、高可靠性和可擴展性等特點,能夠處理每秒數百萬條

linq , Css , 分佈式 , kafka , 前端開發 , apache , HTML

收藏 評論

代碼天地 - 從PDF中提取Excel,這個工具真的好用

因為工作原因,我每天都要接觸大量的數據報表,PDF轉Excel這種格式轉換場景也非常多。 目前市場上有很多pdf工具,大部分是閲讀類,也有支持對pdf的修改、轉換等功能,但這部分工具不少是收費的。 這次介紹一個開源python工具庫-pdfplumber,可以方便地獲取pdf的各種信息,包括文本、表格、圖表、尺寸等。 python中有很多庫可以處理pdf

命令行 , 服務器 , 數據 , 分佈式 , Python

收藏 評論

binswm - 掌握下載im錢包現代C++的演變(圖)

本文目標是剖析lambda im錢包的主要演變過程下載,imTke.app官網但不是所有的小細節。對 lambda 的基礎知識不瞭解可以閲讀博主的另一篇文章,有詳細介紹。lambda 的演變一般是賦予它們手動定義函數對象的功能。 一、背景 Lambda 是現代 C++ 最受歡迎的功能之一。自從在 C++ 11 中引入以來,它們在 C++ 代碼中無處不在。而且,

默認參數 , 服務器 , 自動換行 , 分佈式 , 函數返回

收藏 評論

威哥愛編程 - Sharding-JDBC如何實現讀寫分離

Sharding-JDBC是一個分佈式數據庫框架,它提供了讀寫分離的功能,以提高數據庫的讀取性能。以下是實現讀寫分離的詳細步驟和解釋: 1. 引入Sharding-JDBC依賴 首先,確保你的項目中已經添加了Sharding-JDBC的依賴。 dependency groupIdio.shardingsphere/groupId artifactIdsharding-jdbc-co

讀寫分離 , jdbc , sharding , JAVA , 分佈式

收藏 評論

雲端築夢者 - Kafka到底有多高可靠?(RNG NB)

kafka的高可靠性的核心是保證消息在傳遞過程中不丟失,涉及如下核心環節: 消息從生產者可靠的發送至Broker;—網絡、本地丟數據。 發送Broker的消息可靠持久化;—PageCache緩存落盤、單點崩潰、主從同步跨網絡。 消費者從Broker消費到消息且最好只消費一次。—跨網絡消息傳輸。

數據 , 持久化 , 分佈式 , kafka , 前端開發 , Javascript

收藏 評論

一句話 - [翻譯]HotStuff: the Consensus Protocol Behind Facebook’s LibraBFT

注:原文 2019.6.26年發佈在medium上 最近,Facebook的加密貨幣項目Libra發佈了白皮書,在Github上開源了測試網代碼。在白皮書中,我們可以看到Libra使用了LibraBFT,一種拜占庭容錯共識協議。因為這個協議來源於Hotstuff協議,因此學習後者可以幫助我們理解LibraBFT。 1、Hotstuff是什麼? Hotstuff是一種基於leader的拜占庭容錯協議

Facebook , 區塊鏈 , 分佈式 , libra

收藏 評論

金海境科技 - 【服務器數據恢復】H3C華三Ceph分佈式存儲文件丟失數據恢復案例

一:客户信息 海南某三甲醫院 二:案例背景 什麼是分佈式文件系統 分佈式文件系統(DistributedFile System,DFS)是一種能夠在多台計算機之間共享文件存儲資源的系統。它將文件存儲在多個節點上,這些節點通常是位於不同地理位置的服務器或計算機集羣。分佈式文件系統的核心目標是提高文件存儲的可靠性、可擴展性和性能,同時為用户提供透明的文件訪問體

服務器 , 文件系統 , 數據 , 分佈式存儲 , 分佈式

收藏 評論

代碼天地 - 突破隨機森林,結合ARIMA時間序列預測 !!

一般來説,時間序列像一條由兩部分組成的河流:一部分是“平穩、能用直線或簡單公式描述”的水流(線性成分),另一部分是“突然的涌動、彎曲和複雜模式”(非線性成分)。 ARIMA 擅長抓住那部分可以用線性自迴歸/移動平均解釋的“規矩”水流;隨機森林擅長從複雜、非線性的關係裏找模式。 把兩者“融合”起來,就是先用 ARIMA 把序列裏能用線性解釋的部分拿掉(得到殘差),再讓

隨機森林 , 擬合 , 服務器 , 方差 , 分佈式

收藏 評論

菜菜 - 搞定秒殺,只需要這幾步!!

靈魂拷問 秒殺這種大併發的寫場景,直接分庫分表開幹? 應對秒殺活動的流量高峯很難嗎? 不要拿淘寶級別的秒殺忽悠我 秒殺活動特點 我敢説凡是做過電商的同學,都會遇到運營展開的秒殺,限時購等“高併發”的活動。市面上也有不少針對秒殺的解決方案,什麼分庫分表,緩存,消息隊列呀,但凡能想到的技術“靚點”都基本會寫上一段。我覺得應對秒殺這樣的帶有流量峯值的業務,還是要仔細分析業務的特性,以及根據自己

微服務 , 緩存 , JAVA , 分佈式 , 秒殺

收藏 評論

代碼天地 - OpenCV-python小玩意18 YOLO目標檢測之模型訓練與指標解讀

0. 模型訓練小知識 自從深度學習火了以後,大家就把傳統視覺算法看低了。 因為模型的訓練需要GPU或者CPU飛速運轉好久才能完成,而訓練出來的模型又每次都非常意外,所以大家又把模型訓練戲稱為煉丹,真是充滿了玄學意味。 深度學習時代,什麼最重要?數據!像我們這次的任務,需要準備100~500張圖片,確保包含不同角度、光照和模糊程度。如果想做的很好,業界推薦是幾千張

數據集 , 召回率 , 服務器 , 數據 , 分佈式

收藏 評論

snower - 在openresty上基於是lock和redis快速搭建高性能long polling推送服務

為啥需要? 在實際開發中我們經常會遇到需要長時間等待後台事件的情況,例如較為常見的掃碼登錄功能,二維碼界面需等待後台掃碼登錄成功的事件,再如導入導出等需要較長時間才能處理完成的任務,此時需要把任務放到後台由異步任務進行處理,完成後再給前台界面推送完成事件,以上需求我們需要用長連接才能完成推送,但長連接推送狀態管理複雜,且需要部署獨立系統,系統流程複雜且橫向水平擴展困難,此時選擇更簡單long po

redis , 消息推送 , openresty , 分佈式

收藏 評論

卷福同學 - 分佈式系統架構5:限流設計模式

分佈式系統架構5:限流設計模式 這是小卷對分佈式系統架構學習的第5篇文章,今天來學習限流器和限流設計模式 1.為什麼要限流? 任何一個系統的運算、存儲、網絡資源都不是無限的,當系統資源不足以支撐外部超過預期的突發流量時,就應該要有取捨,建立面對超額流量自我保護的機制,而這個機制就是微服務中常説的“限流” 2.四種限流設計模式 説到限流,大家直接的想法就是Sentinel,但是Sentinel限流的

限流 , 設計模式 , 分佈式系統 , JAVA , 分佈式

收藏 評論

王中陽講編程 - Go-Zero從0到1實現微服務項目開發(二)

前言 書接上回,繼續更新GoZero微服務實戰系列文章。 上一篇被GoZero作者萬總點讚了,更文動力倍增,也建議大家先看巧一篇,歡迎粉絲股東們三連支持一波:Go-zero微服務快速入門和最佳實踐(一) 本文將繼續使用 Go-zero 提供的工具和組件,從零開始逐步構建一個基本的微服務項目。手把手帶你完成:項目初始化+需求分析+表結構設計+api+rpc+goctl+apifox調試+細節處理。

微服務 , 進階 , 分佈式 , go

收藏 評論

mob64ca14193248 - 1、RabbitMQ簡介 - 一念花開 -

摘要:RabbitMQ 作為最流行的開源消息中間件之一,在 2024–2025 年迎來了重大架構升級。本文基於官方最新 4.0+ LTS 版本,深入解析其核心新特性(如 Streams 2.0、Quorum Queue 優化、K8s Operator 增強)、性能提升數據,並提供生產環境部署建議。無論你是運維工程師還是後端開發者,都能從中獲得實

erlang , 生產環境 , rabbitmq , 持久化 , 後端開發 , 分佈式 , Python

收藏 評論

威哥愛編程 - 35個Redis企業級性能優化點與解決方案

Redis作為企業級應用中廣泛使用的高性能鍵值存儲數據庫,其性能優化是一個複雜且多面的話題。以下是V 哥整理的一些關鍵的優化點和相應的解決方案,提供給兄弟們參考。 Redis的性能優化涉及到硬件選擇、配置調整、客户端優化、持久化策略等多個層面。 1. 硬件優化 解決方案:選擇更快的CPU、更多的內存、更快的磁盤(SSD推薦)和足夠的網絡帶寬。 2. 合理的實例部署 解決方案:根據業務訪問模式,決定

redis , java-ee , JAVA , redis集羣 , 分佈式

收藏 評論

mob64ca140c75c7 - 深入淺出JAVA分佈式事物 - Henry的個人空間 -

分佈式事務實操與原理深度解析 文章目錄 分佈式事務實操與原理深度解析 引言 第一章:分佈式事務概述與理論基礎 1.1 分佈式事務的定義與挑戰 1.1.1 什麼是分佈式事務 1.1.2 分佈式事務面臨的挑戰 1.2

spring , 微服務 , springcloud , JAVA , 分佈式 , 前端開發 , Javascript

收藏 評論

卷福同學 - 分佈式系統架構8:分佈式緩存

這是小卷對分佈式系統架構學習的第11篇文章,今天瞭解分佈式緩存的理論知識以及Redis集羣。 分佈式緩存也是面試常見的問題,通常面試官會問為什麼要用緩存,以及用的Redis是哪種模式,用的過程中遇到哪些問題這些 1. AP還是CP Redis 集羣就是典型的 AP 式,它具有高性能、高可用等特點,但它卻並不保證強一致性。 而能夠保證強一致性的 ZooKeeper、Doozerd、Etcd

分佈式系統 , springboot , JAVA , 分佈式 , 後端

收藏 評論

mob64ca14106f2f - MQ選型對比ActiveMQ,RabbitMQ,RocketMQ,Kafka 消息隊列框架選哪個? - 個人文章

在當今的分佈式系統架構中,消息隊列(MQ)作為解耦、異步和削峯填谷的核心組件,其選型直接影響到系統的性能、可靠性和可維護性。 面對眾多優秀的消息中間件,如老牌的 RabbitMQ、阿里巴巴的 RocketMQ、 Apache 的 Kafka 以及經典的 ActiveMQ,開發者們常常會陷入選擇困難。 本文將從吞吐量、延遲、可靠性、功能特性等多

rocketmq , 服務器 , rabbitmq , activemq , 分佈式 , kafka

收藏 評論

網絡安全守衞 - 分佈式數據庫調優實踐 - 巨杉數據庫的個人空間 -

在互聯網應用快速增長和數據量激增的背景下,分佈式數據庫成為高併發、高可用系統的核心支撐。然而,分佈式環境下數據一致性、節點故障、網絡延遲和負載波動是設計者必須面對的挑戰。傳統靜態配置和固定副本策略已難以滿足動態業務需求。本文將分享分佈式數據庫高可用架構與動態一致性優化實踐,包括節點管理、讀寫策略、故障恢復和自適應一致性策略。 一、高可用架構設計 高可用性是分佈式數據庫

分佈式數據庫 , 服務器 , 高併發 , 分佈式 , 高可用

收藏 評論

阿兵雲原生 - 什麼是分佈式鎖?他解決了什麼樣的問題?

相信對於朋友們來説,鎖這個東西已經非常熟悉了,在説分佈式鎖之前,我們來聊聊單體應用時候的本地鎖,這個鎖很多小夥伴都會用 ✔本地鎖 我們在開發單體應用的時候,為了保證多個線程併發訪問公共資源的時候,期望在同一個時間只能有一個線程去訪問資源,且在這個線程訪問資源結束之後,其他的線程才可以訪問這塊資源 這個時候會使用到鎖機制,一般根據不同的場景會使用到互斥鎖,讀寫鎖,自旋鎖等等🧐🧐 我們還知道使用

, 分佈式

收藏 評論

代碼天地 - CNN-LSTM做時間序列預測火力全開,思路非常上頭!

在處理兼具局部相關性與長期依賴性的複雜時序數據時,CNN-LSTM是個非常可靠和有效的選擇。因為它通過分工協作有效解決了關鍵矛盾,這方面比單一模型更全面、更穩健。 但從創新角度來説,CNN-LSTM做時序預測研究範式已經發生了深刻變化,單純堆疊的思路是很難再登上頂會頂刊了。現在的主流更偏向於深度集成與改造,或與Transformer等新架構進行復雜融合,這方面已有不少成果出

局部特徵 , 服務器 , 數據 , 滑動窗口 , 分佈式

收藏 評論

馬鵬飛 - 解決 Kafka KRaft 模式下 Consumer 無法讀取消息的問題

一、背景 在使用 Kafka 4.x 版本(KRaft 模式)時,我們遇到了一個令人困惑的問題:雖然 Producer 發送消息沒有報錯,但使用 `kafka-console-consumer.sh` 和 `--group` 參數時,Consumer 卻無法讀取任何消息。本文將詳細描述該問題的現象、分析原因,並提供完整的解決方案。 二、問題現象 1.

bootstrap , 服務器 , 發送消息 , 分佈式 , kafka

收藏 評論