tag 分佈式

標籤
貢獻88
103
05:27 PM · Oct 25 ,2025

@分佈式 / 博客 RSS 訂閱

墨香四溢 - RabbitMQ之消息持久化

在分佈式系統中,RabbitMQ 服務的異常宕機可能導致隊列和消息丟失。RabbitMQ 的持久性(Durability) 特性通過將數據持久化到磁盤,確保服務重啓後數據不丟失。 一、持久性的核心目標與組成 1.1 為什麼需要持久性? 默認情況下,RabbitMQ 退出或崩潰時,隊列、交換機及消息會被全部刪除——因為這

Spring Boot , rabbitmq , 持久化 , 1024程序員節 , 分佈式 , 前端開發 , Javascript

收藏 評論

柳隨風 - Windows decker desktop構建rabbitMq的容器

目錄 RabbitMQ項目使用集羣的好處 1. 擴展規模 2. 數據冗餘 3. 高可用 RabbitMQ集羣搭建 RabbitMQ集羣原理 RabbitMQ集羣搭建步驟 單節點安裝Rabbitmq 複製Erlan

erlang , 雲計算 , 學習 , rabbitmq , 雲原生 , 分佈式 , 高可用

收藏 評論

代碼天地 - 徹底搞懂一個算法,CNN!!

卷積神經網絡算法(CNN)是一種專門用來處理具有網格結構數據(如圖像、視頻、時間序列等)的深度神經網絡。 它通過模仿人類視覺皮層的工作機制,通過局部感受野、權重共享和池化等設計,極大地降低了模型的複雜度,並有效提取了數據的空間層次特徵。 卷積神經網絡算法在計算機視覺領域,如圖像識別、目標檢測、圖像分割中取得了巨大成功。 核心原理

卷積 , 服務器 , 池化 , 全連接 , 分佈式

收藏 評論

mob64ca140a1f7c - Spark指南——第二章:SparkCore——RDD編程(2)

概述 從高層次來看,每個 Spark 應用程序都包含一個驅動程序,該程序運行用户的主函數並在集羣上執行各種並行操作。Spark 提供的核心抽象是彈性分佈式數據集(RDD),即一種分佈在集羣節點間的元素集合,可被並行操作。RDD 可通過以下方式創建:從 Hadoop 文件系統(或任何其他 Hadoop 支持的文件系統)中的文件起步,或基於驅動程序中的

spark , 大數據 , 分佈式 , Python

收藏 評論

ganmaobuhaowan - COREDATA持久化02 - 飛雪無痕的個人空間 -

PermissionsKit與Core Data集成:權限數據持久化終極指南 PermissionsKit是一個強大的iOS權限管理庫,它簡化了各種系統權限的請求和管理流程。在實際應用開發中,如何將權限狀態數據持久化存儲是開發者經常面臨的挑戰。本文將詳細介紹如何將PermissionsKit與Core Data完美集成,實現權限數據的持久化

Core , 服務器 , data , 數據 , 分佈式

收藏 評論

代碼天地 - python科研繪圖-繪製多模型對比校準曲線

代碼實現多模型校準性能對比分析,原理為通過 LSTM/BiLSTM 捕捉時序特徵,傳統機器學習模型擬合數據分佈,利用 calibration_curve 評估模型預測概率與實際正例比例的一致性。實現方法為加載 / 生成標準化數據,訓練 / 加載 LSTM、BiLSTM、隨機森林等多類模型,生成預測概率後繪製校準曲線,量化對比不同模型的校準效果,為模型選擇與優化提供實驗依據。

服務器 , 數據 , 加載 , 分佈式 , Json

收藏 評論

binswm - Bitpie下載:Tekon.app官網服務器中Ping特定的端口號

在日常Bitpie開發和運維中,我們經常需要檢查目標下載主機上的某個官網端口是否開啓,並確定網絡連通性。本文將為你詳細介紹使用 telnet、nc(Netcat) 和 nmap 等工具,在 Windows、Linux 和 macOS 上如何高效地 Ping 某個特定端口。 正文 一、為什麼需要 Ping 特定端口? 1. 常規

windows , 服務器 , 安裝方法 , 分佈式 , Javascript

收藏 評論

JonLee - PHP-Casbin 在分佈式服務中利用 Watcher 做策略同步

分佈式服務,是將多個具有不同或相同功能的服務分散在不同的服務器上,對外提供服務。 那麼在分佈式服務中,使用 PHP-Casbin 作為權限控制時,不同服務器上的服務的策略要保證是同步的。這裏我們主要探討常駐內存的 PHP 服務,在常駐內存的服務中,PHP-Casbin 一般是單例模式,所有的策略都會加載到內存,性能出色。 PHP-FPM 下每次都重新初始化 Enforcer 並重新加載策略,不

權限控制 , rbac , php , 分佈式

收藏 評論

mob64ca1414c613 - Centos 搭建Hadoop集羣_hadoop集羣搭建centos

引言 作為大數據入門的核心實驗,Hadoop 完全分佈式集羣搭建是很多新手的 “第一道坎”。本文整合了完整的實操流程,從虛擬機安裝到 Hadoop 集羣啓動,每一步都附詳細操作和通俗解釋,哪怕是 Linux 零基礎也能跟着做。實驗環境:VMware + CentOS6.8 + JDK1.8 + Hadoop2.6.5,集羣架構為 1 主(maste

服務器 , hadoop , bash , 分佈式

收藏 評論

冰河 - 研發提效必備技能:手把手教你基於Docker搭建Maven私服倉庫

作者:冰河 星球:http://m6z.cn/6aeFbs 博客:https://binghe.gitcode.host 文章彙總:https://binghe.gitcode.host/md/all/all.html 沉澱,成長,突破,幫助他人,成就自我。 大家好,我是冰河~~ 在研發的過程中,很多企業都會針對自身業務特點來定製研發一些工具類庫,但是這些工具類庫又不會對外公開,

devops , 微服務 , 分佈式 , 程序員 , 架構師

收藏 評論

coolfengsy - 分佈式之elk日誌架構的演進_weixin

引言 在分佈式系統中,日誌是問題排查、性能監控、業務分析的核心數據來源。隨着業務規模從單節點擴展到百萬級集羣,日誌架構也需隨之演進 —— 從簡單的 LEK 組合,到標準的 ELK 方案,再到高可用的 EFK 架構,每一步都對應着不同場景的核心訴求。本文將從原理、流程、配置實踐、優缺點等維度,全方位解析三種架構的演進邏輯,幫助開發者根據自身業務選擇合

服務器 , 運維 , 架構 , 單節點 , 分佈式 , kafka

收藏 評論

代碼天地 - 什麼是技術架構、數據架構、業務架構、應用架構、產品架構和項目架構?

本文主要分享技術架構、數據架構、業務架構、應用架構、產品架構和項目架構的定義和主要區別與聯繫。 1. 業務架構 業務架構關注的是組織的業務戰略、流程、能力和治理結構。它描述了企業“做什麼”以及“為什麼做”。 核心內容:包括企業的商業模式、戰略目標、關鍵業務流程(如訂單處理、客户服務)、組織結構和核心業務能力。 目

服務器 , 數據 , 技術架構 , 數據架構 , 分佈式

收藏 評論

Alluxio - 幫助 Meta 解決 Presto 中的數據孤島問題

本文轉載自 InfoQ 官網 作者:Alluxio-鍾榮榮;Meta-James Sun Ke Wang Raptor 是用來支持 Meta(以前的 Facebook)中的一些關鍵交互式查詢工作負載的 Presto 連接器(presto-raptor)。儘管 ICDE 2019 的論文 Presto:SQL on Everything(https://research.faceboo

大數據 , meta , 開源 , presto , 分佈式

收藏 評論

mob6454cc73e9a6 - 基於Hadoop的數據倉庫工具Hive(附超實用示例) - 個人文章

技術介紹 大數據技術:hadoop、hive、sqoop 後端技術:springboot、mybatis 前端技術:vue、elementui、echarts 開發環境:java17、node.js、mysql、maven、idea 項目介紹 優衣庫訂單數據分析項目基於大數據技術開發,旨在通過對電商平台的訂單數據進行高

大數據 , hadoop , 數據庫 , 分佈式 , Python

收藏 評論

代碼天地 - 共享本地RAGFLOW知識庫

一 買地皮(搞個域名 + 免費白嫖 Cloudflare) 想搞永久建築,先得有塊地。很多兄弟卡在第一步,覺得買域名很難,其實就跟充話費一樣簡單。 1.花 20 塊錢買個域名去騰訊雲、阿里雲或者國外的 Namecheap。省錢技巧:別買死貴的 .com(一年 70 多),買個便宜的 .top、.xyz 或者 .online,一年也就 20-30 塊錢。 2

windows , 服務器 , dns , access , 分佈式

收藏 評論

代碼天地 - 別隻盯着大模型參數了!多智能體系統才是下一代AI的“組織革命”

當下,單個大模型已經強得驚人,但許多人也開始意識到一個現實:再強的“超級大腦”,在面對開放式、路徑未知、需要多方向試探的任務時,依然會有侷限。就像一個全能員工再厲害,也不一定能單挑一個完整的創業項目。 這也是多智能體系統近期被反覆討論的原因。它不是簡單地“把多個模型拼在一起”,而是通過分工、協作、競爭和組織方式,讓 AI 之間形成真正的團隊關係,從而應對那些單一模型難以駕馭

創業公司 , 複雜度 , 服務器 , 分佈式 , 異步通信

收藏 評論

代碼天地 - 基於CNN-SVM的選煤廠浮選泡沫圖像識別方法

計算機視覺技術是指利用相機與電腦連接成的一個系統,通過對目標的檢測、追蹤、測量和進一步的預處理得到能夠代表圖像特徵的信息,再對這些特徵信息通過計算機算法進行識別[1-2]。在選煤行業,隨着選煤廠智能化水平的提高,對各個生產崗位的要求也更加嚴格,同樣浮選車間的控制也要求精煤灰分儘可能穩定[3]。前人在浮選泡沫圖像的識別問題上已經做了大量的研究,例如,Kaartinen[4]在鋅粗選

預處理 , 數據集 , 卷積 , 服務器 , 分佈式

收藏 評論

今夜有點兒涼 - Redis怎麼實現分佈式鎖,以及注意事項

Redis 做分佈式鎖是通過利用 Redis 的一些基本命令來實現鎖的獲取、釋放以及避免死鎖等問題。常見的實現方式包括使用 SETNX 命令、SET 命令以及 RedLock 算法。 1. 分佈式鎖的基本實現方式 使用 SETNX 命令實現分佈式鎖 SETNX(SET if Not Exists)是 Redis 提供的一個原子命令,用於設置鍵值對,只在鍵不存在時執行操作。通過這個命令,可以實現簡單

redis , , JAVA , 分佈式 , 後端

收藏 評論

新新人類 - 本地事務、分佈式事務以及解決方案

分佈式事務:本地事務 + RPC 的“隱形炸彈” 只要系統被拆成多個微服務,“分佈式事務”就繞不過去。 很多同學只記住了 @Transactional,卻忽略了一個關鍵事實: 它只對本地數據庫負責,對遠端 RPC 一無所知。 真正的坑,往往就埋在“本地事務裏嵌套 RPC 調

鏈路 , 服務器 , rpc , 分佈式 , 網絡協議

收藏 評論

wei_shuo - Amazon Athena 數據解密實戰:結合 Lambda 解密 DataBrew 加密 PII 數據指南

新用户可獲得高達 200 美元的服務抵扣金 亞馬遜雲科技新用户可以免費使用亞馬遜雲科技免費套餐(Amazon Free Tier)。註冊即可獲得 100 美元的服務抵扣金,在探索關鍵亞馬遜雲科技服務時可以再額外獲得最多 100 美元的服務抵扣金。使用免費計劃試用亞馬遜雲科技服務,最長可達 6 個月,無需支付任何費用,除非您選擇付費計劃。付費計劃允許您擴展運營並獲得超

服務器 , amazon , Athena , lambda , 分佈式

收藏 評論

colddawn - 目標檢測識別電錶讀數

隨着可再生能源的重要性日益凸顯,光伏行業作為清潔能源的重要組成部分備受關注。在光伏發電系統中,防逆流檢測電能表技術被認為是未來發展的關鍵,它不僅可以提高光伏發電系統的效率,還可以保障電網安全穩定運行。本文將深入探討光伏防逆流檢測電能表技術的意義、原理以及未來發展趨勢。 開篇 光伏能源作為清潔能源的重要來源,正逐漸成為全球能源轉型的重要推動力量

能源 , 發展趨勢 , 目標檢測識別電錶讀數 , 人工智能 , 計算機視覺 , 分佈式 , 安全

收藏 評論

代碼天地 - 開源|一款工程投標項目管理辦公系統,支持投標,項目管理,合同管理,財務收支核算,審批等功能

在工程項目管理領域,很多團隊還在用Excel表格記錄投標進展、用紙質流程審批合同、靠人工提醒任務節點。信息散落在不同地方,協作效率低、容易遺漏關鍵節點,一旦項目一多,整個流程就容易失控。 更麻煩的是,市面上很多系統要麼太重、學習成本高,要麼功能不匹配,尤其是對投標流程、合同管理、項目進度和財務收支這些關鍵環節缺乏一體化支持。有沒有一款系統,既能滿足實際業務需求,又足夠輕量、

項目管理 , 服務器 , Vue , 分佈式 , 開發者

收藏 評論

京東雲開發者 - 定時任務原理方案綜述 | 京東雲技術團隊

本文主要介紹目前存在的定時任務處理解決方案。業務系統中存在眾多的任務需要定時或定期執行,並且針對不同的系統架構也需要提供不同的解決方案。京東內部也提供了眾多定時任務中間件來支持,總結當前各種定時任務原理,從定時任務基礎原理、單機定時任務(單線程、多線程)、分佈式定時任務介紹目前主流的定時任務的基本原理組成、優缺點等。希望能幫助讀者深入理解定時任務具體的算法和實現方案。 一、背景概述 定時任務,顧名

定時器 , 定時任務 , 定時發佈 , 線程 , 分佈式

收藏 評論

mob64ca13f7ecc9 - 高併發下如何保證數據庫和緩存雙寫一致性?_MySQL_蘇三説技術

大家好,我是星星。 今天我們來探討一下,併發場景下,緩存和數據庫一致性是如何保證的?那麼我將會給你一個實際的業務場景,並給出多種方案,最終選擇一種合適的方案。注意:不同的業務場景下,選取的方案也是不同的。 1.業務背景 業務背景是這樣子的,為了提高用户查詢車票餘票的請求速度,我們選擇將餘票信息存儲在Redis中,以便於用户可

MySQL , 緩存 , 數據庫 , JAVA , 分佈式 , 後端

收藏 評論