tag 架構

標籤
貢獻289
250
05:15 PM · Oct 25 ,2025

@架構 / 博客 RSS 訂閱

鏡舟科技 - 告別 T+1!解密金融級實時數據平台的構建與實踐

在數字金融浪潮下,數據處理的“實時性”已不再是加分項,而是逐漸成為決定業務價值的核心競爭力。 然而,金融機構在追求實時的道路上,往往陷入一個新的困境:實時分析系統與離線大數據平台形成了兩套獨立的“煙囱”,數據孤島、口徑不一、運維複雜、成本高昂等問題隨之而來。如何打破壁壘,在統一的平台上實現對實時流數據和海量歷史數據的統一管理與高性能分析,成為了當下金融機構的核心訴求。 一、業務困境:傳統“T+1”

架構 , starrocks , flink , 數據湖 , 金融行業

收藏 評論

泊浮目 - 未來數據庫硬件-網絡篇

本文在綠泡泡“狗哥瑣話”首發於2025.2.17 -關注不走丟。 最近看到一篇不錯的文章,叫做“Modern Hardware for Future Databases”,裏面從幾個方向講了下現在數據庫的硬件發展趨勢,今天先來説説網絡篇。 內容中,一位大佬對(獲過圖靈獎的大佬)OLTP系統進行了一些基準測試,發現TCP-IP協議棧對於總體CPU使用率是佔在47~68%。如果使用的網絡帶寬增加,這

雲計算 , 架構 , 數據庫

收藏 評論

vivo互聯網技術 - 號碼生成系統的創新實踐:遊戲週週樂幸運碼設計

作者: vivo 互聯網服務器團隊- Zhang Jing 本文以遊戲週週樂的幸運碼為切入點,針對其生成過程中涉及的隨機性、唯一性及高併發等特點,設計了一種基於號段+子碼的創新架構。該方案不僅在生成速度上表現突出,還顯著提升了存儲效率,同時降低了擴容成本,為類似的號碼生成系統提供了設計上的新思路和啓發。 文章太長?1分鐘看圖抓住核心觀點👇 一、業務背景 用户可通過完成相關任務獲取週週樂幸運碼,

redis , 高併發 , 架構 , 後端

收藏 評論

百度Geek説 - BaikalDB 架構演進實錄:打造融合向量化與 MPP 的 HTAP 查詢引擎

導讀 BaikalDB作為服務百度商業產品的分佈式存儲系統,支撐了整個廣告庫海量物料的存儲和OLTP事務處理。隨着數據不斷增長,離線計算時效性和資源需求壓力突顯,基於同一份數據進行OLAP處理也更為經濟便捷,BaikalDB如何在OLTP系統內實現適合大數據分析場景的查詢引擎以應對挑戰? 01 BaikalDB應對OLAP場景的挑戰 BaikalDB是面向百度商業產品系統的需求而設計的分佈式存儲系

數據 , 架構 , 分佈式

收藏 評論

float64 - ByteByteGo學習筆記:URL短鏈服務設計

引言 在互聯網技術日新月異的今天,URL短鏈服務已經成為日常網絡生活中不可或缺的一部分。每當想要分享一個冗長的網頁鏈接,或者需要在對字符數量敏感的平台(如社交媒體、短信等)發佈鏈接時,URL短鏈服務都能將長長的URL地址精簡成短小、易於傳播的鏈接。例如,將冗長的 https://www.systeminterview.com/q=chatsystemc=loggedinv=3i=long 縮短為

學習 , 設計原則 , 架構 , 後端

收藏 評論

不止極客 - 百萬架構師第二十五課:分佈式架構的基礎:分佈式系統的基石TCP-IP通訊協議|JavaGuide

原文鏈接 通訊協議在分佈式架構中的核心應用 深入料及TCP/IP和UDP/IP通信協議 TCP流量整形 基於Java自身技術實現系統通訊 多任務處理及優化 瞭解什麼是NIO 組播協議 Multicast 從集中式的架構到分佈式架構粗粒度的架構模型圖 相當於是在整個架構層面上去做一個分層,分層以後會存在按照某一個領域去切分的服務層,存在web層。 ​ 如果我們以前是在一個獨立的服

tcp , 架構 , 網絡 , 分佈式 , 後端

收藏 評論

百度Geek説 - 百度視頻搜索架構演進

導讀 隨着信息技術的迅猛發展,搜索引擎作為人們獲取信息的主要途徑,其背後的技術架構也在不斷演進。本文詳細闡述了近年來視頻搜索排序框架的重大變革,特別是在大模型技術需求驅動下,如何從傳統的多階段級聯框架逐步演變為更加高效、靈活的端到端排序框架。 01 背景 過去近十年,搜索引擎的主流框架為多階段級聯框架,分為召回,粗排,精排幾個階段。在每個階段中,系統會基於相關性、質量、時效性和點擊率等維度獨立建模

視頻 , 架構 , 百度

收藏 評論

凌虛 - 圖解計算機網絡:一條 HTTP 請求的網絡拓撲之旅

引言 常見的網絡拓撲結構如下圖所示: 在此拓撲中,終端設備通過 WiFi 連接到路由器,路由器再連接到光貓(或終端設備通過移動網絡 4G/5G 連接到基站),之後 ISP 網絡服務提供商接管網絡通信,將請求最終轉發至應用服務器。 從用户設備發出的 HTTP 請求是如何穿越網絡的?我們將深入探討這一過程。 HTTP 請求的網絡旅途 OSI 網絡體系結構 先從計算機網絡的基礎架構開始: 上圖展示了

架構 , 程序員 , 計算機網絡 , 後端 , 前端

收藏 評論

得物技術 - Bookie存儲架構源碼剖析|得物技術

一、Pulsar存儲架構簡析 Pulsar作為新一代MQ中間件,在底層架構設計上充分貫徹了存算分離的思想,broker與Bookeeper兩個組件獨立部署,前者負責流量的調度、聚合、計算,後者負責數據的存儲,這也契合了雲原生下k8s大行其道的時代背景。Bookeeper又名Bookie ,是一個單獨的存儲引擎。在組件關係上,broker深度依賴Bookie,內部集成了 Bookie的client端

mq , 架構 , 源碼分析 , JAVA , pulsar

收藏 評論

Meng小羽 - Phoenix框架 從0到1設計業務併發框架 怎麼組織設計一個框架

上篇文章主要講了設計 Phoenix 框架前的遇到的問題和設計框架的思路 《 Phoenix 框架 從0到1設計業務併發框架 小米商城產品站革新之路》,本篇文章主要講一下如何設計框架的。 不死鳥併發框架,是自動構建有向圖按照深度進行構建併發組並進行併發調用結果的框架。 產品站業務靜態接口與動態接口都需要調用大量的後台服務進行獲取數據進行業務編排,而各個併發調用之間又相互存在依賴,採用併發組設計拆解

框架 , 架構 , JAVA , 併發 , 後端

收藏 評論

百度Geek説 - 千萬級高性能長連接Go服務架構實踐

作者 | glstr 導讀 移動互聯網時代,長連接服務成為了提升應用實時性和互動性的基礎服務。本文主要介紹了百度系內基於golang實現的統一長連接服務。主要從統一長連接功能實現和性能優化等角度,描述了統一長連接服務在設計、開發和維護過程中面臨的問題和挑戰,重點介紹瞭解決相關問題和挑戰的解決方案和實踐經驗。 全文7631字,預計閲讀時間20分鐘。 01 摘要 移動互聯網時代,用户對服務的

長連接 , 高併發 , 架構 , go

收藏 評論

註銷 - Monolithic Architecture 的優缺點分析

在討論軟件架構的時候,你可能會聽到術語 Monolithic Architecture,或者叫做 單體架構。這是一種經典的軟件系統設計,它是將所有的功能組件集中在一個單一的程序包中,這個程序包就是我們所説的 單體。 在 單體架構 中,所有的業務功能和邏輯都是緊密集成在一個應用程序中的。這個應用程序是由許多不同的組件構成的,這些組件負責處理各種業務邏輯,如用户界面(UI)、數據訪問和處理、業務邏輯等

express , 架構設計 , 架構 , JAVA , 後端

收藏 評論

字節小舞神 - espeak音效

這裏寫自定義目錄標題 歡迎使用Markdown編輯器 新的改變 功能快捷鍵 合理的創建標題,有助於目錄的生成 如何改變文本的樣式 插入鏈接與圖片 如何插入一段漂亮的代碼片 生成一個適合你的列表 創建一個表格 設

代碼片 , 流程圖 , espeak音效 , 架構 , 後端開發 , Markdown

收藏 評論

編程小天才 - flinkkafka吞吐量 flink為什麼吞吐量大

雙十一流量洪峯已經過去,身為大數據工程師的你,還在苦學Spark、Hadoop、Storm,卻還沒搞過Flink?每年雙十一,阿里都在Flink實時計算技術的驅動下全程保持了“如絲般順滑”,基於Flink的阿里巴巴實時計算平台簡直強·無敵。 最恐怖的是,阿里幾乎每年的實時計算峯值都達到了破紀錄的每秒40億條記錄,數據量也達到了驚人的7TB每秒,相當

js , Vue , 架構 , 後端開發 , flinkkafka吞吐量 , HTML , Javascript

收藏 評論

mob64ca1419a401 - charles 抓取 tcp charles如何抓包https

本文詳細介紹如何在Mac上使用Charles抓包工具,包括下載、安裝及免費使用方法。通過設置電腦IP地址和手機代理,實現對HTTP和HTTPS流量的捕獲。特別講解了HTTPS抓包的設置過程,涉及SSL證書安裝、代理配置等關鍵步驟。 介紹一款抓包工具,一般我在windows下使用Fiddler抓包,Fiddler使用教程這裏就不講了,重點介紹使用mac時的抓包

抓包 , charles 抓取 tcp , 操作系統 , HTTP , HTTPS , 架構 , 後端開發

收藏 評論

AutoMQ - 騰訊音樂如何基於 AutoMQ 降低 Kafka 50%+ 成本

編輯導讀:騰訊音樂娛樂集團作為中國在線音樂娛樂服務的領航者,旗下擁有 QQ 音樂、酷狗音樂、酷我音樂和全民 K 歌等眾多國民級移動音頻應用。每天,這些產品都會產生海量的用户行為和業務數據,為精準推薦、用户增長和商業化等核心業務提供着源源不斷的數據驅動力。在這一切背後,一個強大、穩定且高效的 Kafka 流系統是支撐其業務持續創新和發展的關鍵。 然而,隨着業務的飛速發展,傳統的自建 Kafk

中間件 , 架構 , 雲原生

收藏 評論

歲月靜好呀 - 如何獲取異步任務session數據的方法

html頁面要和Servlet交互數據時,通過ajax技術可以實現頁面部分刷新,例如在用户名校驗時,可以增加用户的體驗。 ajax有兩種 第一種時js原生方式, 1.創建ajax對象 var xmlhttp; if (window.XMLHttpReques

xml , 架構 , 提交數據 , 後端開發 , Ajax

收藏 評論

技術極客 - 線性dp codeforces

總結: 1. 矩陣和線性方程組:A向量*x向量=b向量,Ab為擴展向量。有解:説明b向量可以被A向量線性表示;無解:説明b向量無法被A向量線性表示。 2. 線性方程的行圖和列圖 行圖:是從座標系的角度看線性方程,(2元/3元)方程組的每一行代表是一條直線/平面。有解:則在直線/平面間有交點。 列圖:是從矢量的角度看線性方程。

方程組 , 線性方程組 , 逆矩陣 , 架構 , 後端開發 , 線性dp codeforces

收藏 評論

百度Geek説 - 百度視覺搜索架構演進實踐

本文深入探討百度視覺搜索在快速發展的業務及技術背景下,如何通過持續的技術創新和架構升級強化自身的競爭力和適應性,支撐業務健康高效迭代。本文介紹了我們如何通過技術棧升級、架構能力提升以及穩定性建設,來實現全鏈路架構的演進。藉助Golang、百度自研GDP開發框架和ExGraph圖化引擎,我們對視覺搜索展現架構進行了全面重構,並重新定義了視覺搜索全系統通路上的模塊職責和分層邏輯,開展了一系列系統收斂內

架構 , 百度 , 重構

收藏 評論

幸福的地圖 - wiresharktcp三次握手分析

1.TCP三次握手建立連接 在TCP中,面向連接的傳輸需要經過三個階段:連接建立、數據傳輸和連接終止。 三次握手建立連接 在我們的例子中,一個稱為客户的應用程序希望使用TCP作為運輸層協議來和另一個稱為服務器的應用程序建立連接。 這個過程從服務器開始。服務器程序告訴它的TCP自己已準備好接受連接。這個請求稱為被動打開請求。雖然服務器的TCP已準備好接受來自

服務器 , tcp , 客户端 , 架構 , 後端開發 , wiresharktcp三次握手分析

收藏 評論

湯卜 - 請求在tomcat源碼中的流轉(源碼分析篇)

Connector的初始化 catalina解析server.xml是通過degister來實現的,degister解析到Connector標籤後做的事情如下代碼所見 ConnectorCreateRule @Override public void begin(String namespace, String name, Attributes attributes)

tomcat , 架構 , 源碼分析 , JAVA , nio

收藏 評論

編程小匠人之魂 - jessma開發一個網遊登陸器

使用c#製作賽爾號登錄器 需求: 打開賽爾號官網,發現我的chrome瀏覽器無法運行Flash。這是因為Adobe 公司放棄了對 Flash Player 的支持。 那麼如果我想要玩遊戲,又不想下載別的瀏覽器,只好自己寫一個登陸器了。 創建項目 首先創建新項目 然後建幾個窗體 建好大致就是下面這樣。

System , jessma開發一個網遊登陸器 , 架構 , 後端開發 , Click , memory

收藏 評論