博客 / 列表

Datenlord - 從循環到融合：理解 Fused MoE 算子原理（一）

引言 在當今大語言模型（LLM）的浪潮中，模型規模的持續擴張是提升性能的關鍵驅動力。然而，隨着模型參數量的激增，訓練和推理的計算成本也隨之飆升。為了解決這一挑戰，混合專家模型（Mixture-of-Experts, MoE）架構應運而生，並已成為許多前沿模型（如 Mixtral 8x7B, DeepSeek-V3）的核心技術之一。 MoE 的核心思想非常巧妙：它不再要求模型的每一部分處理所有的輸入

大數據 , 硬件加速 , 硬件

Datenlord - DatenLord前沿技術分享 No.20

達坦科技專注於打造新一代開源跨雲存儲平台DatenLord，致力於解決多雲架構、多數據中心場景下異構存儲、數據統一管理需求等問題，以滿足不同行業客户對海量數據跨雲、跨數據中心高性能訪問的需求。噴泉碼具有極高的糾錯能力，且具有低延遲、地複雜度、高效率等優點，使其在冷存儲、分佈式存儲、無線通信等領域得到廣泛應用。達坦科技致力於軟硬件融合的解決方案，噴泉碼的高效實現在硬件上，作為公司長期的技術儲備，在本

數據 , 科技 , 編碼 , 存儲 , 技術

Datenlord - 噴泉碼淺談

01、噴泉碼簡介 噴泉碼（Fountain Code）是一種在無線通信、數據傳輸和網絡編碼領域中使用的錯誤糾正技術。它與傳統的糾錯碼和編碼方法有所不同，噴泉碼被設計用於在不確定信道條件下的高效數據傳輸。傳統的糾錯碼（如海明碼、RS碼等）通常需要在發送方對數據進行編碼，接收方則使用相同的編碼進行解碼和糾錯。這些方法一般具有固定的碼率（Code Rate），即針對一定長度的原始數據，編碼後的長度是固定

編程 , 無線 , 編碼

Datenlord - cocotbext-pcie使用經驗交流

寫在前面 達坦科技即將開源的100G RDMA RTL代碼採用cocotb對其功能進行驗證。其中，對於DMA引擎的驗證工作使用了開源的cocotbext-pcie框架來進行驗證。本文將簡要介紹cocotbext-pcie的使用方式，以及在使用中遇到的問題。 對於目前遇到的一些問題，由於需要對cocotbext-pcie本身進行修改，達坦科技計劃在暑期安排一系列夏令營活動，邀請在校生加入對cocot

學習 , pcie , Python

Datenlord - 如何優雅地組織Rust項目中的異步代碼？

概要 很多使用過Async Rust的人都可能有過被其要求的約束所困擾的經歷，例如，spawned task有'static的要求，MutexGuard不能跨越.await，等等。克服這些約束需要仔細地設計代碼結構，很可能會導致晦澀和嵌套的代碼，這對開發人員和審查人員都是一種挑戰。在這篇文章中，我將首先列出我在編寫async Rust代碼時的一些痛點。然後，我將指出我們真正需要異步代碼的場景，並討

code , rust , 異步 , 重構

Datenlord - DatenLord｜重新思考Rust Async如何實現高性能IO

作者： 王璞 長期以來，計算機系統IO的速度一直沒能跟上CPU速度的提升，相比而言IO往往成為系統的性能瓶頸，計算任務等待IO存取數據，成為高性能系統的一大性能瓶頸。本文先剖析IO性能瓶頸的根源，然後舉例説明如何解決IO瓶頸，最後簡要介紹我們在高性能IO方面的嘗試。 IO性能瓶頸 當用户程序執行IO操作時，絕大多數情況下是調用操作系統內核提供的系統調用來執行IO操作，最常見的IO系統調用是read

async , 高性能 , rust , io

Datenlord - InfiniBand包頭與ibverbs接口實現（一）—— RDMA WRITE分析

InfiniBand是一種高性能網絡技術，其數據包格式設計對實現高效可靠的網絡傳輸至關重要。本文將詳細介紹InfiniBand數據包的頭部結構，分析它們在實際應用中的作用和實現機制。並且我們會討論可靠連接(RC)服務類型下的傳輸頭格式，以及RDMA WRITE等典型操作場景，以及它們在ibverbs接口中的對應關係。 Table of Contents: 兩類包頭格式 Routing Hea

編程 , code , 數據 , 數據庫 , 網絡

Datenlord - 達坦科技&琶洲實驗室｜開源組會邀您上線

在AI基礎設施飛速發展的今天，培養具備GPU計算能力的專業人才成為行業迫切需求。達坦科技聯合琶洲實驗室（黃埔）推出的「開源組會」系列活動正是這一背景下的創新實踐，為AI Infra領域的人才培養開闢了新路徑。 本系列視頻將於達坦科技DatenLord的b站視頻號上同步更新，歡迎感興趣的同學點贊關注。 01、強強聯手：產學研深度融合的創新平台 琶洲實驗室（黃埔）作為國內頂尖的科研機構，長期致力於人工

ai開發 , 人工智能 , 開源 , 開源項目介紹

Datenlord - 虛擬 RDMA 設備驅動實現（一）：環境配置與Linux內核模塊初探

1、導論 在當今數據以前所未有的速度和規模產生、傳輸和處理的時代，系統性能的每一個環節都面臨着極致的考驗。從高性能計算集羣到大規模分佈式存儲，從實時金融交易到低延遲的雲服務，對高效數據交換的需求日益迫切。然而，傳統的網絡通信方式，儘管成熟穩定，其固有的處理開銷和多次數據拷貝，在這些追求極致性能的場景下，往往成為難以逾越的瓶頸。 1.1 什麼是 RDMA？為什麼需要它？ RDMA (Remote D

linux-kernel , linux編程 , Linux

Datenlord - 實現一個 RDMA 用户態驅動程序

寫在前面 隨着DeepSeek的火爆，當眾人將目光集中到模型優化時，底層網絡通信基礎設施的重要性往往容易被忽略。實際上，高性能、易維護、易定製的網絡基礎設施對於提升AI訓練、推理的效率是至關重要的一環。目前，主流的高性能網絡通信方案基本被幾家頭部公司壟斷，其提供的標準API接口也已經被精心封裝，絕大多數開發者無需關心底層實現細節。達坦科技始終致力於國產高性能網絡基礎設施解決方案的研發，深知網絡通信

程序 , rust , deepseek , 人工智能

Datenlord - Xline社區會議Call Up：揭秘Xline 0.7版本更新

為了更全面地向大家介紹Xline的進展，同時促進Xline社區的發展，我們將於2024年7月31日北京時間11:00 p.m.召開Xline社區會議。 歡迎您屆時登陸zoom觀看直播： 會議號: 975-8012-1637 會議鏈接： https://zoom-lfx.platform.linuxfoundation.org/meeting/97580121637?password=8

rust , 測試 , 重構

Datenlord - Xline社區會議Call Up｜在 CURP 算法中實現聯合共識的安全性

為了更全面地向大家介紹Xline的進展，同時促進Xline社區的發展，我們將於2024年5月31日北京時間11:00 p.m.召開Xline社區會議。 歡迎您屆時登陸zoom觀看直播： 會議號: 832 1086 6737 密碼: 411255 會議鏈接： https://zoom.us/j/83210866737?pwd=smuaVvF6Jm7i322ZUHCHzAcRAFK164.1 社區

社區 , 社區建設

Datenlord - 開源Bluespec bsc編譯器和可重用示例設計

這篇介紹Bluespec以及設計示例的文章，是在2021年ICCAD（International Conference On Computer-Aided Design）發佈的論文。達坦科技的open-rdma項目和推廣的MIT體系結構學習社區都用到Bluespec，因此將此論文翻譯成中文，以便大家瞭解2020年Bluespec開源後相關的開源項目。 摘要：bsc編譯器是一個商業可用的編譯器，在過

開源硬件 , 硬件加速 , 開源 , 編譯器 , 硬件

Datenlord - 計算機體系結構｜MIT6.175和MIT6.375學習筆記

在2023年初，達坦科技發起成立硬件設計學習社區，邀請所有有志於從事數字芯片設計的同學加入我們的學習互助自學小組，以理解數字芯片設計的精髓，強化理論知識的同時提升實操技能，繼而整體提升設計能力。現在，完成第一期學習的同學整理了MIT6.175和MIT6.375的關鍵內容以及Lab實踐的學習筆記。 6.175和6.375的課程和Lab學習都有一定的難度，要求採用Bluespec語言實現RISC-V處

體系結構 , 學習筆記 , 學習資料 , 計算機 , 硬件

Datenlord - 相約這個夏天｜達坦科技邀您參加2023開源之夏

開源之夏（英文簡稱“OSPP”）是中科院軟件所“開源軟件供應鏈點亮計劃”指導下的系列暑期活動。達坦科技自開源之夏創辦首期起每年參與，積極鼓勵在校學生積極參與開源軟件的開發維護，培養和發掘更多優秀的開發者。今年，DatenLord一如既往帶着對開源的熱忱與初心，攜旗下軟硬件開源項目第四次參與開源之夏。 開源之夏為什麼值得參加？ 參與開源之夏，給你的編程能力加個buff。 結識志同道合的小夥伴，

比賽 , 開源軟件 , 開源硬件 , 開源 , 開源項目介紹

Datenlord - 開源硬件的黃金時代系列講座七-可重構軟硬件協同平台

由電子發燒友、硬聲和達坦科技聯合舉辦的開源硬件的黃金時代系列講座從2022年10月開始已經連續舉辦了6期。講座的第一期是由該系列分享的牽頭人華南理工大學計算機學院賴曉錚副教授主講，達坦科技CEO王璞主持，演講的主題為：開源運動浪潮，從軟件到硬件。開場分享定下了整個系列分享的主旨就是推廣開源硬件，傳播“讓硬件設計像軟件設計一樣簡單”的願景。 在開場分享中，賴老師提到兩彈一星和青蒿素的成功在某種意義上

開源硬件 , 開源 , 硬件

Datenlord - DatenLord前沿技術分享No.23

達坦科技專注於打造新一代開源跨雲存儲平台DatenLord，通過軟硬件深度融合的方式打通云云壁壘，致力於解決多雲架構、多數據中心場景下異構存儲、數據統一管理需求等問題，以滿足不同行業客户對海量數據跨雲、跨數據中心高性能訪問的需求。在本週的前沿技術分享中，我們邀請到了浙江大學在讀碩士研究生繆晨露為大家分享她在MICRO和HPCA上發表的兩篇論文的精華，演講主題是Something About Cac

安全防護 , cache-control , 安全

Datenlord - SpinalHDL應用前景探索線上研討會

新一代硬件描述語言SpinalHDL的發明人Charles Papon説，SpinalHDL始於2014年，最初是作為VHDL/Verilog的替代而做的創新嘗試，伴隨着數年來開源硬件設計的蓬勃發展，基於開源技術的硬件設計方法和範式逐漸受到業界的關注，那麼SpinalHDL有哪些最新的進展和落地實踐呢？ 達坦科技（DatenLord）致力於打造高性能跨雲存儲，其通過軟硬件深度融合的方式打破雲之間的

開源硬件 , 硬件

Datenlord - DatenLord前沿技術分享

主題：分享發表在OSDI2022的論文zIO:Accelerating IO-Intensive Applicationswith Transparent Zero-Copy IO 內容簡介 從最開始數據拷貝導致了內存和CPU的開銷，限制了IO密集型應用的性能。零拷貝（zero-copy）IO是普遍追求的長期目標，但已有的研究主要關注減少IO棧內拷貝次數，忽略了應用中的內存拷貝。以Redis為例，

技術分享 , io

Datenlord - DatenLord｜Rust程序性能分析

首發｜RustMagazine 簡介 程序的性能分析是一個很廣很深的話題，有各種各樣的工具來對不同的指標進行測試分析。本文主要介紹如何用profiling工具對Rust程序進行On-CPU和Off-CPU的性能分析，以及如何繪製火焰圖對結果測試進行可視化處理。 On-CPU性能分析 On-CPU的性能分析為了找出佔用CPU時間多的任務或者函數，進而找出程序的性能瓶頸。這裏主要介紹perf工具，pe

程序 , 性能分析 , rust , 性能