博客 / 列表

Alluxio - Alluxio在數據索引和模型分發中的核心價值與應用

在當前的技術環境下，搜索、推薦、廣告、大模型、自動駕駛等領域的業務依賴於海量數據的處理和複雜模型的訓練。這些任務通常涉及從用户行為數據和社交網絡數據中提取大量信息，進行模型訓練和推理。這一過程需要強大的數據分發能力，尤其是在多個服務器同時拉取同一份數據時，更是考驗基礎設施的性能。 在這樣的背景下，Alluxio Enterprise AI 在數據索引與模型分發/部署方面展示了其獨特的優勢，特

大數據 , 索引 , 人工智能 , 模型

Alluxio - Alluxio 聯手 Solidigm 推出針對 AI 工作負載的高級緩存解決方案

作者：Wayne Gao, Yi Wang, Jie Chen, Sarika Mehta Alluxio 作為全球領先的 AI 緩存解決方案供應商， 提供針對 GPU 驅動 AI 負載的高速緩存。其可擴展架構支持數萬個節點，能顯著降低存儲帶寬的消耗。Alluxio 在解決 AI 存儲挑戰方面的前沿技術在很大程度上推動了大語言模型( LLM )在全球範圍內的成功。 “Solidigm 和 Allu

數據挖掘 , 算法 , 緩存 , 存儲 , 人工智能

Alluxio - Alluxio Enterprise AI 3.5 發佈，全面提升AI模型訓練性能

近日，Alluxio 發佈 Alluxio Enterprise AI 3.5 版本。該版本憑藉僅緩存寫入模式 ( Cache Only Write Mode )、高級緩存管理策略以及 Python 的深度集成等創新功能，大幅加速 AI 模型訓練並簡化基礎設施運維，助力企業高效處理海量數據集、優化 AI 工作負載性能。 AI 驅動的工作負載常因海量的數據管理複雜度高導致效率瓶頸以及訓練週期延長。

緩存命中率 , 機器學習 , 數據挖掘 , 緩存 , 人工智能

Alluxio - 幫助 Meta 解決 Presto 中的數據孤島問題

本文轉載自 InfoQ 官網 作者：Alluxio-鍾榮榮；Meta-James Sun Ke Wang Raptor 是用來支持 Meta（以前的 Facebook）中的一些關鍵交互式查詢工作負載的 Presto 連接器（presto-raptor）。儘管 ICDE 2019 的論文 Presto：SQL on Everything（https://research.faceboo

大數據 , meta , 開源 , presto , 分佈式

Alluxio - Meta公司內部項目-RaptorX：將Presto性能提升10倍

概要速覽 RaptorX是Meta（前“Facebook公司”，下文統稱“Meta”）公司的一個內部項目名稱，目的是為了降低查詢延遲，讓Presto的查詢性能大大超越原生（vanilla） Presto，這篇文章介紹了RaptorX的關鍵模塊——分層緩存。 有了分層緩存，我們能夠將查詢性能提升10倍。這一新的架構不僅可以完勝像Raptor之類以性能為導向的連接器，還具有向存儲分離化（即存算分離架構

Facebook , 大數據 , 分佈式系統 , meta , presto

Alluxio - Meta項目功能測試 | 開啓PrestoDB和Aria掃描優化

概要速覽 PrestoDB的Aria項目曾於2020年發佈過一組實驗性功能，用來提高對錶（通過Hive連接器連接並以ORC格式存儲數據）的掃描性能。 在本文中，我們將在基於Docker的PrestoDB測試環境中對這些新功能進行基礎性的測試。[1] Presto Presto 是一款能夠大規模並行處理 (MPP) 的SQL執行引擎。執行引擎與數據存儲是分離的，該項目包含大量插件（又稱為連接器

Facebook , hive , db , aria2 , presto

Alluxio - Meta公司新探索 | 利用Alluxio數據緩存降低Presto延遲

概要速覽📕 Meta公司（前“Facebook公司”，下文統稱“Meta”）的Presto團隊一直在與Alluxio 合作為Presto提供開源數據緩存方案。該方案被用於Meta的多個用例，來降低從諸如HDFS等遠端數據源掃描數據產生的查詢延遲。實驗證明，使用Alluxio數據緩存後，查詢延遲和IO掃描都得到了顯著優化。 我們發現，Meta架構環境中的多個用例都得益於Alluxio數據緩存。以M

大數據 , 查詢優化 , meta , 開源 , presto

Alluxio - Meta（Facebook）: 基於Alluxio Shadow Cache優化Presto架構決策

Facebook Presto是一個以SQL語言作為接口的分佈式實時查詢引擎，可以對PB級的數據進行快速的交互式查詢。它支持標準的ANSI SQL.包含查詢、聚合、JOIN以及窗口函數等。 Alluxio將其在數據層的創新作為Presto和各種分析應用程序和用例的關鍵支持技術。它創建了一個虛擬數據層，可以聚合來自任何文件或對象存儲的數據，提供跨存儲系統的統一命名空間，並允許應用程序

分佈式系統 , meta , presto , 過濾器 , SQL