tag 檢索系統

標籤
貢獻5
79
03:32 AM · Oct 27 ,2025
deephub 頭像 elhix0bg 頭像 baidujiagoushi 頭像 weidejianpan 頭像 momodel 頭像

@檢索系統 / 博客 RSS 訂閱

deephub 頭像

deephub - 向量搜索升級指南：FAISS 到 Qdrant 遷移方案與代碼實現

FAISS 在實驗階段確實好用，速度快、上手容易，notebook 裏跑起來很順手。但把它搬到生產環境還是有很多問題： 首先是元數據的問題，FAISS 索引只認向量，如果想按日期或其他條件篩選還需要自己另外搞一套查找系統。 其次它本質上是個庫而不是服務，讓如果想對外提供接口還得自己用 Flask 或 FastAPI 包一層。 最後最麻煩的是持久化，pod 一旦掛掉索引就沒了，除非提前手動存盤。 Q

llm , 向量 , 人工智能 , 檢索系統

收藏 評論

elhix0bg 頭像

阿里雲大數據AI - AI搜索 MCP最佳實踐

背景 那些 LLM 不知道的事 嘗試直接詢問LLM“今天天氣如何”時，會發現LLM無法回答——它既不知道“今天”是哪天，也無法獲取地理位置信息。這揭示了LLM的侷限：缺乏與外部工具和實時數據的交互能力。 為解決這一問題，MCP（Model Context Protocol）應運而生。通過標準化協議，MCP使LLM能夠自主調用工具（如天氣API、地理位置服務），並解耦Agent與Tools的開發，顯

大數據 , 搜索 , 人工智能 , 檢索系統 , 數據處理

收藏 評論

deephub 頭像

deephub - 大規模向量檢索優化：Binary Quantization 讓 RAG 系統內存佔用降低 32 倍

當文檔庫規模擴張時向量數據庫肯定會跟着膨脹。百萬級甚至千萬級的 embedding 存儲，float32 格式下的內存開銷相當可觀。 好在有個經過生產環境驗證的方案，在保證檢索性能的前提下大幅削減內存佔用，它就是Binary Quantization（二值化量化） 本文會逐步展示如何搭建一個能在 30ms 內查詢 3600 萬+向量的 RAG 系統，用的就是二值化 embedding。 二

llm , 人工智能 , 檢索系統

收藏 評論

deephub 頭像

deephub - LlamaIndex檢索調優實戰：七個能落地的技術細節

RAG系統搭完其實才是工作的開始，實際跑起來你會發現，答案質量參差不齊，有時候精準得嚇人、有時候又會非常離譜。這個問題往往不模型本身，而是在檢索環節的那些"小細節"。 這篇文章整理了七個在LlamaIndex裏實測有效的檢索優化點，每個都帶代碼可以直接使用。 1、語義分塊 + 句子窗口 固定長度切分文檔是最省事的做法，但問題也很明顯：這樣經常把一句話從中間劈開，上下文斷裂，檢索器只能硬着頭

llm , 人工智能 , llama , 檢索系統 , Python

收藏 評論

baidujiagoushi 頭像

百度Geek説 - AIAPI - 轉向AI原生檢索

導讀 大型語言模型（LLMs）展示了非常強大能力，但在實際應用中仍舊有一些問題需要解決，比如幻覺現象、在垂類細分場景下的知識更新較慢，以及在回答中缺乏透明度（模型黑盒問題）等。檢索增強生成（RAG）是在使用LLM回答問題之前，從外部信息系統中檢索最新，最相關的信息，再借助LLM的生成能力，生成準確的結果。在多方論文和文獻中，RAG已被證明其有效性。 百度作為全球最大的中文搜索引擎，收錄了超過千億的

系統架構 , 檢索系統 , 數據結構化

收藏 評論

deephub 頭像

deephub - GraphRAG進階：基於Neo4j與LlamaIndex的DRIFT搜索實現詳解

微軟的GraphRAG算得上是最早一批成熟的GraphRAG系統，它把索引階段（抽取實體、關係、構建層級社區並生成摘要）和查詢階段的高級能力整合到了一起。這套方案的優勢在於，可以藉助預先計算好的實體、關係、社區摘要來回答那些宏觀的、主題性的問題，這恰恰是傳統RAG系統基於文檔檢索難以做到的。 本文的重點是DRIFT搜索：Dynamic Reasoning and Inference with F

llm , 教程 , 檢索系統 , Python

收藏 評論

weidejianpan 頭像

商湯萬象開發者 - 技術拆解 | 表格解析（上）：企業數字化與AI應用流程中的重要基礎支撐

上一期我們向大家介紹了商湯自研的智能文檔解析 UniParse，歡迎大家試用！本期開始，我們將對 UniParse 中涉及的技術點進行逐一拆解，希望能幫助大家更好地理解和使用我們的產品~ 本期和下期的分享主題都將圍繞“表格解析”展開，技術細節，一探究竟！ 什麼是表格解析 表格解析是將非結構化的表格圖像（如掃描文檔、照片或PDF中的表格）轉為機器可讀、可理解的結構化數據的過程。具體而言，它旨在將圖像

表格 , 人工智能 , 檢索系統 , 文檔

收藏 評論

momodel 頭像

Momodel - ColBERT——以詞元級別的向量嵌入提升信息檢索效果

介紹 檢索增強一代 （RAG） 自成立以來就風靡全球。RAG 是大型語言模型 （LLM） 提供或生成準確和事實答案所必需的。我們通過RAG解決LLM的事實性，我們嘗試為LLM提供一個與用户查詢上下文相似的上下文，以便LLM將處理此上下文並生成事實正確的響應。我們通過以向量嵌入的形式表示我們的數據和用户查詢並執行餘弦相似性來做到這一點。但問題是，所有傳統方法都以單個嵌入表示數據，這對於良好的檢索系統

llm , 向量 , 編碼 , 人工智能 , 檢索系統

收藏 評論

elhix0bg 頭像

阿里雲大數據AI - 從“字”到“畫”：基於Elasticsearch Serverless 的多模態商品搜索實踐

隨着人工智能技術的飛速發展，用户對於搜索體驗的要求早已超越了傳統的關鍵詞匹配。我們正處在一個從文本搜索向多模態、跨模態搜索演進的時代。用户希望能夠通過圖片、甚至是自然語言描述的複雜場景，來精準地找到他們想要的商品。然而，如何理解並檢索圖片中的視覺元素？如何處理那些文本標題無法完全概括的商品特徵？這些都是傳統搜索面臨的挑戰。 本文將深入探討多模態商品檢索的通用解決方案，詳細解讀其背後的兩大核心技術：

elasticsearch , 大數據 , 搜索 , 檢索系統 , serverless

收藏 評論

elhix0bg 頭像

阿里雲大數據AI - 雲棲實錄 | AI 搜索智能探索：揭秘如何讓搜索“有大腦”

演講主題：AI搜索智能探索——基於AI搜索開放平台的AgenticSearch算法技術揭秘 在全球AI技術快速迭代的背景下，信息檢索與搜索技術正迎來革命性突破。 9月26日，雲棲大會AI搜索與向量引擎分論壇上，阿里雲智能集團高級技術專家——徐光偉深度解析了基於AI搜索開放平台的AgenticSearch算法技術體系，並結合技術架構演進與商業化實踐，展示了阿里雲在向量模型優化、多模態檢索、DeepS

自然語言 , 搜索 , 阿里雲 , 人工智能 , 檢索系統

收藏 評論

deephub 頭像

deephub - HNSW算法實戰：用分層圖索引替換k-NN暴力搜索

向量檢索是整個RAG管道的一個重要的步驟，傳統的暴力最近鄰搜索因為計算成本太高，擴展性差等無法應對大規模的搜索。 HNSW（Hierarchical Navigable Small World，分層可導航小世界圖）提供了一種對數時間複雜度的近似搜索方案。查詢時間卻縮短到原來的1/10，我們今天就來介紹HNSW算法。 傳統搜索方法在高緯度下會崩潰，並且最近鄰搜索（NNS）的線性時間複雜度讓成本變得不

llm , 人工智能 , 檢索系統 , Python

收藏 評論

elhix0bg 頭像

阿里雲大數據AI - 為什麼 OpenSearch 向量檢索能提速 13 倍

在當今的數字化時代，以音視頻等多媒體內容為代表的非結構化數據呈現出爆炸式增長。這類數據無法簡單地用傳統數據庫中的行列數據來表示，因此向量檢索技術應運而生。非結構化數據通常被轉換為向量表示，並存儲在向量數據庫中。這種向量化模型能夠提取並捕捉到數據中的特徵，在多維的向量空間中進行有效表示。 一個形象的例子是：embedding(king)−embedding(man)+embedding(wom

向量 , 阿里雲 , 檢索系統

收藏 評論

deephub 頭像

deephub - LightRAG 實戰： 基於 Ollama 搭建帶知識圖譜的可控 RAG 系統

LightRAG 是個開源的 RAG 框架，專門用來快速搭建模塊化的檢索增強生成管道。這個項目在 GitHub 上熱度不低，我們今天來看看他到底怎麼用 基礎安裝與環境配置 LightRAG 的安裝過程很簡單，幾行命令就能搞定： pip install "lightrag-hku[api]" cp env.example .env # ---這個有很多參數 非常豐富 lightra

llm , 知識圖譜 , 人工智能 , 檢索系統 , Python

收藏 評論

deephub 頭像

deephub - RAG系統的隨機失敗問題排查：LLM的非確定性與表格處理的工程實踐

RAG教程裏説的流程是：分塊、嵌入、向量搜索、生成答案。看起來非常簡單，按這個思路搭了一套系統，測試沒問題就上線了。但是結果出了怪事，經常會隨機的失敗。 輸入一樣，但是輸出卻不一樣，而且這不是偶發，是還有一定的規律，這是怎麼回事呢？ 本文將介紹RAG在真實場景下為什麼會崩，底層到底有什麼坑，以及最後需要如何修改。 🚨 現象：測試結果飄忽不定 一套端到端的PDF處理管道，專門針對表格密集型文檔。比

generative-ai , llm , 人工智能 , 檢索系統

收藏 評論