博客 / 詳情

返回

騰訊元寶搜索實踐:大模型時代,AI 如何讓搜索煥發新生

導語 | 近年來,隨着大模型技術的迅猛發展,搜索領域正經歷從傳統信息檢索向智能問題解決的深刻變革,檢索增強生成(RAG)、多智能體協同架構成為技術突破的關鍵方向。然而,如何實現搜索架構的動態升級與全鏈路算法重構,以適配複雜場景下的用户需求,仍是行業亟待解決的重要課題。

本文特邀騰訊雲元寶 AI 搜索團隊的葉莎妮老師,和大家探討在大模型顛覆知識生成模式的當下,為何我們仍注重搜索以及搜索如何在大模型時代煥發新生。

作者簡介

圖片

葉莎妮,來自騰訊雲元寶 AI 搜索團隊。

一、搜索的前世今生

ChatGPT 出現前,搜索長期是關鍵詞匹配 + 鏈接列表的信息檢索工具,用户需自行處理信息。雖然在 2018 年,Google 的 BERT 模型推動搜索進入了語義階段,但交互方式仍未改變。

ChatGPT 掀起大語言模型浪潮後,RAG 技術成熟使搜索從信息檢索邁向任務解決型智能產品,更貼合用户自然語言需求。未來,隨着更多垂類知識接入、多模態融合及交互升級,搜索將成為 AI 時代像水電煤一樣的認知基礎設施,擁有極具想象力的未來。

二、大模型和搜索的關係

大模型和搜索對彼此的影響

搜索這項誕生超 30 年的互聯網“古典技術”,在 AI 時代仍舊是兵家必爭之地。這是因為大模型與搜索能力有着互補、雙向進化的緊密關聯。

大模型需要搜索作為知識引擎,來補充實時與長尾知識、打破靜態邊界,鏈接垂直知識庫、減少 “幻覺”;經過多輪調用深化推理,如今搜索已是大模型落地標配。而大模型則賦予搜索 “新大腦”,推動搜索從鏈接列表加人工篩選,升級為 AI 自動生成精準答案,更帶動架構向生成式演進,實現算法全鏈路重構。

大模型和搜索結合的實踐案例

基於混元 T1 模型,結合內部多生態檢索增強與先進 Agent 架構,搭建的 AI 搜索已應用於騰訊元寶、QQ 瀏覽器等 700 多個內部產品場景,複雜需求下可啓動多輪反思機制。

在複雜需求場景,構建 DeepSearch 服務,例如針對高考這類複雜場景,我們推出了 AI 高考通。以往搜索引擎難以滿足志願填報的個性化與完整性需求,而依託Agentic RAG 技術的 DeepSearch,能通過“規劃-搜索-閲讀-反思”循環,調用數十個專業工具,自動生成個性化報考方案並提供決策指引。

AI 高考通,能做到志願分析報告準確率 95%+,並生成數百萬份志願表。

圖片

高考相關需求的技術方案

三、關鍵技術挑戰

搜索技術架構躍遷

搜索技術架構經歷了從傳統 Retrieval 到 RAG 再到 Agentic RAG 三個階段的演進。

傳統 Retrieval 是靜態檢索流程,包括檢索詞處理解析、多內容源召回、多輪次混合排序等,本質是關鍵詞檢索邏輯,解決 “信息過載” 問題,滿足相關性、權威性等基礎需求。

到了 RAG 階段,是基於大模型決策能力的動態反應式流程,突破點在於 “理解意圖”。RAG 階段,大模型通過 Function Calling 實現股票、天氣等場景化服務接入,生成式排序實現多目標排序,為用户輸出大模型總結的答案。如前面介紹的混元 T1+RAG 實現的 AI 搜索,已積累大量應用場景,每日服務上億次用户需求。

而到了 Agentic RAG 階段,本質是 “認知閉環”,即採用多 Agent 協作架構,Planning 實現任務拆解,Reflection 實現動態調優,增加了強化學習、多輪反饋機制、Agent 靈活接入,實現了從單一流程到多智能體協同。搜索自此走向 “問題解決型智能體”,實現了複雜需求下的 DeepSearch。

圖片

靜態檢索流程升級為智能體協同的動態架構

主要技術挑戰和解法

搜索算法從需求理解、索引召回、精排混排、檢索系統進行了全鏈路重構。

在需求理解上,傳統搜索主要是分詞、意圖、糾錯,而 AI 搜索下,用户 prompt 更復雜,貼近自然語言,需要理解上下文、拆解複雜需求、轉化為適合檢索的 query,這依賴領域知識精調和基於檢索效果的強化學習。

索引召回方面,傳統搜索提供 doc 粒度的候選結果,依賴 query、title、doc 主體內容的匹配,粒度較粗,對於知識密度高的內容信息利用不足。現在面向大模型,需要精準的信息片段,因此進行了 chunk 級別索引,實現語義粒度的索引,提升檢索精度,搭配大模型的總結能力生成優質回答、進行多源信息校驗,降低模型幻覺。

生成式精排方面,之前是 bert-based 模型,需要豐富的人工特徵工程,因模型參數小、表徵能力差,單維度分別建模;而在 AI 搜索時代,更大尺寸的生成式模型可端到端針對最終結果的滿意度做綜合排序,表徵能力更強,能多目標一起建模,實現多目標連續生成和統一排序。

檢索系統隨着技術演進從 RAG 走向 Agentic RAG,利用任務規劃能力、工具調用能力、反思校驗能力等關鍵能力,提升了複雜問題解決能力。

圖片

搜索算法全面擁抱 LLM 的變化

Query Planning

Query Planning 通過拆解 query 和上下文補全,能夠實現用户 prompt 到搜索 query 的規劃。比如,當用户詢問 “煙台大黑山島,這個景點有什麼特色?周邊有哪些經濟酒店?玩下來需要多少天”時,它可以將這個問題拆解為三個 query 來查詢;而在上下文補全方面,當前序 prompt 是 “可以給我一些備跑北馬的建議嗎?”,新一輪 prompt 為 “每年什麼時候舉辦?”時,planner 會自動將 query 改寫補全為 “北京馬拉松舉辦時間,北京馬拉松日期安排” 等。

其算法實現採用兩階段的 LLM 改寫機制:第一階段根據標註數據進行 SFT 任務,結合先驗知識學習意圖拆解;第二階段引入最終搜索後的效果反饋進行強化學習,使拆解後的檢索結果更滿足用户需求。同時,通過多輪並行訓練提升了訓練效率和多輪對話的理解能力,大幅提升搜索滿意度。

圖片

基於 LLM 的查詢改寫兩階段

Function Calling

為靈活接入外部優質 API,給元寶提供高質量高時效性輸入,我們開發了插件系統。相當於在傳統搜索中接入合作 CP 的結構化數據,核心目標不變,但能力上有關鍵不同:從靜態數據接入到動態理解,執行機制從固定召回到多插件智能體協同,擴展從定製開發到即插即用,插件系統將數據從 “資源” 升級為 “智能體協作網絡中的敏捷生產力”。

插件系統的整體方案包括:

  • 插件召排,基於用户輸入改寫後的 query,以向量方式召回 k 個插件,再基於 rank 模型簡化召回插件列表,輸出 top n,保證召回率 100%;
  • 外部知識引入,為 Function Calling 模型提供節假日等外部知識,提升槽位抽取精度,降低模型幻覺;
  • Function Calling,基於輸入候選插件及外部知識,對用户改寫 query 抽取出需要調用的 API 及槽位;
  • API 調用,將插件結果按照規則映射到 API 請求,獲取 api 結果;
  • 質量控制,部分插件偏向於檢索,增加相關度過濾提升精度。

對於插件過多的難點(即全量插件佔用 tokens 超過 1w,影響預測效果和推理速度),我們的解決方案是增加插件召排環節,為每個插件建立多個向量,選取與用户輸入最高相關度進行排序,向量模型上對目前主流多個 emb 模型進行測試,平衡召回率及速度。

針對樣本構建成本高的難點(即因為插件槽位複雜,需要大量樣本覆蓋),我們的解決方案是設計樣本自動構建系統,產品基於設計的插件,給出幾十個種子 prompt 或種子槽位結果,經雙向泛化及質量控制環節,構建出約 20 倍的 FC 模型高精度訓練樣本。

圖片

Function Calling的插件管理

LLM Ranking

Query planning 實現意圖理解並轉為檢索系統適配的任務系列後,多目標排序環節需要找到解決這些任務的內容集合。

具體技術方法包含四個關鍵步驟:

  1. Continued Pre-training(搜索持續預訓練):採用多種任務形式的搜索語料持續訓練,優化大模型的領域適配效果;
  2. 大規模監督生成式學習:採用純生成式方案進行大規模下游任務訓練,並採用細粒度的打分 GenFR 對生成式模型進行約束;
  3. 生成式模型蒸餾:對生成式 teacher ( 13B/30B/70B) 進行蒸餾,將能力遷移到尺寸相對較小的 LLM student (0.5B) 上以滿足推理性能;
  4. 多目標能力擬合:多目標排序時採用 4 個目標連續生成的方案,先後生成相關性、權威性、時效性、需求滿足,最後多個目標加權得到最終得分。

這些環節對應了 AI 搜索從基礎能力建設到線上落地的全流程。

圖片

多目標排序環節全流程

RAG Task Alignment with RL

當用户查詢需要多輪交互才能解決的複雜問題,傳統 RAG 的單次檢索機制難免力不從心。要解決這個問題,得從兩方面進行優化,一方面是從需求的複雜度維度出發,需要強化學習對多輪決策的優化;另一方面則是從結果的可靠性維度考慮,聚焦獎勵機制設計、減少幻覺,從而得到更好的答案。

為此,我們在技術方案上增加了兩個循環:

  • 通過強化學習,讓答案好壞影響排序,讓排序結構影響 planing,實現端到端的效果優化。RL-Based Planner 利用檢索排序效果反饋學習,query 拆解引入搜索滿意信號,優化 subq 拆解,使 query 拆解任務下的搜索滿意度提升;
  • RL-Based Retriever 利用 Answer 效果反饋學習,基於 LLM 對 Query / SearchDocs 的後驗滿意度信號、Answer 的正確性、Answer 中對 SearchDocs 的引用等信號計算 reward,通過 RL 對齊到 retrieval 階段的 ranking 或者 embedding model。

圖片

“檢索-總結-思考”的循環

四、搜索算法加速演講方向

搜索算法的加速演進將聚焦提升四項能力:

  • 提升任務規劃能力:從 Query Planning 升級到 Task Planning,更有邏輯地拆解任務,增強搜索和工具調用規劃;
  • 提升排序推理能力:利用強化學習增強基於 LLM 排序模型的推理能力,進一步提升排序效果;
  • 提升複雜問題解決能力:增強模型規劃搜索、閲讀、反思、重新規劃的能力,提升系統對複雜問題的解決能力;
  • 提升總結魯棒性:利用強化學習進一步提升模型的魯棒性、多文檔信息整合能力,使模型更擅長篩選時效內容、引用權威來源作答;同時實現多模態檢索增強,更充分地利用圖片、視頻等內容補充信息。

圖片

搜索算法加速演進方向

五、效果收益

2025 年是大模型與聯網搜索互促發展的元年。我們將騰訊內部的檢索增強能力封裝為搜索 API 對外服務。產品名稱“聯網搜索 API”,目前已服務 15 個高增長行業,支撐智能問答、自動駕駛、教育、辦公、金融等 100 多個 AI 場景,助力企業提升效率與體驗、實現 AI 時代戰略升級。

2025 年上半年,隨大模型技術普及,聯網搜索 API 也迎來爆發趨勢:客户數環比增 269%,搜索調用量同比飆升 315%,典型應用覆蓋大模型、汽車、辦公、電商、教育、金融等多領域場景。

騰訊"聯網搜索 API"的推出,不僅降低了企業接入高質量搜索能力的門檻,更通過靈活的接口設計,滿足不同行業的定製化需求。未來,騰訊將持續優化檢索技術,拓展更多垂直場景,與合作伙伴共同推動 AI 生態的繁榮發展。

歡迎大家來騰訊雲體驗 “聯網搜索 API”,一起探索更多的 AI 場景。

user avatar
0 位用戶收藏了這個故事!

發佈 評論

Some HTML is okay.