在過去的一年裏面，隨着大模型的技術突飛猛進，大模型的能力日益增強。這些都驅動着我們的搜索技術快速的演進到了下一代，也就是 AI 搜索的技術。大模型的快速發展不僅重塑了搜索技術的基礎，也為各行各業的數字化轉型提供了強有力的支持。
一、AI 搜索技術的特點
AI 搜索技術具有以下幾個顯著的特點：
- 重構：一個是 AI 搜索技術方面的重構。AI 搜索技術目前正在基於大模型進行全面重構，通過大模型，搜索的全鏈路能力得到了重組，包括文本解析、切片和向量化等能力的重新定義。另一個是信息獲取的方式與產品的形態的重構。傳統搜索依賴關鍵詞匹配，而現在更多采用自然語言的問答式交互，這帶來了新的業務場景，如虛擬數字人、企業知識庫問答和電商平台的智能客服。
- AI 基建：AI 搜索技術已成為 AI native 應用的重要組成部分，包括搜索向量檢索、語義搜索和檢索生成技術，構成了眾多 AI 應用的基礎設施。這不僅提高了數據處理的效率，還提升了用户與系統的交互體驗，幫助企業實現更高效的信息管理和服務。
- 效果提升：目前，效果的關注度在學術界和工業界都達到了空前的高度。大模型的加持使得搜索效果相比傳統搜索有了質的飛躍。用户能夠更快速地獲得相關信息，提升了決策的效率和準確性，尤其在複雜查詢和深度信息檢索場景中表現突出。
然而，大模型的引入也帶來了一些困擾，尤其是幻覺率的問題。在一些對回答準確率要求極高的場景中，確保大模型回答的準確性變得困難，這對企業和開發者在 AI 搜索服務的落地造成了制約。
二、阿里雲 AI 搜索的努力與演進
隨着 AI 時代的演進，阿里雲在雲上也做出了相應的努力。阿里雲的搜索產品歷史上分為兩個引擎：一個是與 Elastic 合作的開源引擎 Elasticsearch ，另一個是基於多年經驗自研的搜索引擎 Havenask。
2.1 開源生態的演進：
2017年： 阿里雲是和與 Elastic 進行了戰略的合作，並且進行了聯合產品的發佈。也就是我們目前所使用到的阿里雲上的 Elasticsearch。
2019年： 我們持續的針對這款雲上全託管的 ES 產品，不斷提升運維管理能力，增強智能彈性擴縮和監控報警服務，確保客户在使用過程中能夠獲得穩定和高效的服務，降低開發的成本。除此之外阿里雲還基於了ES的內核去自研了一些新的特性。比如：支持索引構建 Indexing service，實現寫入的加速。可通過自研存儲引擎 Openstore，幫助客户在海量的數據的情況之下，降低我們的存儲成本。
2022年： Serverless 服務發佈，幫助中小型客户和大客户在數據量大的情況下降低50%的成本，優化資源配置。
2023年： 阿里雲的產品全面進入AI搜索領域，8.X 版本開始，向量檢索能力一直在持續增強。能力特性也在持續提升。
2.2 自研方案演進：
2008年： 阿里雲開始自研一個內部的開源引擎 Havenask，也是歷史以來我們支持淘寶、天貓，包括內部雙十一很多這種比較高併發，比較極限場景的一款檢索引擎。
2014年： 阿里雲陸續在雲上去探索它的商業化。以場景為核心去幫助課件搭建，幫助客户搭建場景化的智能搜索，提供一些行業的模板以及個性化的方案。以及在電商、內容教育、遊戲等行業做一些個性化的方案和效果提升。
2023年： 進入大模型時代之後，Havenask 也是在國內首發了一站式的智能問答的 RAG 產品，以及多模態的 RAG 產品。直到今天，阿里雲也一直基於內部的深度的累積持續的去優化 RAG 和 AI搜索的能力。
2.3 搜索產品的核心關注點：
從過去到現在，甚至是未來，搜索產品的核心關注點主要還是圍繞着三個方面去做優化：
- 成本：
這可能也是很多客户非常切身關注的一個問題。因為在大模型時代，我們很多的這個資源主要是基於GPU去完成的那GPU本身又比較昂貴，所以如何幫助客户降本，是後續整個產品演進的一個重要的一個方向。
- 性能：
這個主要有兩點，一個是海量的這種AI數據寫入和處理的速度。一個就是在線查詢的響應速度。這兩個速度都要實現性能體驗好的這樣的一個要求，也是阿里雲產品之後要去幫助大家解決的一個問題。
- 效果：
阿里雲和很多客户做過線上或者是線下的交流。客户有些場景下，既要 AI 的這個交互式的能力，又要保證這個結果的百分之百準確，不能引入任何大模型的幻覺，不能讓大模型做任何的胡編亂造。我們是引入搜索鏈路，在保證準確性的情況之下，我們能夠應用到這個 AI 的能力進行一個完整的交互。至於具體的效果優化如下：
三、阿里雲AI 搜索產品介紹
阿里雲AI搜索開放平台提供了五款場景化產品，包括 LLM智能問答版、日誌檢索 Serverless版、行業算法版、向量檢索版、圖檢索版。底層是基於非常多的開源的檢索引擎，引擎包括企業版的Elastcsearch、阿里自研引擎 Havenask 以及 Milvus等，方便支持與對接。通過這些產品，用户能夠實現端到端的搜索解決方案，快速獲取所需信息。
目前阿里雲AI搜索為客户提供的所有關於 AI搜索能如下圖所示：
3.1 阿里雲AI搜索開放平台 產品概述
AI搜索開放平台作為阿里雲搜索團隊的一個旗艦產品，是20多年經驗的一個沉澱出來的果實，裏面幾乎囊括了目前阿里雲AI搜索領域能夠用到的所有環節的所有服務，旨在為用户提供強大的搜索能力。
對於熟悉開發的客户，使用平台 API 調用的方式可以實現更高的靈活性和快速性。而對於希望快速交付服務的客户，阿里雲提供了基於反饋的場景化產品。這些產品針對不同的業務場景分類開發，每個場景都有對應的產品版本，用户只需將數據寫入系統，即可直接獲取相關結果，幾乎無需編寫代碼。
3.2 阿里雲ES 8.15版本特點及應用場景介紹
阿里雲ES最新推出的8.15版本，是基於最新的內核，推出的向量增強版。此版本在性能上相較於8.9版本性能提升了五倍以上，支持數據量化，能顯著降低內存存儲成本75%。此外，該版本原生支持向量檢索，不需通過插件實現，同時支持多路融合排序算法，提高了向量搜索與傳統搜索結果的融合效果。此版本還支持與AI 搜索開放平台的無縫結合。
在搜索場景（RAG）方面，阿里雲的 ES 可以廣泛應用於以下幾個場景：
- 智能客服：通過自然語言處理，智能客服能夠快速響應客户查詢，提供準確的信息。例如，客户可以詢問退款政策或快遞狀態，系統能夠即刻給出相關答案，提升客户滿意度。
- 企業內部知識庫：企業可以利用AI搜索技術搭建內部知識庫，幫助員工快速查找所需信息。這種方式不僅提高了工作效率，還促進了知識共享。
- 電商導購：在電商平台，用户可以通過AI搜索獲得個性化的產品推薦。系統能夠根據用户的歷史行為和偏好，提供精準的產品建議，提升轉化率。
- 數據服務：在金融等行業，AI搜索技術能夠處理複雜的查詢，用户可以詢問諸如“成立以來漲幅最高的十支基金”之類的問題，系統將基於歷史數據以表格的形式輸出相關結果。這種能力使得用户可以更直觀地對比和分析數據，支持更為精準的投資決策。
四、阿里雲AI 搜索方案
4.1 基於阿里雲 Elastisearch 搭建 RAG 系統的全鏈路方案
本方案展示瞭如何利用阿里雲 Elasticsearch 和 AI 搜索開放平台所提供的模型服務，搭建一個全鏈路的RAG（Retrieval-Augmented Generation）系統。
首先，將客户數據源（如PDF、Word文檔）導入系統，並通過文檔解析服務識別和抽取信息，接着對文檔進行切分和向量化處理，最終將這些向量數據存儲到阿里雲ES中進行索引構建。
離線數據寫入主要是客户將文檔（如word、PPT、PDF）導入到 AI 搜索開放平台中，並通過調用文檔解析服務進行識別和抽取。針對長篇幅文檔，系統會進行切分，如利用小標題或子標題等結構進行語義或文檔結構切分。然後，將切分後的文本轉化為稠密向量或稀疏向量，並存儲到阿里雲 ES 中構建索引，完成原始文本索引和稠密向量、稀疏數據索引的構建。
在線查詢時，用户輸入問題，內部服務理解並擴展客户的問題，接着引入查詢理解服務判斷問題意圖並生成多個可能的問題變種。然後，將問題轉化為向量數據，構建索引，進行多路召回，返回 Top N 的知識片段。隨後，經過重排模型，以 Prompt 工程方式整合到大模型中進行聚合處理，形成對客户的最終回答。
此外，通過阿里雲 ES 的8.15版本，可以利用 Influence API 創建 AI語義搜索模型，演示包括選擇通用商業版、配置可視化控制、設置訪問白名單、選擇模型服務、獲取配置信息、在 ES 中創建模型並進行調試等步驟。此過程展示瞭如何無縫集成阿里雲AI模型服務，降低模型使用門檻，實現語義搜索等功能。
4.2 效果評估與優化
為了確保AI搜索方案的有效性，阿里雲還提供了全鏈路的效果測評服務。平台能夠幫助客户評估回答結果的相關性、幻覺率和可信度，進行立體式評估。這種評估機制不僅支持單一服務的效果測試，還支持多種服務的同步評估，提升了開發者的決策效率。
通過這些評估，企業能夠及時發現問題並進行優化，確保AI搜索服務的穩定性和準確性，從而提升用户滿意度。
結尾
阿里雲 AI 搜索方案 8.15版本在原有基礎上新增了 AI 服務中心欄目和模型管理功能，支持一鍵創建 AI 開放平台空間及 API ，且維持了對8.13版本所有功能的支持。8.15 內核還強調了其向量能力和 AI 搜索能力，同時也支持日誌等基礎應用場景，適用於有降本需求的客户。
計費方式上，靈活支持按量付費或包年包月，AI 平台按調用計費，提供前100次免費調用的優惠。
此外，阿里雲推出重大優惠活動，助力企業發展。
阿里雲 Elacticsearch 8.15 版 全規格新購年付通通5折！
阿里雲 Elacticsearch 非8.15版本，2核/4核全規格新購年付通通5折
