博客 / 詳情

返回

Elasticsearch 8.17 智能檢索升級全攻略

Elasticsearch 作為一款強大的搜索與分析引擎,支持傳統檢索、AI 搜索(如語義檢索、RAG、多模態檢索)及智能運維場景,結合阿里雲AI搜索開放平台提供一站式解決方案。

本文介紹了最新發布的 Elasticsearch 8.17 檢索增強型應用在性能和功能上的特性。同時本文介紹了 Elacticsearch 選購指南,幫助用户根據業務需求選擇版本和節點配置,利用容量規劃工具優化資源分配,特別適合 AI 應用和高彈性場景,為用户提供高性能、低成本、易擴展的搜索服務。

一、Elasticsearch 核心能力與場景

典型應用場景

檢索與分析

  • 數據庫檢索加速、企業信息檢索、訂單檢索、內容搜索、交易數據分析、玩家行為分析等傳統搜索與數據分析場景。
  • ES 支持關鍵字檢索、全文檢索、地理位置檢索、搜索過濾與聚合搜索分析等業內全面的檢索與分析用法。

AI搜索

  • 語義檢索:挖掘更深語義相關度、相比傳統檢索20%+效果提升。
  • 檢索增強生成 RAG:與 LLM 結合,實現對話式問答,常用於智能在線客服、企業知識庫檢索等場景。
  • 多模態檢索:向量化圖片、語音、視頻等數據,通過相似度計算實現多模態搜索。

全觀測智能運維

  • 實時採集、分析與存儲系統日誌、指標、進行鏈路追蹤,通過ES實現全鏈路監控、根因定位、複雜IT性能優化等。
  • 結合 LLM、Agent 技術,使用生成式AI交互式地探索問題並執行補救措施、加速事件管理和根本原因分析,助力企業運維體系智能化、效率提升。

無縫結合AI搜索開放平台,模型開箱即用

一站式的 AI 搜索開放平台作為阿里雲 AI 搜索整個產品體系核心,可以提供豐富的 AI 搜索組件化服務。兼容主流開發框架 LangChain 和 LlamaIndex,支持搜索專屬大模型、百鍊等大模型服務,以及 Elasticsearch、Havenask 等開源引擎。用户可靈活調用多模態數據解析、大語言模型、效果測評等數十個服務,實現智能搜索、檢索增強生成(RAG)、多模態搜索等場景的搭建。

ES 開放的 API 註冊和使用,結合自研的AI搜索開放平台,支持用户利用平台上的模型和能力,便於提升語音搜索和 RAG 場景的性能。利用 AI 搜索開放平台的數據處理和服務優化功能,可以在 ES Serverless 上搭建更高效的搜索鏈路,從而提升整體搜索體驗。針對 RAG 場景的優化,AI 搜索開放平台不僅提供了模型支持,還通過數據處理和服務優化,幫助實現更精準的搜索結果。
圖1

AI 場景下的數據解析與提取

針對 PDF、Word 等文檔中的數據解析和提取,包括圖表理解、OCR 能力的應用,以及數據分析與綜合,以實現深度表達。將圖表等複雜數據通過 OCR 和數據分析技術轉化為文字描述,增強數據的可讀性和理解性。數據轉化後,進行文本切片處理,以便於更細緻地分析和利用這些信息。

通過圖表理解能力和數據分析,提升對圖表數據的解讀效率和準確性。整合 OCR、圖表理解和數據分析能力,構建高效的數據解析和表達體系,優化信息處理流程。
圖2

AI 場景下的文本切片

根據文章目錄和標題進行分段,實現細粒度切分,如按段落或句子,確保內容的層次性。通過後驗方式判斷切片相鄰片段的語義相關度,進行二次校準,保障語義關聯性和內容完整性。

設置靈活可調的切片大小參數,根據不同的數據情況調整,優化切片效果。完成切片後,進行多語言向量化處理,為後續分析或應用準備數據。模型優化和參數調整旨在提升切片質量和效率,確保語義理解和內容組織的準確性。
圖3

AI 場景下的混合檢索及 Rerank

混合檢索技術融合了稀疏向量和稠密向量,以及文本檢索能力,使 TOP 10 結果的匹配效果相比單路檢索提升了20%。在混合檢索後,通過對接基於 BERT 的重排模型,進一步提高了搜索結果的準確率。

ES Serverless 的簡單使用特性,結合 AI 搜索開放平台的融合能力,支持快速搭建和上線服務。

混合檢索與重排模型的結合,顯著增強了搜索系統的整體性能和用户體驗。技術的快速搭建和服務上線能力,體現了在AI搜索領域的高效與靈活性。
圖4
AI 搜索服務集成了豐富的功能,如語音識別、意圖識別和多模態向量能力,以及聯網搜索功能,這些都能與 ES 引擎有效融合,提升服務的智能化水平。用户可以將自己的應用、大模型或特定服務,以串聯的方式整合進ES業務流程中,實現個性化和定製化的服務擴展。

通過與ES引擎的融合,服務能夠提供更精準的識別和搜索結果,增強用户體驗和交互效率。AI 搜索開放平台服務的開放性和兼容性允許開發者和企業根據自身需求,靈活地調整和優化業務邏輯,促進創新和業務增長。AI 搜索開放平台服務的多模態能力和聯網搜索功能,為用户提供了一站式的解決方案,滿足多樣化和複雜場景下的需求,提升整體服務質量。

基於 ES Serverless 快捷搭建 RAG 應用

主要分為離線數據寫入在線查詢兩個階段,利用 AI 搜索開放平台的解析、切分、向量化等能力,結合 ES Serverless 的多模索引與檢索能力,可以實現對外部文檔的智能問答。

離線數據寫入階段

  1. 模塊包括基於 AI 搜索平台的文檔解析、多維度切片、稠密與稀疏向量化處理,以及向 ES Serverless寫入向量數據,實現非結構化數據向結構化向量數據的轉化。
  2. 為提升語義搜索效果,索引構建時結合稠密向量、稀疏向量和文本倒排索引,通過多路結果召回和 TOP N 知識片融合,優化離線構建過程。

在線查詢階段:

  1. 先進行查詢理解服務擴展,再對 query 進行稀疏和稠密向量處理,結合文本和向量相似度計算召回結果,提高搜索精度。
  2. 結合重排模型進行相關度排序,生成最終回答,涉及與大模型交互的能力,完成從檢索結果到回答生成的完整 RAG 鏈路。
  3. ES Serverless 服務與 AI 搜索開放平台的打通,簡化了搭建過程,為用户提供更高效、便捷的語義搜索解決方案。
    圖5

二、Elasticsearch Serverless 8.17新升級

檢索增強型8.17版本在最新特性擴展、自動擴縮性能、資源成本優化三大維度實現全面躍升:

升級一:向量檢索性能飛躍

基於 Elasticsearch 8.17版,發佈最新向量能力,實現檢索性能、開發體驗的跨越式升級

  • 高效 KNN 檢索:相較於7.10版依賴 script_score 自定義腳本進行暴力檢索,8.17版原生支持高效的 KNN 檢索,查詢速度實現了質的飛躍。
  • 資源優化:在高召回的同時,默認 int8 量化能力將內存佔用降低75%,bbq量化進一步降低資源消耗。同等資源下,百萬級向量檢索QPS提升數十倍
  • 靈活組合查詢:8.17版原生支持 KNN 向量查詢與傳統 Query 子句的靈活組合,並結合 RRF(Reciprocal Rank Fusion)實現多元召回結果的智能融合與統一排名,顯著提升複雜場景下的搜索相關性與用户體驗。

升級二:智能化彈性調度架構

全面升級智能化彈性調度架構,保障服務穩定的同時1秒內資源拓展到位,擴縮更絲滑

ES Serverless 服務底層採用彈性架構,基於應用 CU 等水位觀測,高效調度底層機器資源,實現低成本承接高用量的業務效果。相比檢索通用型(7.10版)應用,檢索增強型(8.17版)不但大幅縮短了彈性響應時效,同時放開了低峯期突增流量限流的限制

真實案例對比:

  • A 場景-流量逐漸穩定增長:8.17 版能夠瞬時響應並正常承接增加的用户請求量,幾乎沒有觸發限流;整體RT平穩度和耗時更有優勢,擴容期間服務穩定、性能有保障。
  • B 場景-流量瞬時突增:8.17 版能夠穩定承接流量突增,而7.10版需要一定時間緩衝,初期成功率較低。8.17 版在整體RT平穩度、穩定性與無感擴容體驗上更優。

8.17 應用彈性擴容性能提升明顯,可做到無感升配,能有效承接突增、平穩趨勢下的流量增長,提供流暢、穩定的服務體驗。

升級三:資源成本優化

通過預留+彈性 CU 模式靈活調度資源,CU 單價再調低,資源成本再優化

為進一步優化資源成本,提升資源擴縮體驗。檢索通用型 8.17 版採用了預留固定 CU 配額+按需使用的彈性CU 用量收費的模式,預留固定 CU 的單價調整至更低。

1、節點間 shard 調度

通過基於 cu 的shard 均衡策略,保證各節點水位均衡;

2、集羣間索引調度

在多個服務集羣間調度查詢和寫入任務,保證整體水位均衡;

3、基於水位智能調整索引配置

基於 shard 的cu、存儲、限流等情況,調整 shard 數、副本數,熔斷閾值;

4、基於水位智能調整集羣配置

基於 cpu,mem, io,限流情況等十多個指標,調整集羣規格、規模、線程池、限流等集羣配置無需關注複雜的集羣運維,由系統託管治理。通過智能調度優化實現彈性擴縮容能力,進一步降低資源成本。
圖6
Elasticsearch Serverless 通過按需資源預留+彈性伸縮機制,解決自建集羣的冗餘浪費與運維難題。8.17 版本性能升級,彈性反應時間提升,擴容期間服務穩定性增強,保障高負載場景體驗。
圖7

阿里雲Elasticsearch Serverless 8.17版在向量檢索性能、智能化彈性調度架構及資源成本優化方面實現了全面升級,為開發者提供了高性能、低成本且免運維的檢索服務解決方案。

三、Elasticserach Serverless 的優勢

ES Serverless 對比自建 ES 優勢

  1. 彈性擴縮在容量規劃上的應用,有效避免資源浪費,確保資源高效利用。
  2. 快速應用搭建與集羣變更減少,顯著降低運維投入,提升工作效率。
  3. 智能調度與數據均衡策略,自動優化配置,無需人工調優即可實現最佳服務性能。
  4. 彈性資源使用方式,靈活控制成本,實現人力與資源成本的雙重優化。
  5. 通過智能技術,實現服務性能的自動調優,用户無需額外操作即可享受最優配置。
    圖8

    ES Serverless 與 ES Paas 形態體驗差異:

    ES 的 Serverless 版本在選型上比 Paas 集羣版本更少,且屏蔽了不常用的 API,使用更加簡單。針對 AI 方向,當前主要推廣的是檢索增強型 8.17版,相比 7.10版,在向量檢索性能和算法知識度上有了顯著提升。
    圖9

四、Elasticserach 選購指南

PAAS 版本選配指南

Elasticsearch 實例類型及版本選擇是關鍵,需根據實際需求和兼容性進行合理配置,以優化性能和功能。

  1. 數據節點是 ES 集羣中關鍵組件,負責數據存儲和增刪改查操作,需具備高存儲空間和 CPU 性能。選擇數據節點時,總存儲容量應為總數據量的 3 到 4 倍,考慮索引開銷、副本需求、內部操作和安全閥值。
  2. ES 索引存儲比原始數據大 10%到 15%,且需預留空間用於斷合併、日誌記錄和計算任務。
  3. 集羣健康運行需平衡節點數量與存儲空間,確保有足夠的冗餘和性能支持。經驗表明,數據源的 3 到 4 倍的存儲空間配置為維護健康 ES 集羣的理想選擇。
    圖10

專有節點説明:

專有主節點在集羣中扮演類似 master 節點的角色,主要負責監控和任務分配,不存儲數據,且其配置與可用區強綁定。對於數據量不大或業務起步階段,選擇單可用區可使專有主節點成為可選項,有助於節約成本。

專有主節點的默認配置適用於數據量較大的情況,用户在購買時可直接選擇此配置,無需額外調整。也可以綜合考慮數據量、業務需求及成本節約等因素,在決定是否啓用專有主節點。

在業務起步或數據量較小的情況下,可以不專門配置主節點,由數據節點分配資源充當,以節約成本。

冷數據節點説明:

冷數據節點適用於冷熱數據分層場景,通過設置時間配置,將七天後不活躍數據自動歸檔至冷數據節點存儲,優化存儲費用和檢索開銷。

協調節點説明:

協調節點在處理複雜查詢時可幫助數據節點分擔CPU壓力,適用於頻繁複雜查詢的場景,但一般場景下較少使用。
圖11

容量規劃工具:對於選配不確定的用户,系統還提供了容量規劃工具,通過輸入具體場景參數,可以得到推薦配置。

>>>Elasticsearch 購買詳情

>>>Elasicsearch 計費詳情

Serverless 版本選配指南

Serverless 版本相較於普通 Paas 版本更加便捷,簡化了集羣配置和資源管理過程,適合追求高效部署的用户。對於T級數據量,選擇數據節點時需配置 CPU 規格,其他默認設置即可,這涉及性能與成本的平衡考量。
圖12

優惠活動(節省計劃)

為降低企業使用成本,阿里雲 ES Serverless 推出通用預付優惠抵扣包(節省計劃,可以用於抵扣長期使用按量付費資源的折扣權益,為您抵扣 ES Serverless 應用的賬單費用。合理的配置節省計劃可讓您在靈活使用資源的同時,享受較低的折扣。所有 Serverless 應用、計費項均可參與抵扣。

新增功能/規格:

ES Serverless 推出通用預付優惠抵扣包(節省計劃),用户承諾6個月或1年內達到消費金額可換取賬單折扣。相比按量付費模式,通過預付抵扣包的形式將更加優惠。

承諾消費金説明:

在指定時間週期內承諾消費的最低金額(即此次購買節省計劃的充值金額),單位為元。承諾消費金額最低為200,最高為20000,步長為200,並且不同有效期、不同消費金額所享受的折扣存在差異。

當有效期為1年時,不同消費金額區間所享受的折扣如下:

● [200,600]:可享受85折。

● (600,3000]:可享受8折。

● (3000,20000]:可享受7折。

當有效期為6個月時,不同消費金額區間所享受的折扣如下:

● [200,600]:可享受8折。

● (600,3000]:可享受75折。

● (3000,20000]:可享受7折。

點擊下方鏈接,立即領取折扣。

>>>ES Serverless產品詳情頁

>>>ES Serverless抵扣包

五、結尾

阿里雲 Elasticsearch 可以支撐多種業務場景,如日誌分析、故障排查和性能監控等等,在能夠高效滿足傳統搜索需求的同時,結合 Kibana 等生態工具,企業可快速搭建可視化報表和業務分析平台,其空間檢索能力進一步擴展了應用場景。在日誌管理和可觀測性領域,ELK組件協同工作,實現數據採集、投遞與分析,強化了ES在日誌管理和可觀測性方面的功能。企業能高效處理搜索需求,優化用户體驗,同時提升數據處理與分析的效率和準確性。

ES Serverless 8.17 在向量檢索性能(高效 KNN、資源優化)、智能化彈性調度(秒級擴縮容)和成本控制(預留+彈性 CU 模式)三大維度升級,顯著提升效率與用户體驗。相比自建 ES,Serverless 版本免運維、自動調優、按需付費,降低資源浪費和人力成本。

阿里雲 Elasticsearch 通過靈活的API和生態整合能力,持續幫助企業優化搜索體驗,提升數據處理與分析效率,成為支撐業務創新的重要力量。

點擊下方鏈接,助力企業以更低成本實現數據價值最大化!

>>>Elasticsearch產品詳情頁

>>>Elasticsearch 購買詳情

>>>ES Serverless產品詳情頁

>>>ES Serverless 限時優惠購買

>>>官方計費文檔

user avatar
0 位用戶收藏了這個故事!

發佈 評論

Some HTML is okay.