向量搜索產品調研報告 jina AI 以及milvus 詳情 - 人工智能,milvus,零基礎,字段,標量,HarmonyOS,後端開發 mob64ca1415f0ab 博客

一、實戰核心目標

掌握混合數據類型（標量+向量）集合的創建方法
實現結構化+非結構化數據的批量插入
精通帶過濾條件的向量混合查詢（核心重點）
理解Milvus Search語法核心參數與使用場景
驗證向量搜索端到端流程，適配RAG系統落地需求

二、Search語法深度解析

Milvus的Search接口是向量查詢的核心，支持純向量查詢、標量過濾查詢、批量查詢等多種場景，先吃透語法和參數再動手實戰更高效。

2.1 核心語法結構

results = client.search(
    collection_name="集合名",  # 目標集合（必須）
    data=[[0.12, 0.23, ..., 0.88]],  # 查詢向量列表（必須）
    anns_field="向量字段名",  # 要搜索的向量字段（必須）
    param={"metric_type": "L2", "params": {"nprobe": 10}},  # 搜索配置（必須）
    limit=10,  # 返回結果數量（默認10）
    filter="price > 50",  # 標量過濾條件（可選）
    output_fields=["product_id", "price"],  # 需要返回的標量字段（可選）
    offset=0  # 分頁偏移量（可選）
)

2.2 關鍵參數詳解

data：二維數組格式的查詢向量列表，支持單向量和多向量批量查詢。
anns_field：必須與集合創建時定義的向量字段名一致，不可隨意填寫。
param：搜索核心配置，包含距離度量類型和索引參數。

metric_type：距離計算方式，常用L2（歐氏距離）、IP（內積）、COSINE（餘弦相似度）。
params：索引對應的參數，IVF類索引用nprobe（查詢時遍歷的聚類中心數），默認10。

limit：返回匹配結果的數量，建議根據實際需求設置5-100，過多會影響查詢效率。
filter：標量過濾表達式，支持多條件組合（AND/OR），語法類似SQL。
output_fields：指定需要返回的標量字段，不指定時僅返回主鍵和距離。
offset：分頁偏移量，配合limit實現分頁查詢，比如offset=2、limit=3表示查詢第3-5條結果。

三、完整實戰流程（MilvusClient方式）

本文采用MilvusClient新版接口（推薦生產使用），相比舊版更簡潔、易維護，全程基於Python實現，可直接複製運行。

3.1 環境準備

首先確保已安裝pymilvus庫，若未安裝執行以下命令：

pip install pymilvus>=2.4.0

3.2 步驟1：創建客户端與集合

集合是Milvus存儲數據的基本單元，需先定義字段結構（標量+向量），再創建集合。

from pymilvus import MilvusClient, FieldSchema, CollectionSchema, DataType
import random

# 1. 創建Milvus客户端（連接遠程或本地Milvus服務）
client = MilvusClient(uri="http://192.168.229.128:19530")  # 替換為你的Milvus地址

# 2. 避免重複創建，刪除已存在的同名集合
if client.has_collection("book"):
    client.drop_collection("book")

# 3. 定義字段結構（標量字段+向量字段）
fields = [
    # 主鍵字段：自增ID，無需手動插入
    FieldSchema(name="book_id", dtype=DataType.INT64, is_primary=True, auto_id=True),
    # 標量字段：圖書標題（字符串類型）
    FieldSchema(name="title", dtype=DataType.VARCHAR, max_length=200),
    # 標量字段：圖書分類（字符串類型）
    FieldSchema(name="category", dtype=DataType.VARCHAR, max_length=50),
    # 標量字段：圖書價格（浮點型）
    FieldSchema(name="price", dtype=DataType.DOUBLE),
    # 向量字段：圖書簡介的嵌入向量（4維，實際場景需根據嵌入模型調整維度）
    FieldSchema(name="book_intro", dtype=DataType.FLOAT_VECTOR, dim=4)
]

# 4. 創建集合Schema
schema = CollectionSchema(
    fields=fields,
    description="用於圖書搜索的混合類型集合（標量+向量）"
)

# 5. 最終創建集合
client.create_collection(collection_name="book", schema=schema)
print("集合創建成功！")

3.3 步驟2：批量插入測試數據

生成包含標量和向量的測試數據，批量插入集合，效率遠高於單條插入。

# 1. 定義測試數據的基礎配置
num_books = 1000  # 數據總量
categories = ["科幻", "科技", "文學", "歷史"]  # 圖書分類選項
titles = ["量子世界", "AI簡史", "時光之輪", "文明起源", "未來簡史", "數據科學"]  # 圖書標題前綴

# 2. 生成1000條測試數據（字典列表格式，與字段名對應）
data = []
for i in range(num_books):
    data.append({
        "title": f"{random.choice(titles)}_{i}",  # 標題+序號，避免重複
        "category": random.choice(categories),  # 隨機分類
        "price": round(random.uniform(10, 100), 2),  # 10-100元隨機價格，保留2位小數
        "book_intro": [random.random() for _ in range(4)]  # 4維隨機向量（模擬嵌入結果）
    })

# 3. 批量插入數據到集合
insert_result = client.insert(
    collection_name="book",
    data=data
)

# 4. 驗證插入結果
print(f"成功插入數據量：{len(insert_result['ids'])}")  # 輸出插入的主鍵ID數量

3.4 步驟3：創建向量索引（提升查詢效率）

向量索引是加速查詢的關鍵，未創建索引時會執行全量掃描，效率極低。

# 1. 準備索引參數（針對向量字段book_intro）
index_params = MilvusClient.prepare_index_params()

# 2. 配置索引信息（IVF_FLAT索引，適合中小規模數據）
index_params.add_index(
    field_name="book_intro",  # 必須是向量字段
    metric_type="L2",  # 距離計算方式：歐氏距離
    index_type="IVF_FLAT",  # 索引類型，新手推薦IVF_FLAT
    index_name="book_intro_index",  # 索引名稱（自定義）
    params={"nlist": 128}  # 聚類中心數，建議值為數據量的平方根（1000的平方根≈32，這裏取128適配更多數據）
)

# 3. 創建索引
client.create_index(
    collection_name="book",
    index_params=index_params
)

print("向量索引創建完成！")

3.5 步驟4：加載集合到內存（查詢前必須執行）

Milvus的查詢操作需要先將集合加載到內存，加載後可多次查詢，無需重複加載。

client.load_collection(collection_name="book")
print("集合已加載到內存，可執行查詢操作！")

四、多場景查詢案例實戰

掌握基礎流程後，通過4個核心場景實戰，覆蓋大部分實際使用需求。

4.1 場景1：基礎向量查詢（無過濾條件）

僅根據向量相似度查詢，返回最匹配的結果。

# 1. 生成查詢向量（4維，與集合向量字段維度一致）
query_vector = [random.random() for _ in range(4)]

# 2. 執行基礎向量查詢
basic_results = client.search(
    collection_name="book",
    data=[query_vector],  # 單向量查詢
    anns_field="book_intro",
    param={"metric_type": "L2", "params": {"nprobe": 10}},
    limit=5,  # 返回前5個最相似結果
    output_fields=["title", "category", "price"]  # 返回需要的標量字段
)

# 3. 解析並打印結果
print("\n=== 基礎向量查詢結果（前5條）===")
for idx, result in enumerate(basic_results[0]):
    print(f"第{idx+1}條：")
    print(f"  圖書ID：{result['book_id']}")
    print(f"  相似度距離：{result['distance']:.4f}")  # 距離越小越相似
    print(f"  圖書標題：{result['entity']['title']}")
    print(f"  分類：{result['entity']['category']}")
    print(f"  價格：{result['entity']['price']:.2f}元")
    print("-" * 40)

4.2 場景2：帶過濾條件的混合查詢（核心場景）

結合標量過濾+向量相似度，實現精準查詢（如“科幻類+價格<50元”的相似圖書）。

# 1. 複用之前的查詢向量（也可重新生成）
# 2. 執行混合查詢：科幻類 + 價格<50元 + 向量相似
mixed_results = client.search(
    collection_name="book",
    data=[query_vector],
    anns_field="book_intro",
    param={"metric_type": "L2", "params": {"nprobe": 10}},
    filter="category == '科幻' and price < 50",  # 多條件過濾（AND連接）
    limit=3,  # 返回前3條匹配結果
    output_fields=["title", "category", "price"]
)

# 3. 解析結果
print("\n=== 混合查詢結果（科幻類+價格<50元）===")
for idx, result in enumerate(mixed_results[0]):
    print(f"第{idx+1}條：")
    print(f"  圖書ID：{result['book_id']}")
    print(f"  相似度距離：{result['distance']:.4f}")
    print(f"  圖書標題：{result['entity']['title']}")
    print(f"  分類：{result['entity']['category']}")
    print(f"  價格：{result['entity']['price']:.2f}元")
    print("-" * 40)

4.3 場景3：分頁查詢（海量結果時使用）

當匹配結果過多時，通過offset+limit實現分頁，避免一次性返回大量數據。

# 執行分頁查詢：跳過前2條，返回接下來的3條
page_results = client.search(
    collection_name="book",
    data=[query_vector],
    anns_field="book_intro",
    param={"metric_type": "L2", "params": {"nprobe": 10}},
    filter="category == '科技'",  # 過濾科技類圖書
    offset=2,  # 跳過前2條結果
    limit=3,  # 返回3條結果（第3-5條）
    output_fields=["title", "category", "price"]
)

# 解析結果
print("\n=== 分頁查詢結果（科技類，第3-5條）===")
for idx, result in enumerate(page_results[0]):
    print(f"第{idx+1}條（總第{idx+3}條）：")
    print(f"  圖書ID：{result['book_id']}")
    print(f"  相似度距離：{result['distance']:.4f}")
    print(f"  圖書標題：{result['entity']['title']}")
    print(f"  價格：{result['entity']['price']:.2f}元")
    print("-" * 40)

4.4 場景4：批量查詢（多向量同時查詢）

支持一次性傳入多個查詢向量，每個向量獨立返回匹配結果，效率更高。

# 1. 生成2個查詢向量
batch_query_vectors = [
    query_vector,  # 複用之前的向量
    [0.5, 0.5, 0.5, 0.5]  # 自定義向量
]

# 2. 執行批量查詢：2個向量各返回2條結果
batch_results = client.search(
    collection_name="book",
    data=batch_query_vectors,  # 多向量批量查詢
    anns_field="book_intro",
    param={"metric_type": "L2", "params": {"nprobe": 10}},
    limit=2,  # 每個向量返回2條結果
    output_fields=["title", "category"]
)

# 3. 解析結果（batch_results與查詢向量一一對應）
print("\n=== 批量查詢結果 ===")
for vec_idx, vec_results in enumerate(batch_results):
    print(f"\n查詢向量{vec_idx+1}的匹配結果：")
    for res_idx, result in enumerate(vec_results):
        print(f"  第{res_idx+1}條：")
        print(f"    圖書ID：{result['book_id']}")
        print(f"    相似度距離：{result['distance']:.4f}")
        print(f"    圖書標題：{result['entity']['title']}")
        print(f"    分類：{result['entity']['category']}")

五、集合與索引狀態驗證

查詢完成後，可通過以下方法驗證集合和索引的狀態，確保後續操作正常。

# 1. 查看集合詳情（字段、數據量等）
collection_info = client.describe_collection("book")
print("\n=== 集合詳情 ===")
print(f"集合名稱：{collection_info['collection_name']}")
print(f"字段數量：{len(collection_info['fields'])}")
print(f"數據量：{collection_info['num_entities']}")

# 2. 查看索引列表
index_list = client.list_indexes("book")
print("\n=== 索引列表 ===")
for index in index_list:
    print(f"索引名稱：{index['index_name']}")
    print(f"關聯字段：{index['field_name']}")
    print(f"索引類型：{index['index_type']}")

# 3. 卸載集合（釋放內存，無需查詢時執行）
client.release_collection(collection_name="book")
print("\n集合已卸載，內存已釋放！")

六、Milvus新舊版本接口對比

很多開發者可能接觸過舊版PyMilvus接口，這裏整理核心差異，方便快速遷移。

功能	PyMilvus舊版（<2.3）	MilvusClient新版（≥2.4）
連接管理	需要手動調用connections.connect()	客户端自動管理，創建時傳入uri即可
數據插入格式	多列表結構（如ids=[], titles=[]）	字典列表格式（更直觀，與字段名對應）
字段定義	需單獨創建FieldSchema和CollectionSchema	可直接在create_collection中定義（簡化）
返回結果格式	自定義對象，需通過屬性訪問（如res.id）	標準化字典格式，鍵值對訪問（更易用）
錯誤處理	需捕獲特定異常類	統一錯誤碼系統，排查更高效
動態字段支持	需要額外配置schema	開啓參數即可支持，無需修改schema

推薦：新項目直接使用MilvusClient新版接口，舊項目逐步遷移，開發效率和維護性更優。

七、實戰關鍵注意事項

向量維度必須一致：查詢向量的維度需與集合向量字段的dim完全一致，否則會報錯。
索引參數匹配：nprobe（查詢聚類中心數）越大，查詢精度越高但速度越慢，需根據數據量平衡（建議10-100）。
過濾條件語法：filter參數支持=、!=、>、<、>=、<=、IN等運算符，多條件用AND/OR連接，字符串需用單引號包裹。
集合加載：加載集合是重量級操作，避免頻繁加載/卸載，建議長期查詢時保持加載狀態。
數據量適配：IVF_FLAT索引適合100萬條以下數據，更大數據量可選擇IVF_SQ8、HNSW等索引。

本文章為轉載內容，我們尊重原作者對文章享有的著作權。如有內容錯誤或侵權問題，歡迎原作者聯繫我們進行內容更正或刪除文章。

mob64ca1415f0ab 博客

mob64ca1415f0ab 博客

博客 / 詳情