在 DigitalOcean GPU 雲服務上使用 LangChain 構建Serverless AI 應用详情 - 人工智能,深度學習 DigitalOcean 日志

动态

详情

在 DigitalOcean GPU 雲服務上使用 LangChain 構建Serverless AI 應用 - 动态详情

06:57 下午 · 11月 07 ,2025

當你在構建 AI 應用時，合適的工具往往能起到決定性的作用。LangChain 多年來一直是開發者首選的框架之一，它豐富的集成生態系統能幫助開發者從創意快速走向生產落地。

如今，藉助 langchain-gradient——DigitalOcean 官方推出的 LangChain 集成方案，你可以將 DigitalOcean Gradient AI 的 Serverless 推理接口 與 LangChain 的 agents、tools 和 chains 無縫結合。

本文將介紹為什麼 langchain-gradient 能幫助開發者優化智能體（agent）工作流、如何在幾分鐘內將 Gradient AI 的 Serverless 推理連接到 LangChain，以及如何使用 invoke 和 stream 方法（附簡明示例）。

什麼是 LangChain-Gradient？

全新的 langchain-gradient 集成可以在多方面提升你的開發效率：

兼容現有 LangChain 代碼的即插即用方案：只需幾行代碼即可切換到 Gradient AI 的推理端點，無需重寫或重構。
延續 LangChain 的熟悉抽象（Chains、Tools、Agents）：繼續使用你熟悉的構建方式——組合鏈、接入工具、啓動智能體，無需更改工作流。
多模型可選：在 DigitalOcean 上即時訪問多種 GPU 加速的 Serverless AI 模型。
開放與靈活：該軟件包完全開源，並與最新版本的 LangChain 和 Gradient AI 平台保持兼容。

LangChain 官方文檔中已有該集成的使用説明，同時也可以通過 PyPI 上的項目包實現快速集成。

獲取 DigitalOcean API Key

要運行 langchain-gradient，首先需要從 DigitalOcean Cloud 控制枱 獲取推理訪問密鑰：

登錄 DigitalOcean Cloud 控制枱。
打開 Agent Platform → Serverless Inference。
點擊 “Create model access key”，命名並生成密鑰。
將生成的密鑰作為環境變量：

export DIGITALOCEAN_INFERENCE_KEY="your_key_here"

安裝 LangChain-Gradient

使用以下命令安裝軟件包：

pip install langchain-gradient

可用功能

1. `invoke`：單次調用

適用於一次性生成完整輸出的場景。

模型生成完成後返回完整字符串或消息對象，適合同步腳本、批處理任務或僅需一次響應的服務端接口。

2. `stream`：流式輸出（令牌級別）

適用於希望實時接收部分輸出的場景。

模型會逐步輸出生成內容，可用於終端、Notebook 或聊天界面中的實時展示，也便於日誌追蹤或中途取消任務。

使用示例：Invoke 調用

import os  
from langchain_gradient import ChatGradient  

llm = ChatGradient(  
    model="llama3.3-70b-instruct",  
    api_key=os.getenv("DIGITALOCEAN_INFERENCE_KEY"),  
)

result = llm.invoke(  
    "Summarize the plot of the movie 'Inception' in two sentences, and then explain its ending."  
)  

print(result)

解釋：

ChatGradient：與 LangChain 兼容的 Gradient AI LLM 客户端。
llm = ChatGradient(...)：創建一個 LLM 實例。
model：指定模型名稱（如 "llama3.3-70b-instruct"），可選自 Gradient AI 平台提供的模型。
api_key：從環境變量讀取你的 DigitalOcean 推理 API 密鑰。
llm.invoke("…")：將提示詞發送給模型並返回完整的生成結果。

使用示例：流式輸出（Streaming）

from langchain_gradient import ChatGradient  
llm = ChatGradient(  
    model="llama3.3-70b-instruct",  
    api_key=os.getenv("DIGITALOCEAN_INFERENCE_KEY"),  
)

for chunk in llm.stream("Give me three fun facts about octopuses."):  
    print(chunk, end="", flush=True)

解釋：

llm.stream("…")：請求以流式方式返回生成結果。
for chunk in …：逐步獲取生成的令牌/文本塊並實時輸出。

這種方式可實現實時打印，非常適合命令行界面（CLI）、Notebook 或聊天前端。

常見問題（FAQs）

Q1：什麼是 LangChain？ LangChain 是一個用於構建大語言模型應用的框架，提供標準化抽象（Chains、Tools、Agents）和豐富的集成生態，幫助開發者快速搭建端到端 LLM 應用。

Q2：什麼是 langchain-gradient？ 它是 DigitalOcean 官方推出的 LangChain 集成，允許開發者通過 LangChain 兼容客户端 ChatGradient 調用 Gradient AI 的 Serverless 推理端點。

Q3：可以使用哪些模型？ 你可以選擇 Gradient AI 平台託管的多種模型（如 Llama 系列等）。只需在 Gradient 文檔中查找模型 ID，並將其傳入 ChatGradient 的 model 參數即可。

Q4：如何進行身份驗證？ 在 DigitalOcean Cloud 控制枱的 Agent Platform → Serverless Inference 中創建訪問密鑰，然後將其導出為 DIGITALOCEAN_INFERENCE_KEY 環境變量，並傳遞給 ChatGradient。

Q5：是否支持流式輸出？ 是的。可使用 llm.stream(...) 實現逐步接收輸出（適用於 CLI、Notebook、聊天應用），或使用 llm.invoke(...) 進行單次同步調用。

總結

langchain-gradient 讓從想法到生產的過程更加快速高效。憑藉即插即用的客户端接口、熟悉的 LangChain 抽象、以及 DigitalOcean 提供的 GPU 加速 Serverless 推理，你可以快速原型驗證、實時流式輸出，並輕鬆擴展應用規模而無需重構。

該集成完全開源、靈活，並始終與最新的 LangChain 和 Gradient AI 更新保持同步，幫助開發者持續高效地構建下一代智能應用。如需瞭解更多關於 DigitalOcean Gradient AI 平台的信息，或 GPU 服務器產品信息，可直接諮詢 DigitalOcean 中國區獨家戰略合作伙伴卓普雲 aidroplet.com。DigitalOcean 可提供比一線雲平台更便宜，併兼具可靠性的 GPU 算力資源。

深度學習 , 人工智能