作者：江昱

阿里雲函數計算 AgentRun 全新發布後，我們整理了“探秘 AgentRun”系列文章，本系列將梳理企業落地 Agent 常見難題，給出具體解法，助力 Agentic AI 快速走進生產級環境。歡迎加入“函數計算 AgentRun 客户羣”與我們交流，釘釘羣號：134570017218。

在《通過無代碼創建的 Agent，如何用高代碼進行更新？》文章中，我們提到過一個真實用户的痛點：“我之前做過很多 AI 應用，流量少的時候還好，流量一多最頭疼的就是模型的安全穩定。” 這不是個例，而是幾乎所有 Agent 應用開發者都會遇到的核心問題。

模型突然變慢、賬號欠費、被臨時封禁、存在安全問題、頻繁限流——任何一個問題都可能讓你的 Agent 應用在生產環境中癱瘓。更棘手的是，這些問題往往發生在流量高峯期，造成的損失難以估量。Agent 應用的可靠性，很大程度上取決於模型調用的可靠性。

函數計算 AgentRun 通過完整的模型管理和治理能力，系統性地解決了這個問題。讓我們看看它是如何做到的。

從混亂到有序：統一的模型管理

在沒有統一管理之前，開發者面臨的是這樣的困境：不同的模型分散在各處，有的在代碼裏硬編碼，有的在配置文件中，有的是環境變量。想要切換一個模型？需要改代碼、測試、重新部署。想知道用了哪些模型、每個模型的調用量和成本？只能從賬單倒推。

如圖所示，AgentRun 提供了統一的模型管理界面。所有接入的模型都在這裏集中展示和管理，你可以清楚地看到每個模型的狀態、配置、使用情況。需要調整某個模型的配置？直接在界面修改，立即生效，無需重啓服務。需要查看某個模型的調用量和成本？所有數據一目瞭然。

這種統一管理的價值，不在於提升了便利性。更重要的是，它讓模型從“散落的資源”變成了“可管理的資產”。 你可以清晰地掌握企業使用了哪些模型、每個模型的健康狀態、成本分佈、使用趨勢，為優化決策提供數據支撐。

接入靈活：支持所有主流模型

如圖所示，AgentRun 在模型接入方面提供了極大的靈活性。

當你需要接入一個新模型時，可以通過搜索功能快速找到你想要的模型供應商——OpenAI、Anthropic、阿里雲百鍊、Minimax、智譜 AI 等主流供應商都已經內置支持。選擇供應商後，可以看到該供應商提供的所有模型列表，選擇你需要的模型，填入 API Key 等必要信息，就完成了接入。

但更強大的是自定義創建能力。如果你使用的是企業自建的私有模型，或者是 AgentRun 尚未內置支持的模型服務，可以通過自定義創建的方式接入。

只需要提供模型的 API 地址、鑑權方式、請求格式等信息，AgentRun 就能將其納入統一管理。這種開放性確保了平台不會成為你的技術限制，而是真正成為你的技術賦能。

模型治理：從單點到高可用

接入模型只是第一步，如何確保模型調用的穩定性和可靠性，才是生產環境的核心需求。 這就是模型治理能力的價值所在。

如圖所示，AgentRun 提供了強大的模型治理能力，底層基於開源項目 LiteLLM 構建，並已無感部署在函數計算上。 這意味着你無需關心 LiteLLM 的部署、運維、擴縮容等問題，平台已經幫你處理好了一切。

創建一個模型治理配置，你可以實現：

• 主備切換和 Fallback 策略： 配置主模型和多個備用模型。當主模型出現限流、超時或故障時，系統會自動切換到備用模型繼續服務。你可以配置多級 Fallback 策略，比如主模型是 GPT-4，第一備用是 Claude-3，第二備用是 Qwen-Max。即使多個模型同時出現問題，也能保證服務不中斷。
• 負載均衡： 如果你有多個相同模型的實例或賬號，可以配置負載均衡策略，將請求分發到不同的實例。這不僅能避免單點過載，還能有效規避單個賬號的限流問題。系統支持輪詢、加權、最少連接等多種負載均衡算法。
• 智能路由： 可以根據請求的特徵（比如 Token 數量、優先級、用户等級等）將請求路由到不同的模型。簡單查詢使用經濟的小模型，複雜分析使用強大的大模型，在成本和效果之間找到最優平衡。
• 熔斷和限流： 可以配置熔斷策略，當某個模型的錯誤率超過閾值時自動熔斷，避免持續調用失敗的模型浪費時間和資源。可以配置限流策略，保護模型不被突發流量擊垮，也避免超出廠商的限額導致賬號被封。
• 重試機制： 當模型調用失敗時，系統會根據配置自動重試。可以設置重試次數、重試間隔、指數退避等策略，最大化調用成功率。

所有這些能力，都是通過可視化界面配置，無需編寫代碼。配置完成後，立即生效，你的 Agent 就擁有了企業級的模型高可用能力。

安全透明：每一次調用都清晰可見

模型治理不僅要保證穩定性，還要保證安全性和透明度。

安全方面， AgentRun 提供了完整的安全圍欄機制。所有模型調用在發送前都會經過內容審核，自動過濾敏感信息、違規內容。可以配置自定義的安全策略，比如禁止某些關鍵詞、限制輸出長度、脱敏處理等。所有的 API Key 和敏感憑證都經過加密存儲，在傳輸和使用過程中嚴格保護，確保不會泄露。

透明度方面， AgentRun 提供了細粒度的監控和分析能力。每個模型的調用次數、成功率、平均延遲、Token 消耗都有詳細記錄。可以按時間、按 Agent、按用户等多個維度進行統計分析。當某個模型出現異常時，系統會自動告警並提供詳細的診斷信息，幫助你快速定位和解決問題。

更重要的是，所有的治理策略執行過程都有完整的日誌記錄。當發生主備切換、熔斷、限流等事件時，你可以在日誌中看到完整的決策過程和執行結果。這種透明度讓你對系統的運行狀態有充分的掌控感，也為事後分析和優化提供了寶貴的數據。

兩種使用方式：普通用户 vs 高級用户

AgentRun 的模型治理能力設計得很巧妙，它既能滿足普通用户的“開箱即用”需求，也能滿足高級用户的“深度定製”需求。

對於普通用户， 你甚至不需要知道“模型治理”這個概念。當你在創建 Agent 時選擇模型，平台會自動為你配置基礎的治理策略——自動重試、基本的容錯、簡單的監控。這些能力默認開啓，無感使用，你只需要關注 Agent 的業務邏輯即可。

對於高級用户， 你可以深入到模型治理的各個細節進行定製化配置。可以精確設置每個模型的權重、超時時間、重試策略、熔斷閾值。可以自定義路由規則，實現複雜的流量調度邏輯。更進一步，因為底層使用的是開源的 LiteLLM，你甚至可以自己管理 LiteLLM 實例，進行更深度的定製化開發或二次開發。 比如實現自己的路由算法、添加自定義的中間件、對接企業內部的審計系統等。

這種“簡單的簡單，複雜的可能”的設計理念，讓不同技術水平的用户都能在 AgentRun 上找到適合自己的使用方式。

真實案例：從頻繁故障到穩定可靠

讓我們看一個真實的案例。某電商企業開發了一個智能客服 Agent，最初直接調用 OpenAI 的 GPT-4 模型。上線初期運行良好，但隨着業務增長，問題開始暴露：

第一個問題出現在一個週五的下午。 OpenAI 的服務出現短暫故障，所有調用都超時失敗。客服 Agent 完全癱瘓，大量用户投訴，客服熱線被打爆。團隊緊急切換到備用的 Claude 模型，但因為代碼裏硬編碼了 GPT-4 的 API，切換過程花了 2 個小時，期間造成了嚴重的業務損失。

第二個問題發生在月底。 由於流量激增，GPT-4 的調用量超出了賬號限額，觸發了限流。大量請求返回 429 錯誤，Agent 響應速度急劇下降。團隊只能臨時申請提額，但審批流程需要幾天時間。

第三個問題是成本問題。 所有查詢都使用 GPT-4，但實際上 80% 的查詢都是簡單問題（查訂單、查物流），根本不需要 GPT-4 的能力。成本居高不下，但不知道如何優化。

引入 AgentRun 的模型治理後，這些問題都得到了解決。 團隊配置了完整的模型治理策略：主模型是 GPT-4，備用模型是 Claude-3 和 Qwen-Max。當 GPT-4 出現故障時，系統會在毫秒級自動切換到備用模型，整個過程對用户透明。配置了基於語義的智能路由，簡單查詢自動使用 GPT-3.5-turbo，複雜問題才使用 GPT-4，成本降低了約 50%，用户體驗沒有明顯變化。設置了限流和告警策略，當接近限額時自動降低調用頻率並通知團隊，避免觸發硬限流。

更重要的是，團隊對系統有了充分的掌控感。 通過可觀測平台，可以實時看到每個模型的健康狀態、調用分佈、成本趨勢。當出現異常時，能夠第一時間發現並處理。從頻繁故障、被動應對，變成了主動管理、穩定可靠。

立即體驗 AgentRun

函數計算 AgentRun 的無代碼到高代碼演進能力，現已開放體驗：

1. 快速創建： 訪問控制枱（https://functionai.console.aliyun.com/cn-hangzhou/agent/explore） ，60 秒創建你的第一個 Agent
2. 深度定製：當需要更復雜功能時，一鍵轉換為高代碼
3. 持續演進：利用函數計算 AgentRun 的基礎設施能力，持續優化你的 Agent

從想法到上線，從原型到生產，函數計算 AgentRun 始終是你最好的夥伴。歡迎加入“函數計算 AgentRun 客户羣”，釘釘羣號：134570017218。

快速瞭解函數計算 AgentRun：

一句話介紹： 函數計算 AgentRun 是一個以高代碼為核心的一站式 Agentic AI 基礎設施平台。秉持生態開放和靈活組裝的理念，為企業級 Agent 應用提供從開發、部署到運維的全生命週期管理。

函數計算 AgentRun 架構圖

AgentRun 運行時基於阿里雲函數計算 FC 構建，繼承了 Serverless 計算極致彈性、按量付費、零運維的核心優勢。通過深度集成 AgentScope、LangChain、RAGFlow、Mem0 等主流開源生態。AgentRun 將 Serverless 的極致彈性、零運維和按量付費的特性與 AI 原生應用場景深度融合，助力企業實現成本與效率的極致優化，平均 TCO 降低 60%。

讓開發者只需專注於 Agent 的業務邏輯創新，無需關心底層基礎設施，讓 Agentic AI 真正進入企業生產環境。