首先，跟大家分享一張圖，這個是我們目前大模型應用落地的場景分佈。可以看到，大模型廣泛滲透到各行各業，場景越來越豐富。

24 年 9 月份，我們發佈了百度智能雲千帆大模型平台 3.0。包括：模型開發層、模型服務層、應用開發層。提供了最專業的應用開發工具、最豐富的大模型、最全面的工具鏈。

在企業大模型落地的過程中，要解決很多的問題。最常見的有如何選擇模型、如何構建 AI 原生應用、如何優化模型使用效果。我們給大家總結出了 3 大應用落地路徑：

• 模型推理；
• 模型應用效果優化（包括提示詞優化、模型精調、模型能力增強）；
• 大模型應用開發。

首先，講模型推理。

在模型選擇的過程中，我們發現 3 個趨勢：

• 越來越追求效價比，效果更好兼顧成本更低；
• 根據不同需求，進行大小模型協同；
• 多模態模式協同工作；

百度智能雲千帆大模型平台提供豐富的模型選擇，有不同尺寸的大模型、精專垂類模型、以及傳統多模態能力等。

第二個路徑，模型應用效果優化，分為 3 個手段。最常見的就是提示詞優化，包含 Prompt 和 Few-shot 兩種方式。

舉個例子，法律諮詢場景，我給大模型一個指令「你是一個律師，請問經濟合同糾紛案的解決流程是什麼？」。可以看到大模型給出了一個基礎的解決流程的答案。

要上生產環境用大模型代替律師工作，最簡單就是通過提示詞調優。

可以明顯看到，右邊增加了人設、風格、指令約束。輸出結果更像真人律師，這就是提示詞優化的作用。

提示詞優化看似容易，其實沒有那麼簡單，有很多的原則來適應模型和應用的需求。

為了進一步降低客户使用門檻，我們今天發佈 Prompt 模板。用户可以一鍵複製，只要稍作改寫，大模型的輸出效果就會更好。

如果想進一步提升應用場景下模型能力，第二招對模型進行模型訓練，也就是我們經常説的模型精調。精調可以使模型風格、行為和應用需求對齊，有效提升模型效果。

千帆 ModelBuilder 提供的就是全流程的、模型訓練和模型精調的工具鏈，包含：數據管理、訓練模式、開發工具、評估優化、推理部署、大模型周邊系統。

舉個例子，寧波傳媒使用千帆 ModelBuilder 模型精調工具，打造了一個小記者作文 AI 點評助手。通過視頻來看下開發過程和應用效果。

今天，基於我們平台越來越多的場景實踐，沉澱了一系列的模型精調樣板間，進一步降低模型調優門檻。

企業只需要跟隨樣板間的步驟，一步一步設置模型訓練的參數，就可以訓練出符合企業需求的場景化模型。

我們在千帆 ModelBuilder 工具鏈不斷迭代的過程中，又給大家提供了一個新的方法——模型蒸餾。

通過調用旗艦大模型產生的問答對，經過篩選得到有效的訓練數據。在降低數據標註成本的同時，通過精調得到成本更低、耗時更優、效果趨近旗艦模型的輕量級大模型。

舉個例子，百度電商數字人直播，通過模型蒸餾後，相比旗艦級模型效果能達到 90%，同時達到旗艦級 6 倍的速度，10% 的成本；更好的適應我們場景應用在效果、性能和成本之間的平衡。

客户在使用面臨一個問題：模型剛上線符合預期，過了一段時間模型應用效果下降。

為什麼下降？——用户請求 query 結構會發生改變。

怎麼辦？——持續調優。通過千帆 ModelBuilder 提供的工具鏈，幫企業建立自己的數據飛輪，根據用户反饋，持續迭代模型，讓模型越用越聰明。

大模型應用效果優化第三招：模型能力增強。即給模型增加外部能力，比如檢索增強能力和工具能力。

這個例子，是北京大學通過千帆 AppBuilder 的企業級 RAG 能力，打造了一個智能 AI 校園助手「小北學長」。

可以看到，這個校園助手的創建，就是外掛了北京大學獨有的 30 萬+ 知識文件，滿足校園內特定場景的知識問答，回答準確率高達 95% 以上。

今天，千帆 AppBuilder 除了提供企業級 RAG 能力，還有企業級 Agent、企業級部署、企業級集成，共 4 大企業級能力。

大家知道 Agent 具備自主思考、自主編排、記憶、反思等能力，能夠自主的做任務規劃，一定程度上為企業降本增效。

但也有一些場景，需要嚴格按照企業的 SOP，也就是設定好的工作流來進行任務執行，就是我們今天全新發布的工作流 Agent 能力。

下面我們來看個例子：通過工作流 Agent，模擬航空公司客服人員，做機票退改簽。

通過工作流 Agent，可實現流程高可控、低代碼靈活編排、全局知識兜底、絲滑話題切換。

構建智能體應用，逐漸變成一個統一範式。

為了進一步降低應用開發門檻，我將帶來今天的第三個發佈：大模型應用樣板間。

這些應用樣板間，覆蓋高達 100 多個場景。通過模板，一鍵複製到自己的工作台，稍作改寫，就可以落地成企業自己的應用。

除了智能體作為應用載體之外，還有非常多的企業級傳統應用，過去是通過寫代碼的方式開發，今天我們通過大模型也實現了零代碼分鐘級開發，它就是 AI 速搭平台。

繼 9 月份雲智大會發布之後，今天又有了全面的能力升級，實現了移動端的適配。

這個示例，是通過 AI 速搭一句話生成圖書管理系統。

今天我的發佈到此結束，非常希望通過千帆平台，以及我們的一系列樣板間，持續為大家提供最低門檻、最高效易用的大模型落地工具，加速企業落地的最後一公里。

希望大家使用千帆，一起來構建更多的企業級 AI 原生應用。

應用已來，千帆助航。百度智能雲千帆大模型平台願在大模型的浪潮裏，與企業一道乘風破浪，引領航向。

————END————

推薦閲讀

輕鬆搞定平穩運行，數據庫平台 DBStack 幫助 DBA 運維不同基礎設施上的各類數據庫

基於PP-ShiTuv2新增PaddleX圖像識別模型產線，顯著提升商品識別等細粒度開放域產業場景檢索性能

基於GPU的ANN檢索

維度爆炸背景下uv計算在Feed業務的高效實踐

數據湖系列之四  | 數據湖存儲加速方案的發展和對比分析