核心觀點
1. 通用大模型想解決營銷領域問題需向垂類模型轉型。
“全才”通用大模型難覆蓋廣告營銷全流程，需升級為“懂營銷”的垂直模型，實現從“知道”到“落地執行”的三維跨越。
2. 廣告智能體破解傳統投放門檻高效果不穩定難題。
把簡單留給客户，讓複雜交給AI。傳統投放對中小商家門檻高，廣告投放智能體憑“一句話指令”實現自動化操作與調優，讓廣告主從 “操作崗” 解放出來，專注做 “戰略崗”。
3. 端到端建模而非分階段傳統算法建模，GRAM助力廣告建模代際突破。
AI電商時代的端到端LLM召排一體能力，藉助GRAM（Generative Retrieval and Alignment Model，生成式檢索對齊模型）實現“意圖識別、檢索、排序、機制” 有機融合。
4. 廣告創意優化引入CTR建模，除了要解決“好看”的問題還需要解決效果難題。
京東廣告的圖像、視頻的生成+優選能力，破除傳統生成技術“好看但不轉化”問題，以CTR為指導，平衡視覺審美與商業價值。
5. 廣告算法、數據、算力協同優化非硬件堆砌，實現大模型超低延遲推理能力。
算法、算力等實時化能力是廣告長期追求的。通過定製化和芯片級優化工作，讓大模型從大規模“紙上談兵”到“毫秒級實時服務”，實現“業務級算力”落地。
6. 三駕馬車驅動廣告算法長期演進。“數據、算法、算力”協同將推動廣告算法持續變革，最終實現三方共贏。
演講實錄
以下是演講實錄（經不改變原意的編輯整理）
很榮幸和大家一起探討一個核心話題 —— 大模型時代的廣告營銷變革與實踐，而我們今天的主角，就是京東自主研發的廣告營銷大模型體系。可能很多朋友會好奇，大模型到底能給廣告營銷帶來什麼？是效率的微小提升，還是模式的徹底重構？接下來我會從技術發展、產品落地到行業實踐，帶大家全面看清這場變革的全貌，也讓大家感受 JoyAI Oxygen 如何把 “複雜的技術” 變成 “好用的工具”，把 “營銷的難題” 變成 “增長的機遇”。咱們現在就正式開始！
一、廣告營銷領域大模型的發展
我們先聊聊大模型在廣告營銷領域的 “成長路徑”。其實現在整個行業的大模型，已經走過了 “從零散能力到系統能力” 的關鍵階段，從過去幾年的大模型發展歷程來看，尤其是從22年以對話式大模型發佈以來，業內的日常對話式的大模型不論是基礎模型還是領域精調的模型都日益成熟，甚至是實現了局部的“跨學科整合”。現在的大模型不再只懂 “單一技能”，像經驗中學習、數學邏輯推理，甚至文本圖像創作、代碼編寫、日常對話這些單個領域，都已經發展得比較成熟了 —— 這就好比以前是 “專才”，現在變成了 “全才”，但能不能能應對廣告營銷裏從策略到執行的多環節需求，依然存在不小的挑戰。主要能總結成3個核心方向：
第一是從通用到專用。通用大模型懂 “通識”，但廣告營銷需要 “垂類能力”—— 比如怎麼根據行業季節趨勢做投放決策、怎麼理解用户的深層消費需求，這些都需要我們把垂類知識、連續決策能力、推理感知能力注入進去，讓模型從 “懂常識” 變成 “懂營銷”。如何進一步打造投放能力與提升投放效率也是我們要破解的難題。
第二是從理解到決策。以前的 AI 可能只能 “看懂數據”，比如告訴你 “這個計劃 ROI 低”，但現在的大模型能直接給方案 —— 這背後其實要解決三個大挑戰：體量大的垂類數據怎麼處理、高難度的推理感知技術怎麼落地、廣告主需求理解、終端用户理解和連續決策，這些都是我們要突破的關鍵點。
第三是從算法到算力。算法再好，沒有足夠的算力支撐也跑不起來，尤其是廣告營銷需要實時響應，這就要求我們在算法優化的同時，必須解決算力的效率和安全問題 —— 這也是我們後面會重點講的 “硬實力”。
簡單説，大模型給廣告營銷的，不是 “錦上添花” ，而是 “換道超車” 的機會。下面我們分別來看這三個難題如何解決。
二、廣告投放智能體：把簡單留給客户，把複雜交給AI
廣告投放智能體：一句話實現廣告投放的自動化智能化
有了大模型作為基礎，怎麼把它變成廣告主能用、好用的工具？答案就是廣告投放智能體 —— 核心一句話：把簡單留給客户，把複雜交給 AI。
大家可以回想一下傳統廣告投放是什麼樣的：要自己做操作，比如調預算、改定向；要自己做決策，比如哪個計劃該加投、哪個該暫停，全靠經驗和零散數據；最後效果好不好，還得被動等數據反饋，有問題再答疑。整個過程又累又容易出錯，尤其對中小廣告主來説，門檻太高了。當然，過去幾年業內主流廣告平台在過去幾年提供了很多智能投放的工具能力和診斷分析能力，包括我們自己的京東廣告平台——京準通，但是我們認為依然做的不夠。
但有了投放智能體，完全不一樣了 ——一句話就能驅動所有動作。比如你説 “ROI≥2 且消耗＞100 的計劃，預算 +20%”，或者 “優化計劃 542486x”，後面的事就不用管了：
- 編輯 Agent 會自動處理計劃的參數調整；
- 投放 Agent 會執行預算分配和投放策略；自動完成商家經營情況分析、歷史投放分析、操作歷史分析、投放偏好分析、行業競對分析，給出投放產品推薦、人羣、預算、出價、創意等全套設置步驟。
- 優化 Agent 會實時盯着數據，要是效果有波動，還會主動調整，而不是等你問。
以前需要花幾小時甚至幾天的操作，現在一句話、幾秒鐘就能搞定。這不僅是效率的提升，而是把廣告主從 “操作崗” 解放出來，專注做 “戰略崗”。
投放智能體背後的“大腦”與“手腳”
那這個 “一句話驅動” 的背後，靠的是什麼？其實是一套專注營銷的 “大腦 + 手腳”—— 也就是多 Agent 協作體系。
首先看 “手腳”：我們有成百上千個Agent，這裏看四個核心 Agent，分別負責廣告優化、廣告投放、廣告編輯和廣告創意，覆蓋從策略到創意、從投放 to 優化的全流程。比如創意 Agent 能自動生成廣告素材，優化 Agent 能實時調策略，四個 Agent 不是各自為戰，而是靠 “規劃和協作” 機制聯動。
再看 “大腦”：要讓 Agent 們協作順暢，得有三大技術支撐：
第一是ReAct 框架—— 讓智能體不僅能 “思考”（分析數據和需求），還能 “行動”（執行操作），不是隻會算，而是能落地；
第二是A2A 協議—— 這是 Agent 之間的 “溝通語言”，廣告設計、優化、分析之間能實時同步信息，不會出現 “優化 Agent 調了預算，投放 Agent 不知道” 的情況；
第三是長短期記憶管理—— 讓智能體既能記住 “當下的需求”（比如你現在要加預算），也能繼承 “過去的經驗”（比如去年這個季節同類產品怎麼投效果好），不會每次都 “從零開始”。
最後，光有技術還不夠，我們還往 “大腦” 裏裝了 “知識”：通過 SFT（監督微調）讓模型快速適應廣告場景，通過 RLHF（基於人類反饋的強化學習）讓模型更懂廣告主的真實需求，再注入實時的行業數據，讓模型能跟着季節、趨勢迭代 —— 比如 618 前會自動預判大促流量規律，春節前會調整年貨相關的投放策略。
簡單説，這套體系不是 “單個 AI 在幹活”，而是 “一個 AI 團隊在服務你”。
三、召排一體——GRAM：面向AI電商的LLM廣告代際突破
### 召排一體思想實現端到端生成
解決了廣告主“投放”的問題，我們再看廣告營銷的另一個核心環節 ——“召排一體”，在面向終端消費者的場景上，對應胡喜總前文提到的AI驅動的電商，也就是怎麼把用户需求和商品精準匹配上的同時還要融合廣告主營銷的訴求。這也是大模型給我們帶來的代際突破。
説説傳統的 “級聯架構” 有什麼問題：它是 “黑盒式” 的 —— 用户輸入搜索詞、瀏覽歷史後，系統會經過聚合、召回、排序等多個模塊，每個模塊各自迭代，中間沒有統一的 “意圖理解”。結果就是：多模塊迭代複雜，改一個地方可能影響一串；相關性匹配缺乏用户深層意圖的理解，比如用户搜 “夏天用的小電器”，可能推了風扇但沒推驅蚊器；而且解釋性差，你問 “為什麼推這個商品”，系統説不清楚。
但 LLM 時代的 “召排一體” 是完全不同的 “白盒式” 邏輯 ——端到端的需求推理與滿足。整個鏈路是 “用户請求→thinking→場景→需求→商品”：
比如用户説 “給寶寶選夏天防蚊的”，LLM 會先 “思考”：場景是 “寶寶使用”，需求是 “温和防蚊”，然後直接解碼到對應的 SKU（比如兒童專用驅蚊液）。這裏面有兩個關鍵：
第一是 “用户意圖編碼”，把模糊的請求變成清晰的需求標籤；
第二是 “獎勵模型”，會根據用户點擊、轉化數據實時調整，讓推理越來越準。
最終實現的是 “用户畫像→需求→商品” 鏈路一體化，不再是 “各管一段”，而是 “從需求到商品一步到位”。
京東廣告流量端生成式模型架構——GRAM
有了召排一體的邏輯，我們在京東的流量場裏落地了一個核心模型 ——GRAM（Generative Retrieval and Alignment Model，生成式檢索對齊模型） 。它的核心作用，就是讓 “用户請求” 和 “商品” 精準對齊，並在符合廣告主的營銷訴求的約束下運轉。
大家可以看一下模型的邏輯：
首先是 “生成式檢索”：當用户輸入一個 Query（比如 “輕薄防曬衣”），GRAM 的 “Query-code generator” 會生成對應的 “請求編碼”；同時，商品標題會通過 “Product-code generator” 生成 “商品編碼”—— 這就好比給用户需求和商品都發了 “統一的身份證編碼”。
然後是 “對齊（Alignment）”：系統會把 “請求編碼” 和 “商品編碼” 做匹配，不管是稀疏檢索還是稠密檢索，都能快速找到最匹配的商品；接着再經過預排序、精排序，最終推給用户。
我們藉助生成式大模型技術完成了QP、Retrieval、Pre-Ranking和Ranking的全過程，並且我們的研發工程師將上述的過程已經壓縮到了30-50ms級別的P99時延內，破解了傳統大模型無法在廣告場景實時推理的難題。
更重要的是，GRAM 不是 “一次性匹配”，它還有 “近線系統（Nearline System）”：會通過用户反饋（比如點擊、購買）不斷更新 “商品編碼庫”，讓匹配越來越準。比如用户搜 “輕薄防曬衣” 但買了帶冰感的，下次就會優先推冰感材質的 —— 真正實現了 “意圖識別、檢索、排序、機制” 幾者融合，讓服務既快又準。
四、廣告創意優化：引入CTR建模，平衡美觀與廣告商業價值
強化學習結合CTR驅動的AIGC圖片生成
除了 “找人找貨”，我們也針對用户視覺面積最大的區域——圖片和視頻做了生成改進，我們還做了業界首個基於強化學習結合 CTR（點擊通過率）驅動的 AIGC 圖片生成模型。傳統的 AIGC 圖片可能只好看，但不一定能帶來點擊；而我們的生成邏輯是 “效果導向”：
首先，我們會給模型一個 “指令（Instruction）”，比如 “生成一款適合敏感肌的防曬霜廣告圖，突出温和、防曬指數 SPF50+”；
然後，“獎勵模型（Reward Model）” 會介入 —— 這個模型是用大量廣告的 CTR 數據訓練的，知道 “什麼樣的圖片更容易被點擊”，比如顏色搭配、文案位置、產品展示角度；
最後，LLM 會結合指令和獎勵模型的反饋，生成既符合創意需求、又能提升 CTR 的圖片。
大家可以看屏幕上的示例：“驅蚊更温和”“超 A 質地巨輕盈”“2800mg 精華”“不到 2 分鐘起效”—— 這些文案不是隨便加的，都是 CTR 數據證明 “用户更關注” 的點；圖片的色調、產品擺放也都是經過效果驗證的。這樣生成的圖片，不用再靠 “感覺” 判斷好不好，而是有數據支撐的“好”。
相關工作也發表在 ECCV 及 WWW 上。
### 基於多策略評估體系的視頻智能體
除了圖片之外，視頻廣告的需求也越來越大，所以我們還打造了基於多策略評估體系的視頻智能體（Agent） 。它的核心是 “不只是生成視頻，而是生成能帶來效果的視頻”。整個流程是 “從輸入到投放全閉環”：
第一步是 “輸入規劃”：你給一個需求（比如 “生成一款化妝品的短視頻，突出抗衰老、時尚”），Planning Model 會結合 “素材庫”“專家視頻庫” 做策略規劃，比如用 “數字人講解 + 產品實測” 的形式；
第二步是 “多策略生成”：系統會同時嘗試多種方案 —— 比如故事腳本生成（講一個試用者的故事）、視頻摘要（剪產品核心賣點）、數字人出鏡、圖轉視頻（靜態圖變動態）、口播文案生成，還會自動配 BGM、加字幕和語音；
第三步是 “評估優化”：Evaluation Model 會結合兩個維度評估：一是 VLM（視覺語言模型）的質量評估（畫面是否清晰、文案是否通順），二是在線 CTR 數據反饋（用户是否願意看、是否點擊）；然後 Summary Model 會根據評估結果迭代策略，比如發現 “數字人講解” 的 CTR 更高，下次就優先用這個策略；
最後是 “上線投放”：確定最優策略後，直接對接投放系統，實現 “創意生成→評估→投放” 一體化。
這樣一來，就算你沒有專業的視頻團隊，也能快速生成高質量、高轉化的廣告視頻。
五、廣告算力協同優化，實現大模型超低延遲實時推理
面向廣告業務特性的超低延遲推理定製化解法
不管是投放、召排還是創意生成，廣告業務有個核心要求 —— 實時響應。用户的需求轉瞬即逝，延遲一毫秒可能就丟了一個轉化。所以我們專門做了 “超低延遲推理定製化解法”，解決 “快” 的問題。具體有三個關鍵點：
第一是超低延遲 & 調度優化。我們用了 PD 混合調度、異步算子調度技術，把 P99 延遲（也就是 99% 的請求響應時間）壓縮到了原來的十分之一，甚至幾十分之一—— 比如以前要幾百毫秒甚至幾秒，現在只要 30-50 毫秒，完全能跟上用户的實時需求；
第二是定製化模型 & 受限生成。我們會裁切模型的 LM Head 權重、做 Logits Mask，這樣能降低 token 的概率空間和 BeamSearch 的搜索空間 —— 簡單説就是 “讓模型少走彎路”，吞吐能力提升了 70% 以上，能同時處理更多請求；
第三是算力安全 & 異構計算。我們重新思考和設計了混合算力模式下的異構推理能力，讓各種算力混合調度，藉助CPU-xPU 異構資源池和可信執行能力 —— 既能保證高吞吐、低時延，又能確保數據安全，不會出現數據泄露的問題。
總結一下：這套解法讓我們的大模型不僅 “聰明”，還 “反應快、更安全” 。
基於 ARM 國產芯片的服務與推理優化
除了延遲和安全，我們還做了基於 ARM 國產芯片的服務與推理優化，讓大模型能在國產硬件上高效運行，實現算力自主可控。這裏有三個核心優化方向：
第一是KV-Cache 優化。我們搭建了 SSD/SRAM-DRAM/HBM 三級緩存，用異步讀取的方式加速計算 —— 就好比給模型建了 “快速存取的倉庫”，讓通信、算力的調度協調起來，形成巨大的計算加速收益；
第二是指令集優化。在CPU側的特徵計算和DNN計算上，我們跟合作伙伴深度優化後的鯤鵬 KDNN 算子，和開源的 oneDNN 比，通過向量化、軟硬件預取等技術，在 Matmul（矩陣乘法）、Conv（卷積）這些核心計算上算子，較業內開源至少提升30%，幾乎帶來了1-2個芯片製程代際的領先。
第三是編譯優化。我們做了高性能圖編譯、親和圖編譯優化，還有指令級別的自動調優 —— 讓模型能更好地適配 ARM 芯片的指令特點，發揮硬件的最大性能，至少帶來了10%以上的提升。
這一步的意義，不只是 “降成本”，更是讓數據、算法、算力這三駕馬車也將在未來持續助力京東在大模型時代的廣告營銷持續演進和變革，也為我們的廣告主、消費者帶來更高的效率、更優的體驗、更極致的產品服務。
六、展望&結語
讓廣告主更省心、讓消費者更開心！
從大模型在廣告營銷領域的 “通用到專用、理解到決策、算法到算力” 3大發展方向，到廣告投放智能體、召排一體體系，再到 GRAM 模型、AIGC 創意生成、超低延遲推理、ARM 國產芯片優化 —— 我們做的所有事情，核心只有一個：讓大模型真正服務於廣告營銷的 “價值” ，讓廣告主更省心、更高效，讓用户看到更精準、更有價值的廣告。
當然，大模型給廣告營銷的變革才剛剛開始，後面還有很多可能性等着我們一起探索。期待更多行業有志之士加入我們，共建大模型時代的廣告營銷新生態！
最後，今日所講的內容，在公共區域也有專門的演示展台，歡迎各位前去體驗，謝謝大家！
