動態

詳情 返回 返回

AI質量專項報告自動分析生成|得物技術 - 動態 詳情

一、背景

在日常工作中,常需要通過各項數據指標,確保驅動版本項目進展正常推進,並通過各種形式報表數據,日常總結日報、週會進展、季度進行總結輸出歸因,分析數據變化原因,做出對應決策變化,優化運營方式,目前在梳理整理校準分析數據需要大量的時間投入、結合整體目標及當前進展,分析問題優化的後續規劃。

常見形式

人工收集

數據來源依賴於各系統平台頁面,通過人工收集校準後填寫再通過表格公式計算,或者可以通過多維表格工作流觸發通知等功能。

image.png

quickbi報表

通過ODPS搭建自定義報表,實現快速收集數據,複製報表到飛書文檔內進行異動分析。

image.png

平台能力開發

通過代碼開發文檔導出能力,根據固定模板生成數據分析,該能力開發人力成本較高,需要針對不同平台數據源定製化開發。

image.png

AI Studio智能體平台

研發效能團隊基於開源Dify項目社區部署,可以根據需求自定義sop,多模型的可選項,選擇最適合業務的模型。每個工作流節點可自定義流程的判斷分析,輕鬆上線可投產的AI Agents。

Dify是一個支持工作流編排的AI智能體平台,輕鬆構建並部署生產級 AI 應用。其核心功能包含:

  1. 以工作流的方式編排AI應用,在工作流中可以添加LLM、知識庫、Agent工具、MCP服務等節點,工作流支持分支流轉、節點循環、自定義節點等高級能力項。
  2. 支持在工作流中調用公司內部的Dubbo/gRPC服務。(插件實現)
  3. 知識庫管理,通過構建私有知識庫以增強 LLM 的上下文。
  4. 與內部平台集成,支持H5頁面嵌入、API的方式與內部平台集成。
  5. 主流模型集成,支持使用多種主流模型如DeepSeek、OpenAI等,支持多模態模型。

對標的業界產品有:

  • 釦子:https://www.coze.cn
  • FastGPT:https://tryfastgpt.ai
  • n8n:https://n8n.io

✅ 多模型選擇(適配不同業務場景)

✅ 可視化工作流搭建(支持自定義SOP)

✅ 全鏈路可觀測性(實時調試優化)

綜上本期實踐利用AI工作流平台針對報告進行生成分析輸出,讓使用方迴歸到聚焦數據歸因分析上,減少數據收集分析、文檔編寫成本。

image.png

二、應用實踐

實踐效果

整體分析數據從哪來->需要輸出什麼樣的格式->優化模型輸出結果,三步驟針對輸出結果進行調優。

image.png

自動化成熟度分析工作流搭建案例

image.png
運用效果

image.png

報告效果

image.png

飛書機器人通知歸因分析

image.png

數據處理

image.png

LLM:通過用户輸入分析獲取數據源請求格式,配置好對應數據的映射關係模型自行獲取對應數據。

提示詞輸入

image.png
格式化輸出配置

image.png

http請求:通過用户輸入分析後的參數構造請求參數,通過固定接口拉取數據,支持curl導入功能。

image.png

代碼執行:支持python、js代碼對結果數據進行處理過濾,提升分析結果準確性。

image.png

模型提示詞

如文檔整體分為不同模塊可設定不同模型節點處理,每個模塊增加特定提示詞處理節點內容,模型並行分析處理,提升輸出穩定性和輸出效率,再通過LLM輸出整合進行整體輸出。

image.png

在模型輸入上下文及用户輸入,通過獲取的數據指定輸出格式,設定提示詞,提供AI結合模板輸出對應形式。

image.png

通過銜接上下節點返回內容最終整合報表輸出結果,統一輸出樣式格式。

image.png

優化輸出

切換可用模型

遇到模型輸出不穩定或者未達到預期效果,可切換可用模型,尋找適配模型。

圖片

設定模型預載參數

設定模型預載參數,提升模型輸出準確度。

image.png

優化增加提示詞

優化增加提示詞提升輸出形式穩定性:角色定義 ->  字段映射 -> 模板説明 -> 實際數據填充 -> 輸出格式定義。

\`## 角色定義
你是一位接口自動化測試專家以及報告生成專家,負責將接口返回的數據映射字段結合模板輸出一份有效的自動化成熟度報告-穩定性部分。

接口返回數據字段映射關係:

基礎字段:
bu\_name:業務域名稱。
parent\_bu\_id:業務域。

穩定性指標字段:
total\_auto\_stability\_score:穩定性評分
iter\_case\_success\_rate: 迭代自動化成功率
iter\_case\_success\_rate\_cpp: 迭代自動化成功率環比
auto\_case\_failed\_rate: 自動化失敗率
auto\_case\_failed\_rate\_cpp: 自動化失敗率環比
case\_aigc\_avg\_score: 用例健壯有效性評分
case\_aigc\_avg\_score\_cpp: 有效性評分環比

模板:

2.2 自動化穩定性
用表格展示自動化穩定性,表格內容包含所有一級業務域、二級業務域。
表頭按照順序輸出:
1、業務域
2、自動化穩定性評分
3、迭代自動化成功率
4、迭代自動化成功率環比
5、自動化失敗率
6、失敗率環比
7、用例健壯有效性評分
8、有效性評分環比

重點關注項:xxx --僅分析二級業務域的穩定性性指標字段,列出需重點關注指標。

模板説明:

1、以html格式輸出,增加內容豐富度,不輸出任何多餘內容。
2、表格説明:表格需要包含所有業務域數據。不要省略或者缺少任何業務域數據,將所有業務域展示在同一個表格內。
3、表格行排序:根據評分從高到低排序。
4、環比字段説明:指標環比下降環比字段標記紅色,環比提升字段標記綠色,不標記背景色。

任務説明

1、用户將提供接口返回的JSON數據。
2、根據接口數據和匹配字段映射關係。
3、結合模板以及模板説明html形式輸出,不輸出任何多餘內容。
請你根據以上內容,回覆用户,不需要輸出示例。\`

模板轉換

輸出的表格形式通過模板轉化固定輸出html表格形式,提升模型輸出穩定性。
image.png

輸出形式

以markdown形式或以html形式輸出,複製到飛書文檔上進行輸出。

image.png

飛書機器人通知歸因分析

image.png

生成飛書文檔

支持飛書應用直接新建飛書文檔,markdown形式輸出。

image.png

對話返回生成後的飛書文檔地址及分析:

image.png

三、總結

在日常工作中如何有效利用數據指標驅動項目進展,現有數據收集和分析流程中面臨的挑戰。通過手動收集數據、生成報表、平台開發等傳統方式,需要投入大量時間和人力資源,導致工作效率低下。

為此,引入了研發效能AI 智能體平台,AI工作流平台不僅改進了數據處理方式,還提升了報告生成的效率和準確性,從而增強了業務洞察力。進一步豐富工作流和知識庫,提高對核心數據指標的分析能力,並針對異常數據指標進行細緻剖析,為團隊提供更深入的指導和支持。

此外,相似場景的處理也可以藉助AI工作流進行優化,有望在多個業務領域推廣應用。

四、後續規劃

  • 豐富工作流:豐富結合知識庫,針對每項核心數據指標提升建議以及業務域現狀給予業務域具體指導建議。
  • 明細下鑽分析:獲取對應數據指標異常後,結合明細數據進行分析,具體到用例、人員級別。
  • 類似場景可通過AI工作流處理:固定模板數據源報告類、週會均可使用該方法減少人工投入成本。

往期回顧

1.Rust 性能提升“最後一公里”:詳解 Profiling 瓶頸定位與優化|得物技術

2.Valkey 單點性能比肩 Redis 集羣了?Valkey8.0 新特性分析|得物技術

3.社區搜索離線回溯系統設計:架構、挑戰與性能優化|得物技術

4.正品庫拍照PWA應用的實現與性能優化|得物技術

5.得物社區活動:組件化的演進與實踐

文 / 笠

關注得物技術,每週更新技術乾貨

要是覺得文章對你有幫助的話,歡迎評論轉發點贊~

未經得物技術許可嚴禁轉載,否則依法追究法律責任。

user avatar nihaojob 頭像 u_16502039 頭像 xuxueli 頭像 u_11365552 頭像 milton 頭像 jmix 頭像 lu_lu 頭像 xiaohe0601 頭像 coderdd 頭像 shouke 頭像 changlina 頭像 gvison 頭像
點贊 36 用戶, 點贊了這篇動態!
點贊

Add a new 評論

Some HTML is okay.