Stories

Detail Return Return

愛瑪集團:All In SelectDB 構建極速統一數據平台,領航 AI 數智化實踐 - Stories Detail

愛瑪集團作為電動車行業的領軍企業,在經過三年多的數智化轉型實踐,成功構建了 All In SelectDB 的統一數據平台,實現了從傳統 Hadoop 多組件架構到 SelectDB 輕量級一體化平台的轉變,數據處理效率提高 5-8 倍,系統穩定性顯著提升。與此同時,引入 MCP Server 智能交互查詢,這背後,是愛瑪集團在數據技術選型、架構設計和平台建設方面的深度思考與實踐。

在電動車行業競爭日益激烈的今天,數據成為企業核心競爭力的重要組成部分。愛瑪集團作為電動車行業的領軍企業,在數智化轉型的道路上同樣面臨着數據分散、處理效率低下、故障恢復時間長等諸多挑戰。

經過三年多的探索和實踐,愛瑪集團成功構建了 All In SelectDB 的統一數據平台,實現了從傳統 Hadoop 多組件架構到輕量級一體化平台的華麗轉身。調度時間從最初的 8 小時縮短至 2 小時,故障恢復時間從平均 4 小時降至 0.5 小時,數據呈現速度從平均 8 秒提升到 1 秒內,這些顯著的性能提升背後,是愛瑪集團在數據技術選型、架構設計和平台建設方面的深度思考與實踐。

數智化轉型.PNG

一、背景

愛瑪科技集團股份有限公司成立於 1999 年,是中國電動車行業的龍頭企業之一。經過二十多年的發展,愛瑪已成為集電動自行車、電動摩托車、電動四輪車研發、生產、銷售於一體的大型集團企業。公司在全球擁有 11 大生產基地,產品銷往全球 80 多個國家和地區,年產銷量超過 1200 萬台,連續多年位居行業前列。

愛瑪背景.PNG

作為傳統制造業企業向科技公司轉型的典型代表,愛瑪集團將數智化轉型作為企業發展的核心戰略。公司樹立了“全球領先的便捷出行科技公司”的願景,通過“硬件技術+軟件技術+數據技術”三大技術支柱,構建核心競爭力。在數據戰略方面,愛瑪明確提出要讓高質量清潔數據成為企業核心資產,支撐業務的全面數字化和智能化。

隨着業務規模的快速增長和數字化程度的不斷深入,愛瑪集團面臨着如何快速構建低成本、高性能的數據技術平台體系來支撐數智化轉型戰略落地的核心挑戰。

二、早期業務挑戰

愛瑪早期業務挑戰.PNG

  • 數據基礎設施分散,運維成本過高

    • 在數據平台建設初期,愛瑪集團採用了典型的 Hadoop 多組件架構方案。整個數據技術棧包含了 Greenplum、MySQL、Impala、SAP HANA、Hive 等多種數據庫和計算引擎,數據開發需要在多個系統間切換,開發人員需要掌握不同組件的使用特性和語法差異,學習及用人成本高昂。每個組件的配置參數、監控指標和故障處理機制各不相同,當某個環節出現故障時,整個數據處理鏈路都會受到影響,團隊需要花費大量時間在系統運維上,真正用於業務價值創造的時間嚴重不足。
  • 數據處理性能瓶頸明顯

    • 隨着業務數據量的快速增長,原有架構的性能瓶頸也隨之而來。在架構 1.0 階段,整個數據調度需要 6 小時以上,可視化數據展示時長超過 8 秒,用户體驗極差。當系統出現故障時,恢復時間長達 3 小時以上,嚴重影響了業務決策。
  • 實時數據處理能力缺失

    • 早期階段,愛瑪主要採用傳統的批處理模式,隨着業務的發展,越來越多的場景需要實時數據支持,如實時電商銷售監控、庫存預警、生產線狀態監控等。傳統的 T+1 數據更新模式已經無法滿足快速變化的市場需求。實時數據處理能力的不足,使得愛瑪在多個關鍵業務場景中缺乏數據支撐,嚴重製約了業務場景的發展。

方案嘗試與其侷限性

為了解決上述問題,愛瑪技術團隊曾嘗試引入實時數據處理組件。在架構 2.0 階段,團隊引入了 SelectDB 作為實時數據倉庫的補充,希望通過增加新的技術組件來解決實時性問題。

然而,這種增量式的改進並沒有從根本上解決問題。新引入的組件雖然在一定程度上緩解了實時性問題,但同時也增加了系統的複雜度。數據需要在不同系統間流轉,增加了數據一致性的風險。團隊需要同時維護更多的組件,技術棧的複雜度進一步提升。

更重要的是,這種架構仍然沒有解決根本的性能問題。調度時間依然超過 7 小時,故障恢復時間仍需 3 小時以上,數據展示速度也沒有明顯改善。增加組件數量帶來的邊際收益遞減,甚至在某些場景下,組件間的協調成本超過了性能提升的收益。經過一段時間的實踐,技術團隊意識到,單純的組件堆疊並不能解決根本問題,而是需要從架構層面進行系統性的重新設計。

三、解決方案

技術選型的深度思考

愛瑪_selectdb解決方案.png

在經歷了前兩代基於 Hadoop 架構的挑戰後,愛瑪技術團隊開始重新審視數據平台的技術選型策略。團隊意識到,與其繼續在現有架構基礎上修修補補,不如從根本上重新設計整個數據技術棧。

技術團隊在調研過程中發現,SelectDB 具備了他們所需要的核心能力:統一的 SQL 接口、極致的查詢性能、簡化的運維管理,以及對實時和批處理場景的統一支持。更重要的是,SelectDB 的架構設計理念與愛瑪對輕量級、高效率數據平台的需求高度契合。

通過深入的技術調研和 POC 測試,團隊發現 SelectDB 在導入速度、查詢性能、併發處理、運維簡易性、穩定性等關鍵指標上都表現出色。特別是在複雜查詢場景下,SelectDB 的性能表現遠超原有的 Hadoop 多組件組合方案。這些測試結果堅定了團隊選擇 SelectDB 作為核心數倉來重構新一代數據平台的決心。

統一數據架構設計

統一數據架構設計.png

基於 SelectDB 的統一分析架構成為了愛瑪數據平台 3.0 的核心設計理念。與之前的多組件架構不同,新架構以 SelectDB 為主要的數據處理引擎,SAP HANA 作為輔助補充,大幅簡化了技術棧的複雜度。

這種架構設計的最大優勢在於統一性。無論是實時數據處理還是批處理分析,都可以在同一個系統中完成,避免了數據在不同系統間流轉的複雜性。開發人員只需要掌握標準的 SQL 語法,就能完成大部分的數據開發工作,大大降低了學習成本和開發難度。

運維層面的簡化更是顯著。原來需要維護多套不同的監控體系,現在只需要關注 SelectDB 集羣的運行狀態。告警規則、性能調優、容量規劃等運維工作都得到了大幅簡化,運維效率顯著提升。

查算分離架構優化

查算分離架構優化.png

為了進一步優化性能和資源利用率,愛瑪團隊採用了查算分離的架構設計。通過 SelectDB 的 CCR(Cross Cluster Replication)功能,將計算和查詢負載分離到不同的集羣中。

計算集羣專門用於數據處理和 ETL 任務,配置了適合計算密集型工作負載的參數優化。這個集羣承擔了所有的數據加工、清洗、聚合等計算任務,確保數據處理的高效性。查詢集羣則專門用於對外提供數據查詢服務,只存儲需要對外展示的數據,儘量減少數據冗餘。這個集羣針對高併發查詢場景進行了專門優化,包括合適的索引策略、物化視圖配置等,確保查詢響應的快速性。

通過這種架構設計,計算和查詢負載實現了有效隔離,避免了相互影響。同時,不同集羣可以根據各自的負載特點進行針對性的優化,整體性能得到了顯著提升。

一站式數據開發平台構建

一站式數據開發平台構建.png

在統一數據引擎的基礎上,愛瑪團隊構建了完整的一站式數據開發平台。這個平台基於 Apache DolphinScheduler 進行了深度定製和擴展,提供了從數據接入到數據服務的全流程管理能力。

數據接入方面,平台結合 SelectDB 的 Catalog 功能,實現了源數據到 ODS 層的快速接入。開發人員只需要選擇源頭庫表和創建好的 Catalog,通過配置 CRON 表達式即可實現數據的定時同步,大大簡化了數據接入的複雜度。

在數據開發環節,平台提供了統一的開發界面,支持 Shell、SQL、存儲過程、Flink、Spark、Python 等多種開發方式。開發人員可以根據具體場景選擇最適合的技術棧,同時享受統一的調度、監控、告警等平台能力。

API 管理功能的加入進一步提升了數據服務的便利性。開發人員只需要選擇 SelectDB 數據源,通過表或 SQL 配置的方式即可完成 API 的暴露,無需編寫複雜的服務端代碼。這種配置化的 API 管理方式,大大提升了數據服務的開發效率。

智能化運維體系建設

智能化運維體系建設.png

為了提升運維效率和系統穩定性,愛瑪團隊在平台中集成了多項智能化運維功能。工作日巡檢排班功能通過配置工作日和巡檢人員信息,實現了動態的巡檢排班管理,確保每日夜間數據調度都有專人負責。

告警體系的建設也體現了團隊對用户體驗的重視。平台接入了阿里語音告警服務,當調度任務出現異常時,系統會自動撥打電話通知對應的巡檢人員,確保問題能夠得到及時處理。這種主動式的告警機制,大大提升了故障響應的及時性。

四、愛瑪基於 SelectDB 的數據管理實踐

場景一:企業級數據治理

愛瑪_SelectDB 構建場景一:企業級數據治理.png

作為一家大型製造企業,愛瑪集團的數據來源極其複雜多樣。生產數據來自各個工廠的 MES 系統,銷售數據分散在各地經銷商的 ERP 系統中,用户行為數據則源自移動 APP 和小程序等數字化觸點。這些異構數據系統在數據格式、字段命名、業務口徑等方面都存在顯著差異,給數據的統一管理和使用帶來了巨大挑戰。

基於新的一站式數據管理平台,愛瑪團隊實現了從被動治理到主動治理的根本轉變。平台在數據開發的每個環節都嵌入了治理機制,確保數據質量問題能夠在源頭得到控制。

數據標準化管理是整個治理體系的核心。團隊按照業務領域維度建立了完整的數據標準體系,涵蓋了數據定義、業務口徑、計算邏輯、質量要求等各個方面。這些標準不是簡單的文檔約束,而是直接嵌入到了數據開發平台中,開發人員在創建表結構、編寫計算邏輯時都必須遵循既定的標準。

元數據管理實現了自動化和實時化。在數據開發過程中,平台自動採集和更新元數據信息,包括表結構、字段含義、數據來源、更新頻率等。當數據開發完成時,相應的元數據也自動建立完畢,避免了傳統模式下元數據維護滯後的問題。

數據血緣關係的自動構建是另一個重要創新。平台能夠自動解析 SQL 語句中的表依賴關係,構建完整的數據血緣圖譜。當某個源數據發生變化時,系統能夠自動識別所有受影響的下游表和應用,為影響分析和變更管理提供了強有力的支持。

在數據安全領域,愛瑪團隊依據數據權限管理規範,構建了數據權限中心,通過 SQL 代理機制與 SelectDB 集成 ,實現了對用户數據查詢操作的功能權限與數據權限的精細化管控,同時實施訪問行為實時監控,以快速識別潛在風險隱患,全面保障集團數據安全。

通過系統化的數據治理,愛瑪的數據質量得到了顯著提升,數據標準覆蓋率達到 85%以上,核心業務指標的一致性問題基本消除。原來需要花費大量時間進行數據核對和校驗,現在通過自動化的質量檢查機制就能完成,數據分析師可以將更多精力投入到業務洞察上。

場景二:實時監控與智能決策

愛瑪_SelectDB 構建場景二:實時監控與智能決策.png

電動車行業的市場競爭異常激烈,市場變化瞬息萬變。愛瑪的管理層需要實時掌握銷售情況、庫存狀態、生產進度等關鍵經營指標,以便及時調整經營策略。傳統的 T+1 數據更新模式已經無法滿足快速決策的需求。

基於 SelectDB 的實時數據處理能力,愛瑪構建了全方位的實時業務監控體系。通過 Kafka 等消息隊列系統,銷售、生產、物流等各個業務環節的數據能夠實時流入 SelectDB 集羣,為實時決策提供數據支撐。

實時銷售大屏成為了管理層最重要的決策工具之一。大屏展示了全國各地區的實時銷售數據,包括銷量、銷售額、熱銷產品、區域排名等關鍵指標。數據的更新頻率達到了分鐘級,管理層可以隨時瞭解最新的市場動態。

在促銷活動期間,實時監控發揮了巨大價值。通過實時數據,市場團隊能夠及時發現銷售熱點,快速調整營銷資源投入。當某個產品在特定地區銷售火爆時,可以立即增加該地區的庫存投放;當促銷效果不達預期時,可以及時調整促銷策略或增加推廣力度。

生產監控系統的建設同樣依託於實時數據處理能力。各生產基地的設備運行數據、產品質量檢測數據、生產計劃執行數據等都實時匯聚到統一的監控平台。一旦出現設備故障、質量異常或生產延誤等情況,系統會立即發出告警,相關人員可以第一時間響應處理。

實時監控體系的建設為愛瑪的精細化管理提供了強有力的技術支撐。銷售響應速度顯著提升,從原來的天級響應提升到小時級,甚至分鐘級響應。在關鍵促銷節點,這種快速響應能力直接轉化為銷售業績的提升。庫存週轉效率得到明顯改善,整體庫存週轉天數減少了 15%,資金利用效率顯著提升。

場景三:SelectDB + AI 融合探索

愛瑪_SelectDB 構建場景三:SelectDB + AI 融合探索.png

隨着人工智能技術的快速發展,愛瑪集團明確了“數據+AI”雙輪驅動的戰略規劃。因此團隊在數據平台建設中積極探索 AI 技術的融入應用,基於 SelectDB 統一數據平台,系統性地推進數據分析的智能化升級,致力於打造真正意義上的智能化數據中台。

在技術選型方面,愛瑪團隊經過深入調研和測試,選擇了與 SelectDB 技術架構深度集成的大模型解決方案,確保 AI 能力能夠充分利用 SelectDB 的高性能計算優勢。

在開放生態建設方面,愛瑪集團與 SelectDB 團隊共同參與了 Apache Doris MCP Server 項目的實踐和優化。Apache Doris MCP Server 為愛瑪數據平台提供了標準化的 AI 接入能力。通過該服務,各種 AI 模型和應用可以通過統一的協議與 SelectDB 進行交互,極大地簡化了 AI 應用的開發和部署複雜度,為構建豐富的 AI 應用生態奠定了技術基礎。

自然語言查詢(NLQ)功能的實現是這種集成的典型體現。業務人員通過自然語言描述數據需求,比如“查看上個月華東地區電動自行車的銷售情況”或“分析最近一週生產線設備的故障率趨勢”,系統能夠自動將這些自然語言轉換為精確的 SQL 查詢語句,並在 SelectDB 中獲得執行結果。

在實際應用中,MCP Server 提供了近 30 種工具集,涵蓋了 SQL 查詢執行、元數據提取、性能分析、數據質量監控等多個方面。這些工具讓 AI 應用能夠深度理解和操作數據,不僅僅是簡單的查詢執行,還包括數據血緣分析、性能瓶頸識別、數據流依賴映射等高級功能。

Apache Doris MCP Server 最新進展:Apache Doris Data Agent 解決方案:開啓智能運維與數據治理新紀元

五、成果及價值

愛瑪成果及價值.png

技術性能的顯著提升

經過三年多的持續優化和實踐,愛瑪基於 SelectDB 的數據平台在各項核心指標上都實現了質的飛躍。調度時間從架構 2.0 階段的 8 小時以上,最終在架構 3.0 中壓縮到 2 小時內,處理效率提升了 70% 以上

數據查詢性能的提升同樣令人矚目。複雜查詢的響應時間從原來的 8 秒以上降低到 1 秒內,用户體驗得到根本性改善。故障恢復時間從原來的 3 小時以上縮短至 0.5 小時內,系統穩定性顯著提升。

運營成本的有效控制

統一數據平台的建設在顯著提升性能的同時,成本控制效益也十分明顯。整個平台的建設和維護投入約為 3-4 個人,全年人天投入約 1000 天,相比傳統的 Hadoop 多組件架構,人力成本降低了 40%以上

這種成本優勢主要來源於架構的簡化和運維的統一。原來需要維護多套不同的技術棧,現在只需要專注於 SelectDB 集羣的運維管理,大大降低了技術團隊的學習成本和維護成本。同時,SelectDB 提供的自動化運維工具進一步減少了人工干預的需求,提升了運維效率。

硬件資源的利用率也得到了明顯改善。通過查算分離的架構設計,計算資源和查詢資源實現了有效隔離和優化配置,避免了資源浪費。相比原來的多組件架構,整體硬件成本節省了 25%左右

更重要的是,平台的標準化和自動化大大降低了新項目的啓動成本。新的數據需求可以快速響應和交付,開發週期從原來的周級縮短到天級,極大地提升了業務支撐的敏捷性。

業務價值的深度釋放

數據平台的建設最終目標是為業務創造價值,愛瑪的實踐充分驗證了這一點。通過高效的數據服務,業務團隊能夠更加精準地洞察市場趨勢,優化經營決策,創造了顯著的業務價值:

  • 銷售預測的準確性得到大幅提升。基於實時數據和歷史趨勢分析,銷售預測的準確率提升到 85%以上,為生產計劃和庫存管理提供了可靠的依據。
  • 客户運營的精細化程度顯著提升。通過 360 度客户畫像和精準分羣,營銷活動的轉化率提升了 25%,客户生命週期價值增長了 20%。個性化的客户服務讓客户滿意度和忠誠度都有了明顯改善。
  • 生產運營的效率和質量也得到了提升。通過實時監控和預警,設備故障率下降了 20%,生產計劃執行準確率達到 98%以上。這些改善不僅降低了運營成本,也提升了產品質量和客户滿意度。

數據驅動決策文化在企業內部得到了廣泛普及。各級管理人員都習慣於通過數據分析來支撐決策,業務流程的科學性和規範性得到顯著提升。這種文化的轉變為企業的長期發展奠定了堅實基礎。

總結

愛瑪集團 All In SelectDB 的數據平台統一架構與 AI 數智化轉型實踐,已然成為傳統制造業轉型智能企業的典型案例。從 Hadoop 多組件複雜架構到統一平台重構的演進,凸顯了團隊在技術選型與架構設計的深度思考,以及在 AI 技術融合上的前瞻佈局——通過深度合作參與開源項目,既助力自身升級,也推動行業智能化發展。

從技術發展的角度來看,SelectDB 在這個案例中展現出的優秀性能和易用性,以及其在 AI 生態建設中的積極作用,為其他企業的技術選型提供了有力的參考。作為新一代的統一分析數據庫,SelectDB 在簡化架構、提升性能、降低成本、提升穩定性以及支撐 AI 應用等方面的優勢得到了充分驗證。

user avatar definecloud Avatar u_15641375 Avatar josie_68d213f999ae8 Avatar bizseerbishikeji Avatar kukudejiqimao_bns3pe Avatar digitalocean Avatar matrixorigin Avatar wuyujingcha Avatar leeqvip Avatar openpie Avatar reddish Avatar baqideyaling Avatar
Favorites 19 users favorite the story!
Favorites

Add a new Comments

Some HTML is okay.