導讀
上海證券引入 SelectDB 作為核心實時分析引擎，有效彌補了實時數據處理與分析的能力短板，實現湖倉一體與流批一體，同時替換了原架構中的 Elasticsearch 組件。達成了寫入性能提升 4 倍，支撐 1000+ QPS 高併發訪問，關鍵決策響應速度 200 ms，開發效率提升 50%，運維成本大幅降低的關鍵收益。
業務背景
上海證券成立於 2001 年 5 月，秉承“開放、包容、規範、協同”的核心理念，致力於成為“特色鮮明、區域領先、品牌知名”具有專業特色的財富管理型券商。近年來，上海證券資產規模持續擴大，經營實力不斷增強，取得了顯著的社會效益和經濟效益。
與此同時，數據基礎設施的建設也需進一步深化，以應對持續增長的業務規模帶來的挑戰。上海證券原先基於 Hadoop 體系建設數據平台，面臨着三重挑戰：
- 架構孤島化： 當前架構為煙囱式數據架構，存在多套獨立的數據採集、調度工具，協同效率低下。
- 標準體系缺失： 缺乏統一數據標準規範，全流程質量管控依賴技術部門強驅動。
- 服務能力斷層： 缺少“水到田頭”的數據服務，業務部門無法自助快速獲取數據，決策響應延遲較長。
為應對上述挑戰，上海證券計劃構建全棧信創數據中台，以同時滿足以下三方面核心需求：
- 技術需求：全面升級數據平台基礎設施，實現國產化與技術自主掌控，打造集數據治理、開發、分析、應用於一體的一站式平台。原有架構中，缺少實時數據處理與分析能力，需要引入相關產品，實現湖倉一體與流批一體能力，突破實時分析瓶頸。
- 業務需求： 全面支撐實時與離線計算、結構化與非結構化數據分析，賦能公司各業務線數字化轉型。
- 效率與成本需求： 全面整合公司數據資源，有效降低總體數據成本，顯著提升數據開發效率。通過選擇適配的產品組合，以最優路徑完成數據中台的構建。
基於 SelectDB 的數據中台方案
面對上述需求，上海證券於 2024 年 2 月正式完成基於 SelectDB 的數據中台基礎搭建，10 月實現全量業務遷移，目前處於深度應用期。
01 整體架構方案
- 全面支持 Hadoop 生態，實現湖倉一體： SelectDB 能夠無縫對接並高效訪問上海證券現有 Hadoop 體系中的 HDFS 存儲和 Hive 元數據，最大程度地複用已有數據資產。同時 SelectDB 提供高性能實時分析能力，統一支撐上海證券結構化與非結構化數據的分析需求。
- 構建數據治理、開發、服務一體化平台： 上海證券基於 SelectDB 構建的新平台整合了數據治理規範、統一開發流程和自助數據服務能力，解決了原有架構標準缺失、流程割裂的問題，實現了從數據入湖到業務應用的全生命週期一體化管理。
- 通過統一數據開發平台，實現流批一體： 利用 SelectDB 強大的實時寫入與批量處理能力，實現了流式數據和批量數據的統一加工、存儲與分析，成功突破了原有架構的實時分析瓶頸，賦能業務快速決策。
- 全棧國產化兼容： SelectDB 在核心引擎、周邊生態及部署環境上實現了全面國產化兼容，滿足了證券公司對數據平台基礎設施國產化與技術自主掌控的關鍵需求，保障了系統安全可控。
- 服務團隊支持力度高，運維有保障： SelectDB 背後專業服務團隊的高效響應和有力支持，為上海證券在平台建設、遷移上線和後期運維的全過程提供了可靠保障，有效降低技術風險，確保平台穩定運行。
02 DataOps 開發治理一體化
上海證券以“先設計，後開發；先標準，後建模”為核心原則，結合全信創數據中台，構建數據全生命週期閉環管理體系（圖片來源於網絡）：
- 設計階段： 通過統一數據標準、與業務對齊的指標設計及健壯模型設計，從源頭保障數據規範性與質量。
- 開發階段： 依託 SelectDB 高效計算能力，無縫集成數據傳輸、離線開發與自助分析任務，支撐流批一體數據處理。
- 測試及上線階段： 通過嚴格的數據測試、質量監控及任務發佈流程，結合 SelectDB 的實時監控能力，確保數據可靠入湖並持續穩定運行。
上海證券始終保障數據合規，形成了“設計-開發-測試-監控”的一體化治理體系，基於 SelectDB 徹底解決了原有架構標準缺失、流程割裂的問題，賦能業務自助獲取高質量數據。
03 統一數據交換鏈路
上海證券通過構建統一數據交換平台，打通了公司級數據流轉鏈路。 平台集中管理實時與離線數據服務，並實施統一安全管控，將分散的行情（萬得/聚源）、交易（非現/快速）、賬户等中台數據與下游業務系統（指 E 通全微服務、CRM、反洗錢等 20+ 模塊）高效連接。尤其是對於實時場景，基於 SelectDB Routine Load 能力便捷接入 Kafka 數據，其高併發數據更新吞吐可達到百萬行每秒，為行情推送、機構服務等提供了秒級延遲的數據服務能力。
應用場景
01 金融實時交易戰報
2024 年 9 月 底，證券市場行情迅猛爆發，上海證券新增能夠秒級獲取全量交易、行情、新客開户數及資金引入等數據的需求。基於 SelectDB 的極速性能，上海證券相關團隊在 10 月前開發並上線了實時交易戰報系統，業務數據秒級實時接入，系統穩定支撐 1000+ QPS 高併發查詢，複雜聚合查詢響應延遲低至 200ms，實現了對全量經營指標的實時決策支持，驗證了 SelectDB 在突發業務場景下的高性能與高可靠性，為金融行業實時數倉建設提供了關鍵支撐。
02 金融 CRM 系統建設——替換 Elasticsearch
上海證券在其金融 CRM 活動關係及實時戰報模塊原先採用 Elasticsearch 組件，因其存在兩大核心缺陷：
- 數據同步延遲高： ES 批量數據同步延遲高達分鐘級，客户行為數據無法實時更新，導致決策滯後。
- 運維成本高昂： ES 架構複雜，需獨立維護協調節點、數據節點、主節點，集羣維護困難，故障排查耗時長，導致運維成本高昂。
為此，上海證券進行了系統升級，在開户結果分析中引入了 SelectDB，並在活動關係及實時戰報模塊中使用 SelectDB 替換原 Elasticsearch 組件，作為實時分析引擎，實現流批一體架構。SelectDB 的寫入吞吐能力是 Elasticsearch 的 4 倍，有效解決了數據同步延遲高的痛點。升級後，系統能夠直接消費 Kafka 客户行為流，將數據同步時效壓縮至秒級。同時，藉助 SelectDB 倒排索引能力及豐富的運維生態，複雜查詢響應速度提升了 2 倍，整體運維成本大幅降低。
SelectDB 的引入使得上海證券金融 CRM 系統實現了秒級實時閉環，系統能夠實時獲取客户開户流程中的斷點情況，通過持續分析客户操作流，精準識別如資料提交中斷等關鍵斷點事件，並實時生成 MOT 任務，推送至客户經理移動端。這使得客户經理能夠及時觸達客户，引導續接開户流程，將斷點問題解決時效提升至分鐘級別。
應用收益
上海證券通過引入 SelectDB 構建數據平台，有效解決了原 Hadoop 與 Elasticsearch 架構的關鍵瓶頸，在性能、成本等方面實現顯著突破：
- 突破實時分析瓶頸，分析效率躍升： 基於 SelectDB 直接消費 Kafka 客户行為流，寫入性能提升 4 倍，數據同步延遲壓縮至秒級，解決 Elasticsearch 同步效率低導致的決策滯後問題。藉助 SelectDB 倒排索引能力及複雜聚合查詢能力，支撐 1000+ QPS 高併發訪問，關鍵決策響應延遲低至 200 ms，響應效率翻倍；
- 湖倉 & 流批一體架構，有效降低成本： 基於 SelectDB 的數據平台可直接訪問 HDFS/Hive 數據，實現湖倉一體，複用現有存儲資源，降低遷移成本。此外，SelectDB 精簡的架構設計和豐富的運維生態，可同時處理流式與批量數據，避免多套系統協作開銷，大幅簡化集羣管理，數據開發效率提升 50%，運維成本大幅降低。
[參考文檔：網易數帆,DataOps全球峯會 | 網易數帆特色實踐護航數據價值落地]