一、項目背景

內蒙古農信與地市信用社正式合併後面臨海量業務數據的存儲和管理問題。目前歷史數據裸數據總量已經接近50TB，傳統的數據存儲和管理模式在數據處理、架構擴展性等方面的瓶頸已逐漸顯露。為了滿足後續業務發展需求，強化數據資源整合能力、提升數據處理分析能力、提高數據服務質量及時效性，應對未來深度數據處理分析及大數據分析應用的需求，需要引入新型的 MPP 數據庫軟件產品，以提供更全面、更深入、更及時的數據服務。內蒙古農信通過國產數據倉庫集羣產品搭建大數據平台，從而獲得海量業務數據的處理和存儲解決方案。目前該項目已完成擴容，形成雙中心架構，該項目數據庫集羣已經進入穩定運行期，且有集羣節點持續擴容的需求。

項目大數據平台共計部署數據庫集羣20節點、數據採用三副本制。主要支持業務系統：歷史查詢系統、人行監管報送系統、報表系統、CRM系統，承擔全行日增批量數據處理任務。另外，從2021年開始，行內要求大數據平台能夠實現雙中心模式，實現備份中心能夠實時進行數據災備。

二、解決方案

內蒙古農信大數據平台系統基於南大通用 GBase 8a MPP Cluster 數據庫建設，系統採用20 台PC Server 搭建數據倉庫集羣。通過數據文件模式進行日增量數據加載，對接行方數據源均為業務系統如：管理會計、監管報送、報表系統、CRM等等。數據倉庫集羣管理裸數據已經達到 50TB。在此數據量下，實現了高速批量數據加載、數據加工、數據查詢等應用。該系統已經實現和林和金橋雙中心的模式，能夠實現主備中心的數據自動同步和實時同步，滿足客户的災備需求。

內蒙古農信大數據平台系統架構圖

三、項目價值

1、有效提升行方日常數據批量處理速度。

同數據量下原有業務平台數據處理週期較長。現有數據庫集羣完成相關工作可以縮短到數小時處理完畢，充分滿足了相關業務場景的數據彙總需求。

2、海量數據存儲能力能夠幫助行方有效節省存儲平台硬件採購成本。

同數據量下支持高效數據壓縮存儲的數據倉庫集羣，相對於傳統數據庫的存儲模式更有利於降低硬件採購成本，同樣的數據存儲空間可以存放和管理更多的業務數據。

3、完成了同城災備集羣雙活模式部署

同城災備集羣雙活模式有利的支持了內蒙古農信現有的雙數據中心管理模式。GBase 8a數據庫集羣的雙活架構能夠有效應對因第三方不可抗力引起的數據損壞和業務停擺損失。比如：意外停電、火災、溢水等風險，可以在保證業務數據安全、完整的前提下不間斷的支撐業務系統的持續訪問。