品牌名稱
招商銀行
企業規模
1001-5000人

中國招商銀行審計系統——高效提速降低成本

518次閱讀

項目背景 

招商銀行原有審計系統是“小型機+磁陣”架構。該系統面臨數據加載時間長、審計模型運行和用戶查詢速度慢、并發用戶操作宕機、系統維護和擴展困難等問題,急需采用新技術進行改造,以滿足審計業務的需求并支持更大的數據量。

 

需求分析 
支持招行全部的審計業務數據,面向全國范圍內的審計人員使用,要在股份制商業銀行中處于領先地位;

 

要求數據加載和數據處理能夠快速響應,億級數據的加載和表關聯操作要在分鐘級時間響應, 基于大數據的統計、分析及聚合計算要求快速響應;

 

要求系統要有良好的可擴展性;要求并發用戶數超過100個。

 

審計人員定義模型,根據模型動態生成SQL語句,系統要支持這些普遍含有while循環、臨時表和join關聯的動態SQL。

 

解決方案 

本項目采用基于X86 PC Server + Linux的GBase 8a MPP Cluster建設方案替換原有系統,構建以列存儲、智能索引、高效壓縮、高可用安全組和分布式并行計算為核心技術的招商審計系統,可管理TB級結構化數據,支持10年的歷史數據審計。

 

一期建設集群20個計算節點,2臺加載機;二期新建集群20個計算節點,2臺加載機,新建10臺ETL數據分發集群;三期新建集群20個計算節點,2臺加載機。三期擴容后需要處理的數據量為300TB左右。

 

新規劃后的審計系統將原有2套20節點集群擴容至40節點,10節點ETL集群擴容至24節點,再加上原有的20節點集群,總共搭建了4套共124節點的GBase集群。支撐的數據總量為520TB。總行審計、分行審計、中小額企業審計都在大集群中進行處理,通過資源管理進行隔離,保證互不影響,保證處理的效率。系統架構圖如下,集群系統由100個計算節點,24臺ETL,6臺監測機和萬兆交換機組成。

 

價值體現
系統擴容:從支持幾十TB數據量的小型機+磁陣架構升級到可支持幾百TB數據量的PC Server+內置磁盤架構;

 

性能提升:支持100人并發即席查詢實現秒級響應,數據加載和模型運算速度提升2-5倍;

 

高性價比:新系統的軟硬件擁有成本不到原系統的20%,大幅降低用戶的建設成本;

 

高可用易擴展:支持安全組,組內節點數據互相備份。支持在線近線性擴展,滿足未來擴展需求。