財通證券有限責任公司總部位于中國杭州，其前身是成立于 1993 年 5 月的浙江財政證券公司。公司經營范圍為：證券經紀，證券自營，證券資產管理，證券投資咨詢等，截止 2017 年 6 月末，財通證券共設有 113 家證券營業部，其中 95 家分布在浙江，占比 83.9%。2018 年，財通證券將 “金融科技發展戰略” 定為公司戰略，以打造一流的數字生態證券作為戰略目標。

面臨挑戰

數據安全

核心交易系統部署在核心區，而下游風控、反洗錢、經營分析等系統部署在非核心區，核心區與非核心區之間存在網絡隔離，需要通過跳板機。

難以靈活應對數據源變化

數據源發生變化時，需要修改任務的配置和腳本，靈活性差。且核心交易系統在夜間完成數據清算后，需工程師手動同步數據，費時費力。

缺少監控預警

需要依賴下游用數環節判斷數據是否存在異常，缺少過程監控和預警。

解決方案

實施跳板機

適配安全隔離網絡架構，自動完成跨網的數據采集、中轉、處理。

智能分區

識別清算數據表的日期變化，自動觸發數據同步任務。

靈活取數

針對無主鍵數據，可靈活設置過濾規則，同步指定的增量數據。

客戶價值

解決數據跨網傳輸難題

通過跳板機的方式，讓跳板機承擔數據中轉服務，整體采集的控制端存放在非內網環境，確保出現問題可以在外部環境中進行直接管理和問題排查。

提高數據采集效率

采取批量化的采集方式，同時對同個系統的幾十幾百個表一并采集，使用老版工具，幾百張表的抽取配置需要花費 50 個小時，現在基本可以在 5 分鐘內完成，大大提高了數據采集效率。

監控預警，保障下游用數不受影響

之前，使用傳統工具的財通證券最高能消費掉系統生產備庫 50% 的性能，單庫每秒的流量條數接近 10 萬，易觸發上游系統的預警。DataPipeline 定義了采集條數和采集流量的雙重閾值，保證了企業應用的安全性。