隨著宏觀經(jīng)濟(jì)下行，商業(yè)銀行信用風(fēng)險不斷累積并加快暴露, 傳統(tǒng)的信用風(fēng)險監(jiān)控措施及管理流程較為單一、滯后與被動，難以適應(yīng)日益復(fù)雜的外部經(jīng)濟(jì)形勢和內(nèi)部管理要求。為改變信用風(fēng)險管理的現(xiàn)狀，中國銀行上海分行自2014年起著手建設(shè)信用風(fēng)險預(yù)警監(jiān)控管理系統(tǒng)，匯總整合內(nèi)外部數(shù)據(jù)，通過編制專業(yè)化預(yù)警規(guī)則，利用科技手段全面、高效、主動地識別風(fēng)險。系統(tǒng)投產(chǎn)后隨著歷史數(shù)據(jù)的累積、外部數(shù)據(jù)的拓展、預(yù)警規(guī)則的豐富，傳統(tǒng)數(shù)據(jù)分析技術(shù)手段的局限性逐漸顯現(xiàn)，采用分布式大數(shù)據(jù)技術(shù)勢在必行，是解決上述問題瓶頸的有效策略。

傳統(tǒng)信息處理技術(shù)應(yīng)用于信用風(fēng)險監(jiān)控領(lǐng)域的局限性

1、數(shù)據(jù)管理成本高、可擴(kuò)展性差

系統(tǒng)最初采用關(guān)系型數(shù)據(jù)庫解決數(shù)據(jù)管理問題，硬件配置為小型機(jī)及SAN存儲，由于應(yīng)用場景需要長期歷史數(shù)據(jù)的累積，導(dǎo)致硬件開銷增加、數(shù)據(jù)處理效率下降，高成本的硬件追加投入和簡單的數(shù)據(jù)庫調(diào)優(yōu)無法徹底解決日益增長的數(shù)據(jù)規(guī)模和傳統(tǒng)信息處理模式帶來的性能瓶頸。

2、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)支持度低

為獲取外部負(fù)面信息，系統(tǒng)在隔離區(qū)的PC服務(wù)器上部署外部信息采集服務(wù)，運(yùn)用網(wǎng)絡(luò)爬蟲技術(shù)，將互聯(lián)網(wǎng)的非結(jié)構(gòu)化信息進(jìn)行結(jié)構(gòu)化轉(zhuǎn)換后，寫入關(guān)系型數(shù)據(jù)庫進(jìn)一步分析加工。這種信息處理模式在實(shí)際運(yùn)行中產(chǎn)生了大量基于數(shù)據(jù)庫的I/O請求，快速消耗系統(tǒng)資源，使服務(wù)器長期處于滿負(fù)荷運(yùn)作狀態(tài)，仍無法適配互聯(lián)網(wǎng)的更新頻率和時效。

3、數(shù)據(jù)檢索效率受限

系統(tǒng)需實(shí)現(xiàn)基于大數(shù)據(jù)量、組合條件的在線檢索，在關(guān)系型數(shù)據(jù)庫中只能通過分表、分區(qū)等解決方案，以犧牲一定的使用便利性、增加維護(hù)成本為代價，但查詢響應(yīng)效率仍無法滿足日益增長的需求。

引入大數(shù)據(jù)技術(shù)的信用風(fēng)險預(yù)警系統(tǒng)技術(shù)框架

鑒于上述局限性，中國銀行上海分行對原有預(yù)警系統(tǒng)的技術(shù)平臺進(jìn)行了重新規(guī)劃，從單一依靠關(guān)系型數(shù)據(jù)庫的模式，轉(zhuǎn)型為分布式大數(shù)據(jù)技術(shù)與集中式關(guān)系型數(shù)據(jù)庫技術(shù)相結(jié)合的模式。引入大數(shù)據(jù)平臺后的預(yù)警系統(tǒng)架構(gòu)如圖1所示。

1、銀行外網(wǎng)區(qū)

在外網(wǎng)中可以訪問的外部數(shù)據(jù)來源，根據(jù)數(shù)據(jù)獲取方式的不同，分為：（1）網(wǎng)絡(luò)輿情：采用定向爬蟲，通過互聯(lián)網(wǎng)連接各大網(wǎng)站進(jìn)行頁面抓取；（2）其他數(shù)據(jù)：通過其他非自動渠道獲取的外部結(jié)構(gòu)化數(shù)據(jù)。

2、DMZ區(qū)

指架設(shè)在銀行非安全系統(tǒng)和安全系統(tǒng)之間的緩沖區(qū)，外部數(shù)據(jù)采集模塊部署在該區(qū)域，運(yùn)用網(wǎng)絡(luò)爬蟲技術(shù)，定時向外網(wǎng)的指定網(wǎng)頁實(shí)施定向爬取，解析后暫存至DMZ區(qū)服務(wù)器。采集服務(wù)器之間可做集群或負(fù)載均衡。