農(nóng)發(fā)行:數(shù)據(jù)分析應(yīng)用架構(gòu)設(shè)計(jì)成功案例
方案概述
根據(jù)中國農(nóng)業(yè)發(fā)展銀行信息化建設(shè)“十二五”規(guī)劃,在“十二五”期間,要對業(yè)務(wù)經(jīng)營數(shù)據(jù)進(jìn)行梳理,以保證數(shù)據(jù)的一致性和準(zhǔn)確性為目的,實(shí)施數(shù)據(jù)質(zhì)量工程;以數(shù)據(jù)交換平臺(tái)為基礎(chǔ),建設(shè)數(shù)據(jù)倉庫;到2015年末,實(shí)現(xiàn)經(jīng)營和管理數(shù)據(jù)在全行范圍的共享,以數(shù)據(jù)倉庫為基礎(chǔ),推動(dòng)建立面向主題、面向市場、面向決策、滿足內(nèi)部管理和外部政策要求的智能應(yīng)用,力爭形成全行完整統(tǒng)一、各有側(cè)重的決策支持平臺(tái),為經(jīng)營管理和客戶服務(wù)提供基礎(chǔ)信息和決策依據(jù)。
為將不同的業(yè)務(wù)報(bào)表集中到一個(gè)統(tǒng)一的系統(tǒng)框架下來,并為將來的簡單業(yè)務(wù)報(bào)表提供快捷的定制和實(shí)現(xiàn)手段,農(nóng)發(fā)行在2009-2011年間,完成通用綜合報(bào)表平臺(tái)的建設(shè)和省行推廣,初步實(shí)現(xiàn)經(jīng)營管理數(shù)據(jù)的集成和共享。
到2012年初,綜合報(bào)表平臺(tái)已經(jīng)上線使用近三年時(shí)間,系統(tǒng)完成了初步建設(shè)目標(biāo)后,隨著報(bào)表應(yīng)用、使用用戶、數(shù)據(jù)量的迅速增長,系統(tǒng)也暴露出了一些問題,主要有:
1.ETL性能不理想,數(shù)據(jù)抽取轉(zhuǎn)換加載時(shí)間過長;
2.各個(gè)業(yè)務(wù)部門使用平臺(tái)制作報(bào)表難,主要表現(xiàn)在難以理解數(shù)據(jù)模型上;
3.?dāng)?shù)據(jù)量增長過快,在第一次優(yōu)化前,數(shù)據(jù)已呈現(xiàn)爆炸式增長的趨勢;
4.仍然存在綜合業(yè)務(wù)系統(tǒng)與信貸管理系統(tǒng)數(shù)據(jù)不同步的問題;
5.?dāng)?shù)據(jù)及時(shí)性不能保證,導(dǎo)致有些時(shí)效性要求高的業(yè)務(wù)部門無法放心使用報(bào)表平臺(tái)。
項(xiàng)目建設(shè)概況
為了解決以上問題,保障系統(tǒng)的科學(xué)性、先進(jìn)性、高效性、易用性,更為了全面夯實(shí)農(nóng)發(fā)行數(shù)據(jù)分析應(yīng)用側(cè)的技術(shù)架構(gòu),從2012年中到2014年初,于行內(nèi)發(fā)起了更大規(guī)模的綜合報(bào)表平臺(tái)升級改造項(xiàng)目。
經(jīng)過歷時(shí)五年,總共兩期項(xiàng)目的建設(shè),農(nóng)發(fā)行數(shù)據(jù)應(yīng)用體現(xiàn)形成了一個(gè)較為完整的技術(shù)體系,囊括了數(shù)據(jù)倉庫、分析應(yīng)用、數(shù)據(jù)管理、數(shù)據(jù)治理、數(shù)據(jù)外圍服務(wù)等范疇。
項(xiàng)目建設(shè)概況:
1、根據(jù)金融行業(yè)數(shù)據(jù)建模模型,建成了一個(gè)囊括會(huì)計(jì)核心系統(tǒng)(CBS),信貸系統(tǒng)(CM2006),外匯系統(tǒng)(EE)和債券系統(tǒng)(BOND)四大主要業(yè)務(wù)系統(tǒng)所有業(yè)務(wù)分析數(shù)據(jù),并完全記錄其歷史變化信息的數(shù)據(jù)倉庫,包括ODS層、整合層、匯總層、應(yīng)用集市層;
2、綜合報(bào)表平臺(tái)以數(shù)據(jù)倉庫為主要數(shù)據(jù)源,實(shí)現(xiàn)了各報(bào)表應(yīng)用的數(shù)據(jù)同源、同構(gòu),統(tǒng)一數(shù)據(jù)口徑;
3、建立了一個(gè)包括“數(shù)據(jù)采集模塊、展現(xiàn)分析模塊”兩大模塊的分析應(yīng)用綜合報(bào)表平臺(tái)
4、優(yōu)化ETL性能,引入調(diào)度平臺(tái)和優(yōu)化各ETL作業(yè),對數(shù)據(jù)倉庫中飛速增長的業(yè)務(wù)數(shù)據(jù)進(jìn)行有效的生命周期管理,大大優(yōu)化了ETL性能,解決數(shù)據(jù)抽取轉(zhuǎn)換加載時(shí)間過長的問題。
5、建設(shè)各面向業(yè)務(wù)應(yīng)用的數(shù)據(jù)集市,數(shù)據(jù)集市中的數(shù)據(jù)主要是概括級面向業(yè)務(wù)主題的數(shù)據(jù),屬業(yè)務(wù)人員容易理解和使用的主題模型,便于業(yè)務(wù)人員使用綜合報(bào)表平臺(tái)自定義制作報(bào)表和進(jìn)行各類報(bào)表展現(xiàn)分析;
6、綜合報(bào)表平臺(tái)中對會(huì)計(jì)報(bào)表專門設(shè)計(jì)了"會(huì)計(jì)指標(biāo)庫",通過定義會(huì)計(jì)指標(biāo)所包含的科目、科目的屬性、條件以及會(huì)計(jì)指標(biāo)的啟用和停用時(shí)間來滿足會(huì)計(jì)相關(guān)報(bào)表的設(shè)計(jì);
7、億信BI可與i@Report無縫對接,不僅能夠通過i@Report從億信BI取數(shù),實(shí)現(xiàn)采集數(shù)據(jù)的初始化,還可以將i@Report采集的數(shù)據(jù)在億信BI進(jìn)行展現(xiàn)分析,前者能夠大大減少業(yè)務(wù)人員的補(bǔ)錄工作量,后者通過i@Report上報(bào)的數(shù)據(jù)不需要做任何ETL處理,即可通過億信BI進(jìn)行豐富多樣的統(tǒng)計(jì)分析;
8、i@Report提供了從報(bào)表設(shè)計(jì)、報(bào)表發(fā)布、數(shù)據(jù)填報(bào)、數(shù)據(jù)審核、匯總上報(bào)和審批流程一整套解決方案,從報(bào)表定義到數(shù)據(jù)應(yīng)用這一系列工作流程都是通過該平臺(tái)完成,無需人工逐級傳遞,減少了許多中間環(huán)節(jié),從而幫助農(nóng)發(fā)行提高數(shù)據(jù)采集的效率,縮短數(shù)據(jù)采集周期。
項(xiàng)目成果
截止2015年,農(nóng)發(fā)行綜合報(bào)表平臺(tái)已經(jīng)完成以下幾方面工作:
建成了一個(gè)囊括主要業(yè)務(wù)系統(tǒng)所有業(yè)務(wù)分析數(shù)據(jù),并完全記錄其歷史變化信息的數(shù)據(jù)倉庫,包括ODS層、整合層、匯總層、應(yīng)用集市層;
建成了一個(gè)包括“數(shù)據(jù)采集模塊、展現(xiàn)分析模塊”兩大模塊的分析應(yīng)用綜合平臺(tái),并在此基礎(chǔ)上,完成了多個(gè)業(yè)務(wù)部門共十四套報(bào)表應(yīng)用的建設(shè),解決內(nèi)部管理和外部監(jiān)管要求;
完成了數(shù)據(jù)抽取、轉(zhuǎn)換、加載的基礎(chǔ)技術(shù)體系建設(shè)、夯實(shí),實(shí)現(xiàn)了數(shù)據(jù)處理效率的數(shù)量級優(yōu)化,實(shí)現(xiàn)了智能調(diào)度、均衡負(fù)載/災(zāi)備的建設(shè);
完善了數(shù)據(jù)治理體系建設(shè),完成了元數(shù)據(jù)、數(shù)據(jù)生命周期、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量體系的建設(shè);
完成了30個(gè)區(qū)域數(shù)據(jù)/應(yīng)用中心建設(shè),實(shí)現(xiàn)了數(shù)據(jù)中心對外數(shù)據(jù)服務(wù)建設(shè),完成了數(shù)據(jù)動(dòng)態(tài)傳輸、應(yīng)用版本同步等輔助系統(tǒng)建設(shè)。
報(bào)表應(yīng)用層面,在整體架構(gòu)的基礎(chǔ)上,實(shí)現(xiàn)了面向9個(gè)業(yè)務(wù)部門的14套報(bào)表用,并且應(yīng)用的數(shù)量仍將快速增長,形式將更豐富。