大唐國際生產(chǎn)運營全過程數(shù)據(jù)采集項目

637次閱讀

一、項目概述

大唐國際項目是人大金倉在電力行業(yè)大型系統(tǒng)數(shù)據(jù)支撐服務(wù)的標(biāo)桿項目。本項目以大唐國際業(yè)務(wù)系統(tǒng)的數(shù)據(jù)為基礎(chǔ)，建設(shè)大數(shù)據(jù)技術(shù)為核心的數(shù)據(jù)匯集中心和數(shù)據(jù)分析平臺，搭建穩(wěn)定可靠、集中統(tǒng)一的數(shù)據(jù)復(fù)制、匯總系統(tǒng)及圖形化管控平臺。通過梳理業(yè)務(wù)管理指標(biāo)體系建立相關(guān)的數(shù)據(jù)字典、編碼定義等基礎(chǔ)數(shù)據(jù)管理工作，分層次構(gòu)建ODS、數(shù)據(jù)倉庫、數(shù)據(jù)集市。針對業(yè)務(wù)人員和公司管理層提供各業(yè)務(wù)的OLAP分析功能。

二、金倉價值

金倉分析型數(shù)據(jù)庫KingbaseAnalyticsDB（簡稱KADB）在本項目中的作用：

1、KADB內(nèi)部提供高可用機(jī)制，主控節(jié)點采用主備架構(gòu)，存儲節(jié)點采用交互備份模式；當(dāng)主控節(jié)點A出現(xiàn)故障時，業(yè)務(wù)系統(tǒng)還能繼續(xù)提供服務(wù)；

2、采用ETL工具導(dǎo)入，通過庫內(nèi)存儲處理數(shù)據(jù)的方式清洗數(shù)據(jù)，由于數(shù)據(jù)都是在數(shù)據(jù)庫內(nèi)部處理，速度比外部ETL工具處理要快5-10倍；

3、通過多鏡像模式與數(shù)據(jù)庫全量備份的方式保證可用與可靠性；

4、實現(xiàn)與Informatic的對接，將業(yè)務(wù)數(shù)據(jù)庫中的數(shù)據(jù)抽取到KADB中，并由indormatic調(diào)用函數(shù)，將存儲在KADB中的數(shù)據(jù)整理輸出到對應(yīng)表中；

5、存儲不同結(jié)構(gòu)類型的數(shù)據(jù)為前端實現(xiàn)不同業(yè)務(wù)的多維度分析展現(xiàn)提供數(shù)據(jù)支撐。

三、技術(shù)實力

1. 第一次電力行業(yè)大型系統(tǒng)數(shù)據(jù)支撐服務(wù)；

2. 數(shù)據(jù)采集點分散，匯集到大唐信息中心后數(shù)據(jù)雜表較多，需集中清理；

3. 需滿足各層領(lǐng)導(dǎo)的業(yè)務(wù)需求，展現(xiàn)信息范圍廣；

4. ETL工具抽取采集過程慢，需要將清洗數(shù)據(jù)放到數(shù)據(jù)庫內(nèi)部處理；