數(shù)見科技合作中石油：進(jìn)行數(shù)據(jù)分析

593次閱讀

客戶介紹

中國石油天然氣集團(tuán)有限公司「簡稱：中國石油」是國有重要骨干企業(yè)和中國主要的油氣生產(chǎn)商和供應(yīng)商之一，是集油氣勘探開發(fā)、煉油化工、銷售貿(mào)易、管道儲(chǔ)運(yùn)、工程技術(shù)、工程建設(shè)、裝備制造、金融服務(wù)于一體的綜合性國際能源公司，在國內(nèi)油氣勘探開發(fā)中居主導(dǎo)地位，在全球 35 個(gè)國家和地區(qū)開展油氣業(yè)務(wù)。2020 年，公司在世界 50 家大石油公司綜合排名中位居第三，在《財(cái)富》雜志全球 500 家大公司排名中位居第四。

項(xiàng)目背景

1、多源異構(gòu)數(shù)據(jù)打通難

中石油需要構(gòu)建融合 Oracle、 MySQL、 PostgreSQL 等異構(gòu)數(shù)據(jù)源到 Oracle 、HashData、Greenplum 的多條數(shù)據(jù)鏈路，自研難度較大。

2、自研產(chǎn)品表現(xiàn)不理想

中國石油自研了數(shù)據(jù)同步產(chǎn)品 DSB，采用代碼方式實(shí)現(xiàn)數(shù)據(jù)傳輸鏈路，每個(gè)數(shù)據(jù)同步任務(wù)需要編制腳本，研發(fā)交付效率較低。沒有圖形化界面，任務(wù)狀態(tài)監(jiān)控等運(yùn)維功能不直觀，用戶權(quán)限、安全等方面的管理功能不完善。

3、實(shí)時(shí)數(shù)據(jù)融合能力不足

中國石油需要實(shí)時(shí)將油田數(shù)據(jù)采集到大數(shù)據(jù)平臺(tái)進(jìn)行建模分析，自研的 DSB 只實(shí)現(xiàn)了定時(shí)數(shù)據(jù)同步，未能實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)同步，實(shí)時(shí)數(shù)據(jù)融合較定時(shí)模式自研難度更大，穩(wěn)定性、性能要求更高。

解決方案

1、多源異構(gòu)

零代碼部署后即可實(shí)現(xiàn)客戶 Oracle、 MySQL、 PostgreSQL、HashData、Greenplum 等十余種數(shù)據(jù)庫技術(shù)的打通，實(shí)現(xiàn)異構(gòu)數(shù)據(jù)之間同步。

2、實(shí)時(shí)增量獲取

通過 DataPipeline 解析數(shù)據(jù)庫日志的方式，實(shí)現(xiàn)對(duì) Oracle、MySQL、 PostgreSQL 的實(shí)時(shí)增量數(shù)據(jù)的準(zhǔn)確獲取。

3、可管理性

通過可視化管理頁面和配置式構(gòu)建數(shù)據(jù)鏈路，極大地提升了數(shù)據(jù)工程師的工作效率；運(yùn)維人員通過可視化監(jiān)控界面，及時(shí)查看任務(wù)執(zhí)行情況，及時(shí)發(fā)現(xiàn)問題，提升了運(yùn)維效率，降低了風(fēng)險(xiǎn)。

價(jià)值

1、降低研發(fā)成本

自研難度太大，耗時(shí)太長，成本太高。中國石油上線了 DataPipeline 后，極大降低了研發(fā)成本且可以立即投入使用，省時(shí)省力省錢。

2、釋放實(shí)時(shí)數(shù)據(jù)價(jià)值

數(shù)百個(gè)實(shí)時(shí)數(shù)據(jù)任務(wù)為從生產(chǎn)管理到經(jīng)營決策的各個(gè)部門，從勘探、開發(fā)、生產(chǎn)到作業(yè)的各類場景提供準(zhǔn)確、可靠、一致的批量與實(shí)時(shí)數(shù)據(jù)，使生產(chǎn)管理及研究人員從日常瑣碎繁重資料收集、數(shù)據(jù)處理工作中解放出來。

3、提升管理效率

實(shí)現(xiàn)了勘探開發(fā)數(shù)據(jù)的統(tǒng)一采集、集中管理與共享應(yīng)用，極大地提升了勘探開發(fā)生產(chǎn)科研工作效率，為中國石油打造國際一流能源企業(yè)奠定了堅(jiān)實(shí)的基礎(chǔ)。

提及產(chǎn)品