數見科技合作中石油：進行數據分析

562次閱讀

客戶介紹

中國石油天然氣集團有限公司「簡稱：中國石油」是國有重要骨干企業和中國主要的油氣生產商和供應商之一，是集油氣勘探開發、煉油化工、銷售貿易、管道儲運、工程技術、工程建設、裝備制造、金融服務于一體的綜合性國際能源公司，在國內油氣勘探開發中居主導地位，在全球 35 個國家和地區開展油氣業務。2020 年，公司在世界 50 家大石油公司綜合排名中位居第三，在《財富》雜志全球 500 家大公司排名中位居第四。

項目背景

1、多源異構數據打通難

中石油需要構建融合 Oracle、 MySQL、 PostgreSQL 等異構數據源到 Oracle 、HashData、Greenplum 的多條數據鏈路，自研難度較大。

2、自研產品表現不理想

中國石油自研了數據同步產品 DSB，采用代碼方式實現數據傳輸鏈路，每個數據同步任務需要編制腳本，研發交付效率較低。沒有圖形化界面，任務狀態監控等運維功能不直觀，用戶權限、安全等方面的管理功能不完善。

3、實時數據融合能力不足

中國石油需要實時將油田數據采集到大數據平臺進行建模分析，自研的 DSB 只實現了定時數據同步，未能實現實時數據同步，實時數據融合較定時模式自研難度更大，穩定性、性能要求更高。

解決方案

1、多源異構

零代碼部署后即可實現客戶 Oracle、 MySQL、 PostgreSQL、HashData、Greenplum 等十余種數據庫技術的打通，實現異構數據之間同步。

2、實時增量獲取

通過 DataPipeline 解析數據庫日志的方式，實現對 Oracle、MySQL、 PostgreSQL 的實時增量數據的準確獲取。