星環科技助力中化集團大數據平臺建設
一、項目背景
為響應國資委在《關于2019年進一步加強中央企業集團管控信息化工作有關事項的通知》中對央企提出的“大系統、大平臺、大數據”信息化要求,同時為了推進集團“數字中化”的戰略目標,助力集團各業務單位實現數字化轉型,業務應用事業部提出由信息公司自主建設集團大數據基礎服務平臺,作為集團數字基礎設施支撐集團各級次的數據應用。
二、大數據平臺建設需求
中化集團目標建立一個以數據驅動為核心,以技術支撐為基礎,賦能企業一體化協同、管理創新和業務創新的大數據平臺。
技術先進:先進的技術能夠保證整個大數據系統的穩定性與兼容性,同時能夠合理利用資源,避免有限的資源浪費。集團需要建立一個結合先進技術一體化的大數據和人工智能應用基礎軟件平臺。
自主可控:大數據是企業核心資產,應自主建設,遵循先進適用、穩定安全、靈活開放的原則設計。平臺借助多租戶的模式,可以滿足集團及各個板塊對數據和權限的管理要求,使得集團建設統一數據中臺成為可能。
行業先進:依托廣泛的客戶群體、成熟的使用模式、多案例和經驗借鑒,信息公司通過提供BI+AI服務,以覆蓋數據領域通用場景、滿足各類應用場景的存儲和計算要求,提供行業先進的數據服務。
快速落地:通過外部廠商實施,快速建立平臺,支持多元化數據應用搭建,使得集團能夠及時把握市場機會。星環大數據平臺提供強大兼容能力,大大降低平臺的使用門檻,用戶可以結合通用數據技術快速上手。
三、項目實施
1. 大數據平臺架構
1)大數據平臺全景
數據原層:底層數據原層分為三類,包括內部生產、經營數據和外部社會數據。
基礎層:通過集團建立統一的數據湖,滿足離線、實時、外部數據采集相關功能。
規則層:一部分依靠星環科技的Incepter建立的統一SQL防御引擎,另一部分依托星環Sophon部分功能實現的統一科學計算平臺。
應用開發層:面向整個中化集團,應用開發層包含各類相關應用,包括戰略分析類、風險管控類、經營分析類等各類應用開發。
客戶層與展現層:中化集團涵蓋五大核心板塊,包括化工、能源、農業、地產、金融,數據通過服務接口平臺接入應用層。中化集團大數據平臺定位于為集團總部以及下屬五大板塊提供相關服務。可以說,客戶側是整個平臺中最重要的部分。
2)大數據平臺功能架構
基于Transwarp一站式大數據平臺實現的六大功能,能夠應用到主題報表、自助分析、量化交易、權限管理、領導駕駛艙、資產目錄、一站式搜索、圖像識別、日志分析等各類應用場景之中。
3)大數據平臺軟件架構
中化大數據平臺基于星環數據云平臺TDC,構建分析Paas、數據Paas、應用Paas為一體的數據共享交換體系,通過數據接口、安全接口、資源接口、微服務接口對接業務,實現平臺云+數據云+應用云三云融合。
2. 大數據平臺的能力實現
1)多租戶能力
大數據平臺按照租戶的形式提供服務,能夠快速響應用戶的大數據應用需求,降低用戶建設成本,具有平臺穩定、技術先進、數據安全、運維及時等特點。平臺運用應用隔離、資源隔離、數據隔離、運行隔離等手段保障數據隱蔽性。中化集團下屬五個板塊均需要租戶能力來提供相關服務,租戶能力是平臺選型過程中最看中的能力。
圖 大數據平臺的多租戶模式
a)星環TDC構建平臺層
首先,最底層是整個集團的數據湖區,包括原始數據采集,輕度數據加工和相關備份數據。其次,中間為租戶區,是實現租戶能力最重要的區域,以租戶模式提供給總部以及下屬各個板塊相關的應用服務,星環TDC為中化大數據平臺架構起多租戶能力,實現包括多租戶權限劃分,相關權限管理等功能。最后,右側為平臺管理區,結合租戶特點實現規范化的數據管理和流程管理。
b)星環TDC完善計費體系
以資源劃分方式,根據每一個TCU對應的相關CPU內存以及磁盤的資源使用情況,給各租戶提供相關服務,并進行相關計費,構建出一個以TDC為基礎的計費體系。
2)大數據服務能力
中化大數據平臺依賴TDH的基礎能力,可接入各項多源異構應用數據,構建成一個完整的數據計算和業務分析系統,平臺可將實時數據和離線數據打通,使數據可以實現更大規模的關聯計算,挖掘出數據更大的數據價值,進而實現數據驅動業務。目前已經接入了包括黨建、科技項目、久其報表以及人力資源在內的12個業務系統數據。
3)人工智能服務能力
平臺通過人工智能系統進行數據統計,從而發現業務規律,最后利用規律對未來的數據進行分類和預測,使系統呈現出智能化的特性,同時也為客戶的數據分析、建模、精準營銷等功能實現提供有力支持。目前在中化金融事業部門內,完成了審計部門金融客戶流失預警的模型構建及使用。
4)數據治理服務能力
中化大數據平臺提供了數據資產目錄的功能,基于數據資產目錄Transwarp Catalog實現多系統元數據資產目錄,實現對數據的集成、融合、安全、共享,包含數據血緣分析、跨租戶數據自動下發、報表管理、數據資產可視化等方面,有效提升客戶的數據治理能力。
3、大數據平臺支持不同業務場景
輔助領導戰略管控與決策:這是面向整個中化集團及其整個領導層的能力,能夠為領導提供清晰、系統的數據視圖,總體掌握戰略目標的完成情況,及時洞察各級業務動態,輔助決策。
支持靈活的經營分析:平臺基于星環TDH中BI/報表工具Pilot的可視化能力為管理者展現關鍵的經營信息,對經營指標數據進行監控和預警。發揮數據聯通作用,集成“橫向到邊、縱向到底”的各項經營管理數據,完善數據覆蓋范圍,提高數據準確性和及時性。
助力監管,防范化解重大風險:平臺能夠滿足國資監管的要求,實現報送數據的集中、處理、統一報送的數據服務。同時為風險評價、HSE、審計、紀檢等監管部門等提供大數據監管手段,通過風險畫像、主動預警、事件監控等方式,助力開展企業風險管理,提升監管效能。
應用服務案例
集團數據共享平臺
整個數據共享對接統建系統,全部通過離線、實時、外部數據采集到整個平臺之上,面向各個板塊匯總各類數據。整個數據共享交換分為三大層面,首先是技術層主要面向數據采集以及相關存儲,搭建整個數據存儲平臺;其次是功能側,功能側開發了一些相關模型和應用;最后,以大屏方式去展現整個中化集團的數據和管理層應用。最終構建了一個系統、多元、龐大的集團級數據共享交換平臺。
中化石油大屏
石油公司貿易展示大屏項目基于星環平臺和BI產品,通過大屏形式對原油成品油等能源相關貿易數據進行可視化展示,特別是中化石油公司整個貿易流向型號,船舶動態監控型號。石油大屏兼具頂級視覺效果以及高性能操控,為各級領導及時了解貿易流向和船舶動態提供直接明了的量化支撐,有效賦能石油公司管控數字化的發展。
平臺累計接入集團總部和五大事業部,數百家公司,7萬余員工和承包商每日填報數據342萬條,累計開通管理用戶1700名,實現日均檢索訪問11000余次。平臺累計迭代版本53個,開發功能板塊26項。
總結:中化大數據平臺提供一站式的大數據解決方案,能夠充分整合和管理企業各個系統全生命周期數據,快速挖掘數據背后的價值,落地豐富的數據應用場景,形成數據驅動的閉環迭代生態,賦能業務,綜合提升企業管理和運營能力。