品牌名稱
中國移動q
企業規模
1001-5000人

中國移動總部集中經營分析系統——深度分析云助力中移動經營決策

730次閱讀

項目背景 

深度分析云是中國移動總部集中經分系統的重要組成部分,負責歷史數據存儲與深度分析,用于匯集經分主數據倉庫、B域、O域、M域數據,以及Hadoop云的互聯網分析結果、采樣數據,用以支撐各類開放式分析環境,合理分配數據空間、運算資源。數據分布采用更為合理的多層結構,構建數據和應用的生命周期管理機制,規劃進行科學部署。

 

需求分析 

深度分析云定位于集中經分系統的歷史數據存儲與深度分析,在確保數據一致性的基礎上,對外提供自助分析、深度挖掘服務的支撐。本次建設需求,重點包括:

 

元數據管理、數據質量管理、系統管理服務;

Sandbox應用的管理;

針對自助分析的各類數據挖掘,查詢、報表、多維分析;

不良治理數據運算和分析展現;

與主數據倉庫和Hadoop平臺高效的數據傳輸。

 

解決方案 
集中經營分析系統由三個庫構成,三個庫分別為主數據倉庫、GBase 8a MPP數據倉庫、Hadoop云,各庫通過獨立的集群進行建設,三庫之間數據通過ETL平臺來進行調度和轉移。

深度分析云是由GBase 8a MPP Cluster分布式數據庫構成,集群節點數共計1186個,其中包括1期266節點個數據倉庫節點,2期920節點;13.3PB實際入庫,每日增量9.7TB,數據來源于全國31省上傳的業務數據。深度分析云作為存儲數據的平臺,由以下四類數據組成:

 

來自B域、O域、M域的融合數據;

來自非結構化數據,即Hadoop云的互聯網分析及匯總的結果;

來自自助分析提供的沙盒數據、采樣驗證數據等;

來自數據集市數據。

數據規模為“12+1”月明細數據。


 

MPP數據庫集群組成的深度分析云,重點包含如下功能:

實現底層結構化、非結構化數據的輕度匯總,并在匯總數據基礎上實現多維分析、趨勢分析、TopN分析、原因影響分析和What IF分析等;

通過海量的跨域數據間的關聯計算實現深度分析與挖掘,生成準確的用戶畫像;

自助分析查詢能力;

提供數據集市應用;

借用MPP數據倉庫的OLAP數據處理能力,生成數據沙盒(Data Sandbox)。

 

價值體現
自助分析:自助報表、多維分析查詢實現秒級響應,解決大數據量查詢效率低下問題,有效提升用戶滿意度;


動態擴展:系統可擴展能力強,支持集群動態擴展,且性能隨著節點的增加而線性提升;

 

低投高效:GBase 8a MPP Cluster運行于低成本X86 PC Server,成本低廉,性能高效;


國產化:產品完全自主研發,國產可控,響應去IOE的發展趨勢;


混搭架構支撐海量數據:通過分布式計算和存儲以及Hadoop + MPP + 主數據倉庫的混搭結構有效支撐海量數據。