客戶介紹

華為1987年正式注冊成立，總部位于中國深圳坂田，是全球領先的信息與通信技術（ICT）解決方案供應商，專注于ICT領域，堅持穩(wěn)健經營、持續(xù)創(chuàng)新、開放合作，在電信運營商、企業(yè)、終端和云計算等領域構筑了端到端的解決方案優(yōu)勢，為運營商客戶、企業(yè)客戶和消費者提供有競爭力的ICT解決方案、產品和服務，并致力于使能未來信息社會、構建更美好的全聯(lián)接世界。2017年，華為排名《財富》世界500強第83位。

項目背景

在企業(yè)規(guī)模飛速擴張的今天，各類業(yè)務、應用系統(tǒng)全方位地覆蓋了整個企業(yè)。應用系統(tǒng)從最初的滿足用戶需求，跨越到分析用戶體驗及用戶畫像，立志為全球用戶提供最好的服務和體驗。

基于此初衷，該企業(yè)各部門越來越重視運營這個模塊，IT數(shù)字化運營的概念也逐漸浮出水面。數(shù)字化運營在中小型企業(yè)實現(xiàn)起來也許不會那么困難，但對于龐大且歷史長久的華為來說必會大動干戈，數(shù)字化運營將面對海量的數(shù)據存儲，企業(yè)級數(shù)據倉庫和各業(yè)務數(shù)據集市的建設，以及如何在海量數(shù)據中挖掘分析出有價值的KPI。對于運營人員來說，最快、最準、最新的運營數(shù)據支持，往往能讓他們事半功倍。

IT數(shù)字化運營所面對的困難：

1、海量數(shù)據的存儲和處理引擎

2、企業(yè)級的數(shù)據倉庫和數(shù)據集市的建設

3、數(shù)據處理的可拓展性（挖掘算法、自定義算法的支持）

4、運營頁面的響應速度

解決方案

使用分布式大數(shù)據庫產品湖倉一體化平臺（下稱PetaBase），代替了傳統(tǒng)的關系型數(shù)據庫作為主要的數(shù)據處理引擎。

挑戰(zhàn)一：海量數(shù)據的存儲和處理引擎

PetaBase數(shù)據存儲基于Hadoop提供的HDFS分布式文件存儲方式，支持關系型數(shù)據庫和非結構化的數(shù)據導入，解決了用戶海量數(shù)據存儲的問題。數(shù)據處理使用impala內存計算引擎，相對于Hadoop生態(tài)中其他的計算引擎，他有著計算快，支持大多數(shù)SQL中的DDL和DML語句等優(yōu)勢。在本次華為數(shù)字化運營項目中共處理60多T的數(shù)據，其中單表最大數(shù)據量達到80億條，3級ETL跑批只需4到6個小時即可完成。

挑戰(zhàn)二：企業(yè)級的數(shù)據倉庫和數(shù)據集市的建設

IT數(shù)字化運營系統(tǒng)共分為四層，分別是底層數(shù)據源，存儲層，服務層和應用層。底層數(shù)據源包含多個業(yè)務系統(tǒng)的底層數(shù)據，來源于關系型數(shù)據庫，Nosql數(shù)據庫，文本數(shù)據等多種數(shù)據源。存儲層通過PetaBase大數(shù)據平臺進行搭建，在PetaBase中對底層多源數(shù)據進行匯總存儲并分層處理，形成多層次數(shù)據模型，完成面向應用的數(shù)據倉庫與數(shù)據集市的建設。PetaBase大數(shù)據平臺為其他平臺提供數(shù)據接口，為上層應用提供數(shù)據基礎。

挑戰(zhàn)三：數(shù)據處理的可拓展性

由于PetaBase的數(shù)據存儲在HDFS中，Hadoop生態(tài)中有多種多樣的數(shù)據處理引擎，并能支持用戶自定義函數(shù)的擴展（數(shù)據挖掘函數(shù)等）。項目中有用到多種數(shù)據挖掘的方法，比如通過箱線圖的算法來排除異常性能數(shù)據，然后取正常性能數(shù)據升序排序后的90%位置的數(shù)據作為性能值的一個度量，并通過用戶自定義的函數(shù)來實現(xiàn)。

挑戰(zhàn)四：運營頁面的響應速度

億信BI可以直接配置PetaBase為數(shù)據連接池。基于億信BI的并行運算等性能優(yōu)化手段結合PetaBase數(shù)據庫的運算性能優(yōu)勢，目前IT數(shù)字化運營報表可實現(xiàn)5秒內響應這一效率要求。

價值

一、海量數(shù)據高效存儲與運算

隨著華為IT智能運營平臺(eSee)承擔的IT數(shù)字化轉型的使命加強，eSee平臺的底層數(shù)據覆蓋范圍和數(shù)據量呈指數(shù)級增長，單靠傳統(tǒng)關系型數(shù)據庫已無法滿足要求，平臺需要一套基于大數(shù)據架構的數(shù)據庫承擔底層數(shù)據存儲計算工作，而PetaBase的出現(xiàn)正好彌補了華為IT運營平臺的不足，并且PetaBase與億信BI同出一脈，天然的融為一體，讓PetaBase對比其他大數(shù)據架構平臺有更多優(yōu)勢，在項目中應用起來非常便捷。

當前PetaBase已經承擔華為IT智能運營平臺(eSee)底層大部分的數(shù)據存儲以及計算處理工作，處理能力得到客戶充分認可：

在Saas服務層，PetaBase底層處理的數(shù)據已覆蓋600+IT產品、80萬+IT用戶的用戶行為、產品質量以及應用本身的業(yè)務量的數(shù)據，這些應用數(shù)據計算處理后被廣泛用于單產品的數(shù)字化運營、全球IT服務的5s度量、產品經營分析、用戶服務畫像等重要的業(yè)務場景中。通過運營洞察各產品在網運行情況，驅動產品自我改進；支持撐各類IT用戶的ROADs體驗落地；發(fā)現(xiàn)業(yè)務流量的高地，支撐流量低的應用"日落"。

在Paas平臺層，PetaBase在平臺底層支撐華為云服務的百萬級VM對應資源的性能容量的運營數(shù)據的處理，通過資源使用率的度量，幫助業(yè)務優(yōu)化資源管理和分配，讓云資源能及時合理使用和釋放，提升云資源使用效率。

在Iaas基礎設施層，Patabase底層承擔華為全球5大中心和RDC、SR數(shù)據中心的機柜、電力、能耗數(shù)據的處理工作，同時支撐著全球10萬+IT后端資產的性能容量的運營數(shù)據的后臺處理，處理的數(shù)據通過前端億信BI給各業(yè)務場景構建的運營界面，助力華為IT的資產使用效率的提升、降低IT基礎設施的成本投資，使能華為IT數(shù)字化轉型成功！

二、與億信BI完美結合

在內部要求全球IT服務頁面5s達標，對于IT智能運營平臺(eSee)而言這也是一項必須完成的目標。如何讓報表計算能在5s內得到響應，這是一項不小的挑戰(zhàn)，尤其是在數(shù)據下探分析的時候，因為明細的數(shù)據量很大，計算結果一般很難在5s得到。但是如果把這種無法做匯總的大數(shù)據的計算放在PetaBase里面計算情況就不一樣了，通過項目的實踐證明，將報表的明細查詢放在PetaBase里進行，之前無法達到業(yè)務要求的報表，通過優(yōu)化都可以達標。

完成數(shù)字化運營后，基于已構建的企業(yè)級別的數(shù)字化平臺，實現(xiàn)物與物、物與人之間的互聯(lián)，向智能物聯(lián)網(IoT)華麗轉身。