品牌名稱
中國聯通
企業規模
10000人以上

星環合作中國聯通:上下文實時處理平臺

591次閱讀

項目背景

隨著大數據智能化、實時化應用需求的日益增多,聯通集團需要構建統一用戶上下文信息庫,為場景化營銷、實時推薦、智能預警和防控等應用構建基礎支撐數據庫,來滿足相關業務部門需求。

 

項目需求

用戶上下文信息,指移動用戶的一些暫態性的場景類屬性,如當前位置、最近撥打電話、最近訪問網站、當前業務使用量、最近辦理業務等。

應用場景需求:業務部門對大數據的多樣化、智能化應用需求日益增多,諸如場景化營銷、實時推薦、智能預警和防控等,皆以用戶自身所處的情景和行為變化(用戶上下文數據)為中心,實現個性化和智能化的消息推送等。

數據整合和價值提升需求:上下文數據庫對用戶實時/準實時、動態數據進行統一整合和集中存儲,同時可結合用戶常用靜態數據,支撐實現靜態分析結果+實時場景的消息觸發,實現數據的充分利用和價值提升。

通用能力構建需求:打造通用的用戶上下文數據開放能力,提供可配置的、與具體應用解耦的場景化通知消息,對各業務部門相關需求進行統一、規范化的支撐,改變之前為每個實時場景應用開發緊耦合數據支撐功能的現狀。

 

實施效果

聯通集團借助星環科技大數據平臺及相關技術, 構建了用戶上下文信息庫從各類實時/準實時數據源中實時獲取用戶上下文信息,并對全網移動用戶的動態上下文數據和用戶常用靜態數據進行整合存儲;實現了通用的、可配置的基于上下文數據的場景化實時消息處理目標。

將異構數據源接入適配器規則,把各類數據整合后進行輕度處理,將數據中的一些非法字符、空格以及敏感信息進行適配。

1、把一部分適配后的數據以流的方式接入到kafka集群中,通過StreamingSQL接受流數據,對數據流進行降噪、清洗、關聯匹配等操作,以提高數據的質量。

2、將TDH集群中的數據(上下文信息庫沉淀數據),以不同角度的業務場景,封裝成對外接口能力,對外提供數據查詢API。向數據開放共享平臺或其他平臺提供業務數據查詢的能力,為用戶方提供數據支撐。

3、把一部分數據(不需要規整的數據)直接以流的方式匯聚到流處理集群,進行全量歷史數據存儲,封裝成對外接口能力,對外提供數據查詢API(最近30分鐘數據秒級查詢與全量數據的分析匯總查詢)。向數據開放共享平臺或其他平臺提供業務數據查詢的能力,為用戶方提供數據支撐。

通過對用戶上下文信息庫對外服務接口的封裝,提供對外部應用使用上下文信息庫的API訂閱和查詢能力,同時也可以提供批量數據集的訂閱能力。

通過此項目的建設和實施,實現上下文信息庫的對外開放數據使用和實時場景通知消息的觸達的能力的目標。

undefined