項(xiàng)目背景

隨著大數(shù)據(jù)智能化、實(shí)時(shí)化應(yīng)用需求的日益增多，聯(lián)通集團(tuán)需要構(gòu)建統(tǒng)一用戶上下文信息庫(kù)，為場(chǎng)景化營(yíng)銷(xiāo)、實(shí)時(shí)推薦、智能預(yù)警和防控等應(yīng)用構(gòu)建基礎(chǔ)支撐數(shù)據(jù)庫(kù)，來(lái)滿足相關(guān)業(yè)務(wù)部門(mén)需求。

項(xiàng)目需求

用戶上下文信息，指移動(dòng)用戶的一些暫態(tài)性的場(chǎng)景類屬性，如當(dāng)前位置、最近撥打電話、最近訪問(wèn)網(wǎng)站、當(dāng)前業(yè)務(wù)使用量、最近辦理業(yè)務(wù)等。

應(yīng)用場(chǎng)景需求：業(yè)務(wù)部門(mén)對(duì)大數(shù)據(jù)的多樣化、智能化應(yīng)用需求日益增多，諸如場(chǎng)景化營(yíng)銷(xiāo)、實(shí)時(shí)推薦、智能預(yù)警和防控等，皆以用戶自身所處的情景和行為變化（用戶上下文數(shù)據(jù)）為中心，實(shí)現(xiàn)個(gè)性化和智能化的消息推送等。

數(shù)據(jù)整合和價(jià)值提升需求：上下文數(shù)據(jù)庫(kù)對(duì)用戶實(shí)時(shí)/準(zhǔn)實(shí)時(shí)、動(dòng)態(tài)數(shù)據(jù)進(jìn)行統(tǒng)一整合和集中存儲(chǔ)，同時(shí)可結(jié)合用戶常用靜態(tài)數(shù)據(jù)，支撐實(shí)現(xiàn)靜態(tài)分析結(jié)果+實(shí)時(shí)場(chǎng)景的消息觸發(fā)，實(shí)現(xiàn)數(shù)據(jù)的充分利用和價(jià)值提升。

通用能力構(gòu)建需求：打造通用的用戶上下文數(shù)據(jù)開(kāi)放能力，提供可配置的、與具體應(yīng)用解耦的場(chǎng)景化通知消息，對(duì)各業(yè)務(wù)部門(mén)相關(guān)需求進(jìn)行統(tǒng)一、規(guī)范化的支撐，改變之前為每個(gè)實(shí)時(shí)場(chǎng)景應(yīng)用開(kāi)發(fā)緊耦合數(shù)據(jù)支撐功能的現(xiàn)狀。

實(shí)施效果

聯(lián)通集團(tuán)借助星環(huán)科技大數(shù)據(jù)平臺(tái)及相關(guān)技術(shù)， 構(gòu)建了用戶上下文信息庫(kù)從各類實(shí)時(shí)/準(zhǔn)實(shí)時(shí)數(shù)據(jù)源中實(shí)時(shí)獲取用戶上下文信息，并對(duì)全網(wǎng)移動(dòng)用戶的動(dòng)態(tài)上下文數(shù)據(jù)和用戶常用靜態(tài)數(shù)據(jù)進(jìn)行整合存儲(chǔ)；實(shí)現(xiàn)了通用的、可配置的基于上下文數(shù)據(jù)的場(chǎng)景化實(shí)時(shí)消息處理目標(biāo)。

將異構(gòu)數(shù)據(jù)源接入適配器規(guī)則，把各類數(shù)據(jù)整合后進(jìn)行輕度處理，將數(shù)據(jù)中的一些非法字符、空格以及敏感信息進(jìn)行適配。

1、把一部分適配后的數(shù)據(jù)以流的方式接入到kafka集群中，通過(guò)StreamingSQL接受流數(shù)據(jù)，對(duì)數(shù)據(jù)流進(jìn)行降噪、清洗、關(guān)聯(lián)匹配等操作，以提高數(shù)據(jù)的質(zhì)量。

2、將TDH集群中的數(shù)據(jù)（上下文信息庫(kù)沉淀數(shù)據(jù)），以不同角度的業(yè)務(wù)場(chǎng)景，封裝成對(duì)外接口能力，對(duì)外提供數(shù)據(jù)查詢API。向數(shù)據(jù)開(kāi)放共享平臺(tái)或其他平臺(tái)提供業(yè)務(wù)數(shù)據(jù)查詢的能力，為用戶方提供數(shù)據(jù)支撐。

3、把一部分?jǐn)?shù)據(jù)（不需要規(guī)整的數(shù)據(jù)）直接以流的方式匯聚到流處理集群，進(jìn)行全量歷史數(shù)據(jù)存儲(chǔ)，封裝成對(duì)外接口能力，對(duì)外提供數(shù)據(jù)查詢API（最近30分鐘數(shù)據(jù)秒級(jí)查詢與全量數(shù)據(jù)的分析匯總查詢）。向數(shù)據(jù)開(kāi)放共享平臺(tái)或其他平臺(tái)提供業(yè)務(wù)數(shù)據(jù)查詢的能力，為用戶方提供數(shù)據(jù)支撐。

通過(guò)對(duì)用戶上下文信息庫(kù)對(duì)外服務(wù)接口的封裝，提供對(duì)外部應(yīng)用使用上下文信息庫(kù)的API訂閱和查詢能力，同時(shí)也可以提供批量數(shù)據(jù)集的訂閱能力。

通過(guò)此項(xiàng)目的建設(shè)和實(shí)施，實(shí)現(xiàn)上下文信息庫(kù)的對(duì)外開(kāi)放數(shù)據(jù)使用和實(shí)時(shí)場(chǎng)景通知消息的觸達(dá)的能力的目標(biāo)。