項目意義

隨著信用卡中心業務規模地不斷擴大，以及相關產品和服務種類地迅速增加，卡中心自身的數據總量在劇烈膨脹、數據類型也在不斷增多。與此同時，隨著我國金融市場的逐步開放，以互聯網為代表的現代信息科技，特別是，門戶網站、社區論壇、微博、微信等新型傳播方式的蓬勃發展，移動支付、搜索引擎和云計算的廣泛應用，構建起了全新的虛擬客戶信息體系，并將改變現代金融運營模式。數據海量化、多樣化、快速化和價值化等特征，將給商業銀行市場競爭帶來全新的機遇與挑戰，將改變其經營理念和服務方式?？深A見，隨著分布式計算相關技術的成熟、應用和發展，將為銀行業務轉型和產品創新創造了條件，銀行業服務及管理模式都將發生根本性改變，未來的銀行不僅應是數據大行，更應是數據分析、數據解讀的優秀銀行，要能夠從數據中獲得洞察力，從數據中攫取價值，從數據中贏得未來。

卡中心當前數據分析平臺體系（包含基礎平臺、分析集市、分析倉庫等）積累了豐富的數據，為信用卡各項業務發展提供穩定高效的數據支持。然而，隨著大數據時代的到來，基礎數據正向著大量、多樣、高速、價值方向轉化，傳統數據處理技術已漸漸無法滿足未來數據的變化及發展趨勢，現有數據基礎平臺面臨如下的困難及挑戰：

（一）對于互聯網半結構化、非結構化數據，無法有效存儲、清洗和分析使用。隨著銀行業務的互聯網化，產生大量非結構化數據，比如微信數據、信用卡APP數據等。此類數據若利用現有數據平臺解析處理成本高、效率低，亟需一個大數據基礎平臺來采集處理此類異構數據，作為傳統架構的補充及完善。

（二）客戶行為數據無從采集，無法深入了解客戶，挖掘其客戶行為偏好。目前,卡中心缺乏獲取客戶互聯網行為的渠道及平臺，無法進一步深入了解客戶的行為偏好，而此類客戶行為數據恰恰卻是卡中心深入了解客戶最為缺乏的寶貴資源。因此，亟需一個大數據基礎平臺采集、整理客戶行為數據，并利用大數據技術挖掘客戶行為偏好，深入了解客戶內心真正的需求。

（三）現有平臺數據源已包含大部分業務數據，傳統技術無法拓展新型數據源。隨著大數據技術的發展，只有不斷發現及引入新的數據源才是提升數據整體價值的關鍵，而隨著新業務系統不斷建設落地，亟需一個大數據基礎平臺進一步拓寬新型數據源，作為傳統基礎平臺數據源的補充，通過傳統及大數據相結合的方式拓展卡中心基礎數據的廣度及深度。

項目目標

搭建互聯網渠道非結構化數據采集、處理、存儲的大數據基礎平臺，本著“統一規劃，分步實施，循序漸進，迭代上升”的理念，同時參考同業卡中心相關平臺落地的實施步驟，本期項目以基礎平臺搭建為主，建立分布式處理框架，重點實現異構數據采集、處理和存儲，并探索挖掘客戶互聯網行為標簽。

業務功能

• 搭建信用卡歷史數據查詢及互聯網渠道數據分析應用系統，實現基于分布式技術的數據處理架構。
• 搭建該平臺的可視化管理平臺，實現基于分布式計算技術的可視化的作業管理、作業監控、數據監控、平臺監控、組件管理、配置管理、用戶管理、權限管理、審計管理等。
• 搭建該平臺的交互式界面，提供通用、高效、友好的數據展現方式，實現展示（統計圖表：餅圖、折線、柱狀）。
• 實現各生產數據到分布式數據分析平臺可視化的數據導入、清洗、轉換、存儲，并根據上層數據應用的需求，建立數據模型。
• 實現基于微信、信用卡APP等非結構化數據處理場景，能統一接入并存儲各類“新”數據，并提供合適的技術手段進行后續分析處理。
• 根據采集處理后的互聯網客戶行為數據，充分利用分布式挖掘技術，初步實現客戶行為標簽等應用場景。