數據倉庫,英文名為DataWarehouse,可以簡稱為DW或DWH。數據倉庫,是為企業各級決策制定過程,提供各種類型的資料支持的戰略集合。這是為了分析報告和決策支持而創建的單一數據存儲。為需要業務智能的企業提供改進、監控時間、成本、質量和控制的指導。了解了數據倉庫的定義之后,小編和大家一起看看數據倉庫有哪五層架構,希望對你有所幫助。
數據倉庫有哪五層架構
功能:ODS層是數據倉庫準備區,為DWD層提供基礎原始數據,可減少對業務系統的影響
建模方式及原則:從業務系統增量抽取、保留時間由業務需求決定、可分表進行周期存儲、數據不做清洗轉換與業務系統數據模型保持一致、按主題邏輯劃分
功能:為DW層提供來源明細數據,提供業務系統細節數據的長期沉淀,為未來分析類需求的擴展提供歷史數據支撐
建模方式及原則:數據模型與ODS層一致,不做清晰轉換處理、為支持數據重跑可額外增加數據業務日期字段、可按年月日進行分表、用增量ODS層數據和前一天DWD相關表進行merge處理
功能:
為DW、ST層提供細粒度數據,細化成DWB合DWS;
DWB是根據DWD明細數據經行清晰轉換,如維度轉代理鍵、身份證清洗、會員注冊來源清晰、字段合并、空值處理、臟數據處理、IP清晰轉換、賬號余額清洗、資金來源清洗等;
DWS是根據DWB層數據按各個維度ID進行粗粒度匯總聚合,如按交易來源,交易類型進行匯合
建模方式及原則:
聚合、匯總增加派生事實;
關聯其它主題的事實表,DW層可能會跨主題域;
DWB保持低粒度匯總加工數據,DWS保持高粒度匯總數據;
數據模型可能采用反范式設計,合并信息等。
功能:
可以是一些寬表,是根據DW層數據按照各種維度或多種維度組合把需要查詢的一些事實字段進行匯總統計并作為單獨的列進行存儲;
滿足一些特定查詢、數據挖掘應用;
應用集市數據存儲
建模方式及原則:
盡量減少數據訪問時計算,優化檢索;
維度建模,星型模型;
事實拉寬,度量預先計算;
分表存儲
功能:
ST層面向用戶應用和分析需求,包括前端報表、分析圖表、KPI、儀表盤、OLAP、專題等分析,面向最終結果用戶;
適合作OLAP、報表模型,如ROLAP,MOLAP;
根據DW層經過聚合匯總統計后的粗粒度事實表
建模方式及原則:
保持數據量小;
維度建模,星形模型;
各位維度代理鍵+度量;
增加數據業務日期字段,支持數據重跑;
不分表存儲
其實,數據倉庫本身既不生產數據也不消費數據,只是作為中間平臺集成存儲數據;數據倉庫實現的難度在于整體結構的構建和ETL的設計,這也是日常管理和維護的重點;數據倉庫的真正價值體現在它的數據應用上,沒有有效的數據應用就失去了建立數據倉庫的意義。以上就是數據倉庫有哪五層架構的全部內容,希望對你有所幫助。
[免責聲明]
文章標題: 數據倉庫有哪五層架構?
文章內容為網站編輯整理發布,僅供學習與參考,不代表本網站贊同其觀點和對其真實性負責。如涉及作品內容、版權和其它問題,請及時溝通。發送郵件至36dianping@36kr.com,我們會在3個工作日內處理。