根據時間維度，網站匯總，進行用戶的來源地區、來路域名和頁面訪問次數、停留時間、有效訪問次數、跳出率、回訪者、新訪問者、回訪次數、回訪相隔天數等相關數據的統計。要能夠動態添加條件，通過對用戶行為監測獲得的數據進行分析，更加詳細、清楚地了解用戶的行為習慣。

 

每天數據量幾千萬條，而不同網站客戶的分析需求是各自不同的，靈活變化的多維度分析需求對分析性能提出了更高的挑戰，傳統的數據庫以及Hadoop架構已經無法滿足高性能的即時分析需求。

1、90天細節數據約50億條導入永洪的數據集市，直接定制Dashboard分析。
2、ETL方案:歷史數據集中導入，增量數據自動導入。數據關聯，打標簽，入集市。
3、定制需求:具有定制數據庫函數的能力，步長函數，inContains函數等。
4、前端展現:Dashboard設計器，自帶Portal，權限管理，任務調度，監控系統。

1、業務效率提升:線下報告交付周期從3-4周縮短至小于1周。
2、項目來源增加，收入空間加大。
3、后續的創新模式轉型，基于敏捷BI工具構建了新型的SaaS平臺，向提供大數據服務的互聯網應用提供商 轉變。

一周實現大數據可視化分析

—敏捷BI助艾瑞咨詢集團實現互聯網大數據分析

導語:相對傳統分析方法，通過敏捷BI和Hadoop的互補，艾瑞咨詢集團的業務效率獲得數倍的提升“線下報告交付周期從3至4周縮短至小于1周，軟件交付從半年縮短至一個月。
當前，一提到大數據人們就會想Hadoop，它似乎成為大數據的“代言人”。不可否認，Hadoop在集群擴展性和成本上都有巨大的優勢，但是，Hadoop并不適合做實時分析系統。
因此，很多企業都會利用Hadoop實現數據存儲，再通過其他工具實現對大數據的高速捕獲和實時分析。這里，我們將通過艾瑞咨詢集團(Research)的一個真實案例，解讀一下敏捷BI如何和Hadoop進行互補，幫助其實現互聯網大數據分析的。

 

定制化項目效率低下

艾瑞咨詢集團是一家專注于網絡媒體、電子商務、網絡游戲、無線增值等新經濟領域，深入研究和了解消費者行為，并為網絡行業和傳統行業客戶提供市場調查研究和戰略咨詢服務的專業市場調研機構。

 

目前，艾瑞咨詢集團可以向企業提供線下報告和軟件兩種定制化咨詢報告服務。但是，企業客戶的定制化需求非常多變，艾瑞咨詢集團生成一份線下報告交付周期需要3至4周，提供軟件的交付周期則需要半年。再加上項目所需人工成本升高、迭代周期延長，艾瑞咨詢集團往往不敢承接太多定制化項目。

 

通過調研，筆者發現了艾瑞咨詢集團的真正需求:
根據時間維度和網站匯總對用戶的來源地區、來路域名、頁面訪問次數、停留時間、有效訪問次數、跳出率、回訪者、新訪問者、回訪次數和回訪相隔夭數等相關數據進行統計分析，并且還能夠在動態添加條件之后，通過對監測用戶行為獲得的數據進行分析，以最終得出更加詳細、清楚的用戶行為習慣。 因此，艾瑞咨詢集團迫切需要一種更加敏捷、高效的大數據分析工具提升定制化業務的效率。

 

大數據面前:敏捷BI PK傳統BI
在解決艾瑞咨詢集團面臨的難題時，傳統BI的做法是，IT人員事先根據需求分析進行建模，建好二次表或打Cube并提前匯總好數據，業務人員才能在前端查若到分析結果的報表。雖然這種做法很成熟，但是解決不了艾瑞咨詢集團的難題。

 

首先，業務人員查詢的報表相對動態，分析的維度和度量的計算方式已在建模時預先設定好，不能更改。例如，定好了求和或求平均數，再想改成求方差必須再去修改模型。
其次，分析需求變更時，業務人員不能直接調整報表，需要IT人員重新建模或修改已有分析模型，耗時較長，響應速度較慢。

 

最后，有些企業的數據量很小，也需要按照此流程和架構來進行大費周折的數據分析。造成這些問題的本質原因是，過去的技術架構針對海量數據的計算能力不足，企業用戶需要通過建模、二次表、Cube提前進行數據運算匯總。

 

艾瑞咨詢集團希望為企業客戶提交這樣一份分析報告，不僅能看還能動態分析。對于艾瑞咨詢集團來說，數據展現應該是起點而不是終點。看到了數據，要能交互式分析、深入向下挖掘，要能發現問題并找到答案，還要能采取行動。與數據交互的過程要足夠快:如果用戶每次點擊需要等三五分鐘才出結果，就無法進行交互分析。

 

并且，分析報告應能讓非IT部門的同事直接在分析平臺上做出來。不能把所有的分析報告需求都提交到IT部門，這樣會嚴重增加IT部門的工作負擔。同時，敏捷BI的實施和操作要簡單化，讓業務人員可直接使用。

 

同時，分析報告需求經常需要牽涉到數據層的改動，需要IT部門去改進數據層和業務層，傳統BI平臺需要一兩個月才能完成模型梳理。敏捷BI無需事先建模，可以在分析過程中靈活調整分析維度和報表展現，需求變更可以在一天之內響應，提升企業的洞察力決策力。與傳統BI的重量建模、統一視圖不同，敏捷BI采取輕量建模、N個視圖的方法，不建二次表和Cube，數據導入后可以直接進行分析，并且業務人員可以實時調整分析的維度和度量的計算方式，極大地增加了靈活性，真正做到和數據對話。

 

既然有這么便捷的方式，為何傳統BI不采用這種架構呢?那是因為，傳統技術架構沒有引入大數據技術，面對海量數據無法在用戶點擊后的幾秒內就展現企業客戶需要的分析結果，因此必須通過建模提前把數據匯總好，才能保證分析報表展現時的速度。
因此，實現敏捷Bl的前提是采用新架構處理數據，其涉及的技術包括分布式計算、內存計算、列存儲、庫內計算等。敏捷BI可以通過更低的成本、更短的上線周期，快速讓企業洞察到數據的義和價值。

 

業務效率數倍提升。
深入研究艾瑞咨詢集團要分析的數據， 分析的數據就會發現，艾瑞咨詢集團每天要分析的數據量達幾千萬條，且不同企業客戶的分析需求各不相同。因此，復雜多變的多維度分析需求對分析工具的分析性能提出了更高的挑戰，而傳統的數據庫和Hadoop架構已經無法滿足高性能和即

 

時分析的需求。
為此，艾瑞咨詢集團考察過國外一些知名的產品，但是當他們獲知產品的價格和后續的服務費用之后只能放棄。而國內大多數的分析工具大多是上一代BI，需事先建模再進行分析，難以應對靈活的多維度分析變化需求，且針對大數據量的處理能力不能滿足要求。
最終，艾瑞咨詢集團選擇了Yonghong Z-Suite。當艾瑞咨詢集團將三個月的細節數據(約50億條)導入敏捷BI系統，直接就可以展現出定制分析報告。對比原先基于Excel和SQL編程的分析方法，艾瑞咨詢集團的業務效率獲得數倍的提升:線下報告交付周期從3至4周縮短至小于1周，軟件交付從半年縮短至一個月。

 

同時，艾瑞咨詢集團原來由于擔心需求變化導致沒有能力交付的很多項目被收入囊中。采用敏捷BI工具后，艾瑞咨詢集團可以在幾天內快速搭建原型向客戶展示，任意的需求變更都可以一周內調整完畢。這種快速原型試錯的方式，使得艾瑞咨詢集團有能力承接很多此類項目。

由于業務效率的極大提升，有能力承接更多的項目，艾瑞咨詢集團的收入空間也出現了數倍的增長。與此同時，艾瑞咨詢集團的客戶滿意度也穩步提升。

 

不僅如此，為了提供更加直觀可交互的分析報告，提升企業用戶體驗，艾瑞咨詢集團基于敏捷BI工具，構建了一個新型SaaS平臺，艾瑞咨詢集團把企業客戶“用Hadoop架構存儲”數據，通過敏捷BI，提供的接口導入到數據集市內，然后通過敏捷BI快速呈現出結果。事實上:Hadoop和敏捷BI都有各自適用的不同業務場景，兩者是相互補充的關系。當前，很多企業都采用

 

Hadoop實現數據的存儲，然后把Hadoop數據導入敏捷BI基于分布式內存計算的高性能數據集市中，之后再進行數據可視化分析。鑒于現在Hadoop在企業的應用相當廣泛，永洪敏捷BI產品也支持Hadoop數據源的連接。

 

艾瑞咨詢集團合理利用了自己以前花費人力和資金搭建起來的Hadoop架構，使得他們之前的投入沒有浪費。但是，對于以前沒有Hadoop架構的企業來說，Yonghong Z-Suite也可以很好地集成。

 

通過銷售SaaS賬號也為艾瑞咨詢集團新增一項長期穩定的收入，一改原來僅僅依靠獨立項目的單一業務模式。艾瑞咨詢集團旗下子機構迅速跟進敏捷BI的使用和新模式的改變。同時，SaaS平臺的構建也使得艾瑞咨詢集團將自己的價值定位從媒體/咨詢服務公司向提供大數據服務的互聯網應用提供商轉變，大幅提升了公司在資本市場的價值。