近3-4年以來,隨著數(shù)字設(shè)備等性能的快速發(fā)展,信息爆炸的大數(shù)據(jù)時(shí)代來臨。傳統(tǒng)的商業(yè)智能模式和系統(tǒng)應(yīng)該如何發(fā)展,去適應(yīng)大數(shù)據(jù)引起的變革并從中受益?下面就有小編為您帶來大數(shù)據(jù)商業(yè)智能的優(yōu)勢(shì)有哪些的相關(guān)介紹。
一、傳統(tǒng)商業(yè)智能模式
商業(yè)智能(或稱商務(wù)智能,BusinessIntelligence,BI)的概念最早由加特納集團(tuán)(Gartner Group)的Howard Dresner于1996年提出。當(dāng)時(shí)定義為:“商業(yè)智能描述了一系列的概念和方法,通過應(yīng)用基于事實(shí)的支持系統(tǒng)來輔助商業(yè)決策的制定”。
隨著商業(yè)智能領(lǐng)域的發(fā)展,其概念不斷被充實(shí)。如TomSoukup和 Ian Davidson在《Visual Data Mining: Techniques and Tools for Data Visualization and Mining》一書中指出:“商業(yè)智能解決方案將業(yè)務(wù)數(shù)據(jù)轉(zhuǎn)換成明確的、基于事實(shí)的、能夠執(zhí)行的信息,并且使得業(yè)務(wù)人員能夠發(fā)現(xiàn)客戶趨勢(shì),創(chuàng)建客戶忠誠(chéng)度,增強(qiáng)與供應(yīng)商的關(guān)系,減少金融風(fēng)險(xiǎn),以及揭示新的銷售商機(jī)”。
今天,商業(yè)智能的含義包含了信息系統(tǒng)、數(shù)據(jù)分析、知識(shí)發(fā)現(xiàn)與企業(yè)戰(zhàn)略等各個(gè)層面的各種內(nèi)容,時(shí)下流行的供應(yīng)鏈管理(SCM)、客戶關(guān)系管理(CRM)、企業(yè)資源計(jì)劃(ERP)概念均可視為商業(yè)智能的一部分。
二、商業(yè)智能系統(tǒng)的組成部分
一般認(rèn)為,DW、OLAP、DM是所有商業(yè)智能系統(tǒng)均具備的組成部分:
數(shù)據(jù)倉(cāng)庫(kù)(DataWarehouse,DW)是企業(yè)所有類型的有價(jià)值數(shù)據(jù)的集合。BI系統(tǒng)從企業(yè)各種平臺(tái)和流程取有用數(shù)據(jù)并進(jìn)行清理,然后經(jīng)抽取、轉(zhuǎn)換、裝載(即ETL)過程,數(shù)據(jù)儲(chǔ)存在數(shù)據(jù)倉(cāng)庫(kù)中,從而得到企業(yè)數(shù)據(jù)的一個(gè)全局視圖。由于數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)通常為各種明細(xì)數(shù)據(jù),缺少匯總和層次關(guān)系,因此很少直接用于分析和決策。
聯(lián)機(jī)分析處理(On-LineAnalytical Processing,OLAP)用于處理聯(lián)機(jī)數(shù)據(jù)訪問和分析需求。BI系統(tǒng)需要向決策人員提供高效、直觀的數(shù)據(jù)查詢和展現(xiàn),更方便地輔助決策人員,于是OLAP概念產(chǎn)生了,它將原始的、難以使用的數(shù)據(jù)轉(zhuǎn)化為能夠被理解的、多維的信息,并對(duì)多維信息提供鉆取、切片、切塊等操作,從而滿足用戶在各種維度上的數(shù)據(jù)查詢需求。
數(shù)據(jù)挖掘(DataMining,DM)指從海量數(shù)據(jù)中通過某種算法找出隱藏信息的技術(shù)。通常包含關(guān)聯(lián)分析、聚類分析、異常分析等功能。數(shù)據(jù)挖掘的價(jià)值在于,它可利用企業(yè)數(shù)據(jù)進(jìn)行歸納推理,挖掘出潛在的模式,幫助決策人員制定決策和調(diào)整戰(zhàn)略。數(shù)據(jù)挖掘的存在也是BI系統(tǒng)區(qū)別于傳統(tǒng)報(bào)表系統(tǒng)的最主要區(qū)別。
在傳統(tǒng)的技術(shù)手段下,BI系統(tǒng)的三大組成部分都可利用關(guān)系型數(shù)據(jù)庫(kù)(RDBMS)實(shí)現(xiàn),許多關(guān)系型數(shù)據(jù)庫(kù)的生產(chǎn)商,如Oracle、IBM、微軟,同時(shí)也是商業(yè)智能解決方案的提供商,可見兩者結(jié)合之緊密。
近年來,隨著大數(shù)據(jù)時(shí)代的來臨,非關(guān)系型數(shù)據(jù)庫(kù)(NoSQL)的優(yōu)勢(shì)開始凸顯。許多IT企業(yè),尤其是互聯(lián)網(wǎng)行業(yè),已經(jīng)邁入了SQL和NoSQL并存的時(shí)代,非關(guān)系型數(shù)據(jù)庫(kù)如HBase用于海量數(shù)據(jù)的清洗和處理,關(guān)系型數(shù)據(jù)庫(kù)如Oracle用于面向用戶的多維查詢和展現(xiàn)。
我們的數(shù)據(jù)分析平臺(tái)也使用了這種技術(shù)模式。但無論使用何種技術(shù),商業(yè)智能的三大組成部分都對(duì)應(yīng)著以下三大主要功能。
三、商業(yè)智能系統(tǒng)的主要功能
數(shù)據(jù)管理功能:從多個(gè)數(shù)據(jù)源獲取數(shù)據(jù)、處理多種格式的數(shù)據(jù)、存儲(chǔ)海量數(shù)據(jù)的能力。為輔助這一功能,一些BI系統(tǒng)具備元數(shù)據(jù)管理模塊,即對(duì)描述數(shù)據(jù)的數(shù)據(jù)也進(jìn)行管理。隨著業(yè)務(wù)量級(jí)的提升、數(shù)據(jù)口徑的日益復(fù)雜,不遠(yuǎn)的將來我們也會(huì)有提升數(shù)據(jù)管理能力的需要,而元數(shù)據(jù)管理就是最好的解決方案。
數(shù)據(jù)分析功能:傳統(tǒng)BI系統(tǒng)具備即席查詢、報(bào)表生成、數(shù)據(jù)可視化等數(shù)據(jù)分析功能。而大數(shù)據(jù)時(shí)代來臨的意義在于,數(shù)據(jù)的鴻溝正在逐步消除,不僅企業(yè)決策人員能更加方便靈活地操作數(shù)據(jù),普通用戶也有獲取數(shù)據(jù)的需求,企業(yè)滿足用戶這方面的需求,讓用戶分析自己、管理自己,對(duì)雙方都會(huì)帶來巨大的價(jià)值。
新浪微博的數(shù)據(jù)分析插件、淘寶的數(shù)據(jù)魔方等都是正面的成功范例。不幸的是,仍有一些古董級(jí)的企業(yè)逆勢(shì)而為,力圖加高數(shù)據(jù)壁壘,讓用戶對(duì)自己的消費(fèi)情況查不清、問不明,這只會(huì)加速用戶流失。筆者建議這些企業(yè)盡早轉(zhuǎn)變陳腐的觀念,營(yíng)造透明開放的數(shù)據(jù)環(huán)境,只有擁抱變革,才不會(huì)遭受變革。
知識(shí)發(fā)現(xiàn)功能:將數(shù)據(jù)中隱含的、潛在有用的而人們又感興趣的部分固化下來形成知識(shí)的功能。提取的知識(shí)通常表現(xiàn)為概念、規(guī)則、規(guī)律、模式等。筆者認(rèn)為,知識(shí)發(fā)現(xiàn)主要解決who、where、what的問題,即客戶是誰、客戶在哪里、客戶想要什么。
在大數(shù)據(jù)環(huán)境下,人們甚至可以發(fā)現(xiàn)一些難以想象的銷售模式,如沃爾瑪“啤酒與尿布”的經(jīng)典案例。對(duì)我們公司來說,這塊能力急需加強(qiáng)。公司領(lǐng)導(dǎo)層多次提到“對(duì)圖書和用戶都不了解”,是一個(gè)明確的缺乏知識(shí)發(fā)現(xiàn)能力的信號(hào)。
四、大數(shù)據(jù)的變革
1、使用多種數(shù)據(jù)類型綜合決策。以零售業(yè)為例,傳統(tǒng)的線下銷售模式中,企業(yè)的信息化系統(tǒng)中保存的數(shù)據(jù)通常只有訂單數(shù)據(jù),企業(yè)也只關(guān)心訂單的狀況和由此生成的財(cái)務(wù)報(bào)表。
顧客的人身特征、詢價(jià)過程、物流配送等等信息都被丟棄了。而線上銷售模式中,訂單只是數(shù)據(jù)的一小部分,對(duì)企業(yè)更有價(jià)值的反而是用戶瀏覽過程、搜索、對(duì)比、收藏、詢價(jià)、物流、評(píng)價(jià)這些被傳統(tǒng)行業(yè)遺棄的數(shù)據(jù),甚至很多電商網(wǎng)站費(fèi)盡心機(jī)爬取用戶的其他網(wǎng)頁訪問、位置、通訊錄等數(shù)據(jù)。
姑且不論收集這些數(shù)據(jù)是否合法,至少線上銷售能給客戶帶來更精準(zhǔn)的推薦和更個(gè)性化的體驗(yàn),可以說電商已經(jīng)靠著數(shù)據(jù)革了線下銷售的命。
2、不再探尋因果,而探尋關(guān)聯(lián)。傳統(tǒng)行業(yè)喜歡使用因果論來指導(dǎo)經(jīng)營(yíng),如“買了籃球——推薦籃球鞋”、“因?yàn)榈?mdash;—所以促銷”等。類似的方案需要對(duì)行業(yè)本身具備了解,但頻繁使用又會(huì)使經(jīng)營(yíng)模式趨于雷同。
在大數(shù)據(jù)環(huán)境下,我們需要探究的是關(guān)聯(lián)而非因果。如沃爾瑪?shù)?ldquo;啤酒和尿布”故事,便是沃爾瑪?shù)臄?shù)據(jù)分析人員找到了兩者的強(qiáng)關(guān)聯(lián)而提出的銷售方案。數(shù)據(jù)分析人員無需探究深層次的原因是妻子讓丈夫帶尿布,還是丈夫讓妻子帶啤酒,這根本無關(guān)緊要。
3、從異常數(shù)據(jù)和臟數(shù)據(jù)中淘金。傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)構(gòu)造過程中,異常數(shù)據(jù)、臟數(shù)據(jù)需要在ETL過程中予以剔除,否則將會(huì)造成數(shù)據(jù)入庫(kù)失敗等各種問題。然而在大數(shù)據(jù)環(huán)境下,異常數(shù)據(jù)卻可能有其價(jià)值。
筆者在之前的工作中,發(fā)現(xiàn)每天8點(diǎn)和20點(diǎn)均有大量客戶端訪問錯(cuò)單,這些記錄均被ETL清洗了。進(jìn)一步研究發(fā)現(xiàn)這些錯(cuò)單均為調(diào)用同一個(gè)接口導(dǎo)致的,再進(jìn)一步核查業(yè)務(wù)代碼,發(fā)現(xiàn)安卓客戶端在設(shè)計(jì)時(shí)為跟蹤沉默客戶端用戶,每天8點(diǎn)和20點(diǎn)兩個(gè)時(shí)段客戶端會(huì)向服務(wù)器發(fā)送握手消息,當(dāng)客戶端保有量增大時(shí),握手消息使服務(wù)器不堪重負(fù),最終產(chǎn)生錯(cuò)單。
之后的客戶端設(shè)計(jì)調(diào)整了代碼,將握手機(jī)制分散至全天執(zhí)行,減少了服務(wù)器負(fù)荷,避免根據(jù)錯(cuò)誤的壓力“峰值”對(duì)服務(wù)器擴(kuò)容。又比如,美國(guó)一家信用機(jī)構(gòu)發(fā)現(xiàn),有10%的“已死亡”客戶仍在正常償還貸款,保留這些異常數(shù)據(jù)而非做銷戶處理,會(huì)給企業(yè)帶來額外的利潤(rùn)。
當(dāng)然,大數(shù)據(jù)帶來的變革遠(yuǎn)不止以上三點(diǎn),它帶來的既是機(jī)遇,也是挑戰(zhàn)。如何將大數(shù)據(jù)理念與傳統(tǒng)的BI相結(jié)合,以產(chǎn)生新的功能點(diǎn),是我們迫切需要思考的問題。
五、商業(yè)智能與大數(shù)據(jù)結(jié)合
1、快速分析。面對(duì)猛增的數(shù)據(jù)量和分析人員越來越多的即席查詢需求,BI需要具備快速分析特性。我們有兩種手段支持這一特性。
一是維度冗余,即對(duì)統(tǒng)計(jì)級(jí)數(shù)據(jù)做不同級(jí)別的匯總,各級(jí)別間允許存在交叉,如PV數(shù)據(jù)可按地市匯總、按地市+用戶類型匯總、按地市+用戶類型+業(yè)務(wù)線匯總,三種維度的數(shù)據(jù)是冗余的,即這是一種以空間換時(shí)間的技術(shù)。缺點(diǎn)是,新增一個(gè)維度即需要新增一張表,當(dāng)數(shù)據(jù)量大時(shí)還要做分庫(kù)、加硬件。
二是內(nèi)存計(jì)算,一些頻繁被查詢的數(shù)據(jù)可放在內(nèi)存中,同時(shí)輔助以內(nèi)存文件系統(tǒng)加Storm的模式,可支持秒級(jí)甚至毫秒級(jí)的查詢。缺點(diǎn)是,這種技術(shù)只能支持較小的數(shù)據(jù)量。
2、計(jì)算分層。按數(shù)據(jù)量和數(shù)據(jù)延時(shí)要求的不同,我們可將計(jì)算能力劃分為三層,以不同的技術(shù)手段實(shí)現(xiàn)。實(shí)時(shí)性最高、數(shù)據(jù)量最小的情況使用流式計(jì)算層,代表技術(shù)為Storm(https://storm.incubator.apache.org/),它可在每一塊數(shù)據(jù)到達(dá)時(shí)觸發(fā)計(jì)算,適合實(shí)時(shí)的標(biāo)量匯總,如商品的實(shí)時(shí)銷售額。實(shí)時(shí)性較高、數(shù)據(jù)量適中的情況使用塊計(jì)算層,可用傳統(tǒng)的Oracle完成,在Oracle上應(yīng)用OLAP可滿足大部分日常報(bào)表的需求。
實(shí)時(shí)性最低、數(shù)據(jù)量最大的情況使用批量計(jì)算層,代表技術(shù)為Hadoop,如每日的底層數(shù)據(jù)處理、長(zhǎng)周期的數(shù)據(jù)累計(jì)等。
3、服務(wù)開放。類似SaaS(軟件即服務(wù))理念,將數(shù)據(jù)處理和數(shù)據(jù)分析能力包裝為服務(wù),允許有一定經(jīng)驗(yàn)的數(shù)據(jù)科學(xué)家直接調(diào)用。面向服務(wù)的架構(gòu)還有助于前后臺(tái)的解耦,當(dāng)前臺(tái)需要新增指標(biāo)或展現(xiàn)時(shí),后臺(tái)只需對(duì)接口做少量改動(dòng),或完全不用改動(dòng)。
大數(shù)據(jù),數(shù)據(jù)分析,數(shù)據(jù)挖掘,商業(yè)智能……他們區(qū)別是什么?我嘗試問了周圍幾個(gè)非本行業(yè)的朋友,他們看到這些詞通常從字面意思只能理解個(gè)大概,但概念也非常模糊,搜索網(wǎng)上我們也許會(huì)得到各種充斥著專業(yè)術(shù)語的解釋。但隨著大數(shù)據(jù)時(shí)代的到來,大數(shù)據(jù)商業(yè)智能在不久的將來業(yè)會(huì)得到億數(shù)級(jí)別的發(fā)展。以上就是小編為您介紹的大數(shù)據(jù)商業(yè)智能的優(yōu)勢(shì)有哪些,希望對(duì)您有所幫助。
[免責(zé)聲明]
文章標(biāo)題: 大數(shù)據(jù)商業(yè)智能的優(yōu)勢(shì)有哪些?
文章內(nèi)容為網(wǎng)站編輯整理發(fā)布,僅供學(xué)習(xí)與參考,不代表本網(wǎng)站贊同其觀點(diǎn)和對(duì)其真實(shí)性負(fù)責(zé)。如涉及作品內(nèi)容、版權(quán)和其它問題,請(qǐng)及時(shí)溝通。發(fā)送郵件至36dianping@36kr.com,我們會(huì)在3個(gè)工作日內(nèi)處理。