萬(wàn)物之始，大道至簡(jiǎn)。

過(guò)去的數(shù)據(jù)基礎(chǔ)設(shè)施，搭建流程長(zhǎng)且復(fù)雜，耗費(fèi)人力、資金甚巨，也是拖慢企業(yè)數(shù)字化轉(zhuǎn)型過(guò)程的重要原因之一。

近日，衡石科技與云器科技合作發(fā)布的云原生一體化分析解決方案，就像數(shù)字化領(lǐng)域的“大道”——通過(guò)數(shù)據(jù)的全流程一體化，他們完成了云端數(shù)據(jù)基礎(chǔ)的搭建、連接簡(jiǎn)潔有效的BI端應(yīng)用。

從數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)加工到數(shù)據(jù)分析及BI的呈現(xiàn)，用戶首次獲得了全量實(shí)時(shí)的智能分析體驗(yàn)，平臺(tái)具有強(qiáng)大彈性，體驗(yàn)簡(jiǎn)明可靠。

這一解決方案意味著，衡石這一業(yè)界獨(dú)樹(shù)一幟的BI PaaS，進(jìn)一步搭載了云器以Single-Engine為核心技術(shù)的數(shù)據(jù)引擎，共同驅(qū)動(dòng)大數(shù)據(jù)分析走向未來(lái)的一體化時(shí)代。

未來(lái)，企業(yè)將有全新的數(shù)據(jù)體驗(yàn)——無(wú)需擔(dān)憂復(fù)雜、多源的數(shù)據(jù)及架構(gòu)，僅需一個(gè)簡(jiǎn)單易用的平臺(tái)，企業(yè)就能從自身的數(shù)據(jù)金礦中不斷獲取價(jià)值、快速成長(zhǎng)。

01

BI PaaS+云器Lakehouse帶來(lái)全量實(shí)時(shí)的智能分析體驗(yàn)

通過(guò)統(tǒng)一數(shù)據(jù)、存儲(chǔ)、語(yǔ)言，衡石科技與云器科技聯(lián)合解決方案首次突破了過(guò)去離線分析或者離線實(shí)時(shí)Lambda架構(gòu)的桎梏，能夠提供全鏈路一體實(shí)時(shí)BI分析，讓BI分析師能夠更整合、更便利、更全面地分析實(shí)時(shí)和離線數(shù)據(jù)。同時(shí)，在數(shù)據(jù)架構(gòu)上極致簡(jiǎn)化，避免實(shí)時(shí)離線多條數(shù)據(jù)煙囪和復(fù)雜的架構(gòu)帶來(lái)的指標(biāo)口徑不一致等問(wèn)題。

“這是行業(yè)內(nèi)第一次，能通過(guò)一套方案實(shí)現(xiàn)實(shí)時(shí)和離線的數(shù)據(jù)處理及分析，并且覆蓋全域，對(duì)數(shù)據(jù)時(shí)間有更好地把控、顯著降低成本、不受數(shù)據(jù)量限制，解決了企業(yè)客戶的重要痛點(diǎn)。”衡石科技創(chuàng)始人及CEO劉誠(chéng)忠表示。

“衡石BI一直以來(lái)關(guān)注用戶的極致數(shù)據(jù)分析體驗(yàn)，通過(guò)和云器Lakehouse融合的解決方案，幫助企業(yè)更好把控?cái)?shù)據(jù)，不再受數(shù)據(jù)離線或?qū)崟r(shí)的限制使用和分析數(shù)據(jù)；真正做到將數(shù)據(jù)分析的全面性和便利性結(jié)合，給客戶一個(gè)簡(jiǎn)單且統(tǒng)一的BI分析方案。”

這也意味著在面對(duì)高頻數(shù)據(jù)時(shí)，用戶能夠根據(jù)需求獲得實(shí)時(shí)結(jié)果；而業(yè)務(wù)需求減緩時(shí)則可以切換為離線。這樣的變化都是基于同一套數(shù)據(jù)、指標(biāo)及同樣的鏈路處理方式，大大減少了搭建多套數(shù)據(jù)產(chǎn)品組合方案的成本，以及多個(gè)產(chǎn)品的運(yùn)維成本，讓智能分析變得更加統(tǒng)一、自由、高效。

在某跨境服務(wù)企業(yè)的實(shí)際體驗(yàn)中，過(guò)去其數(shù)據(jù)平臺(tái)類似“組裝式”架構(gòu)，包含離線計(jì)算鏈路、實(shí)時(shí)計(jì)算鏈路和數(shù)據(jù)湖等，導(dǎo)致了產(chǎn)品組件多、運(yùn)維成本高、計(jì)算復(fù)雜等三大問(wèn)題——一方面是鏈路割裂、數(shù)據(jù)在統(tǒng)一上容易出問(wèn)題；另一方面，多組件維護(hù)也產(chǎn)生了高昂的運(yùn)維成本；在未來(lái)的數(shù)據(jù)要求增長(zhǎng)時(shí)，組裝式架構(gòu)也在性能瓶頸、靈活性方面有著難以解決的局限性。

使用Lakehouse前：

使用Lakehouse后：

通過(guò)接入這一解決方案，該企業(yè)首次做到了全鏈路實(shí)時(shí)同步、數(shù)據(jù)架構(gòu)進(jìn)化，打破了組裝式架構(gòu)的種種局限性。從最終效果上來(lái)看，降低了5.2倍數(shù)據(jù)資源消耗、2.1倍CPU成本，性能提升。

具體而言，其數(shù)據(jù)平臺(tái)的突破包括：

首次實(shí)現(xiàn)全鏈路實(shí)時(shí)同步

過(guò)去的數(shù)據(jù)平臺(tái)，每天需要花費(fèi)4~5個(gè)小時(shí)將所有業(yè)務(wù)表的數(shù)據(jù)拉到計(jì)算平臺(tái)中，數(shù)據(jù)更新的頻率有限，無(wú)法實(shí)現(xiàn)實(shí)時(shí)入庫(kù)。通過(guò)這一解決方案，公司的數(shù)據(jù)處理方式發(fā)生了質(zhì)的變化，從過(guò)去的批處理模式轉(zhuǎn)變?yōu)閷?shí)時(shí)同步模式，做到全量數(shù)據(jù)實(shí)時(shí)同步，提升業(yè)務(wù)效率和數(shù)據(jù)新鮮度，并隨著實(shí)時(shí)數(shù)據(jù)的變化不斷獲得新的BI數(shù)據(jù)洞察。

降低資源消耗、提升性能

如上文提到，其CPU的成本及任務(wù)資源消耗雙雙降低，大大降低平臺(tái)計(jì)算資源，還提高了客戶平臺(tái)上產(chǎn)品數(shù)據(jù)獲取和查詢的性能，使得數(shù)據(jù)處理和查詢更加高效。

擴(kuò)展性強(qiáng)、滿足客戶不斷增加的業(yè)務(wù)需求

而該解決方案的強(qiáng)大之處，也反映在其擴(kuò)展性上：針對(duì)客戶的巨大實(shí)時(shí)數(shù)據(jù)計(jì)算需求，平臺(tái)從過(guò)去的無(wú)法承載，變?yōu)榭梢詽M足客戶的所有訴求與需求，通過(guò)統(tǒng)一管理及全域數(shù)據(jù)治理，一個(gè)平臺(tái)支持BI、AI多種負(fù)載，大大提升服務(wù)的可能性與客戶滿意度。

比如跨境商戶在商品品類統(tǒng)計(jì)分析時(shí)，可以將數(shù)據(jù)湖中的圖片及對(duì)象存儲(chǔ)路徑進(jìn)行l(wèi)ocation定義，在數(shù)據(jù)平臺(tái)界面直接調(diào)用AI模型接口，完成商品圖片品類識(shí)別，并將輸出的結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)在數(shù)倉(cāng)中，后續(xù)可以與訂單表、商品維度表等數(shù)據(jù)進(jìn)行關(guān)聯(lián)統(tǒng)計(jì)分析。

能夠通過(guò)一個(gè)平臺(tái)賦予企業(yè)這樣的數(shù)據(jù)能力，來(lái)自于兩方的數(shù)年研發(fā)投入、對(duì)業(yè)務(wù)需求的深刻洞察與優(yōu)秀配合。

云器作為一體化湖倉(cāng)平臺(tái)，為這一解決方案打造了優(yōu)秀的數(shù)據(jù)基礎(chǔ)：通過(guò)快速創(chuàng)建虛擬計(jì)算環(huán)境、湖倉(cāng)一體數(shù)據(jù)集成以及針對(duì)實(shí)時(shí)場(chǎng)景的創(chuàng)新技術(shù)設(shè)計(jì)，僅用一套SQL代碼、單引擎（Single Engine）、同一份數(shù)據(jù)，實(shí)現(xiàn)全鏈路的實(shí)時(shí)化數(shù)據(jù)處理。且性能成本比表現(xiàn)優(yōu)異，在分鐘級(jí)及以上實(shí)時(shí)場(chǎng)景性能下，可以達(dá)到數(shù)倍的成本節(jié)省。

而衡石則在過(guò)去數(shù)年中，獨(dú)家推出了BI PaaS的產(chǎn)品形態(tài)，自研更適合數(shù)據(jù)分析的語(yǔ)義層、完成了端到端的數(shù)據(jù)分析架構(gòu)創(chuàng)新（包括湖倉(cāng)一體的開(kāi)放式架構(gòu)以及ELT + Embed的分析管道架構(gòu)）、在云原生架構(gòu)上支持多租戶適配、API服務(wù)能力和彈性擴(kuò)展。

本次合作中，結(jié)合云器的數(shù)據(jù)平臺(tái)，衡石科技通過(guò)獨(dú)特的指標(biāo)中臺(tái)、BI分析、數(shù)據(jù)服務(wù)等一站式數(shù)據(jù)能力，使數(shù)據(jù)真正在企業(yè)端發(fā)揮價(jià)值。

▲ 衡石科技指標(biāo)平臺(tái)架構(gòu)

02

解決百倍突發(fā)、降低50%費(fèi)用，新型平臺(tái)展現(xiàn)強(qiáng)大彈性

在未來(lái)的大數(shù)據(jù)時(shí)代，除了更實(shí)時(shí)、更簡(jiǎn)明的數(shù)據(jù)服務(wù)外，數(shù)據(jù)系統(tǒng)的彈性也將成為評(píng)估其效果的重要指標(biāo)，主要包括兩點(diǎn)：

• 在峰值需求時(shí)的承壓能力及未來(lái)擴(kuò)展能力
• 在需求下降時(shí)的自動(dòng)節(jié)省資源能力

本次衡石與云器共同發(fā)布的方案，展現(xiàn)了一個(gè)全新數(shù)據(jù)解決方案的強(qiáng)大彈性——伸縮自如，隨需而動(dòng)。

根據(jù)云器介紹，其自適應(yīng)的虛擬集群模塊（Virtual Cluster）可以很好地解決業(yè)務(wù)負(fù)載波動(dòng)問(wèn)題，在其架構(gòu)中，只需創(chuàng)建一個(gè)新的virtual cluster并配置其擴(kuò)展的最小和最大值，系統(tǒng)就可以自動(dòng)地根據(jù)C端用戶請(qǐng)求的并發(fā)數(shù)波動(dòng)進(jìn)行自適應(yīng)擴(kuò)容，并感知業(yè)務(wù)的負(fù)載。而在系統(tǒng)探測(cè)到負(fù)載下降后，會(huì)自動(dòng)銷毀virtual cluster 副本，“水位下降”。

自創(chuàng)立以來(lái)，衡石開(kāi)發(fā)了更加靈活的ELT + Embed的管道架構(gòu)，將計(jì)算后置，做到指標(biāo)的中心化管理，高效沉淀和復(fù)用指標(biāo)體系，減少數(shù)據(jù)重復(fù)加工，但是這樣追求業(yè)務(wù)靈活的架構(gòu)對(duì)計(jì)算平臺(tái)的性能和算力同樣有著極高要求。

而云器作為承接衡石的計(jì)算平臺(tái)，擁有強(qiáng)大的算力及性能，這一高性能的湖倉(cāng)平臺(tái)+衡石ELT架構(gòu)意味著二者合作后，可以在性能、彈性和分析靈活度上做到最佳的trade-off，真正實(shí)現(xiàn)了云端數(shù)據(jù)分析上的最佳實(shí)踐。

在未來(lái)業(yè)務(wù)需求增長(zhǎng)時(shí)，系統(tǒng)也能做到自動(dòng)擴(kuò)容，持續(xù)支撐從最初企業(yè)小體量數(shù)據(jù)到快速發(fā)展后巨量數(shù)據(jù)的算力需求。

在客戶的真實(shí)體驗(yàn)中，在并發(fā)增長(zhǎng)至10倍乃至百倍時(shí)，C端用戶的查詢響應(yīng)體驗(yàn)始終保持在穩(wěn)定的區(qū)間中，這正是因?yàn)榛诓l(fā)數(shù)量增長(zhǎng)，系統(tǒng)副本數(shù)做的自適應(yīng)擴(kuò)展，潤(rùn)物細(xì)無(wú)聲地為客戶在需求暴漲時(shí)提供有力的支撐。

而在需求穩(wěn)定下降后，系統(tǒng)同樣會(huì)檢測(cè)負(fù)載狀態(tài)，做到定時(shí)自動(dòng)停止、銷毀副本，按量付費(fèi)、停止使用時(shí)0花費(fèi)，避免資源浪費(fèi)、降低費(fèi)用高達(dá)50%。

03

AI+BI的未來(lái)：無(wú)縫、簡(jiǎn)單、普惠

隨著ChatGPT引起的再一次全球AI熱，AI+BI結(jié)合將逐步成為各行各業(yè)的標(biāo)配，而它們也將重塑許多數(shù)據(jù)及業(yè)務(wù)場(chǎng)景。

一方面，從Data4AI的角度看，如果說(shuō)BI更多是分析“過(guò)去”和“現(xiàn)在”的已知數(shù)據(jù)，解決已知的問(wèn)題；AI加入后，將可以幫助企業(yè)探索未知，包括預(yù)測(cè)和判斷，探索分析企業(yè)沉淀的數(shù)據(jù)寶藏——半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。

隨著AI成為數(shù)據(jù)的“一等公民，僅能做結(jié)構(gòu)化數(shù)據(jù)分析的傳統(tǒng)數(shù)倉(cāng)將逐漸走向衰敗，未來(lái)由湖倉(cāng)架構(gòu)加持的AI時(shí)代BI分析工具，將具備如下特點(diǎn)：

• 首先，支持多種類型的數(shù)據(jù)存儲(chǔ)，且所有的數(shù)據(jù)存儲(chǔ)在一個(gè)存儲(chǔ)體系內(nèi)；
• 其次，有統(tǒng)一數(shù)據(jù)管理能力，能覆蓋半結(jié)構(gòu)化/非結(jié)構(gòu)化數(shù)據(jù)；
• 最后，開(kāi)放數(shù)據(jù)設(shè)計(jì)，可支持上層已有的數(shù)個(gè)不同計(jì)算引擎，同時(shí)還能面向新的計(jì)算引擎完成擴(kuò)展。

因此，開(kāi)放式湖倉(cāng)架構(gòu)上的BI分析工具，將是AI發(fā)揮價(jià)值的最佳選擇。

另一方面，從AI4Data的角度看，AI可以優(yōu)化數(shù)據(jù)的處理鏈路和資源編排，讓數(shù)據(jù)處理更加高效且節(jié)省成本——AI將通過(guò)強(qiáng)大的自學(xué)習(xí)和自加強(qiáng)能力，幫助企業(yè)優(yōu)化數(shù)據(jù)的處理鏈路，基于日常使用習(xí)慣來(lái)進(jìn)行資源編排。在某SaaS行業(yè)的客戶實(shí)際使用案例中，初步測(cè)試帶來(lái)了35%的資源消耗節(jié)省。

隨著AI+BI的逐步落地，新一代一體化的湖倉(cāng)架構(gòu)將會(huì)成為未來(lái)整個(gè)計(jì)算平臺(tái)架構(gòu)的迭代發(fā)展的趨勢(shì)。

過(guò)去，衡石科技作為數(shù)據(jù)分析及BI PaaS，曾與各個(gè)垂直領(lǐng)域的頂尖SaaS廠商和軟件廠商結(jié)合。本次衡石與云器合作推出的云原生一體化數(shù)據(jù)解決方案，將帶來(lái)企業(yè)級(jí)一站式的數(shù)據(jù)體驗(yàn)，按量付費(fèi)、數(shù)據(jù)架構(gòu)靈活，幫助企業(yè)進(jìn)行應(yīng)用AI的能力及數(shù)字化轉(zhuǎn)型。

未來(lái)的AI+BI可能會(huì)有這樣的趨勢(shì)：

• 更加走入業(yè)務(wù)場(chǎng)景：不斷提升交互方式、降低門(mén)檻、在各個(gè)行業(yè)及工種的普及速度大大增加
• 更“輕量嵌入”：更加容易地整合進(jìn)現(xiàn)有系統(tǒng)，無(wú)縫進(jìn)入業(yè)務(wù)流程
• 更“實(shí)時(shí)”：Copilot的模式會(huì)成為工作的標(biāo)準(zhǔn)配置，智能助手的加持讓業(yè)務(wù)運(yùn)營(yíng)崗位的效能大大提升，可以做到數(shù)據(jù)驅(qū)動(dòng)的精細(xì)化運(yùn)營(yíng)

在這個(gè)不那么遙遠(yuǎn)的未來(lái)里，我們也許能看見(jiàn)，隨著這樣簡(jiǎn)明數(shù)據(jù)基礎(chǔ)設(shè)施的誕生，數(shù)據(jù)能力隨著業(yè)務(wù)流程自由地在企業(yè)各個(gè)部門(mén)、職能中流轉(zhuǎn)，時(shí)而化為決策的依據(jù)，時(shí)而指導(dǎo)人們尋找業(yè)務(wù)的疏漏，需要它時(shí)它源源而來(lái)，使用完畢后它馬上偃旗息鼓、靜待下一次召喚。真正的一體化云原生大數(shù)據(jù)時(shí)代，也許就此開(kāi)啟。