基于指標中臺的AI+BI
衡石科技
關注
2023-05-30 14:32
851次閱讀
管理學大師德魯克曾說過，沒有指標就沒有管理。混亂的指標口徑帶來的是分析上的低效和研發人力成本的高消耗，甚至影響業務決策。指標中臺的出現非常有效的解決了這一問題。
衡石科技從4.0版本開始引入指標管理能力，更是在4.3版本中重磅發布了指標中臺，輕量化指標定義的過程，讓用戶能夠對指標進行統一創建和管理，實現指標可復用，降低了分析門檻，并基于ELT+指標中臺的能力形成完整的分析閉環，讓數據分析進一步走進業務端，提升業務數據價值。今天我們就一起來了解下指標中臺的緣起、現在和未來。
01
緣起：從傳統BI到敏捷BI
在傳統BI階段，業務人員通過查看報表和看板的方式進行業務分析，而查看報表僅僅是數據分析流程中的末端，在這之前是非常重的數據加工和處理過程，也就是傳統ETL的過程。
一方面，這種過重的前端數據處理過程，導致中間表數量快速膨脹，造成了大量存儲及計算資源的浪費。另一方面，分析的本質是強運營的，業務運營過程中會不斷產生新的分析需求，導致數據研發團隊疲于應對隨時變化的報表需求，研發投入的價值大大降低。同時，由于前端數據處理過程嚴重依賴于研發人員的技術支持，業務人員無法實現自主分析，必然導致業務分析效率低下。
而敏捷BI階段是通過將建模過程后置，并將物理建模改為了邏輯建模的方式，即將數據處理的過程從ETL模式改變為ELT模式，業務團隊可以自主完成建模，不需要再依賴于數據團隊，由此來提供分析的敏捷性。
02
現在：從敏捷BI到指標中臺
敏捷BI方式也帶來了一些新的問題，首當其沖的是口徑混亂。由于建模過程是由不同業務團隊完成的，每個團隊定義同一指標的方式可能不一樣，從而導致口徑不一致引發管理混亂。第二個問題是重復建模，同一個模型或指標可能在不同的團隊被進行重復建模和定義，造成較大的人力成本浪費。第三個問題是由于數據建模和數據處理的門檻高，業務團隊并不能輕松完成建模的過程，無法完全實現分析平民化、自主化。
指標中臺的出現很好的解決了這些問題。指標中臺與敏捷BI的最大差別是，大部分數據建模的過程是被抽象出來進行中心化管理的，這部分中心化管理的建模過程圍繞指標這一核心概念而構建，通過指標中臺來解耦底層的數據與上層的分析應用。指標中臺為實現分析平民化帶來的價值體現在三個方面：一是通過集中管理和分發使用的中心化管理方式，實現了口徑的統一管理，消除了口徑不一致帶來的混亂。二是提升了建模效率，指標的統一定義就是數據建模過程的復用，大大減少了重復建模和中間表的工作。三是極大降低了分析門檻，業務人員面對的是具有業務意義的指標和維度等業務概念，而不是晦澀難懂的物理數據表和字段，真正落地和實現業務人員的自助分析。
03
指標中臺的關鍵能力
合格的指標中臺需要具備三個能力：
首先是建模語言能力。指標最關鍵的特性是可復用性，不同的SQL數據庫有不同的方言，基于某一種SQL語義定義的指標邏輯，在其它數據環境中可能無法計算，很難實現一處定義隨處可用的復用效果。另外SQL語義本身是面向結構化查詢的語言，書寫較為復雜，在建模上表達能力較弱，而指標體系構建是不斷迭代的業務建模過程，要求建模語義表達能力足夠強，才能高效完成指標制定和迭代工作。所以大部分指標中臺產品都會有自己的建模語言。
其次是指標計算加速能力。指標層本身是一個邏輯語義層，不存儲任何實際數據，只存儲一段計算邏輯。所以在指標中臺的分析場景下，相較于傳統查詢，會產生大量的實時計算，以及對底層明細數據的查詢。在 HENGSHI SENSE 的架構中，是通過內置數倉及開放式設計的產品架構來支撐指標中臺的查詢功能。內置數倉有兩方面的作用，一方面是可以落地智能Cube，加速復雜指標計算；另一方面，衡石在內置數倉做了一個插件式的設計，可以實現在分鐘級的時間內通過配置的方式隨時替換成先進的MPP數據庫或云數倉，如Doris、Clickhouse、Redshift、Snowflake等，這就使得衡石的指標中臺具備一個其它指標中臺沒有的能力：可以隨時引入業內一些先進的計算引擎，借助業內最先進的計算技術，幫助加速計算過程，為指標中臺提供一個高性能的計算底座。
最后是直達分析應用的能力。指標定義和管理的最終目的，是方便的被業務使用，讓業務側的分析工作能夠更靈活、有效的進行，所以指標中臺需要有可視化應用支撐，需要與分析應用層以及底層數據緊密結合。
HENGSHI SENSE 就是以指標中臺為中心構建的一站式分析平臺。在4.3版本之前，衡石的分析應用創作和數據服務就已經可以非常靈活的引入指標層定義的指標來進行報表制作，或者封裝數據API服務。在4.3版本中，進一步加強了指標層和應用層的打通，在分析應用層增加了自助分析的模塊，使得在應用層可以更方便地引用指標來完成業務上的自助分析，為指標提供了更高效的價值出口。
04
未來：基于指標中臺的AI+BI
自ChatGPT橫空問世以來，業內討論最多的就是ChatGPT如何在各行業的場景里落地應用，甚至有不少BI行業伙伴推出了類似Chat2SQL的產品原型。但我們認為Chat2SQL的方式并不是AI+BI的最合理、最有效的方式，而應該是基于指標中臺的AI+BI，可以稱為Chat2Metrics。
以分析上個月渠道用戶留存率為例，在Chat2SQL模式下，ChatGPT對于留存率的定義通常是根據業內的一些通識來定義的，和實際分析場景中的留存率定義可能存在差異，這就需要分析人員進行反復、多輪的信息反饋及同步。
AI落地的大模型學習，一般包括通識學習和場景化學習兩部分，分析場景中往往場景化學習的比重更大（包含大量行業Know-How）。場景化學習的效果又取決于prompt和提問質量。
如果使用Chat2GPT的方式，就會對用戶的prompt及提問者的提問質量有非常高的要求，才能讓AI在場景化的學習過程中能夠足夠好、足夠細的學習到行業Know-how，才能幫助用戶完成比較有效的AI+BI分析。
而在基于指標中臺落地的AI+BI形式中，大部分場景化的知識已經通過指標定義的過程提前固化在指標中臺中，因此只需要在prompt中將定義好的指標提供給ChatGPT，并做一些簡單的提問，ChatGPT就可以非常清晰地將自然語義中的指標概念和指標中臺定義的指標關聯起來，從而生成一個基于指標的查詢過程，具體查詢過程對應的計算邏輯以及SQL代碼也已經在指標中臺中進行了詳細的定義，無需AI處理，更能保障查詢結果的準確性和可解釋性。基于指標中臺的AI+BI的方式，在降低業務人員分析門檻的同時，也大大降低了AI的學習成本，幫助AI更好地在分析場景中落地。
此外，AI在分析領域落地的另外一個場景是幫助用戶更好地進行洞察分析，挖掘數據價值。而在指標中臺里，指標與指標之間存在天然的數據關聯關系，更容易落地根因分析、異常定位、預測分析等智能分析應用。
衡石在4.3版本中重磅發布指標中臺的能力，基于指標中臺的產品形態，為以后進一步做AI+BI的結合提供了先天的優勢，以及更有效、更低成本的落地路徑，幫助衡石未來更好地在分析場景中落地AI價值。
關于衡石科技
北京衡石科技有限公司是一家數據分析和 BI 領域的標準化軟件產品廠商，專注于賦能全行業的 SaaS / ISV 敏捷構建數據分析和 BI 能力。旗下核心產品 HENGSHI SENSE 作為定位超前的 BI PaaS 能力平臺，讓合作伙伴在自己的業務場景中輕松上線指標體系、數據看板、自助分析等功能。衡石科技目前已經和亞馬遜云科技、寶尊電商、浩方集團、積加ERP、領星ERP、探馬SCRM、微伴助手、紛享銷客、六度人和、衛瓴科技、思為科技等數百家先進 SaaS / ISV廠商落地深度合作，讓場景化的商業分析即刻上線，生態合作已覆蓋數字營銷、ERP、CRM、SCRM、CEM、HR、業財費控、MES、低代碼、供應鏈管理等多個垂直領域。
- Powered by HENGSHI
衡石科技
+
關注
0
