至此，春天以來，火山引擎一系列的市場動作，快速占領了A/B測試產品的市場認知。
但不得不承認的是，如果與IaaS等基礎To B服務相比，A/B測試絕對不是一個大市場。從供給側來看，行業成熟度高的產品并不多。對于這塊不是那么“誘人”的業務，不缺流量、“不差錢”的字節，為何高調“出手”？
A/B測試又被稱為小流量實驗。針對想改進的某個功能/UI/邏輯策略等，提供兩種或多種不同的備選解決方案，從總體企業用戶中抽取一小部分，隨機地將抽取出的流量分配給不同方案，最終結合一定的統計方法，通過實驗數據對比來確定最優方案。
A/B測試帶給企業的收益主要有兩方面，一是前置性地驗證方案收益，不僅能評估出哪個方案更好，還能評估出好多少；另一方面是規避了風險，如果某個方案會對企業業務帶來負面影響，A/B測試能夠將其控制在實驗范圍內。
“但是A/B測試賺不了多少錢。”火山引擎總經理譚待在接受TO B新勢力采訪時，開門見山地說道。
譚待沒有神化A/B測試這款產品，也沒有講任何故事，反而強調“務實”是整個業務線從上至下的氣質。
了解客戶到底想要解決一個什么樣的場景問題——怎么樣去衡量這個問題，如何衡量解決得好壞——通過數據還是通過人——哪些工具、哪些方法、哪些技術能夠把這事解決好。這是火山引擎團隊對內和對外解決問題的基本邏輯。
2012年成立之初，字節跳動就在內部使用A/B測試，之后這個工具逐漸升級、進化，成為大型的測試平臺，2018年開始服務少數外部的種子客戶，2020年通過火山引擎正式對外商業化。
“產品賣這么多錢，能否給客戶帶來相應的價值？能不能解決實際問題？”譚待加入字節跳動快兩年，他覺得公司務實的文化讓他感受最深，對客戶有價值， To B生意才能長久。
字節是唯一一家將To B技術或者業務部門用“引擎”這個詞來命名的大廠。譚待解釋：“引擎的含義是技術要服務業務場景，產品和服務能夠幫客戶實現業務增長。”
火山引擎A/B測試產品架構師李想進一步解釋到：“火山引擎A/B測試首先是一個對外的產品，進而能夠把承載字節增長的方法論和文化傳播出去。火山引擎以A/B測試為切入點，進而讓企業客戶認識到火山引擎其他的數據產品，這是更為關鍵的。”
目前，字節內部對于火山引擎的To B業務并沒有強制性的營收壓力，能夠取得客戶信任和續約，獲取對To B的認知迭代，是其最為看重的。
借助A/B測試，分享字節跳動關于數據驅動的理念，這是火山引擎重倉A/B測試的本質。
火山引擎數據智能解決方案負責人孫超赟從企業文化角度闡述了A/B測試產品的意義：“A/B測試背后折射出字節內部的決策機制不是自上而下拍腦門，而是兼容并包、開放坦誠。讓數據和事實說話，避免了逐級匯報成為產品迭代路上的障礙。”
無論是A/B測試，還是數據驅動，不得不承認的是，這都不是新概念。這一點譚待在采訪中也認可。
火山引擎市場部在不久前曾做過一個市場調研。1000家企業的樣本數據顯示：在企業的日常業務和管理中，A/B測試的普及率并不高，滲透率不足30%。
“滲透率低的原因是，市場上一部分用戶不了解A/B測試，還有一部分用戶對A/B測試本身的價值沒有足夠的認知。”孫超赟認為。
此外，近一兩年A/B測試正在從一個科學概念，逐漸走向更廣泛的行業應用。這背后的大背景是互聯網從粗放的流量增長階段進入到精細化運營階段。
“在所有的精細化運營工具中，A/B測試是ROI最高的一種。”孫超赟負責火山引擎智能套件華北區業務。他在接觸客戶的過程中感知到：過去幾年，企業的數字化轉型已經接近完成第一個階段，即通過用戶行為分析工具了解包括DAU、核心業務流程轉化率、用戶留存等業務數據。
現在進入的第二個階段，則是通過A/B測試直接拉動業務，讓工具從成本中心轉變為利潤中心。
“A/B測試能夠告訴企業真正提升業務具體要做什么。比如，一家金融機構，一個A/B測試的實驗可能帶來上億元的增收。”
在接觸大量用戶之后，孫超赟強烈的感受是：“準確的分流是A/B測試的基礎門檻，且不說運維等其他成本，一旦數據分流出現失誤，會導致企業在錯誤的方向上越走越遠。”
火山引擎的A/B測試在自動分流、正交互斥上經歷了字節早期推薦算法迭代的打磨，這些技術是字節留住客戶進行商業變現，搭建App矩陣的基礎。
在專家人才上，火山引擎的A/B測試專家涵蓋了To B領域，特別是字節內部業務線成長而來的人員，他們有推薦算法等C端經驗。
實際上，除了分流的科學性，更為復雜的是指標設計和解讀以及置信度的統計方法，一旦出現失誤，更易導致錯誤的結論。
“A/B測試魔鬼藏在細節，真正能夠把產品做好的不多。其次，市面上其他A/B測試公司沒有C端的場景。第三，避免市場份額被蠶食而被動推出的產品，或者過于垂直細分的某一個技術，無法給用戶帶來最大價值。”孫超赟認為。
因為來自真實的實踐和場景，面對客戶稀奇古怪的需求，火山引擎的專家幾乎都會有一個早就準備好的文檔，直接拿出來給客戶解答。
根據楊震原此前在媒體溝通會上透露的數據：A/B測試作為字節跳動一項非常基礎的工具，在通過火山引擎向企業客戶產品化開放之前，已經支撐了抖音、今日頭條等產品的增長迭代。
目前，字節跳動A/B測試每日新增1500+實驗，服務于400多項大大小小的業務，累計做了70多萬次實驗。
這其中，最典型的例子是，抖音的名字，其實是綜合了A/B測試和人為判斷的結果，“抖音”這個名字在測試結果中排名第二。在正確的方向上，結合人為對其形態的認知和判斷，最終選定。
“客戶真正需要的并不是產品，而是一個解決方案。客戶不是為了A/B測試一個產品而來，而是為了解決業務增長的困局而來。”
“A/B測試是火山引擎智能數據產品中最強的單品之一。但在整個火山引擎To B架構應用層中，還形成了彼此強關聯的產品體系，包括CDP、GMP等。”孫超赟提到。
數據分析和洞察——策略設置——實驗上線驗證——功能上線——效果再驗證，這一整套完整的閉環是客戶沒有說出來的真實需求。
“最終能夠幫助企業解決問題的工具才是有用的。”譚待強調，“企業如果想實現A/B測試的結果，不是僅僅構建一個A/B測試平臺就夠了，還需要建立起一套基礎設施，完善的業務指標和健全的體系設計，這是成功的一半。更關鍵的是迭代、研發，數據收集和對比都要很高效。”
“我們希望通過A/B測試這個概念，推動數據驅動的理念。數據驅動在各個場景中實踐好，只有一個App是不夠的，這些配套價值鏈上的工具，以及字節自己的經驗，才能形成綜合優勢。”譚待認為。
科學的目標設置和精確衡量，是改進的第一步。If you cannot measure, you cannot
improve.
王杰是悟空租車的產品負責人。他和團隊主要通過數據和運營手段幫助用戶提升線上產品體驗。
幾年前，王杰就開始為公司選型，但大部分A/B測試服務商對于體量小，使用量級低的創業公司友好度低。自研投入、周期長，技術資源不足。而且，大多工具使用主要面向開發者，而不是產品人員，上手難度很大。這是悟空租車在選型A/B測試產品時的三個挑戰。
在測試了很多產品后，王杰告訴TO B新勢力：“火山引擎目前是我認為業界最領先的，除了能解決上述難題，迭代速度也比較快，任何需求火山引擎團隊的回復和迭代周期平均在兩周。”
在實際效果上，根據王杰提供的數據，在支付環節，比如押金先收還是后收，A/B測試后，有了10%以上提升。圖片展示環節，對大圖預覽和車型圖片測試后，提升了7-8%的業務轉化。當然，這中間也有結果的數據是負向的。正負之間，王杰認為，最大的好處是：“對需求有了把握。”
王杰強調：目前與火山引擎團隊的交流更多是在工具層面。特別期待火山引擎能以課程和培訓的方式對外輸出，王杰和團隊甚至愿意付費學習。
和王杰相似，在TO B新勢力的調研中，絕大多數的企業用戶之所以看中字節系To B產品最重要的原因是：想學習字節的方法論。
“我們對大廠產品風格有不同的理解。比如百度側重于面向開發者提供語音識別，圖像識別技術工具。阿里側重于偏向To B，比如支付寶的支付商業能力。字節偏向互聯網產品，其流量、運營和工具測試的經驗，是我們非常想學習的。”
“通過工具已經能學到不少東西，但除了工具，我們甚至愿意為培訓和經驗付費。”另一位創始人向TO B新勢力表達。
譚待是數據驅動的忠實“信徒”。在負責火山引擎的業務后，他在業務管理中不斷推進管理駕駛艙、數據看板等數字化、流程化的建設。“不是每周看一些美化過的PPT，而是隨時看到各種各樣的業務數據”。
但譚待并不認為數據驅動就是萬能的。在對外提供服務時，火山引擎要結合客戶的具體需求和業務場景，而不是一股腦的把所有數據產品都推銷出去。就在采訪的前一天，他還勸退了一家并不適合做A/B測試的企業客戶。
“我們可以結合客戶的場景去設計，比如說在你這個場景里哪些指標是更關鍵的，其實相當于把頭條和抖音的一些運營和設計經驗傳達給客戶。”譚待說到。
一些大客戶找到火山引擎，雖然其內部有A/B測試，但是他們想要一個能夠統一的實驗平臺，通過統一定義用戶、公用的指標去實驗。李想覺得，火山引擎做A/B測試最大的優勢是——字節內部400多條業務線，都在用同一個實驗平臺和指標口徑。標準高效和數據分享，帶來了價值。這些經驗可以遷移給客戶。
孫超赟的感受是：“客戶其實更想知道字節在過去的增長過程中，業務增長的方法論是什么，一些具體案例是什么，我們嘗試著把這些經驗和方法論沉淀，對外輸出。”
在數據驅動向外輸出過程中。孫超赟也在辯思，比如字節并不是外界傳言100%都在用A/B測試。而是按需使用A/B測試。
工具并非萬能，工具和人之間存在平衡。面對數據，企業用戶在心態上往往經歷了一個不斷磨合的過程。成功的A/B測試有的時候不一定會有一個明顯的勝出者，差異化不明顯依然是真實的實驗結果，保持合理的心理預期，探尋背后的原因解讀，是最有成就感的部分。
正如楊震原所說：“充分地做A/B測試，這是一個能夠在很大程度上補充信息的過程，能夠消除很多偏見，能夠帶來很多客觀的事實。但是它也不是完美的，需要補充其他方法一起來用。”
本文經授權轉載自微信公眾號：宇婷對話TO B 新勢力
