消息推送的文案選擇

中糧我買網是由世界500強企業中糧集團有限公司于2009年投資創辦的食品類B2C電子商務網站。商品包括：食品、糧油、酒水、茶葉等百種品類。是辦公室白領、居家生活和年輕一族的首選食品網絡購物網站。我買網手機客戶端有時會在通知欄中推送一些商品促銷、購物指南的消息，以此來吸引用戶點擊，從而提高用戶粘性并帶來業務上的提升。當運營團隊在設計推送消息的文案時，總是會有很多不一樣的想法，內部有時就會提出好幾個版本。為此，我買網的運營團隊決定使用AB測試來選出一個最優的文案。

參數化方法進行AB測試

這次的AB測試采用了全棧API的方案，通過參數化的方式把推送消息的文案變成一個變量，最后在云眼控制臺中為各個版本設置對應的變量值。在試驗剛剛開始的時候，選擇了1%的全網流量進行試驗，各版本均分流量。當測試進行了一段時間后，運營團隊決定把實驗流量增加到5%。由于消息推送的特殊性，試驗只進行了一天的時間（活動只持續了一周，活動結束后再拿到結果就沒有意義了）。

結果表明，最好文案比最差文案的點擊率要高出42%。統計顯著性指標的結果也超過了95%，試驗可以認定為有效。所以，在活動開始后的第二天，我買網使用最優版本的文案在全網推送了消息。