全球速遞！火山引擎A/B測試：MAB智能調優(yōu)實驗，企業(yè)活動效果提升新利器

2023-05-31 12:54:33來源：中關村在線

618臨近，各大電商APP的預熱活動已然拉開序幕。對企業(yè)而言，一場活動從策劃到上線，中間經(jīng)過效果驗證，其業(yè)務成本很高。一個好的活動創(chuàng)意從策劃、開發(fā)、到最終發(fā)布，至少會經(jīng)歷幾周實踐，如果中間還經(jīng)歷A/B實驗的小流量效果驗證，會更加耗時耗力。但一個不容忽視的現(xiàn)狀是，很多短期的線上活動很可能前幾次的A/B實驗結果都是不顯著的，但由于活動排期緊湊、實驗調試時間短，常規(guī)A/B實驗能為活動優(yōu)化帶來的收益常會收效甚微。

【資料圖】

企業(yè)在短周期的活動運營場景中，如何通過快速、低成本的A/B實驗，獲得更好的收益呢？火山引擎A/B測試DataTester推出的新功能——MAB智能調優(yōu)實驗，可以解決企業(yè)短周期活動運營場景的A/B實驗痛點。

傳統(tǒng)A/B實驗依賴于統(tǒng)計顯著性的經(jīng)典假設檢驗，在實驗期間不能夠變更每個子版本的流量；因此這類實驗需要至少7天的專門預留周期、要有足夠的樣本進入實驗，并且在實驗開始后不能有任何變動，才可能得出顯著結果。而不同于傳統(tǒng)的A/B實驗，DataTester的MAB智能調優(yōu)實驗能支持1-2天的短期快速A/B實驗，實驗以整個活動收益最優(yōu)為核心目標，可實現(xiàn)動態(tài)實時的流量調節(jié)。

以某款游戲APP促活活動實驗為例，該APP接入了火山引擎DataTester，希望驗證多文案push場景下，MAB智能調優(yōu)策略能比均勻分流的策略帶來點擊率更高的收益。

該APP的運營團隊首先擬定了4款不同的推送文案：

● 標題1:巨量元寶限量發(fā)?。?！

● 內容1:寶箱已滿，整整300顆元寶待領\n馬上點擊獲得>>

● 標題2:@你，有人偷偷給你送元寶啦

● 內容2:整整300顆元寶待領\n馬上點擊獲得>>

● 標題3:免費的元寶福利到啦～～

● 內容3:最高可獲得540顆元寶，還不趕緊來領取>

● 標題4:今天的元寶獎勵來啦～～～

● 內容4:元寶已經(jīng)溢出來了！\n點擊領取才能繼續(xù)收集哦>>

在實驗設計時，他們將整個實驗層的流量（100%）均分為兩組，實驗總時長和活動時長一致，設為5天。對照組給50%流量，并在對照組流量中開設一個ABCD實驗。將流量等分為4份，分別分給上述4個文案。實驗組同樣給50%流量，對實驗組進行MAB智能調優(yōu)實驗。

在為期5天的實驗結束后，可以看到對照組和實驗組的5日累計指標數(shù)據(jù)，發(fā)現(xiàn)基于DataTester MAB智能調優(yōu)實驗進行流量分配的實驗組，在總體點擊率上獲得+9.1%的正向收益，且增長顯著（p value=0.002）。

通過上述案例可以發(fā)現(xiàn)，在兩組實驗中，實際觀測的點擊率（CTR）最高的文案并不太一樣。這意味著，受推送發(fā)布時間、用戶心理等多種不確定影響因素影響，假設以對照組策略（固定均勻分流實驗）作為先導實驗來選擇文案，最終獲得的實驗結論并不見得可靠。

而如果采用MAB智能調優(yōu)實驗，企業(yè)只需接入DataTester并啟動所有的標題文案，DataTester會采用智能優(yōu)化能力來進行流量的實時的調整和分配，企業(yè)的轉化效率平均可提升10%以上。而除去推送文案實驗場景之外，有多種營銷活動場景，如落地頁擇優(yōu)、折扣策略擇優(yōu)等，也都能通過DataTester MAB智能調優(yōu)實驗實時開啟。

DataTester是火山引擎數(shù)智平臺旗下產(chǎn)品，能夠深度耦合推薦、廣告、搜索、UI、產(chǎn)品功能等多種行業(yè)場景需求，為業(yè)務增長、轉化、產(chǎn)品迭代，運營提效等各環(huán)節(jié)提供科學的決策依據(jù)，目前已服務了美的、得到、凱叔講故事等在內的上百家外部企業(yè)。

據(jù)了解，火山引擎DataTester目前推出了30天免費試用的活動，用戶只要在火山引擎A/B測試官網(wǎng)申請試用，無需企業(yè)認證，一鍵申請即刻開通?。ㄗ髡撸号藰逵樱?/p>

標簽：