觀天下！火山引擎DataTester：抖音的設(shè)計(jì)團(tuán)隊(duì)是如何用A/B測(cè)試實(shí)現(xiàn)高效優(yōu)化的？

2023-03-22 18:02:19來(lái)源：中關(guān)村在線(xiàn)  

對(duì)C端產(chǎn)品而言，產(chǎn)品的每一個(gè)細(xì)節(jié)設(shè)置都或多或少影響著用戶(hù)的產(chǎn)品體驗(yàn)，本文介紹字節(jié)跳動(dòng)的A/B實(shí)驗(yàn)文化的同時(shí)，也將分享抖音設(shè)計(jì)團(tuán)隊(duì)通過(guò)火山引擎A/B測(cè)試 DataTester 實(shí)現(xiàn)產(chǎn)品優(yōu)化的案例。

該實(shí)驗(yàn)最初來(lái)源自抖音UI團(tuán)隊(duì)一位設(shè)計(jì)同學(xué)提出的想法：用戶(hù)刷短視頻的時(shí)候會(huì)有一定的視覺(jué)疲勞——“是否可以通過(guò)視頻蒙層讓文字更加清楚，讓用戶(hù)瀏覽視頻不再費(fèi)眼，使用體驗(yàn)更好？”

其實(shí)，這個(gè)設(shè)想在產(chǎn)品上的改動(dòng)非常簡(jiǎn)單，調(diào)整兩個(gè)參數(shù)就可以改善視頻文案整體的突出程度，一個(gè)參數(shù)是蒙層，另一個(gè)參數(shù)是蒙層的透明度。兩個(gè)不同蒙層的產(chǎn)品版本，成為了 DataTester 中A/B實(shí)驗(yàn)的實(shí)驗(yàn)組和對(duì)照組，UI設(shè)置如下圖：


(資料圖)

實(shí)驗(yàn)結(jié)果非常驚喜，DataTester 的實(shí)驗(yàn)數(shù)據(jù)顯示“文字更加突出”組的用戶(hù)停留時(shí)間更長(zhǎng)，抖音的人均App使用時(shí)長(zhǎng)顯著增加了0.2%，這個(gè)數(shù)據(jù)對(duì)于用戶(hù)量數(shù)以?xún)|計(jì)的抖音而言，是一個(gè)較大的提升，最終該策略也決定推全上線(xiàn)。

在抖音里面，像這樣的小改動(dòng)撬動(dòng)大收益的創(chuàng)新非常多，而這些細(xì)節(jié)全部都是通過(guò)A/B實(shí)驗(yàn)精打細(xì)磨，最終找到的最優(yōu)方案。在這背后除了有完善的實(shí)驗(yàn)平臺(tái) DataTester 支撐之外，也有字節(jié)傳承下來(lái)的實(shí)驗(yàn)理念和文化。

字節(jié)跳動(dòng)的A/B實(shí)驗(yàn)文化提倡：“決策與改動(dòng)要用置信結(jié)果來(lái)說(shuō)話(huà)，產(chǎn)品決策從不自嗨?！被谶@個(gè)理念，產(chǎn)品經(jīng)理們即使得到了實(shí)驗(yàn)驗(yàn)證，在日常的產(chǎn)品更新改動(dòng)上，也不會(huì)“唯數(shù)據(jù)論”，還會(huì)繼續(xù)通過(guò)對(duì)用戶(hù)的理解、對(duì)業(yè)務(wù)的判斷、合理的數(shù)據(jù)拆解來(lái)進(jìn)行解讀。

當(dāng)從A/B實(shí)驗(yàn)中得到結(jié)論后，再通過(guò)大量實(shí)驗(yàn)沉淀下來(lái)的經(jīng)驗(yàn)反哺業(yè)務(wù)、加深對(duì)業(yè)務(wù)過(guò)程的理解和洞察，在業(yè)務(wù)實(shí)踐的過(guò)程中不斷積累更多的業(yè)務(wù)經(jīng)驗(yàn)。

從企業(yè)收益的角度看，A/B測(cè)試不僅可以激發(fā)創(chuàng)新，讓企業(yè)在小步快跑的同時(shí)，獲得收益上的提升。而像DataTester 這樣完善的A/B實(shí)驗(yàn)平臺(tái)，還能幫助企業(yè)顯著提升人效，大幅降低試錯(cuò)成本。此外，當(dāng)每個(gè)決策都能通過(guò)A/B實(shí)驗(yàn)來(lái)量化收益時(shí)，對(duì)企業(yè)管理而言，A/B測(cè)試也成為了一種穩(wěn)定、效果可量化的賦能手段。

作為助力企業(yè)科學(xué)決策的A/B測(cè)試平臺(tái)，火山引擎DataTester 目前服務(wù)了包括美的、得到、凱叔講故事等在內(nèi)的上百家外部企業(yè)，為業(yè)務(wù)的用戶(hù)增長(zhǎng)、轉(zhuǎn)化、產(chǎn)品迭代、運(yùn)營(yíng)活動(dòng)等各個(gè)環(huán)節(jié)提供科學(xué)的決策依據(jù)，將成熟的“數(shù)據(jù)驅(qū)動(dòng)增長(zhǎng)”經(jīng)驗(yàn)賦能給各行業(yè)。（作者：許文）

標(biāo)簽：

相關(guān)閱讀

精彩推薦

相關(guān)詞

推薦閱讀