【不知道產品好不好？讓A/B testing來解答吧】by 吳憲達

主題：【A/B testing 數據分析與決策--不知道產品好不好？讓A/B testing來解答吧】 講者：吳憲達 時間：2018/10/05（五） 地點：台北 前言：你相信姓名學嗎？如果姓名學沒有道理，為什麼姓吳而且名字裡面有憲的這位創辦人像吳宗憲一樣好笑呢？研討會當天女性聽眾反應之踴躍，完全可以想像他為什麼要邀請老婆出席（然後老婆長得更可愛，聲音又好聽。昏倒） 看到分享者來自【玩運彩】，我原本以為是發行彩券的【台灣運彩】，想不到是專業運彩社群網站，而分享者吳憲達，阿達，是玩運彩公司的創辦人。 【玩運彩】從’09年發展至今已近十年，不但是Android 與iOS 運動類App 的第一名，在Alexa 的台灣網站排名上，也高居第46名。目前每月流量近百萬，收入來源為賣廣告與高手預測。

思考架構

阿達分享了他們公司用的新產品開發九大步驟，要到第六步驟才會進入測試：

1. 訪談
2. 產品定義
3. 製作最小可行性產品(MVP，Minimum Viable Product)
4. 最小可行性產品測試
5. 開發產品
6. A/B 測試
7. 問卷
8. 上線
9. 優化

因為A/B testing 是有成本的，所以在進入測試前會想盡辦法了解使用者、做好產品，提高測試的成功率，避免浪費測試成本。 而測試中對使用者做問卷，常常可以幫助最後的決定。

案例與核心問題

阿達大大分享了很多案例，我印象最深的是『明燈改版』 『明燈』是高手預測職業賽事結果，每個高手就如同一盞明燈，使用者購買高手預測，是重要的收入來源。 過去的明燈列表只有高手的名字與等級，隨著使用者與高手增加，越來越多人會記不住哪個高手是哪個，想知道每個高手的戰績如何則需要一個一個點進去才能看到。 阿達跟同事們做了改版：明燈列表上每個高手都配備照片還有過去的關鍵勝率。希望這樣的改版能夠提升明燈的訂閱人數、瀏覽量以及銷售額。結果訂閱人數、瀏覽量都有提升，但是居然沒有統計顯著。更別提銷售額沒有差異了。 但團隊覺得這個產品真的比較好啊，難道分數一樣就不上線了嗎？從問卷發現使用者其實是滿意的也喜歡的。於是重新將使用者分群，觀察『中重度使用者』的相關指標，發現在瀏覽量的部分有顯著提升。 觀察指標沒有提升，但是主要消費群的中重度使用者看得比較多，而且所有的使用者都表示比較喜歡新版的網頁。那還猶豫什麼呢？就上線吧。 阿達的分享有趣在，當你自己就是老闆，自己擔起全公司的風險，不再需要說服其他人該怎麼開發產品或者分配資源，你會怎麼做呢？A/B testing 作為產品開發的一環，可以跟問卷配合幫助下更好的決定。

關鍵技術或小技巧

實驗組的使用者不宜太多，因為可能推出不夠好的產品。 使用貝氏定理的檢驗方式，測試出來的不是有95% 的信心會成功，而是有95% 機率會成功。 新功能上線後，等到客戶熟悉該功能才能看測試結果。第一週的測試數據，結果可能有偏差。至少等2~3周後才能看結果。 如果可以的話，用自己的log 來看測試結果。因為自己的log 不但可以排除極端值，也可以只看某些組別或裝置的使用者。這些都是第三方 A/B testing 工具比較沒辦法做到的。

【幼如心得】

我被前輩質疑過：『測試很好，但是你只有測試這一招嗎？』 （其實我一招都沒有，中箭倒地） 但話說回來，測試學習是商業決策重要一環，而且是非常非常重要的一環 但並不是全部 當實驗的結果跟你對未來的認知不同的時候 當你想不出方法實驗如何拉新、留存、裂變... 的時候 當競爭對手夾資本力量跑得比你做夢想到的還快的時候 我們不就只能鼓著勇氣，拿著手上僅有的證據 發抖的做決定嗎？ 好在永遠可以ORID、自我反省啊