【戰鬥，從A/B testing才開始】by 黃道育

主題：【A/B testing 數據分析與決策--戰鬥，從A/B testing才開始】 講者：黃道育 時間：2018/10/05（五） 地點：台北 前言：聽完分享後，我很想幫Dennis 的自我介紹加上這個tag『擅長鼓勵業主持續進行測試』。是完完全全的真心稱讚，畢竟工作上，不僅我常想得到各種鼓勵、也很希望能提供主管、同事、team member 各種鼓勵。不管什麼499或是其他亂，讓我們一起充滿信心的航向大海吧～ 身為分享會中唯一的乙方代表，圖靈數位的黃道育Dennis 的自我介紹簡直是火力展示：不但通過Google Analytics101/201/301，更是2017年的Google top Contributor。我尤其喜歡他自介中寫的『乘法人，游走於技術與行銷之間』，聽過分享後我覺得可以加上，『擅長鼓勵業主持續進行測試』

思考架構

Dennis 分享的四大步驟是『分析數據、假設期望、建構實驗與結果討論』，就結構來說跟前三位講者最大的差別在第一步要先分析數據。 Dennise\提到這步驟的雙重難題在於要一邊清理資料，一邊讓甲方面對現實。因為至少有兩成的數據可能是有問題需要清理掉的，而很多客戶可能看到太多的數據就先崩潰放棄了。 經過這步驟後才能引導客戶建立假設與訂定測試目標，但是新手常常會提出不靠譜的方案，或者是遇到內部的阻力。 等克服這步後，又會面對缺少資源建構實驗的問題，例如購物網站要增加一個banner，可能排隊等工程師與設計同事就要排兩三個星期，還不知道實驗結果會不會成功。他推薦使用第三方測試用的工具Google Optimizer，用直覺拖拉式的方法調整頁面。 最後的結果呈現則可以運用『一頁式摘要』，用最短的篇幅讓關鍵人物了解實驗的結果。再搭配後續的客觀細節資訊，做補充說明。 由於實驗失敗是常態，有75% 的實驗會失敗，要用平穩但自信的語氣跟客戶傳遞實驗失敗是正常的。 甚至實驗成功時也還需要更謹慎，為了避免實際上轉換率沒有優化，卻被解讀為有的誤讀，有時候還會用AA測試進行檢查，等到確定無誤後才能上線。

案例與核心問題

有關資料不乾淨，Dennis 舉了個汽車貸款客戶的案例：他們發現按“立即預約”的客戶中，只有5% 真的會撥打電話，比例異常地低。

有這麼多客人都按錯按鈕嗎？將網站流量來源分開檢驗後發現，有個廣告商可能在流量上面做假：因為他們提供的流量，按下“立即預約”的比例異常地高，而真的撥打電話的一個也沒有。

關鍵技術或小技巧

測試新手，最該優先進行的是購物車優化。 沒有Basline的時候，就參考過去半年的效果 網站搬家的流量與營收都先砍半 做網站測試前，一定要讓公司其他單位知道：不可以在測試的時候進行網站改版（不然就白做了） 【幼如心得】 測試老司機聽到Dennis 的分享感到安慰，測試的現實不是黑魔術，而是各種坑坑疤疤。好事是，坑坑疤疤不是錯誤，不代表測試失敗；反而代表我們來到測試世界的現實。 記得駭客任務？那顆真實世界的藥丸，不是讓你人生更簡單的。是讓你進入另外一個世界。 另外一個世界不承諾輕易得來的幸福，但是你知道每個對跟錯是怎麼發生的。