【實驗驅動成長－財報狗使用的方法論及經驗分享】by 林威宇

主題：【A/B testing 數據分析與決策 實務研討:實驗驅動成長－財報狗使用的方法論及經驗分享】 講者：林威宇 時間：2018/10/05（五） 地點：台北 財報狗的介面簡潔，資訊好讀，是我查詢股票資訊的首選，周遭也有很多朋友熱愛。當年輕的林威宇說『我們公司的四個人中，只有我不會寫Code，其他都是工程師』，我的下巴跟膝蓋都一起掉下來。下巴掉下來是因為驚訝，膝蓋掉下來是對這四人團隊的敬佩。 林威宇引用了GrowthHackers 網站上面著名的文章【High Tempo Testing Revives GrowthHackers.com Growth】：網站的不重複使用者在十一週內從每月9萬人成長到15萬人，成功的關鍵只因為發了狂地做測試。失敗的測試指的不是實驗無效，而是沒有學到東西。

思考架構

用A.R.C 與 I.C.E 為測試點子排序。 在財報狗，凡事皆可測試：從廣告網頁投放與文案、註冊網頁的版面配置、到新的股票健診工具... 而測試的指標可以分為三大類別：『獲取、留存、轉換』 Acquisition 獲取：增加新訪客的成功率 Retention 留存：從首次進站後，未來幾週的客戶回訪率 Convertion 轉換：變成付費客戶的轉換率 測試越多越好，但是只有三個工程師，還要負責寫新工具。該如何決定優先順序呢？林威宇推薦使用I.C.E 來評估優先順序，每個都標明1分（最低分）到9分（最高分） I = Impact，影響幅度大小 C = Confidence，對這個點子的信心度 E = Ease ，測試的容易程度 I7C7E2 就代表高影響幅度、高信心指數，但做起來難度不低。 I5C7E9 則代表影響幅度中等、高信心指數，做起來超級容易。 最後再用 Idea Log 紀錄每個想測試的點子：標明測試目的是屬於獲取、留存、轉換，以及自我評定在影響、信心、容易程度上面的分數。

案例與核心問題

林威宇分享了一個『個股健診模組』相關測試，目的是提高留存率。 該測試假設新註冊的使用者是為了檢定一間公司是否值得投資，但站上的工具不知道該如何使用。因此若能藉由提供簡易健診模組，降低工具使用門檻，就能改善第零週的上站天數與第一週的回訪率。結果客戶留存率並沒有提升，但付費轉換率卻提高了。   這個測試反應了一個常見的重要問題：實驗失敗。我想像中工程師是這樣的： 儘管大家都知道大量的測試對成長的重要性，但是一再的失敗會傷害工程師的成就感與士氣。更何況高達三分之二的測試都會以失敗結尾，要如何讓工程師願意繼續做測試呢？ 講者分享的方法是用數字管理資源：為了高速成長，線上同時要有X個不同主題的測試同時進行，以達成公司的高速成長。當工程師可以預期測試數量，並且以此分配自己的時間資源，對測試的阻力就小了許多。

關鍵技術或小技巧

點子哪裡來？過去有效的實驗、心理學理論的發想、對使用者流程的研究、抄別人的 點子有用了怎麼辦？一用再用、用到極致、用到爆。 點子庫裡面有什麼？除了有實驗規劃外，還要有開發中、進行中、排隊上線以及已經完成的實驗。 【幼如心得】 林威宇講話很快，然後會喃喃自語：我這樣很難懂嗎？ 我可以想像他平常聽音頻是用五倍速（得到app 技術總監快刀青衣講過，他們有群客戶用五倍速聽音頻，還覺得這樣速度才合理。我自己平常是用1.5倍，偶爾會用2倍）、 跟同事討論事情時候會忍不住找同事身上有沒有加速按鈕（並沒有，世界上只有你這麼沒禮貌好嗎？） 但我可以想像『有大部分的測試以失敗告終，想要作更多測試以得到更好的業績與收入，但能幫忙做測試產品的人都不想再測試了，看得出來他們內心大吼「讓我做產品！」，再不讓他們做產品，人員就要流失了』這種巨大的悲劇 怎麼辦呢？測試狗們，做個測試資料庫，自我管理（哪些是重要的，哪些是緊急的。哪些只是做開心的。嗚嗚，我也想開開心心做測試啊）也許是個起步吧。汪。汪。