• 部落格
  • 部落格
  • 文章總覽
  • 分類
  • 自己學習 (67)
  • 書單 (43)
  • 行銷 (32)
  • 談判 (5)
  • 電信冷知識 (4)
  • 小訪談 (1)
  • 三國 (3)
  • 生活 (35)
徵文 (1) 書單 (1) 楊斯棓 (2) 胡志明市 (2) 飛車搶劫 (1) Grab (1) 一談就贏 (2) 談判 (1) facebook (2) skin-care (2) 社群 (2) 信用貸款 (1) 利率 (1) 小額貸款 (1) 得到 (4) 數位金融 (1) 風險 (2) 香帥 (2) 終身學習 (3) 4A (2) 5A (2) AIDA (2) Funnel (1) Kotler (2) Marketing4.0 (1) 口碑 (2) 行銷4.0 (1) 轉換率 (2) 品牌行銷 (6) 廣告文案 (3) 故事學 (1) 行銷 (12) 成長心態 (1) 賽斯高汀 (1) Branding (1) PMO (1) position (1) 品牌 (6) 品牌無用 (1) 定位 (2) 劉潤 (1) 得到app (2) 創業 (1) 矽谷 (1) 臉書 (1) 大數據 行銷 演算法 恐怖谷 周哈里窗 (1) FMCG (1) 創投 (1) 消費性產業 (1) 生鮮 (1) 1984 (1) Apple (1) 品牌個性 (1) 品牌理念 (1) 品牌符號 (1) 品牌訊息 (1) 行銷學 (6) 千禧世代 (1) 嬰兒潮世代 (1) 數位行銷 (1) 價格 (1) 定價 (1) 廣告 (1) 文案 (1) NGO (1) 理財 (1) Alex Cheng (1) 銷售漏斗 (1) 銷售贏家 (1) 橘玲 (3) 生存策略 (2) 社會不公 (2) 數據分析 (1) 數據洞察 (1) Zozo (1) 信念 (1) 前澤友作 (1) 商業決策 (1) 國民品牌 (1) 日本企業 (1) 環球影城 (1) 迪士尼 (1) 國際英語,線上會議,自我介紹與打招呼,Small_Talks,主持,派工,開會的技巧 (1) 邱強博士,零錯誤,SOP優化,創意工作者,知識工作者,五顆彈珠,驢子都能執行的SOP,五個比兩個好, (1) 社會生存力 (Social Survival Skills),哈佛教育 (Harvard Education),快速寫作 (Qu (1) Amy Edmondson (1) 團隊動力學 Team Dynamics (1) 團隊自信 Team Confidence (1) 心理安全感的力量 (1) 無畏的組織 Fearless Organization (1) 賦能 Empowerment (1) 領導 Leadership (1) 得到app,羅振宇,羅胖,時間的朋友,自我賦能,轉型,科技未來,AI影響,個人成長,克服行業挑戰,逆境中保持動力 (1) 二手銷售 (1) 經營策略 (1) KeithDevlin (1) 吳軍 (1) 數學思維 (1) 數學教育 (1) 邏輯思考 (1) 台灣史 (1) 平路 (1) 身份認同 (1) PDCA (1) 安藤廣大 (1) 指標 (1) 數值化 (1) 老手 (1) 行動量 (1) 現代孤立 (1) 經濟不平等 (1) DevOps (1) IT運營 (1) Remove term: DevOps (1) 合作 (1) 效率提升 (1) 敏捷 (1) 現代開發 (1) 生產力 (1) 運營管理 (1) 開發與運維 (1) 非IT人員 (1) 鳳凰專案 (1) 21世紀資本論 (1) 何帆 (1) 社會經濟不平等 (1) 簡化經濟學 (1) 經濟學 (1) 經濟學入門 (1) 經濟學導讀 (1) 經濟學理解 (1) 資本不平等 (1) 資本主義分析 (1) 資本主義批判 (1)
  1. 首頁
  2. 部落格
  3. 【不知道產品好不好?讓A/B testing來解答吧】by 吳憲達

【不知道產品好不好?讓A/B testing來解答吧】by 吳憲達

2018 Dec 02 自己學習

主題:【A/B testing 數據分析與決策--不知道產品好不好?讓A/B testing來解答吧】 講者:吳憲達 時間:2018/10/05(五) 地點:台北 前言:你相信姓名學嗎?如果姓名學沒有道理,為什麼姓吳而且名字裡面有憲的這位創辦人像吳宗憲一樣好笑呢?研討會當天女性聽眾反應之踴躍,完全可以想像他為什麼要邀請老婆出席(然後老婆長得更可愛,聲音又好聽。昏倒) 看到分享者來自【玩運彩】,我原本以為是發行彩券的【台灣運彩】,想不到是專業運彩社群網站,而分享者吳憲達,阿達,是玩運彩公司的創辦人。 【玩運彩】從’09年發展至今已近十年,不但是Android 與iOS 運動類App 的第一名,在Alexa 的台灣網站排名上,也高居第46名。目前每月流量近百萬,收入來源為賣廣告與高手預測。

思考架構

阿達分享了他們公司用的新產品開發九大步驟,要到第六步驟才會進入測試:
  1. 訪談
  2. 產品定義
  3. 製作最小可行性產品(MVP,Minimum Viable Product)
  4. 最小可行性產品測試
  5. 開發產品
  6. A/B 測試
  7. 問卷
  8. 上線
  9. 優化
因為A/B testing 是有成本的,所以在進入測試前會想盡辦法了解使用者、做好產品,提高測試的成功率,避免浪費測試成本。 而測試中對使用者做問卷,常常可以幫助最後的決定。

案例與核心問題

阿達大大分享了很多案例,我印象最深的是『明燈改版』 『明燈』是高手預測職業賽事結果,每個高手就如同一盞明燈,使用者購買高手預測,是重要的收入來源。 過去的明燈列表只有高手的名字與等級,隨著使用者與高手增加,越來越多人會記不住哪個高手是哪個,想知道每個高手的戰績如何則需要一個一個點進去才能看到。 阿達跟同事們做了改版:明燈列表上每個高手都配備照片還有過去的關鍵勝率。希望這樣的改版能夠提升明燈的訂閱人數、瀏覽量以及銷售額。結果訂閱人數、瀏覽量都有提升,但是居然沒有統計顯著。更別提銷售額沒有差異了。 但團隊覺得這個產品真的比較好啊,難道分數一樣就不上線了嗎?從問卷發現使用者其實是滿意的也喜歡的。於是重新將使用者分群,觀察『中重度使用者』的相關指標,發現在瀏覽量的部分有顯著提升。 觀察指標沒有提升,但是主要消費群的中重度使用者看得比較多,而且所有的使用者都表示比較喜歡新版的網頁。那還猶豫什麼呢?就上線吧。 阿達的分享有趣在,當你自己就是老闆,自己擔起全公司的風險,不再需要說服其他人該怎麼開發產品或者分配資源,你會怎麼做呢?A/B testing 作為產品開發的一環,可以跟問卷配合幫助下更好的決定。

關鍵技術或小技巧

實驗組的使用者不宜太多,因為可能推出不夠好的產品。 使用貝氏定理的檢驗方式,測試出來的不是有95% 的信心會成功,而是有95% 機率會成功。 新功能上線後,等到客戶熟悉該功能才能看測試結果。第一週的測試數據,結果可能有偏差。至少等2~3周後才能看結果。 如果可以的話,用自己的log 來看測試結果。因為自己的log 不但可以排除極端值,也可以只看某些組別或裝置的使用者。這些都是第三方 A/B testing 工具比較沒辦法做到的。

【幼如心得】

我被前輩質疑過:『測試很好,但是你只有測試這一招嗎?』 (其實我一招都沒有,中箭倒地) 但話說回來,測試學習是商業決策重要一環,而且是非常非常重要的一環 但並不是全部 當實驗的結果跟你對未來的認知不同的時候 當你想不出方法實驗如何拉新、留存、裂變... 的時候 當競爭對手夾資本力量跑得比你做夢想到的還快的時候 我們不就只能鼓著勇氣,拿著手上僅有的證據 發抖的做決定嗎? 好在永遠可以ORID、自我反省啊
  • 分享此文章
0則留言

相關文章

我讀《打造超人大腦》後的實作心得

  • 2019 Sep 30

所以,社工的待遇好嗎?

  • 2019 Dec 08

會不會說故事,差了 1200個人的生存機會

  • 2022 Jul 24

【AIDA 是什麼?】營銷小教室第一集

  • 2018 Jun 14

持續更新一個月的臉書粉專之後(上)

  • 2019 Sep 29

我們的潛能,從來不只是努力:讀《隱性潛能》

《隱性潛能》(Hidden Potential)是組織心理學家 Adam Grant 在 2024 年推出的新書,探討人類如何突破內在的限制、激發潛能。與《Give and Take》、《Think Again》一樣,本書結合研究、故事與具體建議

  • 2025 Apr 06

關於我們

聯絡我們

  • 隱私權政策
COPYRIGHT© All rights reserved | Powered by 路老闆