給產品經理和分析師：如何用指標框架計算產品改動影響力（Impact Sizing）？

「若我開發這些功能，它到底能提升多少轉換率？」應該是很多產品經理在制定優先級中心裡大大的疑問，也是存在我心中好幾年的疑問。雖然很多人都聽過用過所謂 RICE（Reach, Impact, Confidence, Effort）框架，但裡面的那個「Impact」每次評估都覺得蠻模糊的，印象中我看過大多數人是憑經驗猜測的，或是去問幾個用戶說「這個功能你覺得會多有用」，所以就算寫出了 Impact ，通常也沒什麼自信說它就是準確的。

比起直覺猜測，其實還有更理性的方式做預測！

今年初我跟我的資料分析師在做季度規劃的時候，試著採用比較有邏輯的方法，用一些數據資料去推理出「影響可能有多大」，來協助排列優先級。以下我會分享「Cause Path 」的概念，使用目標、問題、點子、產品假設、指標相關性與影響範圍等等元素，協助釐清產品脈絡，減低用直覺猜測「Impact」的模糊感。

什麼是 Impact Sizing？

其實我也不知道這是否是正式專業名詞，但在前公司我們都這樣俗稱任何「影響力的預估」。Impact 指的是你做某件事，對目標產生的影響，例如改善搜尋排序，增加交易轉換率 3%。而 Sizing 就是測量預估影響力的大小。

為什麼要做 Impact Sizing？第一，預測影響力等同於幫我們預估哪個功能投資報酬率高，若我們能夠知道哪些點子影響大、哪些問題值得解，這份資訊就能幫助排列優先級、分配資源在值得的事情上。第二，它也幫助我們設定目標，避免過度設定一些根本不可能達到的 KPI。

其實這已經有點像是商業分析的範疇，我不是專業人士，但我的確在職場上和分析師共同使用過這個框架，就給大家參考參考囉。

Impact Sizing 框架概念介紹

簡而言之，我們要知道點子如何解決問題、問題如何幫助目標達成，釐清他們之間的因果關係，而各層次的指標就是驗證因果的最佳證據。

「Impact」有不同層次，以下分成三種指標來介紹：

直接指標（Actionable Metric）

直接指標顧名思義，就是最直接被點子影響的那種指標（廢話）例如：若我們要解決用戶搜尋時打錯字的問題，而我們發想的解法是增加推薦關鍵字讓用戶點擊而非自己打字。這樣的話直接指標就可以是「有多少用戶去點擊推薦關鍵字」，從這裡我們至少可以知道「用戶是否有使用這個功能」。雖然還不知道這到底有沒有解決問題，但它會是最容易被影響、最容易觀察的指標。

結果指標（Output Metric）

結果指標要驗證的是你的最終目標，假設我們知道用戶有在使用推薦關鍵字、也有更多人點擊商品了，那麼下一個層次就是去理解這樣的改動是否真的有幫助「提升交易轉換率」？還是只是變好用？這就是結果指標的目的。

輸入指標（Input Metric）

那我們回過頭來看輸入指標，輸入指標是能夠影響結果（Output Metric）的各種 Input，例如：承上想要提升轉換率的目標和與推薦關鍵字的功能，可能影響轉換的可能是用戶點擊推薦關鍵字的次數、或點擊關鍵字的人數百分比。若我們能提升點擊關鍵字的人數百分比，也可能會影響交易轉換率提升，因此我們可以說「點擊關鍵字人數百分比」是「交易轉換率」的一種輸入指標。

好的，那讓我們把以上的脈絡連結起來：從「打錯字問題」➡️「加入推薦關鍵字功能」 ➡️ 提升點擊關鍵字人數 ➡️ 提升平均搜尋次數 ➡️ 提升交易轉換，這樣一步一步推理下來，是不是比較知道怎麼串連這一切了呢？

這條路徑我們稱之為 Cause Path，它連接點子、問題和目標的因果關係，協助你知道是什麼在影響「結果」和「Impact」。

指標只是拿來測量的工具和媒介，重點還是要知道你的點子、問題和目標如何環環相扣，來協助更準確的推理出 Impact。

因為文字太難描述，我做了一張圖來表達我的意思。下一段我們會手把手教學，一片一片的把圖片上需要的資訊拼起來，完成這個預估框架大拼圖。

Impact Sizing 手把手計算教學

步驟一：設定商業或產品目標

首先，要準確預測影響必須要有清楚可衡量的目標，釐清你說的「影響」到底是對什麼的影響，而這個目標最好能夠代表你這一季或這一年最終想達到的結果（End goal）。

以電商交易平台來說，你可以設立最終目標為「提高交易轉換率」或「增加交易人數」等等。建議產品經理們可以順著你的商業目標或產品願景思考，再跟資料分析師一起討論設定這樣的最終目標是否合理。

延伸閱讀：

步驟二：列出所有相關指標

之前我在《A/B testing 實驗設計指標時，應考慮的三個面向！》裡有提到 Lagging 和 Leading metrics 的不同，在這裡我們又要用到同樣的觀念：如果步驟一的大目標是結果，步驟二就是要找能直接或間接影響結果的指標。

這裡提供幾個小撇步，幫助你列出所有相關指標：

1. 使用者旅程（User Journey）中的每一步轉換率 以「增加電商平台交易數量與價值」為例，那麼在交易之前的每一步轉換率都可能產生影響，包括：首頁到搜尋結果的轉換率、搜尋結果到產品頁面的轉換率、產品頁面到結帳流程的轉換率、填寫結帳資料到付款的轉換率。
2. 使用關鍵功能的頻率 比如每個人做多少次搜尋、看多少個商品、放多少商品到購物車等等，做某個可能幫助他交易的動作的次數和頻率，這些也是相關指標。
3. Growth 相關產品：用戶行為指標 可以用大家耳熟能詳的 AARRR 來思考，比如：留存率 Retention rate, 黏著度 Stickiness, 推薦轉換 Referral，關於用戶多常來平台、每次在平台上停留多久的這些行為指標，也都可能會和交易量相關。
4. Monetization 相關產品：$$$ 若你的產品是以變現或收入為目標，也可以考量動作背後帶來的價值高低，例如：總訂單價值（Total transaction value）等。
5. 負向指標 除了以上的正面指標，其他如客服成本、訂單取消率、退款率等等，若有可能影響到你的最終結果，也是可以被列出的相關指標。

步驟三：找出相關指標與目標的關聯性

列出所有相關指標後，我們要來計算這些相關指標和結果的關聯性到底有多大。這邊我們可以請資料分析師幫忙跑回歸分析，來計算步驟二的指標（以下稱為輸入指標 Input Metrics）和步驟一的大目標（以下稱為結果指標 Output Metrics）的關聯性。

之前我們分析的時候發現有些指標雖然和大結果有相關，但是相關性並不如預期高，也因此我們調整了優先順序，先把短期目標設定在那些和交易結果相關度高的輸入指標上。

💡 統計小知識：不要搞混了！相關性 Correlation VS 因果關係 Causation

回歸分析雖然能夠告訴我們兩個指標有多相關，但無法證明這些指標是否真的彼此影響（唯一驗證因果關係的方法就是跑實驗）

舉個例子：從回歸分析，我們得知「使用搜尋功能的人」和「下訂單」高度相關，但我們並不知道「如果讓更多用戶去使用搜尋功能，會不會得到更多訂單？」。所以這個步驟只是幫我們預測相關程度，或許提高實驗成功的可能性，但無法保證這些輸入指標能夠撼動結果指標。

所以雖然我們在這邊使用「相關性」來排列優先順序，但其實我們是「假設」相關性高的指標，可能更互相有因果關係，但不等於他們就一定會有因果關係，要小心使用！

步驟四：量化你想要解決的問題

接下來把你想要解決的問題寫出來，進行以下三個小練習。因為等下都要開始算數學，建議用個 Google Spreadsheet 可能會比較容易統整：

1. 寫出產品假設：若問題解決，會影響哪個輸入指標？根據你手邊的研究資料，這個問題有多嚴重？是用戶無法靠自己克服的障礙，還是只是稍微有點惱人的小毛病？
2. 評估問題嚴重性與可能的影響力：建議提取以前實驗的數據當作基準（如：以前在解決用戶瀏覽商品方便性問題時，提高了某步驟轉換率 10%，交易轉換率 3%，若你又進行相關領域的實驗，可以以過去數字為參考）來思考會提高多少。 如果你是第一次進行預估，可以試著找出業界基準來參考，會比憑空猜測來的準確。如果你真的沒有任何資料、也不清楚業界基準也沒關係，可以先自己猜測一個數字，但記得做完幾次實驗之後要回頭來調整這個預估。
3. 計算影響範圍：這個問題影響哪些用戶區隔？影響哪些頁面的訪客？還是影響特定國家的用戶？

假設我們得出這個問題可能可以提高搜尋結果到商品頁的轉換率 10%，並會影響了 80% 的用戶，而搜尋結果轉換率和交易轉換率的相關度是 0.7，那把這三個數字加乘，就可以得出「問題影響分數」也就是 5.6 。那我們可以把問題照影響分數排列，你就可以得知問題之間的相對價值了。

步驟五：量化每個點子對商業或產品的影響

終於來到大家最愛的 Brainstorming 時間！（好啦我個人認為這是裡面最天馬行空開心的階段，不然前面都要理性邏輯到底）

你可能會好奇：剛剛都知道問題和影響了，為何還需要一個一個點子評估呢？原因是，一個問題會對應到多種解法，而解法的不同也可能造成影響力的不同，做這步驟的預估能夠蠻好的幫助我們篩選出有潛力的點子。

這邊你可以用以前的實驗結果推理、或根據質量化研究資料和你的經驗，去預估每個點子可能會怎麼影響你要解決的問題，產生一個「點子影響力大小分數」。這分數只是用來排列優先級的，所以你可以大概用 1–5 顆星評分點子的影響力。

然後我們把點子的影響力分數 x 步驟四算出來的分數，就可以得到最終分數，排列之後，就知道哪些是最有潛力的 ideas了！

讓我們再看一次開頭出現過的圖表，是不是更容易理解了呢？

最後，我們終於可以來排列優先級了！

好的，現在我們應該清楚知道哪些問題最值得解決、哪些點子最有潛力。那麼只要再評估開發成本，我們就可以知道哪些是 C/P 值最高的點子了。

恭喜你！完成影響力預測，可以開始著手準備設計與開發囉！

最後想補充，其實我們做預估的最主要目的是要排列優先級，所以以上過程中我在乎的是整體看下來問題或點子「相對」來說的重要性和影響力。雖然過程中拉了很多資料算了一點數學，但這些數字也都只是參考，不保證絕對準確。（通常計算出來的結果還是會比實際樂觀不少哈哈）

實際使用心得

我其實只使用這個方法做我的 Roadmapping 一次，前前後後花了兩三週在研究問題、一起討論怎麼預測、跟上級分享我們預測的方式等等，是有點費時，但是我覺得這個方法脈絡清晰、身邊的夥伴也都理解並認同，用這個方式篩選出的點子，比以前的「猜猜樂」方式更理性可靠。

對產品經理來說，我覺得最大優點是以下三點：

協助釐清產品思路

做完這個評估之後，各層次指標、問題和解法三者的關係都非常清楚，會更了解自己的產品，更是提前替實驗做好準備：當你要跑實驗，目標、產品假設、成功指標通通都有了，是不是一舉兩得呢？

可重複利用的框架

相關性不會每季變動，用戶問題也不會每天都不同，若一開始質量化研究做的夠多夠廣夠紮實，一次評估完成後應該可以沿用一陣子（看你的產品產業或公司成長變動的多快），之後只要選擇不同的問題和不同的解法來測試實驗，直到大環境又改變。

數據幫你撐腰 = 更有說服力

如果有人突然天馬行空丟一個隕石想法叫你改 Roadmap，除了直覺，你會有更多證據：你千辛萬苦算出的公式和數字，背後相關聯的邏輯等等，這些證據會讓你的想法更有因果可循，不再是你心中一串的假設和猜測。

雖然我們這不一定是最專業的作法，但我自己蠻喜歡做完之後那種「頭腦清晰」的感覺。所以如果你要長期經營一個產品或領域，有時間的話很推薦嘗試一次，（再讓我知道這個方法是否對你有幫助！）若其他的預估作法也歡迎跟我分享交流唷。

延伸閱讀：

謝謝你的閱讀！如果有任何疑問也歡迎留言給我 📒

如果單純想給我鼓勵，請給我 1–10 個拍手；
如果想看更多數據與指標相關文章，請給我 20-50 個拍手！
如果文章對你有一點啟發或幫助，請長按拍手按鈕（50個拍好拍滿也沒問題）讓我知道 👏

每週末我們都會在 產品三眼怪實驗室 (◉◉◉) 定期更新產品經理相關文章✨
別忘了按下追蹤才不會錯過！