當前位置:白鯨出海 > 資訊 > 正文

從思路到工具 增長實驗數據歸因分析

九日論道  ?  ?  原文鏈接

作者:九日論道(微信公眾號ID:growthhack)

白鯨出海注:本文是微信公號九日論道作者BenjaminDxc在白鯨出海的專欄文章,轉載須保留本段文字,并注明作者和來源。商業轉載/使用請前往九日論道主頁聯系,尋求作者授權。

大家好,第二篇數據驅動增長的干貨來了。上次我們跟家分享了《從設計到歸因 - AB Test 實戰心得》,但都會偏理論層面,這次我們直接通過分析思路和工具層面,來詳解我們對實驗數據的分析和評估過程,以及如何做分析和歸因,讓結論有理有據。

本次分享的主要目的是希望幫助更多的人掌握分析思路,這樣在當我們開展任何增長實驗的時候,在面對自己的分析或別人的分析結果時,能夠有效的解讀和利用實驗結果,達到實驗的目的。

1. 關于 AB Test 的結果歸因

上一篇關于 AB Test 的分享我們提到了,當我們的實驗獲得了一次顯著的結果,可以說明實驗有效了,但這樣就結束了嗎?直接告訴團隊的其他人實驗成功了,OK 嗎?

顯然不是,現實中我們會更在意實驗為什么成功了?具體表現是什么?而一個沒有被歸因的結果,不太可能給我們帶來可以被沉淀和復制經驗。

筆者想重點說明的一點是,掌握對實驗數據歸因分析的思路,這樣才找到實驗方案背后可能的真相,也才真正有利于我們決策,而不只是停留在一個結果數據上。

當我們自己給出一份分析或獲得一份分析報告時,我們都應該多思考一下,這個數據或結論是否找到實驗結果背后可能的原因?沒有的話,其實并不嚴謹和完善。

當我們沒有歸因實驗結果,那等同于我們沒有真正獲得成功的經驗,反之,我們也沒有獲得失敗的經驗,而這些經驗正是增長的關鍵所在,也意味著我們每次實驗不是盲目投入。

例如:

你修改了某個文案用于實驗,實驗結果顯著了,你說是改變文案的功勞,然后到此實驗就結束了?那么,你的下一步建議呢?如何進一步提升?用戶為什么看了這個文案就更容易轉化了呢?再換個文案是不是更有效?文案是否有規律可循?

通過這個例子,我們可以看到,我們不能一直盯著文案改變后的結果,更要研究文案改變后用戶的行為模式變化,以及用戶是如何達成最終目標的;文案對比是感性的,很難直接衡量差異,而對數據的影響和變化,是可衡量的對比,有跡可循,提供依據。

解讀用戶因某個變量產生了什么變化,從而導致結果發生了改變,這個才是歸因要做的事,也是老板們關心的,這樣才能夠讓我們真正習得經驗,給下次調整提供方向。

2. 實驗的本質是要不斷習得經驗

筆者認為,實驗的本質是要不斷習得經驗,即使這個實驗沒有出現勝出組,我們也可以不斷通過歸因習得經驗,總結到成功或未成功的經驗,而不是面對成功或未成功的方案,兩眼發愁,得過且過,要珍惜每次實驗的團隊學習機會。

大家可以思考一下,我們的團隊平時的 AB 分析是怎么做的?是否有類似的情況?

告訴你有效果,然后上線,問不出個具體的所以然來?

或者告訴你實驗沒有效果,然后就僅僅總結沒效果,方案不行,也說不出個所以然來? 

其實,當方案一旦調整,我們理論可以從用戶行為上的差異發現區別,例如觸達后開始的一段周期內,用戶行為如何改變?

舉例,假如我們的方案是新頁面曝光與不曝光,這類的行為比對,則可以擴散到用戶觸發時機之后做對比,因為用戶觸達后的行為變化可能與遇見該頁面有關,沒有遇見的用戶的行為模式對比,能夠找到更加有意思的數據變化。

比如觸達后,是用戶的活躍率高了,活躍時長更長,還是時長變短,還是操作更加頻繁等等,深度歸因和對比,是否用戶作出的行為改變是因為你的方案,這樣我們就能夠詳細歸因。

數據比對就是要事無巨細,真正走進用戶的操作過程中,記住,這個要依賴與你采集到了足夠的數據。當你沒有足夠的數據分析和采集經驗,那么我建議你,能點擊的地方盡可能采集,能瀏覽的地方采集停留時常,多入口的頁面采集來源,這樣你的數據就會比較完整,在很多分析模型中也能發揮作用。

3. 如何歸因

我們知道要歸因,那我們要怎樣做,下面我們借助前面一個分享過的案例來看一下分析的過程。

【案例】

假設:上線 7 天免費試用,能夠對收入有提升 10%,提高用戶付費轉化率提高 10%

核心評估指標:

用戶付費轉化率(7 天內,0 金額不計算)

ARPU(7 天內)

實驗分組:

A 控制組,默認不曝光免費試用商品(原價商品)

B 實驗組,曝光 7 天免費試用,顯示免費試用字樣

參考下面數據例子:

1.jpg

通過上面的例子,我們可以看到實驗的轉化結果,這樣的統計方式匯總程度較高,可以統計到顯著結果,該指標其實是忽略了中間的轉化過程;當然,我們正常不會評估一個指標,但這里只做案例假設。

這里的目標轉化量 = 用戶實際付費的用戶量(扣除退款)

要對上述結果做歸因,我們需要了解可以拿到什么數據用于做歸因分析,以下的分析思路可以供大家參考

3.1 獲取方案觸達到轉化的過程指標

觸達到轉化的中間過程,筆者喜歡稱之為一個“過程黑箱”,當我們不去拆解,對我們來說就是個黑盒子,因為你如果不去仔細拆解,根本無法想象里面有多少我們可以使用的數據,這個是我們可以歸因分析的一個方向,值得大家去嘗試分析。

2.jpg

我把這類歸因分析的過程,稱之為拆解過程黑箱內的數據指標,通過對比不同方案的數據差異,來分析數據的變化,做結果歸因。

過程比較簡單,只需要梳理該過程黑箱內可能影響轉化的指標,如果不清楚有哪些數據可用,可以借助工具查看兩個步驟之間的行為序列,找到你可以用的數據即可。

在這個例子中,我們的 B 組用戶,經歷了觸達到轉化(最終付費,不含退款)的過程,中間可能涉及到的指標或行為有哪些?

例如:

l 選取免費試用商品

l 選取非免費試用商品

l 頁面停留時長

l 參與免費試用活動

l 參與免費試用活動-轉化時長

l 自愿取消訂閱免費試用

l 自愿取消訂閱免費試用 - 取消時長

l 非自愿取消免費試用

l 免費試用到期轉付費(7 天)

l 免費試用到期轉付費升級/降級

l 免費試用到期轉付費后退款

l 免費試用到期轉付費后取消訂閱

l 其他行為...

A 組的用戶大家可以按照這個思路拆解,當方案存在較大差異,各組中間的指標是會存在較大差異的,可以尋找一些可以直接對比的數據,當然,指標本身的差異就是一個可以分析的方向。 

當我們拆解完之后,已經可以比較清晰的知道用戶在整個過程黑箱所經歷的事情,當我們能夠拆解出這一步,這個已經說明我們對業務了解足夠的深入。

這里筆者為什么要強調對業務足夠了解了,這是因為要做到深入的分析,真的需要具備足夠的業務知識,否則你怎么能想到到期轉付費前還能升級或降級呢?或者知道還有非自愿取消的比例?所以對于業務知識的了解是運營和產品人員的優勢,可以盡情發揮在分析上面,這也是為什么業務分析很注重分析人員熟悉業務知識的原因。

那么拆解后,我們能得到什么信息?(注意,案例只是根據分析的內容提供了一個思路,要學會舉一反三,不同的分析場景,過程黑箱里的可用數據不一樣)

我們能夠聚焦到用戶觸達方案后,實際的行為變化,例如直接選取了免費試用商品的比例變得非常高,這個能夠直接通過行為得到結果,而且很少會有歧義;又或者,我們知道用戶在付費前,取消的周期非常短,主要集中在頭幾天,且取消率非常高。(這里面就涉及到前面提到的從歸因到經驗習得)

假如我們通過對比發現,不同地區的取消率差異非常大,一些地區因為取消率高直接就導致實驗失敗了,這個就是一個歸因,且當我們通過分析知道有這層數據存在,那么我們就更容易找到那些表現不明顯的地區,即使一些地區樣本量少,我們也能夠大概率通過該因素來衡量實驗效果,因為該指標和結果存在著較強的相關性。(區分維度也很重要)

分析過程中,多提出疑問和假設去分析,往往會有更加深入的發現。

例如:

什么用戶排斥免費使用?是轉頭就關閉,還是徘徊后走掉?直接流失比例多少?

3.2 其他可歸因的數據

那么,除了過程黑箱,我們還能找到其他數據來觀察變化,盡可能歸因嗎?這是當然的。

筆者最喜歡看的還有一個流失數據,這是最能體現負面影響的數據指標,就是當方案觸達后,用戶不是直接轉化,而是直接流失了,這個是個很有意思的分析方向,可以分析用戶在該頁面是如何流失的,流失前的相關行為變化,也建議大家多嘗試一下,往往轉化率不行也意味著流失,那么用戶如何流失就很可能給我們提供重要信息。(在 session 分析的概念里,也稱為會話中某一個行為的退出率)

此外,我們還能觀察轉化后的留存情況,訂閱保留等數據,這些數據給我們提供了很有價值的長期估算指標。

3.jpg

繼續拿 B 組用戶為例,我們此時針對該案例還能拆解出什么相關指標?用于分析數據變化。

例如:

l 免費試用到期轉付費后取消訂閱

l 保留有效訂閱數

l 直接離開 App 流失率

l 用戶長期留存率

l 其他指標…

注:還是提醒一下,任何用于當前分析的數據都要基于實際業務,切不可完全照搬,有可能不適用于你的業務。

上述例子我們提取了取消訂閱了等數據,通過免費試用到期轉付費后取消訂閱率,估算續費率,再核算到用戶收益中,這樣能夠估算出用戶長期的 LTV 值,如 1 個月/1 年,當這個估算值高于對照組,且轉化率、保留率顯著提升的前提下,能夠進一步說明實驗上線后的長期收益,這個要比我們給一個“結果是否有效”有力得多,給出合理的預測,能夠讓團隊更加清晰方案上線后的價值和預期增長。

筆者以前會習慣性的認為歸因是在用戶轉化前的行為數據,但后來仔細想想,不見得轉化后的數據不能成為歸因分析,理由是用戶正是因為方案 B 轉化,且因為方案 B 的免費試用,體現出最終的付費后一段時間內保留的有效訂閱高于方案 A,因此可以反過來驗證或論證實驗結果。

3.3 歸因分析過程要不斷的假設

根據筆者的經驗,我們要充分挖掘一份實驗數據的信息,就要不斷的重復做假設,重復分析和驗證,無論是面對自己的分析結果還是他人的分析報告,不要停下質疑的聲音。

當我們開始假設,就可以通過數據去驗證,當前數據無法驗證的,則可以再設計實驗去驗證,這個就是優化方案或想法的來源。

例如前面我們的一些分析可以嘗試做如下假設:

l 假設不是所有的地區取消率都很高(這個時候就去拆分地區數據驗證就行了)

l 假設用戶流失是因為頁面提示文案不友好,調整文案后會減少用戶的排斥心理,減少流失(可能需要實驗去驗證)

l 其他假設...

筆者總是按照“先假設,再分析,再驗證”的方式在做每個數據分析工作。

假設是否正確與個人對業務和對數據的熟悉程度有關,這里也體現了個人的預測能力,經?;跀祿龀黾僭O可以有效提高自己的分析水平。

4.jpg

4. 利用工具歸因

在工具方面越來越多的公司會接入第三方數據平臺或工具,這里筆者借助合作多年的神策數據工具作為例子來分享。

分析工具方面推薦使用漏斗模型、歸因模型、用戶路徑模型 以及 session 分析模型,這些都是可以用來分析行為前后的轉化率、流量分布、行為貢獻值等數據,適合歸因;涉及到指標的獲取,直接用事件分析即可。

4.1 漏斗分析模型

相信是大家常用的一個工具,用于關鍵步驟,轉化率和轉化時間的分析,一般可以看到轉化前的步驟轉化率變化,而轉化時間也是一個很重要的指標,可以用于觀察和總結用戶行為模式差異。

4.2 歸因分析模型

前面我們有一直在前調,對于轉化前的黑盒,這個時候我們可以思考用戶很多可能的行為,然后去做歸因分析,計算每個行為的貢獻度,對比不同方案的變化,那么我們就能夠找到不同方案轉化前的差異了。

通過歸因分析每個因素(待歸因事件)的差異,再去分析為什么是方案 B 比方案 A 要更優。

舉例,方案對比如下:

假設觸點 A 為轉化前的核心行為事件,而兩個方案的歸因分析對轉化的貢獻度就出現了明顯的差異,這個時候是可以總結方案改變了用戶觸點 A 的行為,觸點 A 一般為我們根據業務選擇的待歸因事件,因此這個行為具備實際的業務含義。

當我們總結觸點 A 的改變,那么是否又有其他因素在改變的觸點 A 呢?那么觸點 A 的轉化因素也可以繼續歸因,以此類推。

實驗組 B

5.jpg

實驗組 A

6.jpg

4.3 用戶路徑模型

如果涉及到多層級或多步驟操作的因素,筆者也推薦類似用戶路徑的分析模型,可以分析出轉化前,所有流量的來源分布數據,以及觸點 A 發生前的流量分布,對比兩個組的數據,也可以清晰分析兩組之間的差異。

例如我們拆解出用戶轉化前的行為數據,然后通過路徑做相關的路徑分析,如觸點 A、B、C 的數據變化。

通過設置關鍵轉化目標為結束事件,再篩選不同組的用戶做對比分析,既可以得到不同組之間的路徑分布差異。

補充

神策相對于其他數據平臺或工具,其本質上都是一樣的,我們要學會舉一反三,我們只有了解了分析工具背后的邏輯,才能夠通過工具正確解讀數據,也只有正確解讀了數據,我們才掌握利用數據描述事實的能力。

大多數團隊甚至沒有數據人員,因此筆者非常的建議產品和運營人員掌握一些常用的數據分析工具,用于日常的實驗分析工作;對于實驗的分析,不用太多 coding 和建模的知識,只需要掌握業務分析常見相關邏輯和分析思路,利用好一些成熟的數據平臺或工具即可,并提高自己的分析能力,也希望這篇文章對大家有所幫助。

文章不足的地方在于只能就案例來對實驗數據分析做相關經驗分享,但這并不是全部,涉及到一些復雜的分析也很難一一分享。


掃一掃 在手機閱讀、分享本文

要回復文章請先登錄注冊

白鯨客服微信白鯨客服微信
微信公眾賬號微信公眾賬號
内蒙十一选五遗漏数据 3肖6码网站 宁夏11选五走势图规律 股票k线形态图解大全 海南4十1彩票每注奖金 专业的投资理财平台 排列三和值走势图带线 够力排列五 江苏11选5前三预测 吉林快三开奖结果 蚂蚁配资