圖源：視覺中國

“較真”是對“廣告費”最基本的尊重

假如你是一個賣saas產(chǎn)品的銷售，現(xiàn)在有兩個客戶供你選擇：

A客戶是一家行業(yè)龍頭，一家的合同額能幫你完成半年的業(yè)績?nèi)蝿?wù)，但是過往的同行說，他們買完產(chǎn)品后，并不會認真使用，一段時間后就會束之高閣； 

B客戶是一家年輕的成長型企業(yè)，合同額只有上一家的1/5，但是他們特別喜歡你的產(chǎn)品，對產(chǎn)品使用非常較真，甚至?xí)o你提出非常多的產(chǎn)品需求；

這個問題，我問過很多人，有選A的，也有選B的。

但其實，我覺得沒有什么可選的，因為，小孩子才做選擇，成年人當(dāng)然是全都要！

不過，我更尊重那家“較真”的客戶，不是因為他們高頻使用我們的產(chǎn)品，而是因為“較真”是對“廣告費”最基本的尊重。 

一個彈窗的提升空間能有多大？

我們有一個成長型的客戶，在合作初期的一個月里，這位客戶花了近百萬的廣告費，只是為了測出落地頁里一個非常小的功能——“挽留彈窗[1]”的具體效果。

“What？花100萬，測一個破彈窗？”

說句實話，這就是我當(dāng)時的想法，但是隨著項目的深入，我漸漸理解了這個客戶的做法，“花100萬，測試彈窗”只是一個表象，他們較真的是整個探索流程以及產(chǎn)生效果的真正原因。

科學(xué)研究的邏輯思維方法有兩種，一種是歸納法，一種是演繹法。通過歸納法，我知道了“挽留彈窗”是能夠提升轉(zhuǎn)化率的，但是只有找到“提升轉(zhuǎn)化率的真正原因”，我們才能夠通過演繹法，將原理應(yīng)用到其他地方，從而把提升效果從1放大到100。

所以，一個“破彈窗”的作用到底有多大呢？我們又是如何測算出來的呢？

[1]挽留彈窗是一項能夠在用戶準備退出網(wǎng)頁時彈出彈窗，對即將流失的用戶進行挽留的功能。

沒學(xué)會走路之前，千萬不要嘗試奔跑

凡是練過拳都知道，最容易惹是非的就是初學(xué)者了，剛學(xué)了兩招就急不可耐的想要找人比劃比劃。于是在第一次試驗的時候，我們和客戶制定了一個激進的計劃，期待在轉(zhuǎn)化率上能有一個巨大的變化。理想是豐滿的，但現(xiàn)實是骨感的，結(jié)果數(shù)據(jù)顯示，實驗組的轉(zhuǎn)化率不僅“提升”不明顯，而且不可信。 

這次試驗對象是一個小額支付落地頁，賣的是集訓(xùn)營小課包，頁面邏輯和轉(zhuǎn)化流程相對比較簡單，機構(gòu)并不收集學(xué)員手機號，學(xué)員點擊“報名按鈕”后，會直接調(diào)起微信支付，支付完成后，會被要求關(guān)注“公眾號”。

在實驗組里，我們?yōu)檫M入落地頁的學(xué)員，設(shè)定三道挽留彈窗，分別會在三種情況下彈出，其中有兩道彈窗的內(nèi)容是一模一樣的，另外第三道則不一樣。

• 第一道彈窗，首次支付挽留彈窗，在用戶第1次支付失敗后彈出，引導(dǎo)用戶繼續(xù)支付9.9元；

• 第二道彈窗，二次支付挽留彈窗，在用戶第2次支付失敗后彈出，引導(dǎo)用戶報名0元課程；

• 第三道彈窗，退出挽留0元彈窗，在用戶準備退出落地頁時彈出，引導(dǎo)用戶報名0元課程；

對結(jié)果的期待越高，則落差帶來的失望越大，特別是當(dāng)你一頓操作猛如虎后，發(fā)現(xiàn)自己就在原地杵。試驗結(jié)果顯示，實驗組（帶彈窗）相對對照組（無彈窗）的轉(zhuǎn)化率提升不到5%，并且由于樣本數(shù)不夠，在對結(jié)果數(shù)據(jù)進行統(tǒng)計驗證時，發(fā)現(xiàn)統(tǒng)計P值[2]高達0.363，遠大于0.005，也就是說測試結(jié)果并不顯著，我們無法確信“轉(zhuǎn)化率”的提升是因為設(shè)置了彈窗，或許純粹就是因為運氣好。

[2] P值是用來判定假設(shè)檢驗結(jié)果的一個參數(shù)，P值（P value）就是當(dāng)原假設(shè)為真時，比所得到的樣本觀察結(jié)果更極端的結(jié)果出現(xiàn)的概率。如果P值很小，說明原假設(shè)情況的發(fā)生的概率很小，而如果出現(xiàn)了，根據(jù)小概率原理，我們就有理由拒絕原假設(shè)，P值越小，我們拒絕原假設(shè)的理由越充分?？傊琍值越小，表明結(jié)果越顯著。

我們還發(fā)現(xiàn)，在被轉(zhuǎn)化的人群里，有一部分用戶是看過“首次支付挽留彈窗”，但不是在“首次支付挽留彈窗”上直接完成轉(zhuǎn)化的，也就說彈窗對這部分人的轉(zhuǎn)化有助攻的作用。這部用戶在落地頁上的旅程可能是這樣的： 

假設(shè)我是一個客戶，“我”剛剛已經(jīng)明明拒絕了支付，“你”彈出一個彈窗來挽留“我”，在潛意識里，“我”想“你”應(yīng)該會換個方式來討好“我”，但是當(dāng)“我”點擊報名按鈕后，依舊還是喚起了支付，此時“我”可能就會生氣了，懷疑“你”是不是在?！拔摇保慨?dāng)然，以上僅是我的猜測，可能需要做進一步的測試。 

在這次試驗里，我們做了三個彈窗，而三個彈窗的作用相互交叉，難以辨別。導(dǎo)致我們最后根本分辨不出，哪個彈窗是有效的，哪個彈窗是充數(shù)的，哪個彈窗是有害的？也不知道，這些彈窗到底對哪群人生效了，這些人又有什么共同特征？做這個試驗需要多少的樣本量才夠？

彈窗的影響到底有多大

為了解決上一次試驗中新發(fā)現(xiàn)的問題，我們和客戶又進行了第二輪試驗。在這次試驗中我們?nèi)コ怂械膹棿?，做了一個“裸版”落地頁進行投放，目的只有一個——找到“人群分布”的基準值。

根據(jù)機構(gòu)以往的經(jīng)驗，按照“支付動作”可將用戶分為三類：

（1）未發(fā)起支付

（2）發(fā)起1次支付

（3）發(fā)起多次支付（2次及以上）

按照“轉(zhuǎn)化轉(zhuǎn)態(tài)”可將用戶分為2類：

（1）未轉(zhuǎn)化

（2）已轉(zhuǎn)化 

結(jié)合這兩類動作，理論上可以將用戶分成6（3x2）類，但是實際上，這兩個動作是有依賴的，“未發(fā)起支付，已轉(zhuǎn)化”這類人群是不存在的。所以，實際上只有五類人群，分別是：

（a）未發(fā)起支付，未轉(zhuǎn)化

（b）發(fā)起1次支付，未轉(zhuǎn)化

（c）發(fā)起1次支付，已轉(zhuǎn)化

（d）發(fā)起多次支付，未轉(zhuǎn)化

（e）發(fā)起多次支付，已轉(zhuǎn)化

為方便大家閱讀，下文中我將用“代號”來代指這5類人群，對照表入下表所示：

需要說明的是，每個進入落地頁的用戶，都會落入到這5個分類里。但是，從不同的時間點來看，你會發(fā)現(xiàn)，在不同的時刻，各類人群的比例是變化的。這是因為一個人的狀態(tài)值是可以轉(zhuǎn)變的，并且這種轉(zhuǎn)變是單向的，例如你可以從“00（未發(fā)起支付，未轉(zhuǎn)化）”狀態(tài)，轉(zhuǎn)變成“10（發(fā)起1次支付，未轉(zhuǎn)化）”，但是不能從“10狀態(tài)”轉(zhuǎn)變成“00”狀態(tài)。

依據(jù)這種人群分類方式和用戶旅程，我們就可以繪制出“用戶狀態(tài)流轉(zhuǎn)圖”了。結(jié)合投放結(jié)果數(shù)據(jù)，透過這張圖，我們就可以輕易的找到適合放置“彈窗”的人群，并計算出挽留彈窗真正的影響范圍。

（1）找到適合放置“彈窗”的人群

以第2次試驗為例，我們發(fā)現(xiàn)各類人群的占比入下表1所示，00狀態(tài)和10狀態(tài)的人，占未支付轉(zhuǎn)化人群的（60%+20%）/(60%+20%+2%)=97%，所以，針對這兩部分人群設(shè)置彈窗是比較有意義的，而N0狀態(tài)的人群比較少，資源有限的情況下，優(yōu)先級可以降低一些。

（2）計算挽回彈窗的影響范圍

挽留彈窗的觸發(fā)條件主要是由瀏覽器控制的，不同的瀏覽器有不同規(guī)則。在移動端，每個APP都是一個瀏覽器，這些瀏覽器一般只允許對“有交互”的用戶發(fā)起挽留彈窗。 

若試驗中發(fā)現(xiàn)“00”狀態(tài)的用戶中，大約50%的用戶會產(chǎn)生“交互”。那么就意味著，假如針對“00狀態(tài)”的用戶設(shè)置彈窗，最多只有60%x50%=30%的用戶會受彈窗的影響。 

此時，若實驗組轉(zhuǎn)化率相對“對照組”提升了3%，那么彈窗效果=3%? 30%=10%

總結(jié)成公式就是：

彈窗效果=轉(zhuǎn)化率差值? 彈窗觸發(fā)率

轉(zhuǎn)化率差值=彈窗效果?? 彈窗觸發(fā)率= 彈窗效果?? A人群UV占比?? A人群互動率 

假設(shè)“彈窗效果”和“A人群UV占比”一定，那么就可以計算“轉(zhuǎn)化率差值”的范圍了。

Max(轉(zhuǎn)化率差值)=彈窗效果?? A人群UV占比?? Max(A人群互動率)

Min(轉(zhuǎn)化率差值)=彈窗效果?? A人群UV占比?? Min(A人群互動率） 

其中：

轉(zhuǎn)化率差值={實驗組轉(zhuǎn)化率 - 對照組轉(zhuǎn)化率}

怎么挽留不感興趣的用戶

計算出挽回彈窗的影響范圍后，我們就可以開始針對不同狀態(tài)的人群進行挽留彈窗測試。在上一次試驗中，我們知道“00狀態(tài)”的用戶占60%，“10狀態(tài)”的用戶占比15%，占未支付轉(zhuǎn)化人群的97%，針對這兩部分人群，我們可以分別做兩次控制試驗，分別測試出這兩部分人群彈窗的效果。

所以，第三次試驗中，我們決定針對“00狀態(tài)”的用戶，設(shè)置“挽留彈窗”，進行測試。在這次試驗里，我們設(shè)置了一個對照組，對照組的用戶將不會見到“挽留彈窗”，只用于確認本次實驗中，“00、10、11、N0、N1”這5類人群分布的基準值。

假設(shè)試驗結(jié)果如上表所述，我們可以知道實驗組轉(zhuǎn)化率提升了“（22%+3%）-（20%+3%）= 2%”，相對提升了 8.7%= 2%/（20%+3%）。

通過上面的用戶旅程我們可以知道，若挽留彈窗起作用了，那么被挽留來的用戶，只會被分流到“A”和“B”中。

在介紹人群分類的時候，我們講過“用戶狀態(tài)轉(zhuǎn)變是單向的”，“11狀態(tài)”的用戶一定是從“00”狀態(tài)用戶轉(zhuǎn)化過來的。實驗組中 “11狀態(tài)”人群，比對照組增加了2%，則這個2%的人一定是從“00”中過來的。而N1轉(zhuǎn)態(tài)的人群比例并沒有改變，說明沒有用戶從“10狀態(tài)”轉(zhuǎn)化過來。所以，我們可以確定，在本次試驗里，挽留彈窗造成的影響主要是將部分“00狀態(tài)”的用戶，導(dǎo)向了“11狀態(tài)”，從而提升了轉(zhuǎn)化率。

在這次試驗中，挽留彈窗的彈出率為20%（10%+7%+3%），也就是說只有20%的人，被彈窗影響到了，而這部分人群的彈窗效果，如下所示：

挽留彈窗的效果=轉(zhuǎn)化率提升值/總彈出率=2%/(10%+7%+3%)= 10%

所以，假如針對“00狀態(tài)”的用戶設(shè)置彈窗，則：

轉(zhuǎn)化率提升空間=彈窗效果?? 彈窗觸發(fā)率 = 10%?? 彈窗觸發(fā)率

臨門一腳應(yīng)該怎么踢

在第三次試驗中，我已經(jīng)測試出“挽留彈窗”對“00狀態(tài)用戶”的效果，那么接下來，我可以開始對“10狀態(tài)”的用戶，設(shè)置“支付挽留彈窗”，在這群用戶關(guān)閉支付時，進行挽留。

同樣，在這次試驗里，我們也設(shè)置了一個對照組，對照組的用戶將不會見到“支付挽留彈窗”，只用于確認本次實驗中，“00、10、11、N0、N1”這5類人群分布的基準值。

假設(shè)試驗結(jié)果如上表所述，我們可以知道實驗組轉(zhuǎn)化率提升了“（20%+3%）-（20%+6%）= 3%”，相對提升了 13%= 3%/（20%+3%）。

通過上面的用戶旅程我們可以知道，若支付挽留彈窗起作用了，那么被挽留來的用戶，只會被分流到“N1”狀態(tài)和“N0”狀態(tài)中。

在這次試驗中，支付挽留彈窗的彈出率為12%（8%+1%+3%），也就是說只有12%的人，被彈窗影響到了，而這部分人群的彈窗效果，如下所示：

支付挽留彈窗的效果=轉(zhuǎn)化率提升值/總彈出率=3%/12%= 25%

所以，假如針對“10狀態(tài)”的用戶設(shè)置“支付挽留彈窗”，在用戶關(guān)閉支付時彈出，則

轉(zhuǎn)化率提升空間=彈窗效果?? 彈窗觸發(fā)率 = 25%?? 彈窗觸發(fā)率

現(xiàn)在回答一下，這100萬花的值嗎？

到目前為止，我們已經(jīng)花費了將近100萬的廣告預(yù)算，但是這一系列的彈窗試驗遠沒有結(jié)束。我們知道“挽留彈窗”和“支付挽留彈窗”是有效的，也知道他們對轉(zhuǎn)化率的提升受“彈窗觸發(fā)率”的影響。那么如何提升“彈窗觸發(fā)率”呢？如何在提升“彈窗觸發(fā)率”的情況，不影響自然轉(zhuǎn)化率呢？這都是我們未來需要解決的問題。

在很多人眼中，落地頁制作只是“廣告投放”中一個不起眼的環(huán)節(jié)，而“彈窗”又是落地頁中一個不起眼的元素，但就是這些“不起眼”的元素，構(gòu)成了轉(zhuǎn)化率的基石。所以，這100萬不僅僅是為了買一個結(jié)論，更是在這個過程中，建立科學(xué)的測試流程，探求挽留彈窗起效的真正原理。 

“較真”是一件很難的事情，所以有些人只對別“較真”，而真正的高手只會對自己“較真”。這就是為啥高手，總是下笨功夫，而卻笨人卻喜歡尋找捷徑。 

作者注：本文中的案例根據(jù)真實事件改編，為保護客戶數(shù)據(jù)，其中數(shù)據(jù)為虛構(gòu)。

作者：李宇徒   編輯：南墻

本文來自于投稿，不代表芥末堆觀點。