圖源：視覺中國(guó)

“較真”是對(duì)“廣告費(fèi)”最基本的尊重

假如你是一個(gè)賣saas產(chǎn)品的銷售，現(xiàn)在有兩個(gè)客戶供你選擇：

A客戶是一家行業(yè)龍頭，一家的合同額能幫你完成半年的業(yè)績(jī)?nèi)蝿?wù)，但是過往的同行說，他們買完產(chǎn)品后，并不會(huì)認(rèn)真使用，一段時(shí)間后就會(huì)束之高閣； 

B客戶是一家年輕的成長(zhǎng)型企業(yè)，合同額只有上一家的1/5，但是他們特別喜歡你的產(chǎn)品，對(duì)產(chǎn)品使用非常較真，甚至?xí)o你提出非常多的產(chǎn)品需求；

這個(gè)問題，我問過很多人，有選A的，也有選B的。

但其實(shí)，我覺得沒有什么可選的，因?yàn)?，小孩子才做選擇，成年人當(dāng)然是全都要！

不過，我更尊重那家“較真”的客戶，不是因?yàn)樗麄兏哳l使用我們的產(chǎn)品，而是因?yàn)椤拜^真”是對(duì)“廣告費(fèi)”最基本的尊重。 

一個(gè)彈窗的提升空間能有多大？

我們有一個(gè)成長(zhǎng)型的客戶，在合作初期的一個(gè)月里，這位客戶花了近百萬的廣告費(fèi)，只是為了測(cè)出落地頁(yè)里一個(gè)非常小的功能——“挽留彈窗[1]”的具體效果。

“What？花100萬，測(cè)一個(gè)破彈窗？”

說句實(shí)話，這就是我當(dāng)時(shí)的想法，但是隨著項(xiàng)目的深入，我漸漸理解了這個(gè)客戶的做法，“花100萬，測(cè)試彈窗”只是一個(gè)表象，他們較真的是整個(gè)探索流程以及產(chǎn)生效果的真正原因。

科學(xué)研究的邏輯思維方法有兩種，一種是歸納法，一種是演繹法。通過歸納法，我知道了“挽留彈窗”是能夠提升轉(zhuǎn)化率的，但是只有找到“提升轉(zhuǎn)化率的真正原因”，我們才能夠通過演繹法，將原理應(yīng)用到其他地方，從而把提升效果從1放大到100。

所以，一個(gè)“破彈窗”的作用到底有多大呢？我們又是如何測(cè)算出來的呢？

[1]挽留彈窗是一項(xiàng)能夠在用戶準(zhǔn)備退出網(wǎng)頁(yè)時(shí)彈出彈窗，對(duì)即將流失的用戶進(jìn)行挽留的功能。

沒學(xué)會(huì)走路之前，千萬不要嘗試奔跑

凡是練過拳都知道，最容易惹是非的就是初學(xué)者了，剛學(xué)了兩招就急不可耐的想要找人比劃比劃。于是在第一次試驗(yàn)的時(shí)候，我們和客戶制定了一個(gè)激進(jìn)的計(jì)劃，期待在轉(zhuǎn)化率上能有一個(gè)巨大的變化。理想是豐滿的，但現(xiàn)實(shí)是骨感的，結(jié)果數(shù)據(jù)顯示，實(shí)驗(yàn)組的轉(zhuǎn)化率不僅“提升”不明顯，而且不可信。 

這次試驗(yàn)對(duì)象是一個(gè)小額支付落地頁(yè)，賣的是集訓(xùn)營(yíng)小課包，頁(yè)面邏輯和轉(zhuǎn)化流程相對(duì)比較簡(jiǎn)單，機(jī)構(gòu)并不收集學(xué)員手機(jī)號(hào)，學(xué)員點(diǎn)擊“報(bào)名按鈕”后，會(huì)直接調(diào)起微信支付，支付完成后，會(huì)被要求關(guān)注“公眾號(hào)”。

在實(shí)驗(yàn)組里，我們?yōu)檫M(jìn)入落地頁(yè)的學(xué)員，設(shè)定三道挽留彈窗，分別會(huì)在三種情況下彈出，其中有兩道彈窗的內(nèi)容是一模一樣的，另外第三道則不一樣。

• 第一道彈窗，首次支付挽留彈窗，在用戶第1次支付失敗后彈出，引導(dǎo)用戶繼續(xù)支付9.9元；

• 第二道彈窗，二次支付挽留彈窗，在用戶第2次支付失敗后彈出，引導(dǎo)用戶報(bào)名0元課程；

• 第三道彈窗，退出挽留0元彈窗，在用戶準(zhǔn)備退出落地頁(yè)時(shí)彈出，引導(dǎo)用戶報(bào)名0元課程；

對(duì)結(jié)果的期待越高，則落差帶來的失望越大，特別是當(dāng)你一頓操作猛如虎后，發(fā)現(xiàn)自己就在原地杵。試驗(yàn)結(jié)果顯示，實(shí)驗(yàn)組（帶彈窗）相對(duì)對(duì)照組（無彈窗）的轉(zhuǎn)化率提升不到5%，并且由于樣本數(shù)不夠，在對(duì)結(jié)果數(shù)據(jù)進(jìn)行統(tǒng)計(jì)驗(yàn)證時(shí)，發(fā)現(xiàn)統(tǒng)計(jì)P值[2]高達(dá)0.363，遠(yuǎn)大于0.005，也就是說測(cè)試結(jié)果并不顯著，我們無法確信“轉(zhuǎn)化率”的提升是因?yàn)樵O(shè)置了彈窗，或許純粹就是因?yàn)檫\(yùn)氣好。

[2] P值是用來判定假設(shè)檢驗(yàn)結(jié)果的一個(gè)參數(shù)，P值（P value）就是當(dāng)原假設(shè)為真時(shí)，比所得到的樣本觀察結(jié)果更極端的結(jié)果出現(xiàn)的概率。如果P值很小，說明原假設(shè)情況的發(fā)生的概率很小，而如果出現(xiàn)了，根據(jù)小概率原理，我們就有理由拒絕原假設(shè)，P值越小，我們拒絕原假設(shè)的理由越充分。總之，P值越小，表明結(jié)果越顯著。

我們還發(fā)現(xiàn)，在被轉(zhuǎn)化的人群里，有一部分用戶是看過“首次支付挽留彈窗”，但不是在“首次支付挽留彈窗”上直接完成轉(zhuǎn)化的，也就說彈窗對(duì)這部分人的轉(zhuǎn)化有助攻的作用。這部用戶在落地頁(yè)上的旅程可能是這樣的： 

假設(shè)我是一個(gè)客戶，“我”剛剛已經(jīng)明明拒絕了支付，“你”彈出一個(gè)彈窗來挽留“我”，在潛意識(shí)里，“我”想“你”應(yīng)該會(huì)換個(gè)方式來討好“我”，但是當(dāng)“我”點(diǎn)擊報(bào)名按鈕后，依舊還是喚起了支付，此時(shí)“我”可能就會(huì)生氣了，懷疑“你”是不是在?！拔摇?？當(dāng)然，以上僅是我的猜測(cè)，可能需要做進(jìn)一步的測(cè)試。 

在這次試驗(yàn)里，我們做了三個(gè)彈窗，而三個(gè)彈窗的作用相互交叉，難以辨別。導(dǎo)致我們最后根本分辨不出，哪個(gè)彈窗是有效的，哪個(gè)彈窗是充數(shù)的，哪個(gè)彈窗是有害的？也不知道，這些彈窗到底對(duì)哪群人生效了，這些人又有什么共同特征？做這個(gè)試驗(yàn)需要多少的樣本量才夠？

彈窗的影響到底有多大

為了解決上一次試驗(yàn)中新發(fā)現(xiàn)的問題，我們和客戶又進(jìn)行了第二輪試驗(yàn)。在這次試驗(yàn)中我們?nèi)コ怂械膹棿?，做了一個(gè)“裸版”落地頁(yè)進(jìn)行投放，目的只有一個(gè)——找到“人群分布”的基準(zhǔn)值。

根據(jù)機(jī)構(gòu)以往的經(jīng)驗(yàn)，按照“支付動(dòng)作”可將用戶分為三類：

（1）未發(fā)起支付

（2）發(fā)起1次支付

（3）發(fā)起多次支付（2次及以上）

按照“轉(zhuǎn)化轉(zhuǎn)態(tài)”可將用戶分為2類：

（1）未轉(zhuǎn)化

（2）已轉(zhuǎn)化 

結(jié)合這兩類動(dòng)作，理論上可以將用戶分成6（3x2）類，但是實(shí)際上，這兩個(gè)動(dòng)作是有依賴的，“未發(fā)起支付，已轉(zhuǎn)化”這類人群是不存在的。所以，實(shí)際上只有五類人群，分別是：

（a）未發(fā)起支付，未轉(zhuǎn)化

（b）發(fā)起1次支付，未轉(zhuǎn)化

（c）發(fā)起1次支付，已轉(zhuǎn)化

（d）發(fā)起多次支付，未轉(zhuǎn)化

（e）發(fā)起多次支付，已轉(zhuǎn)化

為方便大家閱讀，下文中我將用“代號(hào)”來代指這5類人群，對(duì)照表入下表所示：

需要說明的是，每個(gè)進(jìn)入落地頁(yè)的用戶，都會(huì)落入到這5個(gè)分類里。但是，從不同的時(shí)間點(diǎn)來看，你會(huì)發(fā)現(xiàn)，在不同的時(shí)刻，各類人群的比例是變化的。這是因?yàn)橐粋€(gè)人的狀態(tài)值是可以轉(zhuǎn)變的，并且這種轉(zhuǎn)變是單向的，例如你可以從“00（未發(fā)起支付，未轉(zhuǎn)化）”狀態(tài)，轉(zhuǎn)變成“10（發(fā)起1次支付，未轉(zhuǎn)化）”，但是不能從“10狀態(tài)”轉(zhuǎn)變成“00”狀態(tài)。

依據(jù)這種人群分類方式和用戶旅程，我們就可以繪制出“用戶狀態(tài)流轉(zhuǎn)圖”了。結(jié)合投放結(jié)果數(shù)據(jù)，透過這張圖，我們就可以輕易的找到適合放置“彈窗”的人群，并計(jì)算出挽留彈窗真正的影響范圍。

（1）找到適合放置“彈窗”的人群

以第2次試驗(yàn)為例，我們發(fā)現(xiàn)各類人群的占比入下表1所示，00狀態(tài)和10狀態(tài)的人，占未支付轉(zhuǎn)化人群的（60%+20%）/(60%+20%+2%)=97%，所以，針對(duì)這兩部分人群設(shè)置彈窗是比較有意義的，而N0狀態(tài)的人群比較少，資源有限的情況下，優(yōu)先級(jí)可以降低一些。

（2）計(jì)算挽回彈窗的影響范圍

挽留彈窗的觸發(fā)條件主要是由瀏覽器控制的，不同的瀏覽器有不同規(guī)則。在移動(dòng)端，每個(gè)APP都是一個(gè)瀏覽器，這些瀏覽器一般只允許對(duì)“有交互”的用戶發(fā)起挽留彈窗。 

若試驗(yàn)中發(fā)現(xiàn)“00”狀態(tài)的用戶中，大約50%的用戶會(huì)產(chǎn)生“交互”。那么就意味著，假如針對(duì)“00狀態(tài)”的用戶設(shè)置彈窗，最多只有60%x50%=30%的用戶會(huì)受彈窗的影響。 

此時(shí)，若實(shí)驗(yàn)組轉(zhuǎn)化率相對(duì)“對(duì)照組”提升了3%，那么彈窗效果=3%? 30%=10%

總結(jié)成公式就是：

彈窗效果=轉(zhuǎn)化率差值? 彈窗觸發(fā)率

轉(zhuǎn)化率差值=彈窗效果?? 彈窗觸發(fā)率= 彈窗效果?? A人群UV占比?? A人群互動(dòng)率 

假設(shè)“彈窗效果”和“A人群UV占比”一定，那么就可以計(jì)算“轉(zhuǎn)化率差值”的范圍了。

Max(轉(zhuǎn)化率差值)=彈窗效果?? A人群UV占比?? Max(A人群互動(dòng)率)

Min(轉(zhuǎn)化率差值)=彈窗效果?? A人群UV占比?? Min(A人群互動(dòng)率） 

其中：

轉(zhuǎn)化率差值={實(shí)驗(yàn)組轉(zhuǎn)化率 - 對(duì)照組轉(zhuǎn)化率}

怎么挽留不感興趣的用戶

計(jì)算出挽回彈窗的影響范圍后，我們就可以開始針對(duì)不同狀態(tài)的人群進(jìn)行挽留彈窗測(cè)試。在上一次試驗(yàn)中，我們知道“00狀態(tài)”的用戶占60%，“10狀態(tài)”的用戶占比15%，占未支付轉(zhuǎn)化人群的97%，針對(duì)這兩部分人群，我們可以分別做兩次控制試驗(yàn)，分別測(cè)試出這兩部分人群彈窗的效果。

所以，第三次試驗(yàn)中，我們決定針對(duì)“00狀態(tài)”的用戶，設(shè)置“挽留彈窗”，進(jìn)行測(cè)試。在這次試驗(yàn)里，我們?cè)O(shè)置了一個(gè)對(duì)照組，對(duì)照組的用戶將不會(huì)見到“挽留彈窗”，只用于確認(rèn)本次實(shí)驗(yàn)中，“00、10、11、N0、N1”這5類人群分布的基準(zhǔn)值。

假設(shè)試驗(yàn)結(jié)果如上表所述，我們可以知道實(shí)驗(yàn)組轉(zhuǎn)化率提升了“（22%+3%）-（20%+3%）= 2%”，相對(duì)提升了 8.7%= 2%/（20%+3%）。

通過上面的用戶旅程我們可以知道，若挽留彈窗起作用了，那么被挽留來的用戶，只會(huì)被分流到“A”和“B”中。

在介紹人群分類的時(shí)候，我們講過“用戶狀態(tài)轉(zhuǎn)變是單向的”，“11狀態(tài)”的用戶一定是從“00”狀態(tài)用戶轉(zhuǎn)化過來的。實(shí)驗(yàn)組中 “11狀態(tài)”人群，比對(duì)照組增加了2%，則這個(gè)2%的人一定是從“00”中過來的。而N1轉(zhuǎn)態(tài)的人群比例并沒有改變，說明沒有用戶從“10狀態(tài)”轉(zhuǎn)化過來。所以，我們可以確定，在本次試驗(yàn)里，挽留彈窗造成的影響主要是將部分“00狀態(tài)”的用戶，導(dǎo)向了“11狀態(tài)”，從而提升了轉(zhuǎn)化率。

在這次試驗(yàn)中，挽留彈窗的彈出率為20%（10%+7%+3%），也就是說只有20%的人，被彈窗影響到了，而這部分人群的彈窗效果，如下所示：

挽留彈窗的效果=轉(zhuǎn)化率提升值/總彈出率=2%/(10%+7%+3%)= 10%

所以，假如針對(duì)“00狀態(tài)”的用戶設(shè)置彈窗，則：

轉(zhuǎn)化率提升空間=彈窗效果?? 彈窗觸發(fā)率 = 10%?? 彈窗觸發(fā)率

臨門一腳應(yīng)該怎么踢

在第三次試驗(yàn)中，我已經(jīng)測(cè)試出“挽留彈窗”對(duì)“00狀態(tài)用戶”的效果，那么接下來，我可以開始對(duì)“10狀態(tài)”的用戶，設(shè)置“支付挽留彈窗”，在這群用戶關(guān)閉支付時(shí)，進(jìn)行挽留。

同樣，在這次試驗(yàn)里，我們也設(shè)置了一個(gè)對(duì)照組，對(duì)照組的用戶將不會(huì)見到“支付挽留彈窗”，只用于確認(rèn)本次實(shí)驗(yàn)中，“00、10、11、N0、N1”這5類人群分布的基準(zhǔn)值。

假設(shè)試驗(yàn)結(jié)果如上表所述，我們可以知道實(shí)驗(yàn)組轉(zhuǎn)化率提升了“（20%+3%）-（20%+6%）= 3%”，相對(duì)提升了 13%= 3%/（20%+3%）。

通過上面的用戶旅程我們可以知道，若支付挽留彈窗起作用了，那么被挽留來的用戶，只會(huì)被分流到“N1”狀態(tài)和“N0”狀態(tài)中。

在這次試驗(yàn)中，支付挽留彈窗的彈出率為12%（8%+1%+3%），也就是說只有12%的人，被彈窗影響到了，而這部分人群的彈窗效果，如下所示：

支付挽留彈窗的效果=轉(zhuǎn)化率提升值/總彈出率=3%/12%= 25%

所以，假如針對(duì)“10狀態(tài)”的用戶設(shè)置“支付挽留彈窗”，在用戶關(guān)閉支付時(shí)彈出，則

轉(zhuǎn)化率提升空間=彈窗效果?? 彈窗觸發(fā)率 = 25%?? 彈窗觸發(fā)率

現(xiàn)在回答一下，這100萬花的值嗎？

到目前為止，我們已經(jīng)花費(fèi)了將近100萬的廣告預(yù)算，但是這一系列的彈窗試驗(yàn)遠(yuǎn)沒有結(jié)束。我們知道“挽留彈窗”和“支付挽留彈窗”是有效的，也知道他們對(duì)轉(zhuǎn)化率的提升受“彈窗觸發(fā)率”的影響。那么如何提升“彈窗觸發(fā)率”呢？如何在提升“彈窗觸發(fā)率”的情況，不影響自然轉(zhuǎn)化率呢？這都是我們未來需要解決的問題。

在很多人眼中，落地頁(yè)制作只是“廣告投放”中一個(gè)不起眼的環(huán)節(jié)，而“彈窗”又是落地頁(yè)中一個(gè)不起眼的元素，但就是這些“不起眼”的元素，構(gòu)成了轉(zhuǎn)化率的基石。所以，這100萬不僅僅是為了買一個(gè)結(jié)論，更是在這個(gè)過程中，建立科學(xué)的測(cè)試流程，探求挽留彈窗起效的真正原理。 

“較真”是一件很難的事情，所以有些人只對(duì)別“較真”，而真正的高手只會(huì)對(duì)自己“較真”。這就是為啥高手，總是下笨功夫，而卻笨人卻喜歡尋找捷徑。 

作者注：本文中的案例根據(jù)真實(shí)事件改編，為保護(hù)客戶數(shù)據(jù)，其中數(shù)據(jù)為虛構(gòu)。

作者：李宇徒   編輯：南墻

本文來自于投稿，不代表芥末堆觀點(diǎn)。