首頁問題難以解決的原因存在于如下幾個方面。首先，首頁是一個信息集合體，它的作用及目標的指向性其實要比其他所有頁面都模糊，這使優(yōu)化首頁變得有些“無的放矢”。 這意味著，在對首頁資源進行分配和優(yōu)化前，我們必須要搞清楚，我們到底要讓首頁達成什么樣的目的？就這個問題，我仔細詢問了老謝，我問他，你們是否尤其在意公司的品牌形象、公司銷售產(chǎn)品的調(diào)性（是否高端或者至少不低端），或是需要特別凸顯你們在業(yè)界一流的水準和權(quán)威性？如果答案是“是”，那么，我們簡單使用一些“功效性”的指標來衡量首頁就不再適宜，而必須考慮到首頁所起到的“公益性”價值。這類似于我們在進行互聯(lián)網(wǎng)營銷時候的“效果營銷”和“品牌營銷”的分野. 如果你的目的是品牌，那么不以銷售或轉(zhuǎn)化效果為導(dǎo)向，甚至以犧牲相當(dāng)部分的轉(zhuǎn)化效果為代價，都是可以理解的。這種情況下，你可能會覺得“政治”的因素在左右你的首頁，而優(yōu)化首頁的目標、過程與結(jié)果也不再那么“定量化”，但目標如此，也就沒有什么想不通的了。不過，如果首頁的目標是為了最大化現(xiàn)時的經(jīng)濟利潤，事情就會好辦的多，我們可以清晰的定義需要采用的度量，有條不紊的進行我們的測試，并且給出足夠證明結(jié)果與影響因素的分析與結(jié)論。 因此，在下面的討論中，我們?nèi)考俣ㄊ醉摰哪繕耸恰肮摹?，即為了實現(xiàn)現(xiàn)時經(jīng)濟利益的最大化。 一般方法：誰更有產(chǎn)出？ 解決首頁問題的一般方法并不會超出大家的預(yù)料——業(yè)績說話。平息爭論最好的方法是“是騾子是馬拉出來溜溜”。對于老謝公司的問題，似乎完全可以承諾：“我們現(xiàn)在的這個星期會保持以第三方商家廣告在首頁，而下一個星期，我們則會放上內(nèi)部自營部門的商品推薦?！眱蓚€星期后，我們看數(shù)據(jù)說話。 我們最后看的業(yè)績數(shù)據(jù)當(dāng)然是收入數(shù)據(jù)（對于第三方平臺部門是收取的營銷廣告收入，對于自營部門則是銷售毛利）。如果你們的情況跟老謝不同，而跟我之前的公司類似——沒有第三方平臺業(yè)務(wù)，而全部是自營，首頁的爭奪是不同品類事業(yè)部之間的爭奪——那么業(yè)績數(shù)據(jù)比較則更簡單，即比較不同部門在規(guī)定時間首頁亮相之后，誰貢獻的毛利更多。 我相信大部分運營朋友能想到的方法都會是這樣，這種方法直觀，操作也簡單，而且似乎也容易說服大家接受。 且慢！ 如果你真的準備采用這個方法，我擔(dān)心最終的情況是十有八九無法落地。 問題不在于我們設(shè)置產(chǎn)出作為比較關(guān)鍵點是否合理。一般而言這么設(shè)置是正確的，無可厚非。問題在于：比較不同首頁設(shè)置所需要花費的時間是一個很大的現(xiàn)實障礙。一般而言，積累數(shù)據(jù)怎么著也需要一周時間，而進行兩個不同的測試最少也要兩周——兩周的時間，企業(yè)各部門根本沒有這樣的耐心。就算有耐心，時間仍然是問題，因為誰也不能保證在這段時間環(huán)境不發(fā)生變化，例如在第二周公司突然進行了全場范圍的折扣促銷，那么第二周的績效就與第一周不能相提并論了?？傊瑫r間變化了，環(huán)境一定會發(fā)生變化，這不是apple to apple的比較，肯定不能達到你期望的公平比較的效果。 那么，怎樣做才能幫我們得到公平有效的比較結(jié)果？ A/B測試優(yōu)于分時測試 我們必須進行A/B測試。如有可能，互聯(lián)網(wǎng)營銷的所有比較都應(yīng)該采用AB測試而非分時測試。A/B測試避免了上面分時測試的尷尬——AB測試是同時的（消除了時間造成的環(huán)境變化），樣本是隨機的（降低了樣本偏差），過程是可控的（我可以隨時停止），結(jié)果也能夠?qū)崟r反映。這些都注定了這種方法意義重大。 常做A/B測試的電子商務(wù)公司，往往具有更高的運營水平。關(guān)于什么是A/B測試，請看幾眼這篇文章：Avinash – 卓越分析系列2：實驗和測試啟蒙。　 如果使用Google Analytics，它已經(jīng)自帶了A/B測試的工具（是整合了之前獨立的Google Website Optimizer工具），在比較我們希望看到的產(chǎn)出效率上，只需要簡單設(shè)置即能夠?qū)崿F(xiàn)我們的需要。例如下面這樣的設(shè)置，“Transactions”是指你測試的兩個首頁各自帶來的交易的數(shù)量，而25%是指你做測試的時候所選取的流量為到達首頁的總流量中的25%，即分別統(tǒng)計的兩個首頁的流量為12.5%和12.5%——事實上其中一個首頁肯定獲得了87.5%的流量，但A/B測試工具統(tǒng)計時也只隨機選取了其中的12.5%。顯然，選擇越小的比例越安全，但是積累數(shù)據(jù)所花費的時間就越長。 A/B測試幾乎是唯一能夠最終平息爭吵的方法。但A/B測試需要新的頁面，有點麻煩。如果只需要對首頁中的部分內(nèi)容做測試，例如只是首頁的頂通（leaderboard）是爭吵的焦點，那么有些朋友會考慮選擇多變量測試。這種方法與A/B測試極為相似，但不需要設(shè)計多個頁面，而只是把頁面中的局部分成A、B版本進行替換——二者思想是完全一致的。對于首頁的優(yōu)化，多變量測試看起來不用增加頁面，省去了一些工序，似乎效率更高，但麻煩的地方也正在于此，因為后面你將會知道，專門增加一個B頁面其實還有大用。另外，多變量測試的工具幾乎都是付費的。 世界上最多使用的付費網(wǎng)站分析測試工具是Optimizely和Adobe Test & Target，二者的擁躉幾乎相當(dāng)，使用起來其實并不簡單?？焖俨渴饘崿F(xiàn)測試的方式，更適合利用Google Analytics的Experiments工具。 AB測試和多變量測試在原本是為實現(xiàn)單個指標的測試而設(shè)計的，即，我與你打賭，A首頁比B首頁能帶來更好的轉(zhuǎn)化率，那么轉(zhuǎn)化率就是這個賭局（測試）的唯一指標。不過，我們的目的是為了優(yōu)化網(wǎng)站首頁的資產(chǎn)配置，我們很多時候還要兼顧其他的績效，因此目的也就必然不那么單純。我們接著往下看如何解決這個問題。 產(chǎn)出之外的其他重要行為的指針 如果僅僅只是按照工具的模塊去做一個只有一個指標的測試，那么真是有些糟蹋了測試這個“牛X”的方法。A/B測試最有價值的地方，不是在于它給了賭局一個結(jié)果，更重要的在于，它能夠隨機把流量分配到兩個（或多個）目的相同而設(shè)計不同的頁面上去。而這兩個頁面的所有用戶行為，又都能夠被網(wǎng)站分析工具忠實的記錄下來供你進行詳細的分析。真是太美妙了?。ㄓ纱丝芍聦嵣?，就算沒有一個A/B測試的工具，只要你的網(wǎng)站前端工程師愿意幫你實現(xiàn)流量隨機在兩個首頁上的分流，你手中又有網(wǎng)站分析工具的話，你一樣可以做出非?？煽康腁/B測試。）　 現(xiàn)在，你有了這兩個武器——A/B測試工具實現(xiàn)的自動隨機分流和網(wǎng)站分析工具，你還能做什么呢？ 分析不同資產(chǎn)配置的首頁的關(guān)鍵績效指標（KPI）能夠很大程度滿足我們的好奇心，并且讓我們知道不同資源配置的首頁到底如何影響了網(wǎng)站訪問者的行為。這些KPI包括跳出率（bounce rate）、測試區(qū)域的點擊率（CTR）、點擊分布（點擊熱圖）和頁面價值（Page Value）等。但我沒有把頁面停留時間囊括在KPI中，因為在首頁上停留時間長短很難說明什么，如果A頁面的停留時間比B頁面停留時間平均多了5秒，或許只是合理范圍內(nèi)數(shù)據(jù)本身的擾動。而首頁A/B測試時所體現(xiàn)的相差甚遠的平均停留時間我從來就沒有遇到過?！? 上面這些KPI中，我認為最最重要的仍然是跳出率（bounce rate）。如果A首頁的bounce rate比B首頁多出了10%以上，我們有充分的理由懷疑A首頁的效果確實降低了。即使最終的A首頁流量的轉(zhuǎn)化率比B首頁高（這種逆天的情況極少出現(xiàn)），我們也不能就此下論斷就認為A比B好，而只能說，可能是A首頁推薦的商品品類更容易說服部分人掏錢購買，并因為該局部的提升而使整體轉(zhuǎn)化率得到提升。 舉一個最簡單化了的例子。假設(shè)一個電子商務(wù)網(wǎng)站的首頁的頂部有一個各個部門爭奪的推薦商品展示位，為了平息爭議，網(wǎng)站部門進行了一次A/B測試。建立的A、B頁面只是推薦位推薦的商品不同。測試結(jié)果如下表所示：A首頁的bounce rate是60%，B首頁是50%。假設(shè)兩個頁面分別迎來了1,000個訪問，而且對于沒有bounce掉的visit，購買其他非推薦商品的幾率是一樣的。A頁面有600個訪問bounce掉，剩下400個中有50個購買了A首頁推薦的商品，20個購買了其他商品；而B頁面有500個訪問bounce掉，剩下的500個中有30個購買B首頁推薦的商品，25個購買了其他商品。那么A頁面的最終轉(zhuǎn)化率是7%，而B頁面是5.5%。 這種情況說明了A首頁推薦的商品對那些喜歡這類商品的人來說實在太好銷了（400人中80人購買），但其他的人則可能因為這個商品的影響而對這個首頁興趣下降（跳出率為60%）。A首頁更好？抑或是不好？結(jié)論完全取決于你們自己的評判標準（例如加入其他的關(guān)鍵指標，比如產(chǎn)生的銷售額或是利潤）。但如果我們只是用Google Analytics的Experiments功能做了一個A/B測試，并且設(shè)置轉(zhuǎn)化率為衡量標準，那么我們就只能得出結(jié)論——A首頁好于B首頁。但事實情況是，A首頁并不見得比B首頁更好，雖然它推薦的商品更受部分人追捧，但卻降低了頁面整體的表現(xiàn)，并影響了其他的銷售機會。 因此我不是特別喜歡一賭定江山的單純測試。我更想知道兩個不同頁面究竟引發(fā)了人們何種行為上的差異，以及為什么發(fā)生這樣的差異。 研究測試區(qū)域（首頁上被改動的區(qū)域）的點擊率變化是最直觀的觀察人們因為首頁改變而行為改變的指針。這個點擊率的定義是：首頁該區(qū)域鏈接被點擊的次數(shù)（實際上是首頁該區(qū)域鏈接被點擊后打開頁面的PV數(shù)）除以首頁的訪問數(shù)。一個區(qū)域發(fā)生變化后，若它自身的點擊率顯著提升，且其他區(qū)域的點擊率并未明顯降低，顯然說明這個變化是有價值的。在下面的例子中，BCD三個新的首頁分別對原始首頁做了修改，同樣區(qū)域內(nèi)，內(nèi)容不同，點擊率也相應(yīng)不同，而左側(cè)的鏈接的點擊率實際上沒有發(fā)生明顯變化，很顯然D首頁的效果最好。這個例子四個版本其實賣的是一種商品，但我們完全可以想象它分別推廣的是四個不同部門的商品，各個部門的表現(xiàn)各有千秋，最終D部門在吸引人們注意力上勝出（測試區(qū)域的點擊率最高）。 不過，如果首頁整體發(fā)生了明顯的調(diào)整，單獨測試區(qū)域也就不再存在了。這時我們更常用的做法是通過分析兩個首頁的點擊熱圖，來判斷人們的興趣因此發(fā)生了何種改變。下面這個網(wǎng)站是一個UK的工作介紹類專業(yè)網(wǎng)站，首頁在一片爭吵中定下來第二版。原始版本（A版）的擁護者認為，訪問者除了想要知道相關(guān)工作需求的信息，還想要了解其他的能夠幫助他們學(xué)習(xí)如何找工作的相關(guān)技能和經(jīng)驗，因此頁面中放置更多信息是必要的。第二版（B版）的支持者則反對這個觀點，他們希望更純粹的首頁，即明確的幫助人們找與他們專業(yè)對應(yīng)的工作，而把更細分的分類和信息，交由點擊相關(guān)分類或?qū)Ш街蟮捻撁鎭硗瓿伞? 我們先看看這里說的A版和B版都是什么模樣： A版首頁如下： B版首頁如下： 現(xiàn)在，兩版首頁被放置在AB測試的舞臺上，等著觀眾們的投票。我不想給大家懸念，最后的結(jié)論是B版頁面的Engagement以超過A版21%而勝出。但原始版本改變?yōu)榈诙嬷?，用戶的行為發(fā)生了什么樣的改變？下面的點擊對比圖展示了一些現(xiàn)象。所有的數(shù)字為假設(shè)兩個頁面均獲得了1,000個訪問，相應(yīng)區(qū)域所獲得的點擊數(shù)。 A版頁面的訪問者似乎稍微更依賴于導(dǎo)航找尋他們想要的內(nèi)容，A頁面的導(dǎo)航點擊相比B更多。A頁面在找工作的分類上（頁面上方的Accouting、Banking、Consulting、Law和More的五塊分類區(qū)域）傾注了更多細節(jié)，卻反而比B頁面獲得的點擊更少——這說明信息多并不一定能獲得更多點擊。有限空間的信息總是很難周詳，沒有放上去的信息反而容易被用戶誤認為缺乏該信息，造成用戶反而放棄點擊查看究竟；相反，僅僅給出大的分類和吸引眼球的大圖，反而更容易引發(fā)用戶探索的愿望。A頁面的相關(guān)下載資源（左頁26個點擊的區(qū)域）也并未在首頁得到賞識，但事實上這些下載是網(wǎng)站中最受歡迎的內(nèi)容之一。首頁功能的多重化分散了人們的注意力，也忽略了人們接收信息的先后次序，人們未必需要在剛看到首頁還沒有回過神的時候就進行下載。 B首頁因此而獲得更好的點擊效果，1,000個訪問的總點擊數(shù)量是776，比A首頁的639個點擊多出了21%。信息和視覺元素的集中與精簡對人們心態(tài)和行動的影響，在點擊熱區(qū)圖上被清晰的展現(xiàn)出來。