首页问题难以解决的原因存在于如下几个方面。首先，首页是一个信息集合体，它的作用及目标的指向性其实要比其他所有页面都模糊，这使优化首页变得有些“无的放矢”。 这意味着，在对首页资源进行分配和优化前，我们必须要搞清楚，我们到底要让首页达成什么样的目的？就这个问题，我仔细询问了老谢，我问他，你们是否尤其在意公司的品牌形象、公司销售产品的调性（是否高端或者至少不低端），或是需要特别凸显你们在业界一流的水准和权威性？如果答案是“是”，那么，我们简单使用一些“功效性”的指标来衡量首页就不再适宜，而必须考虑到首页所起到的“公益性”价值。这类似于我们在进行互联网营销时候的“效果营销”和“品牌营销”的分野. 如果你的目的是品牌，那么不以销售或转化效果为导向，甚至以牺牲相当部分的转化效果为代价，都是可以理解的。这种情况下，你可能会觉得“政治”的因素在左右你的首页，而优化首页的目标、过程与结果也不再那么“定量化”，但目标如此，也就没有什么想不通的了。不过，如果首页的目标是为了最大化现时的经济利润，事情就会好办的多，我们可以清晰的定义需要采用的度量，有条不紊的进行我们的测试，并且给出足够证明结果与影响因素的分析与结论。 因此，在下面的讨论中，我们全部假定首页的目标是“功利的”，即为了实现现时经济利益的最大化。 一般方法：谁更有产出？ 解决首页问题的一般方法并不会超出大家的预料——业绩说话。平息争论最好的方法是“是骡子是马拉出来溜溜”。对于老谢公司的问题，似乎完全可以承诺：“我们现在的这个星期会保持以第三方商家广告在首页，而下一个星期，我们则会放上内部自营部门的商品推荐。”两个星期后，我们看数据说话。 我们最后看的业绩数据当然是收入数据（对于第三方平台部门是收取的营销广告收入，对于自营部门则是销售毛利）。如果你们的情况跟老谢不同，而跟我之前的公司类似——没有第三方平台业务，而全部是自营，首页的争夺是不同品类事业部之间的争夺——那么业绩数据比较则更简单，即比较不同部门在规定时间首页亮相之后，谁贡献的毛利更多。 我相信大部分运营朋友能想到的方法都会是这样，这种方法直观，操作也简单，而且似乎也容易说服大家接受。 且慢！ 如果你真的准备采用这个方法，我担心最终的情况是十有八九无法落地。 问题不在于我们设置产出作为比较关键点是否合理。一般而言这么设置是正确的，无可厚非。问题在于：比较不同首页设置所需要花费的时间是一个很大的现实障碍。一般而言，积累数据怎么着也需要一周时间，而进行两个不同的测试最少也要两周——两周的时间，企业各部门根本没有这样的耐心。就算有耐心，时间仍然是问题，因为谁也不能保证在这段时间环境不发生变化，例如在第二周公司突然进行了全场范围的折扣促销，那么第二周的绩效就与第一周不能相提并论了。总之，时间变化了，环境一定会发生变化，这不是apple to apple的比较，肯定不能达到你期望的公平比较的效果。 那么，怎样做才能帮我们得到公平有效的比较结果？ A/B测试优于分时测试 我们必须进行A/B测试。如有可能，互联网营销的所有比较都应该采用AB测试而非分时测试。A/B测试避免了上面分时测试的尴尬——AB测试是同时的（消除了时间造成的环境变化），样本是随机的（降低了样本偏差），过程是可控的（我可以随时停止），结果也能够实时反映。这些都注定了这种方法意义重大。 常做A/B测试的电子商务公司，往往具有更高的运营水平。关于什么是A/B测试，请看几眼这篇文章：Avinash – 卓越分析系列2：实验和测试启蒙。　 如果使用Google Analytics，它已经自带了A/B测试的工具（是整合了之前独立的Google Website Optimizer工具），在比较我们希望看到的产出效率上，只需要简单设置即能够实现我们的需要。例如下面这样的设置，“Transactions”是指你测试的两个首页各自带来的交易的数量，而25%是指你做测试的时候所选取的流量为到达首页的总流量中的25%，即分别统计的两个首页的流量为12.5%和12.5%——事实上其中一个首页肯定获得了87.5%的流量，但A/B测试工具统计时也只随机选取了其中的12.5%。显然，选择越小的比例越安全，但是积累数据所花费的时间就越长。 A/B测试几乎是唯一能够最终平息争吵的方法。但A/B测试需要新的页面，有点麻烦。如果只需要对首页中的部分内容做测试，例如只是首页的顶通（leaderboard）是争吵的焦点，那么有些朋友会考虑选择多变量测试。这种方法与A/B测试极为相似，但不需要设计多个页面，而只是把页面中的局部分成A、B版本进行替换——二者思想是完全一致的。对于首页的优化，多变量测试看起来不用增加页面，省去了一些工序，似乎效率更高，但麻烦的地方也正在于此，因为后面你将会知道，专门增加一个B页面其实还有大用。另外，多变量测试的工具几乎都是付费的。 世界上最多使用的付费网站分析测试工具是Optimizely和Adobe Test & Target，二者的拥趸几乎相当，使用起来其实并不简单。快速部署实现测试的方式，更适合利用Google Analytics的Experiments工具。 AB测试和多变量测试在原本是为实现单个指标的测试而设计的，即，我与你打赌，A首页比B首页能带来更好的转化率，那么转化率就是这个赌局（测试）的唯一指标。不过，我们的目的是为了优化网站首页的资产配置，我们很多时候还要兼顾其他的绩效，因此目的也就必然不那么单纯。我们接着往下看如何解决这个问题。 产出之外的其他重要行为的指针 如果仅仅只是按照工具的模块去做一个只有一个指标的测试，那么真是有些糟蹋了测试这个“牛X”的方法。A/B测试最有价值的地方，不是在于它给了赌局一个结果，更重要的在于，它能够随机把流量分配到两个（或多个）目的相同而设计不同的页面上去。而这两个页面的所有用户行为，又都能够被网站分析工具忠实的记录下来供你进行详细的分析。真是太美妙了！（由此可知，事实上，就算没有一个A/B测试的工具，只要你的网站前端工程师愿意帮你实现流量随机在两个首页上的分流，你手中又有网站分析工具的话，你一样可以做出非常可靠的A/B测试。）　 现在，你有了这两个武器——A/B测试工具实现的自动随机分流和网站分析工具，你还能做什么呢？ 分析不同资产配置的首页的关键绩效指标（KPI）能够很大程度满足我们的好奇心，并且让我们知道不同资源配置的首页到底如何影响了网站访问者的行为。这些KPI包括跳出率（bounce rate）、测试区域的点击率（CTR）、点击分布（点击热图）和页面价值（Page Value）等。但我没有把页面停留时间囊括在KPI中，因为在首页上停留时间长短很难说明什么，如果A页面的停留时间比B页面停留时间平均多了5秒，或许只是合理范围内数据本身的扰动。而首页A/B测试时所体现的相差甚远的平均停留时间我从来就没有遇到过。　 上面这些KPI中，我认为最最重要的仍然是跳出率（bounce rate）。如果A首页的bounce rate比B首页多出了10%以上，我们有充分的理由怀疑A首页的效果确实降低了。即使最终的A首页流量的转化率比B首页高（这种逆天的情况极少出现），我们也不能就此下论断就认为A比B好，而只能说，可能是A首页推荐的商品品类更容易说服部分人掏钱购买，并因为该局部的提升而使整体转化率得到提升。 举一个最简单化了的例子。假设一个电子商务网站的首页的顶部有一个各个部门争夺的推荐商品展示位，为了平息争议，网站部门进行了一次A/B测试。建立的A、B页面只是推荐位推荐的商品不同。测试结果如下表所示：A首页的bounce rate是60%，B首页是50%。假设两个页面分别迎来了1,000个访问，而且对于没有bounce掉的visit，购买其他非推荐商品的几率是一样的。A页面有600个访问bounce掉，剩下400个中有50个购买了A首页推荐的商品，20个购买了其他商品；而B页面有500个访问bounce掉，剩下的500个中有30个购买B首页推荐的商品，25个购买了其他商品。那么A页面的最终转化率是7%，而B页面是5.5%。 这种情况说明了A首页推荐的商品对那些喜欢这类商品的人来说实在太好销了（400人中80人购买），但其他的人则可能因为这个商品的影响而对这个首页兴趣下降（跳出率为60%）。A首页更好？抑或是不好？结论完全取决于你们自己的评判标准（例如加入其他的关键指标，比如产生的销售额或是利润）。但如果我们只是用Google Analytics的Experiments功能做了一个A/B测试，并且设置转化率为衡量标准，那么我们就只能得出结论——A首页好于B首页。但事实情况是，A首页并不见得比B首页更好，虽然它推荐的商品更受部分人追捧，但却降低了页面整体的表现，并影响了其他的销售机会。 因此我不是特别喜欢一赌定江山的单纯测试。我更想知道两个不同页面究竟引发了人们何种行为上的差异，以及为什么发生这样的差异。 研究测试区域（首页上被改动的区域）的点击率变化是最直观的观察人们因为首页改变而行为改变的指针。这个点击率的定义是：首页该区域链接被点击的次数（实际上是首页该区域链接被点击后打开页面的PV数）除以首页的访问数。一个区域发生变化后，若它自身的点击率显著提升，且其他区域的点击率并未明显降低，显然说明这个变化是有价值的。在下面的例子中，BCD三个新的首页分别对原始首页做了修改，同样区域内，内容不同，点击率也相应不同，而左侧的链接的点击率实际上没有发生明显变化，很显然D首页的效果最好。这个例子四个版本其实卖的是一种商品，但我们完全可以想象它分别推广的是四个不同部门的商品，各个部门的表现各有千秋，最终D部门在吸引人们注意力上胜出（测试区域的点击率最高）。 不过，如果首页整体发生了明显的调整，单独测试区域也就不再存在了。这时我们更常用的做法是通过分析两个首页的点击热图，来判断人们的兴趣因此发生了何种改变。下面这个网站是一个UK的工作介绍类专业网站，首页在一片争吵中定下来第二版。原始版本（A版）的拥护者认为，访问者除了想要知道相关工作需求的信息，还想要了解其他的能够帮助他们学习如何找工作的相关技能和经验，因此页面中放置更多信息是必要的。第二版（B版）的支持者则反对这个观点，他们希望更纯粹的首页，即明确的帮助人们找与他们专业对应的工作，而把更细分的分类和信息，交由点击相关分类或导航之后的页面来完成。 我们先看看这里说的A版和B版都是什么模样： A版首页如下： B版首页如下： 现在，两版首页被放置在AB测试的舞台上，等着观众们的投票。我不想给大家悬念，最后的结论是B版页面的Engagement以超过A版21%而胜出。但原始版本改变为第二版之后，用户的行为发生了什么样的改变？下面的点击对比图展示了一些现象。所有的数字为假设两个页面均获得了1,000个访问，相应区域所获得的点击数。 A版页面的访问者似乎稍微更依赖于导航找寻他们想要的内容，A页面的导航点击相比B更多。A页面在找工作的分类上（页面上方的Accouting、Banking、Consulting、Law和More的五块分类区域）倾注了更多细节，却反而比B页面获得的点击更少——这说明信息多并不一定能获得更多点击。有限空间的信息总是很难周详，没有放上去的信息反而容易被用户误认为缺乏该信息，造成用户反而放弃点击查看究竟；相反，仅仅给出大的分类和吸引眼球的大图，反而更容易引发用户探索的愿望。A页面的相关下载资源（左页26个点击的区域）也并未在首页得到赏识，但事实上这些下载是网站中最受欢迎的内容之一。首页功能的多重化分散了人们的注意力，也忽略了人们接收信息的先后次序，人们未必需要在刚看到首页还没有回过神的时候就进行下载。 B首页因此而获得更好的点击效果，1,000个访问的总点击数量是776，比A首页的639个点击多出了21%。信息和视觉元素的集中与精简对人们心态和行动的影响，在点击热区图上被清晰的展现出来。