跟踪测试的“3C”：一致性，一致性和一致性


　　跟踪测试是指在多于一个时间点上，在相同的抽样人群内收集同类信息的市场研究项目。跟踪测试所得到的数据可用于评估市场的变化，这对于那些快速变化的事物尤显重要——例如广告宣传——又或者是那些微小变化都会影响业务表现的领域——例如客户满意度。为了确保跟踪测试提取出了市场上发生的真实变化，理论上每次测试都需按照相同的方式执行。例如，每次都问相同的题目，按照相同的顺序提问，访问同类型的被访者，由同一组访问员进行数据采集等等。其中至关重要的是测试所使用的访问方法。通常在开始一个跟踪测试的时候有很多方法可供选择——电话访问、面访、入户访问（这个方法在中国仍被很普遍地使用）或者定点访问等。在发展成熟的市场里，越来越多的跟踪测试和所有的市场研究一样，通过网络进行访问。访问方法的选择取决于研究的目的。如果客户需要知道人们是否看到他们投放的广告和是否对其广告产生反应，那么，采用一些向目标受众展示广告的方法是比较适合的。

　　跟踪测试的一大好处是能够随着时间推移持续地监控市场活动，然而，这一好处却引出了一个与调研市场发展相关的大难题：如果一个若干年前适用的访问方法，目前其费用已变得非常昂贵，且可信度非常低，执行难度非常大，以致危及跟踪测试的可行性，那该如何处理呢？入户访问是一个很好的例子。十年前，我开始在中国工作，市场研究行业还处于发展初期。那时候，听到敲门声，超过一半的人都愿意接受市场研究访问员的邀请参与访问。人们的工作压力不太大，电视节目和户外娱乐活动也没有那么有趣和丰富，大部分人——即使是很有钱的人——都不会住在有保安系统的小区里。大家之前几乎都没有被访问过，调查对他们来说是一件新鲜事。而现在，至少在中国的城市地区这种情况已经完全改变了。

　　我们最优秀的客户之一——一家全球性的食品公司——跟益普索(中国)合作进行跟踪测试已有三年。那时候跟踪测试使用入户访问的方法。3年前，入户访问的接触率和合作率是可以接受的，但已经开始下降了，要找到合格的被访者和完成合格的访问越来越困难。这个情况打击了访问员的士气，更糟的是，和很多西方国家不同，中国的访问员通常是按照完成的问卷数量来获取酬劳的。这意味着，找到愿意配合完成一份长问卷的人越难，访问员就越容易被引诱“抄近路”。因此，入户访问合作率的下降使访问员作弊的趋势进一步恶化。客户的跟踪测试在解决这些问题方面已经投入了越来越多的时间和金钱，而讽刺的是，我们却不知道通过这些附加措施是否可以维护最初开始跟踪测试的环境。

　　我们陷入了进退两难的困境，要么访问方法必须改变，但这将破坏了一致性的规则；要么访问方法保持不变，但这样下去跟踪测试将偏离它所要测量的现实越走越远（而且我们不知道有多远），所投入的成本也会越来越高。

　　改变是必然的。保持跟踪测试的完全一致性是我们一直以来追求的理想，但不可能永不发生变化。

　　CAPI——计算机辅助个人访问


　　CAPI是在有或没有访问员参与的情况下，使用电脑问卷收集被访者信息的访问方法。2004年，益普索投资引进了CAPI系统，最初用于北京、上海和广州地区的广告投放前测试。主要的目的之一是尽量消除访问中存在的人为偏见。因为在广告投放前测试中，我们将把该广告的测试结果跟以前测试的千百个广告的测试结果进行比较。而这种测试所必需的一致性是很难在多个项目、多个城市和多个访问员中长期保持的。通过CAPI，我们消除了绝大部分的人为因素影响，并保证了访问无论在哪个城市、针对哪个广告、在哪个时期、都能按照完全统一的方式执行。

　　通过解决访问员作弊的问题，CAPI部分地解决了跟踪测试所面临的难题。但是入户接触和拒访的问题还是没有得到解决。即使我们把CAPI程序安装在笔记本电脑里，我们所收集到的信息还是未能很好地表现客户市场的情况。我们需要到能够接触到人群的地方进行访问：到他们住所以外的地方。

　　走到大街上


　　如果我们把CAPI工作站设立在中心位置，例如购物中心里，就可以接触到更多高收入人群或较难接触到的人群——那些从我们的被访者招募网络中漏掉的人。但这个做法很有可能为跟踪测试带来一个更大的问题：访问地点的影响。（由于工作或购物的偏好）人们往往会经常地去某些地方而很少去其他地方。不同类型的人在城市中的分布是不均匀的。在一个地方建立CAPI中心，意味着在最终的调查结果中不能很好地表现去其他地方的人群的意见，从而很可能影响数据的质量，导致客户决策上的失误。

　　幸运的是，当中国的经济发展增加了我们入户访问难度的同时，也为我们带来了一些机遇作为补偿。近年来，电话占有率快速上涨，在调查所需覆盖的城市中已达到95%甚至更高。尽管电话调查不能成为跟踪测试所选择的方法（因为我们必须展示电视广告的图片），我们可以用电话查出城市中该产品品类的使用者、他们的使用频率、使用数量、以及他们的人口背景。要得到这些信息只需要几分钟的电话访问，所以拒访率比较低，由此得出的发生率是很可靠的。在了解该品类使用者的基本概况后，我们就可以通过配额进行定点访问（CLT）的抽样。虽然访问存在地点影响，但我们了解真实的市场组成情况，所以我们在寻找其他类型被访者的同时，也可以限制某些类型的人参加我们的定点访问。

　　那一致性呢？


　　我们在定点访问中开始改用CAPI的方法之前就知道会影响到测量指标——降低了一致性。因此，我们为跟踪测试设计了一个平行阶段，在这一阶段里我们会使用新旧两种访问方法。过程将显示每种方法如何影响不同城市中的不同品牌的不同测量指标。集合所有指标来看，CAPI方法的转换平均对指标产生略大于2%的影响。其中，依靠被访者记忆的指标（例如不提示情况下的品牌认知）所受的影响最大，而依靠被访者自发反应的指标（例如品牌认知第一提及）所受的影响则很小。

现有的大品牌

　　这个品牌是该品类的领导者。新的访问方法几乎对数据没有影响（见左图）；而且调整后数据的变化也不明显。

　　很小的品牌和很大的现有品牌都不会受到太大影响，而中型品牌和正在迅速变化的品牌受到的影响较大。我们从平行阶段得到了调整历史数据所需要的信息——从根本上把历史数据与CAPI定点访问得出的数据联系起来，如同跟踪测试一开始就使用这个方法一样。

中型成长品牌（易变品牌）

　　中型品牌和易变品牌在我们的研究中所受的影响较大（见左图）；调整后一致性趋势再次清晰。

　　很明显地，我们正过渡到一个更完善的跟踪测试系统，这个系统对客户的帮助更大，而且显著减少了数据中的变异。这种变异是指市场潜在的变化除外的数据变异，是数据中的“杂质”，其中部分源于招募困难和访问员操作失误引起的不良影响。新的跟踪测试系统使数据中的“杂质”减少了约一半，而在表现不稳定的品牌中“杂质”减少得更多。数据现在变得更为平滑，这意味着我们在图表中所看到的数据变化既是真实的市场发展趋势，因而帮助客户的营销和宣传团队做出更正确的决策。

　　总结


　　访问方法极其重要。它不是一个细小的技术环节。访问方法的转换会影响访问所获得的测量指标，并影响对一个市场现状的反映。改变访问方法必然意味着在数据调整期间市场研究公司需要做更多的工作，客户需要更多时间去适应。但是访问方法的改变会带来清晰而显著的好处，例如测试的长期可持续性或成本的降低。通过我们适当地计划和操作即可实现这些好处。如果我们能更好地控制访问流程和减少数据中的杂质，将更利于客户做出好的营销决策。