委托企业在评价市场研究公司方案中应重点关注哪些要素
出处：北京迪纳市场研究院 发布日期：2008年07月15日 11:57
越来越多的企业开始聘请外部第三方市场研究公司为自己服务。在和市场研究公司的沟通过程中，研究公司通常都会提供非常漂亮的建议书，上面会有很多的图表、模型，大量的专业术语。作为委托方，如何评价这些专业公司的方案和实力呢？在为客户提供市场研究服务以及作为市场研究方案专家评审的过程中，发现有些时候，委托方在下列问题上常常陷入误区：
1、调查覆盖面和调查进度如何取舍？
客户往往希望在一次调查中，花较少的钱，办更多的事。预算有限，怎么办？这个时候，很多调查公司为了达成合作，往往在保证覆盖面的前提下，减少每个子调查项目的有效样本量。问题是，每一项统计工具都有一个精度问题，为了保证一个最低可以达到的精度，样本量往往需要保持到一定的数量。无原则的降低样本量，往往导致调查分析结果的精度太低，偏差太大，基于这些分析结果来测评客户满意度、评测企业绩效或者指导企业行动，只会误导企业，浪费资源。
客户往往缺乏统计常识，这个时候就需要市场研究公司的人员主动指出来相应的厉害关系。但是，很多时候，研究公司以“客户需求”来自我安慰，不愿明确告知客户这种选择带来的弊端，担心因此失去客户。这种情况，其实是对市场研究公司职业道德的一种考量。
2、如何保证抽取样本的代表性？
抽样的方法很多，往往是容易实施的抽样方法，成本低，但是代表性也就差。实施难度大的抽样方法，成本高，但是代表性强。如何在两者之间取舍，是客户和调查公司经常遇到的问题。其实，这也是一个成本和精度的问题。
比如，要调查某品牌冰箱的满意度，这个满意度需要覆盖消费者购买、安装、学习、使用、接受售后服务、处置等的全过程。这个调查如何实施？常见的研究可以把调查分为下列3个环节：
环节1：涉及购买、送货安装调试服务的售前售中服务环节；
环节2：涉及消费者学习、使用冰箱的全面体验，包括质量、功能、耗电、噪音、操作等多个方面；
环节3：售后维修服务环节，该环节只有那些产品出了故障的消费者才有体验。
每个环节的样本如何抽取？首先我们要明确的是，有效的调查样本应该是在近期内对该环节的体验仍然“记忆犹新”的客户。在这个原则下，相应的有效样本可以确定如下：
环节1：近期（1个月、2个月等）购买了冰箱的用户，需要亲自参与了购买全过程的消费者参与该环节的调查。如果对购买环节熟悉，但是安装调试时没有在家，这个时候对安装调试服务的评价就会出现缺省情况。
环节2：冰箱的主要使用者，即一个家庭中使用冰箱最多的人作为受访者。对这部分受访者可以有进一步的限定，比如最近1年购买过冰箱的用户，或者购买过某某型号冰箱的用户等。
环节3：近期（比如1个月内）接受过售后维修服务的消费者。调查的内容将覆盖打电话报修到售后服务完毕后的电话回访全过程。受访者至少需要在售后服务人员上门服务时在场。如果对电话报修过程或者电话回访过程没有体验，则他们在接受调查时，对这些环节的评价就会出现缺省。
笔者见过有些研究公司在执行类似的调查时，对各个环节有效受访者的界定过于宽松，比如对1年内购买的人群调查售前售中服务的满意度。这种调查难以反映实际情况，因为受访者的记忆不可能有这么持久。或者对购买一个月内的消费者同时调查购买环节和使用环节的满意度。那么我们需要确认，购买者和主要使用者是否为同一人？而且要说明，一个月内对使用环节的调查，是新品质量调查，不能反映产品保修期内的满意感知，或者说用户有比较成熟的体验后的调查。但是，遗憾的是，有些调研公司在方案中都尽量回避这些说明。
3、对调查中缺省值如何处理？
正如在第二点中所说的那样，在调查中，会出现受访者对某些问题无法回答，也就是说在调查数据中出现缺省回答。这些缺省值如何处理，是统计分析中常见的问题。在使用多元回归、结构方程模型等分析方法中，一个常见的取舍是：当某个问题的缺省率超过10％（最多不超过20％）的时候，该问题对应的变量就不应该纳入模型进行分析计算，而应该单独分析。而笔者在实践中，见到有些研究项目，在所有问题都有将近1/3缺省的情况下，依然运行模型。这种做法，非常不严谨。
4、建立的统计模型是否通过相应的统计检验？
在市场研究过程中，研究公司将会用到非常多的数据模型。但是这些模型能否使用，一般都有前提条件，必须符合这些前提条件，通过这些模型计算出来的结果才有统计意义，否则就是完全的数字游戏。比如，回归系数是否通过t检验，回归方程是否通过F检验，结构方程模型构建过程中的各因子是否通过阿尔法信度检验，拟合优度指标是否达到要求，比如RMSEA是否小于0.08，CFI是否大于0.90等。在实践中，我看到有些研究项目根本就没有做过这些分析，因为委托方统计知识的缺乏，导致研究人员偷工减料，最终导致导出的结果很有可能是建立在沙堆之上，毫无根据可言。当然，我们并不是说通过了相应的统计检验的模型就一定是个好模型，能够反映实际的状况。但是，没有通过这一检验关口的模型，往往不是一个好的模型。
5、如何评价项目小组的实力？
一个项目成功与否，项目经理往往起到关键的作用。好的、能干的项目经理，往往能够有效的指挥手下人干活，并且和研究公司其它部门关系良好，能够准确了解委托方的目标意图。在中小型市场研究公司里，项目经理往往是全能，对调查设计、调查实施、数据处理和分析、报告撰写都熟悉。在大型市场研究公司里，则存在分工，比如市场、调查实施、数据处理都有专门的部门。如果项目经理没有能力，或者不能尽职尽责的对待某个项目，那么在项目调查执行环节，或者数据处理分析环节，就可能出现问题，导致最终的调研结果不能反映实际情况，不能帮助委托方解决问题。
所以，委托方必须和项目经理进行沟通，了解他以往的项目经验，询问他对整个项目实施全过程的熟悉程度。如果经验不足，或者对项目全过程不熟悉，最好要求研究公司选派合格的项目经理主持该项目。
总结：企业现在在市场研究上投入的资金越来越多。如果在上述问题上不能找到正确答案的话，不仅仅是浪费了市场研究投入的资金，而且由于这些研究成果是企业进行决策的基础，所以可能带来更多的资源浪费。绝不可掉以轻心！
