在市场调研行业中的执行类公司是市场研究行业的第一线工作人员,在这类公司中,最为重要的工作是管理好调查项目的直接执行者——访问员,在调查工作中,执行类公司很难分辨哪些错误是由于访问员的无意造成的、哪些错误是访问员在项目中作弊所引起的。对于如何比较有效地控制访问质量,在目前的行业中还没有一种有效的措施,只能是被动采取事后的惩罚措施,而且有时根本就无法分辨问题是来自于访问员还是来自于被访者或是一种无意的错误。本论文的目标是从统计质量管理的原理入手找出一种检验访问员访问质量的方法。本文所探讨的方法是基于进行入户调查访问的长期监测项目。
1.调查执行部门都面临着什么问题以及会带来的影响
仔细分析一下研究报告的生成过程,不难会得出如图1所示影响因素:
从图1中,知道影响研究报告有效性的因素其实有很多,例如来自研究方法的原因可能是因为调查问卷不合理或样本框选择不合理,来自数据信息质量的原因是访问员在访问过程中有作弊行为等,于是要保证研究报告有高度的有效性变得很难。但是在当研究方法合理时,数据信息质量便成为一个很重要的影响因素,此时由于访问员和被访者在调查项目中的特殊身份,所以使得控制数据信息质量变得很有难度也很重要,在访问过程中,由于多数采用是自愿原则,即被访者决定是否接受整个访问,所以假设接受访问的被访者没有故意隐瞒真实想法的行为,即图1中的“被访者故意错误”项原因不存在,此时便只剩下“访问员偶然错误”、“被访者无意错误”和“访问员是作弊”3个原因,从统计学的角度来说,这3个原因中的前两个属于不可避免的,即是所有问卷都会存在的原因,称其二者为共有原因,所以如果想减少数据信息质量较差而带给研究项目的影响,就应该加大对“访问员是作弊”的管理这个原因会使某些问卷表现出一种异常情况,称这个原因为特有原因,即作为调查执行部门应该加大对访问员进行管理的力度,以防止访问员作弊。
2. 目前在调查执行部门中,普遍流行的解决方法以及优缺点
目前,多数市场研究公司都有自己的多种方法来实施对访问员的访问质量的监控,现在介绍两种常被采用的监控方法。1.对调查过程进行录音。为了更好的监控访问员的访问过程,这种方法经常被采用。这种方法虽然全程记录了访问员的访问过程,但是当样本量比较大时,很难对所有录音进行监听。2.让访问员填写一系列表格。这种方法多数用于入户调查,这样由于访问员需要按照要求去进行访问,比如在成功隔三的抽样方法中,访问员就要按如表1的形式进行填写:
这种方法把访问员的访问路程和访问情况以表格方式直接显示出来,方便督导监控访问情况,并且也可以方便研究人员及时更改抽样方法,比如在一个需要大样本的调查项目中,如果“不成功访问”比例过大,导致不可能在规定的时间范围中完成访问任务的话,应该及时更改抽样方法,以完成所需要的样本量,但是这种方法给访问员带来了诸多的不便,从而使本来任务就很重的他们所需要完成的工作更加多。
3.对现有解决方法的看法
对于目前市场调查行业中所采用的控制访问员访问质量的方法,有的时候确实可以达到控制访问员的访问质量,但是同时也存在某些不足和一些需要改进的地方。正如在一些情形中,调查督导很难区分访问员的访问质量低到底是出于什么原因,对于目前的各种质量控制方法大都是对于单个调查样本来控制的,并没有把样本的调查访问质量问题提高到一个更高的层次来控制,目前调查执行部门都是在单从某一个调查样本出发去关注某个调查样本是不是出错了,而并没有把访问员的调查访问质量情况作为一个整体考虑。所以作者认为挖掘调查质量内部的关系很重要,并且可能会更好地发现访问员的问题,而这种技术则要应用6sigma质量管理知识,特别是6sigma知识中使用数据内部的关系来区别使调查问卷存在调查误差的共有原因和特有原因。
1. 关于6 sigma的介绍
六西格玛是一项以数据为基础,追求几乎完美的质量管理方法。西格玛是一个希腊字母σ的中文译音,统计学用来表示标准偏差,用“σ”度量质量特性总体上对目标值的偏离程度,其数学公式见式一,
(1)
几个西格玛是一种表示品质的统计尺度, 6 sigma水平就是说其品质要求是“3 sigma”的一倍,其合格率为99.99966%(Motorola所谓的5“九”了),每一百万(简记为PPM)个产品中只有3.4件是次品(非常接近零缺点要求)。
6 sigma的流程图如图2所示,
2.针对调查执行部门面临问题的解决方法
对于如何控制访问员访问质量的问题,现在从先进的6 sigma质量管理知识入手,建立一种有效的质量控制方法。这种方法与目前市场调查部门所使用的控制方法相比,这种方法更加注重于从问卷总体来看待访问质量,而不是单个样本的访问质量,从而发现问卷中存在的特有原因,然后从特有原因出发来更好地培训访问员和做好市场调查工作。在6sigma的执行过程中,有时可能会使用到相当多的方法,正如图2所描述,6sigma包含着DMAIC 5个步骤。下面针对这5个大的步骤所存在问题分别进行讨论。
(1) D:define ——定义调查执行部门存在的问题
在6sigma管理知识中,6sigma的目标是减少缺陷率,及时反映生产线中的问题,以防问题的扩大。在DMAIC环中,D即define是第一步,意味着首先应该了解并确定现在存在什么问题,于是D这一环节的核心便是要求发现问题并且定义问题,在调查执行部门中,最主要的工作便是实施问卷调查,它的客户是市场研究公司的其他部门,于是,已完成的调查问卷作为调查执行部门的产品流转至其他部门(如数据处理部门和市场研究部门)。而调查问卷作为一种流通产品,它的最主要特性(也即6sigma中的CTQ)便是:是否真正地衡量了或代表反映了被调查者的意愿,于是问题就可以被描述为:收集上来的调查问卷是否反映被访者的意愿。再进一步讨论,如何反映收集上来的调查问卷是否反映了被调查者的意愿这个问题,其实在调查执行部门中,QC人员的工作职责便是检验收集上来的调查问卷是否与被调查者所描述的一致(即QC人员的电话或实地复核工作),QC人员的复核工作是把调查问卷的信息与复核问卷的信息相对比,以此来检验收集上来的问卷是否真正代表反映了被调查者的真实意愿,但是由于要考虑被调查者记忆上的误差以及访问员记录上的误差,所以并不是说一旦发现某个调查问卷的信息和复核问卷的信息不一致,便判定这个调查问卷是无效问卷,这一点也是现今调查执行部门在判定调查问卷是否有效时的难点,他们往往无法判定某个调查问卷的问题是来自被访问者还是来自访问员,是来自于有意的还是来自于无意的,这也使本论文具有了研究的意义。于是在D这个环节中,问题可以被描述为存在于复核问卷和调查问卷之间的信息不一致(或一致,在本论文中,采用不一致)的条数,也可称为缺陷数,在6 sigma知识中,记为CTQ数(即关键质量系数)。
(2) M:measurement —— 根据对过程中问题的定义,给出对问题的测量方法,并且计算出当前流程中的sigma质量水平
当明确定义了问题之后,接下来需要做的便是对问题的相关指标进行测量,以发现是否真的存在上面定义了的问题,在一个改进项目开始之初,应该首先测量计算该项目目前的质量水平,即sigma水平,这便要求首先应该解决测量单位的问题,针对本文章的缺陷数定义,我们可以有两个测量单位,其一是把调查问卷作为测量单位,只要调查问卷中存在信息的失真,则判定该调查问卷是有缺陷的,例如,共组织调查467份调查问卷,其中有5份问卷中的个别信息失真,则认为有5个缺陷,此时的缺陷数即为5,而这时的质量水平可以由计算得出Z=3.80(计算方法见下式):
( 2 )
其中 可以根据每单位缺陷数(DPU即5/467=0.01071)对应的正态分布表查得,为 =2.30。
另一种测量单位是把调查问卷中的信息条数作为单位总数,仍以上例:知道每份调查问卷的信息条数即问卷中的问题条数为10条,其中5份缺陷问卷中的不一致信息条数分别为6、7、8、6、5,则式二中的DPU=(6+7+8+6+5)/(467×10)=0.006852,则此时的Z=3.90,上面介绍的这两种测量单位在本质上有着巨大的差异,第一种测量单位用于当发现信息错误则把调查问卷视为废卷,而第二种测量单位用于当发现信息错误则把该条信息视为无效信息,此时的调查问卷并没有被视为废卷,这样企业在选择测量单位时应该考虑本身的实力以及调查研究对信息的要求程度。在本文中使用第二种测量单位。
(3) A:analysis和I:improvement—— 分析过程中存在的问题、提出解决和改善的方法
在本文所讨论的问题中,由于市场调查执行部门调查质量的特殊性,所以在本文中,不需要使用这一环节中的定量技术予以处理分析和调整,当发生质量问题时,需要对问题进行定性分析,以确定是否该对访问员进行再培训以及是否应该调整访问程序等,以解决存在于调查执行部门的问题,提高数据质量水平。
(4) C:control ——对已改进过程的控制,以随时监测过程运转状况
这一节则是实时对CTQ进行检测,及时发现存在的问题,其中使用的数据为一个小项目的数据,用以介绍在SPC(statistical process control)中使用不合格品数控制图-C图对调查执行部门的质量进行控制,不合格品数即为本文所涉及的CTQ关键质量系数。
QC人员在电话复核后,记录下了25个产品即调查问卷的CTQ数序列,其中前20个CTQ数是属于有调查督导陪访时,调查问卷的关键质量系数,而后5个CTQ数是那些没有被调查督导陪访时,访问员完成的调查问卷,数据见下面表2所示(简化起见,把调查问卷的问卷编号设置为1-25,其中后面5个调查问卷其实是从当天完成的调查问卷中按照随机抽样原则抽取出来代表当天所有问卷的调查问卷):
根据表2中的数据,利用SPSS统计软件可以做出质量控制图的C图,步骤见图3所示:
按照上面的步骤执行完成之后就可以得出C控制图,如图4所示:
从上面可以看出,编号为25的调查问卷,CTQ数超出上控制线,即说明编号为25的调查问卷存在特有原因,所以可以判定其为异常,此时则可以判定在该问卷实施过程中,访问员的访问技巧有问题或者可以判定访问员是在作弊,这样就利用了统计学的原理很简单地把调查问卷的特有原因从共有原因中区分出来。
3.对这个新方法的评价
在上面,可以看出上面的方法已经可以将调查问卷的共有原因和特有原因区分出来,但是,由于QC人员在对调查问卷的CTQ进行计数时,并没有考虑复核问卷的长度问题,比如以前面采用的测量方法,则会有较长的复核问卷中的CTQ数比较短的复核问卷大,这种问题很有可能发生,因为在一个项目中,复核问卷并不是固定不变的,所以为了解决这个问题,下面将会给出一个考虑到复核问卷长度的统计质量控制方法,即使用U图。U图和C图这两个控制图的区别是C图的复核问卷长度相等,而U图的复核问卷长度不要求相等,仍使用前面的数据不同的是在原先的数据基础上多加一列复核问卷长度的指标,数据见表3:
同样使用SPSS软件,第一步录入时多添加一列复核长度,第二、三步设置与C图的设置相同,第四步设置见图5。
如此便解决了上面因为复核问卷长度不一致可能带来的问题。
本文上面讨论的管理方法,也是在一些假设条件之下的,比如假设非访问员的错误导致复核信息与调查问卷上记录的信息不一致,即被访者全心全意配合调查活动不存在。显然这是不可能的而且也不现实,但是毕竟减少了访问员的问题,据笔者了解,访问员的访问质量问题非常严重,有的项目特别是长期监测项目的数据有很多都是存在着严重的数据造假问题,于是作为市场研究行业,应该着力于对数据的质量控制,只有这样市场研究行业才有更好的发展和更大的市场,只有这样市场研究报告才会发挥自己的价值,市场才会认识到市场研究的巨大作用。