课程辅导
 
  您的位置: 首页>>它山之石>>数据恐慌下 我们还有什么可以相信

.

数据恐慌下 我们还有什么可以相信

  

中国财富:数据恐慌下 我们还有什么可以相信

转自《中国财富》

2005年,中国面临的挑战是任何一个经济学家都未曾经历的,没有人可以充当市场经济的先知,在最需要科学数据支持的时候,迎来了第一轮真正意义的数据恐慌……

  就在国家统计局提出进一步公示调研方法和流程标准的2004年底,《中国财富》杂志组织记者会同5位统计调研方面的专家,赶赴全国进行“数据真相”的专项采访,我们试图从企业角度,来了解我国数据操纵、数据品质的真实状态。

  我们只能说,在我们调查的34间企业中:有3成的数据从体系上就有先天的致命错误,有高达6成的数据发布受到被不同程度操纵,几乎所有的数据在采集过程中被粗制篡改,数量众多的伪调查制造者为了利益正趋之若鹜。

我们,还能相信什么?

  

序言篇:60岁门卫操纵广州楼市?

 

广州做接待大厦传达的陆先生或许永远也不知道,自己间接炒高了2004年广州商品房的空置率。

  在天河区东瑞商住楼做接待工作的陆先生最近有件高兴事:只要回答出楼里面的入住比例,就可以获得100元钱。

2004年12月24日,陆先生又获得了这个好差事,在填问卷的时候,陆先生因为怀疑“入住比例”可能和纳税有关,就把原本70%的入住比例写成了45%。

  一个月以后,广州一份都市报刊出消息:“据权威数据调查公司统计资料显示:本季度广州商住楼空置率为26%,比上季度上升3.4个百分点,与去年同期相比……”,专家还发表了评论:“……陈教授表示:出现目前的情况是国家宏观调控政策在起作用,根据国际通行的惯例……”

  调研环节的细小过失,往往汇集成完全背离现实的错误结论,所谓“失之毫厘,谬之千里。”

  2004年11月17日,北京的四位地产大亨会同万通集团董事局主席冯仑,举行了一次特别的记者见面会。会议上,潘石屹、任志强等人表示:质疑国家统计局对于房地产调研的部分统计结果,并指出地产指数系统、中房等指数系统有“很大水分”。地产企业已经自己投资地产数据的收集和分析,独立进行中国房地产数据的研究,不久将向社会公布研究结果。

  2004年12月20日,国家统计局向新闻媒体宣布,将把统计系统的操作方法和流程,向社会公示。虽然统计部门没有当众表示这一举动与“地产指数质疑事件”是否存在关联,但由此带来的数据恐慌却在其他重点行业慢慢蔓延开来。

  数据无疑是把双刃剑。2004年,关于中国房地产泡沫的争论几乎持续了整整半年,而争论中最有利的武器就是数据,对立双方都希望找到相应的数据来支持自己的观点。国家房地产指数系统公布的数据,渐渐成了“泡沫论”的有力论据,而这带来的直接结果,就是可能导致国家进一步打压地产投资的新政出台。于是,北京部分地产企业联合起来,质疑国家统计局的数据,并且宣称“我们自己的数据结果已经出来了,一点泡沫也没有!”如果不是今年的宏观调控,如果不是触及了部分行业的利益,谁会关心那些枯燥的数据呢?数据的恐慌才刚刚光临发展中的中国。

  商业企业质疑国家统计系统的研究成果,在民间屡见不鲜,但是如此针锋相对的冲突却是第一次,人们开始思考:如果说统计部门的数据都不能相信,我们还能相信什么?如果赖以制定决策的数据如此脆弱不堪,中国的数据供应企业的未来将向何处去?

  信息块:

  调研行业“道德管理”迫在眉睫

  调研行业道德与调研资质管理的混乱让正常的数据采集举步维艰。调研行业本身的资质管理混乱,导致一些出于销售目的的非调查机构,以调查的名义,搜集客户名单,破坏了市场调查的声誉,增加了正常访问的拒绝访问比例。调研公司出售被访问者资料,加剧了社会对调研的抵抗,包括国家经济普查在内的所有调查项目都不同程度受到影响。2004年12月23日,国家统计局局长李得水对媒体说:“有些企业拒绝接受经济普查……任何把调查数据应用其他用途都是违法行为,统计部门不会把资料泄露或者做其他用途是国家统计局的庄严承诺,我们发现有些地区的经济普查数据和历史资料有出入,不能对数据进行篡改,因为数据真实程度直接关系到我国十一五计划的制定。”

  从四大地产巨头质疑房地产指数,到国家统计局的公示声明,数据恐慌正浮出水面……

  

数据采集篇:垃圾数据源 断送数据前程

产生垃圾数据的根源不只是调查技术,缺乏责任感的调研态度是我国数据采集层面的罪魁祸首。采访中《中国财富》发现:很多调研公司的研究人员甚至是企业老总,主动炫耀自己的统计出身。在湖南采访时,一位调研公司的老总对就曾表示:“我开始着手市场调查执行控制研究是最早的,当年我是湖南统计局的官员……”但是他所不知道的是,之所以能对他进行采访,是国内的3家企业一致举报这家调查公司在执行过程中一贯弄虚作假。

大部分的调研误差出现在调查执行阶段。任何一个细小的过失都可以让调研结果谬以千里。社会调查是一门系统的科学,无论是社会话题调查还是市场调查,都有非常明确系统的流程和方法。“调研执行”作为这些先进技术、研究体系的基础,却是百孔千疮。

  广州的陆先生的真实原因或许是调查机构非常希望知道:当写字楼物业部门了解到有人在调查自己的入住情况,马上找到了陆先生,通知他不得继续泄露招租的实际情况,以免影响写字楼的业务开展,毕竟低入住不是什么好事情。于是,调查机构得到的数字会随调查的继续而不断走高。调研手法的错误决定了这家机构输出的数据失实。错误的数据不如没有数据,我国目前公示的数据中,垃圾数据进入分析阶段的比例不低于6成。

  以本文开头的空置率调查为例,调研采用了留置问卷的方法,在行业内部称为“离手”,也就是把问卷单独留给被访问者;问卷采用集合方式,被访问者可以看见其他人的填写的问卷;在调查结束以后没有进行必要的复核;没有向被访问者清晰表述调查数据的用途和对方的责任义务……《中国财富》从一些调研机构了解到,目前国内组织调研执行的机构中,9成以上都存在不按照科学规范进行数据收集的情况。

  其次,一些新的调研障碍在国内渐渐涌现,造成数据抽样存在先天的缺陷。比如从2002年开始,有一个新名词进入中国调研企业的视线:高端调查,也就是针对高收入阶层或窄众特殊群体的调查。例如:在房地产需求调查中,调查方法多集中在入户和街头访问,但是一些高收入阶层接受街头访问的可能性非常小。为了弥补这方面的不足,国内一些处在行业前端的数据企业开始考虑新的渠道和方法来完成高端调查。毕竟,传统的抽样和执行没有办法进入新兴的高档社区,也没有办法在街头完成宝马汽车的需求访问。但是,目前大部分的调查机构隐瞒了自己在这方面的缺陷。

  数据报告如同酒店大堂,数据采集的过程则是无法面对世人的后厨,审视数据基础,关注垃圾数据生产源头。

  

企业自主调查篇: “双刃剑”噩梦 

  拿到错误的数据不仅不如没有数据,可能还是噩梦。企业家为了能够明白这个道理,付出了惨痛的代价。

上海柴远森先生出差来北京的时候,在西单买了一本市场调查的书。3个月以后,他为这本书付出了三十几万元的代价。更可怕的是,这种损失还在继续,除非柴先生的宠物食品公司关门,否则那本书会如同魔咒班般伴随着他的商业生涯。

  数据给企业带来的噩梦。

“最近两年,宠物食品市场空间增加了两三倍,竞争把很多国内企业逼到了死角。”《中国财富》在2005年北京民间统计调查论坛上见到了柴先生,“渠道相近,谁开发出好的产品,谁就有前途。以前做生意靠经验,我觉得产品设计要建立在科学的调研基础上。去年底,决定开始为产品设计做消费调查。”

  为了能够了解更多的消费信息,柴先生设计了精细的问卷,在上海选择了1000个样本,并且保证所有的抽样在超级市场的宠物组购物人群中产生,内容涉及:价格、包装、食量、周期、口味、配料等6大方面,覆盖了所能想到的全部因素。沉甸甸的问卷让柴氏企业的高层着实振奋了一段时间,谁也没有想到市场调查正把他们拖向溃败。

  2005年初,上海柴氏的新配方、新包装狗粮产品上市了,短暂的旺销持续了一星期,随后就是全面萧条,后来产品在一些渠道甚至遭到了抵制。过低的销量让企业高层不知所措,当时远在美国的柴先生更是惊讶:“科学的调研为什么还不如以前我们凭感觉定位来的准确?”到2005年2月初,新产品被迫从终端撤回,产品革新宣布失败。

  柴先生告诉《中国财富》:“我回国以后,请了十多个新产品的购买者回来座谈,他们拒绝再次购买的原因是宠物不喜欢吃。”产品的最终消费者并不是“人”,人只是一个购买者,错误的市场调查方向,决定了调查结论的局限,甚至荒谬。

  经历了这次失败,柴先生认识到了调研的两面性,调研可以增加商战的胜算,而失败的调研对企业来说是一场噩梦。

  不完备甚至不科学的数据采集给企业带来损失的不只是柴先生自己,在这次论坛上记者还见到了来自东北的北华饮业策划总监刘强,他们在进行新产品开发过程中进行了系统的口味测试,却同样蒙受了意想不到的失败。

  中国人不喝冰红茶

  一间宽大的单边镜访谈室里,桌子上摆满了没有标签的杯子,有几个被访问者逐一品尝着不知名的饮料,并且把口感描述出来写在面前的卡片上……这个场景发生在1999年,当时任北华饮业调研总监的刘强组织了5场这样的双盲口味测试,他想知道,公司试图推出的新口味饮料能不能被消费者认同。

  此前调查显示:超过60%的被访问者认为不能接受“凉茶”,他们认为中国人忌讳喝隔夜茶,冰茶更是不能被接受。刘强领导的调查小组认为,只有进行了实际的口味测试才能判别这种新产品的可行性。

  等到拿到调查的结论,刘强的信心被彻底动摇了,被测试的消费者表现出对冰茶的抵抗,一致否定了装有冰茶的测试标本。新产品在调研中被否定。

  直到2000年、2001年,以旭日升为代表的冰茶在中国全面旺销,北华饮业再想迎头赶上为时已晚,一个明星产品就这样穿过详尽的市场调查与刘强擦肩而过。说起当年的教训,刘强还满是惋惜:“我们举行口味测试的时候是在冬天,被访问者从寒冷的室外来到现场,没等取暖就进入测试,寒冷的状态、匆忙的进程都影响了访问者对味觉的反应。测试者对口感温和浓烈的口味表现出了更多的认同,而对清凉淡爽的冰茶则表示排斥。测试状态与实际消费状态的偏差让结果走向了反面。”

  “驾御数据需要系统谋划。”好在北华并没有从此怀疑调研本身的价值,“去年,我们成功组织了对饮料包装瓶的改革,通过测试,我们发现如果在塑料瓶装的外型上增加弧型的凹凸不仅可以改善瓶子的表面应力,增加硬度,更重要的是可以强化消费者对饮料功能性的心理认同。”

  采访中,北京普瑞辛格调研公司副总经理邵志刚先生的话似乎道出了很多企业的心声“调研失败如同天气预报给渔民带来的灾难,无论多么惨痛,你总还是要在每次出海之前,听预报、观天气、看海水。”

  3个小细节1千万大风险

  普瑞辛格调研公司给《中国财富》出示了两组数据,来说明调研的严谨性。同样的调研问卷,完全相同结构的抽样,两组数据结论却差异巨大。邵志刚介绍说,国内一家知名的电视机生产企业,2004年初设立了20多人的市场研究部门,就是因为下面的这次调查,部门被注销、人员被全部裁减。

  问题:列举您会选择的电视机品牌?

  其中一组的结论是:有15%的消费者选择本企业的电视机;另一组的得出的结论却是:36%的消费者表示本企业的产品将成为其购买的首选。巨大的差异让公司高层非常恼火,为什么完全相同的调研抽样,会有如此矛盾的结果呢?公司决定聘请专业的调研公司来进行调研诊断,找出问题的真相。

  普瑞辛格的执行小组受聘和参与调查执行的访问员进行交流,并很快提交了简短的诊断结论:第二组在进行调查执行过程中存在误导行为。调研期间,第二组的成员佩带了公司统一发放的领带,而在领带上有本公司的标志,其尺寸足以让被访问者猜测出调研的主办方;其次,第二组在调查过程中,把选项的记录板(无提示问题)向被访问者出示,而本企业的名字处在侯选题板的第一位。以上两个细节,向被访问者泄露了调研的主办方信息,影响了消费者的客观选择。

  这家企业的老总训斥调研部门的主管:“如果按照你的数据,我要增加一倍的生产计划,最后的损失恐怕不止千万。”

  市场调查是直接指导营销实践的大事,对错是非可以得到市场验证,只是人们往往忽视了市场调查本身带来的风险。一句“错误的数据不如没有数据”,包含了众多中国企业家对数据的恐慌和无奈。

  信息块

  分析模型数据供应商的“皇帝新装”

  我国企业可以质疑数据真实程度,却不会首先对分析模型发难。在自然界,如果一种动物身体柔软,大多有一个坚硬的外壳,比如蜗牛;在数据供应领域,数据真实性和科学性不足的情况下,也需要一个外壳,那就是分析模型。

  国内一些数据供应机构,在指数项目开展之前,首先会完善研究模型和分析方法,动用大学里的教授,动用统计学的专家学者,动用平常没有人使用的数学公式,目的很简单:树立壁垒,寻求学术保护。

  我们相信,即使是前面地产商提出的新报告,也没办法从分析方式上把国统、中房的指数系统全盘否定。分析模型的软肋在于成果的使用价值和分析角度。对于企业,无论数据提供者如何宣传他的研究体系,首先要回答给自己的问题是:我们需要什么?因为分析不当的数据给企业带来的不只是迷茫,甚至彻底误导决策。

  例如2004年,一家调研机构提供的地产销售调查,数据上通州地区的别墅销量良好,其中一个售磬的项目有61.5%客户来自北京,其他来自外地,北京客户的男女比例为69.2:30.8,其中高等教育人群为46%,中等为38%,初等教育16%,公务员比例为……,建议针对中等学历的男性公务员进行重点宣传。

  实际上,这个项目只有13套此类别墅,且所谓的宣传重点,也只是两个互为同事的公务员为领导买了两套别墅而已,像这样近似荒诞的数据产品实际上比比皆是。

  采访中,专家对《中国财富》表示:数据分析的尺度,行业数据标准的建立,将最终取代各自为政的营销指数系统和纷繁的研究模型,未来的数据提供领域,更大的市场将属于充分结合营销实际,即相互连通而又互相独立。

 

  行业道德篇 夸克之“死”

新闻背景:中国第一次调研行业道德自律事件

  2004年,北京夸克市场研究有限公司以经营不善为名,拖欠数家下游执行公司款项,其中四家把北京夸克公司举报到中国信息协会市场研究分会。市场研究分会出面协调后,于2004年12月通过网络公布了对北京夸克公司的“声讨”意见,引起了业内极大反响,夸克北京公司停止营业,股东王瀚俊负债回到广州。

这次由中国信息协会市场研究分会发起的“协会之变”,竟然可以让1个国内10强之内的调研品牌瞬间崩溃,调研公司股东王瀚骏在一片追债声中离开北京,北京夸克处于停业状态。首次市场调查行业自律的大棒打倒的竟然是夸克(中国),这个结果恐怕是秘书长何建新也始料不及的。

  中国信息协会市场研究分会何建新出手后的第49天,夸克(中国)从中国调查行业蒸发,北京、上海分公司业务停止、联系方法全面消失;王瀚骏彻底出局了。

  2005年1月25日,《中国财富》辗转拨通了身在广州的北京夸克市场研究有限公司股东王瀚骏的手机。这位拥有北京、上海、广州3家夸克公司的掌门人,如今也只能回到当年起家的广州,如同受伤的鸟,偃旗息鼓,飞回南方,在煎熬中度过这个多事的暖冬。

  夸克欠款 协会拔刀

  2004年12月1日,中国信息协会市场研究业分会正式公布了一份声明,标题为:谴责北京夸克,质疑广州夸克——协会对北京夸克拖欠代理公司执行款项的处理意见(以下简称《处理意见》),《处理意见》中披露了4家调研执行公司举报北京夸克公司拖欠调研执行款,违反合同的事实,并公开的“谴责”其“恶劣行为”。从12月初开始,这一事件对夸克产生无形的压力远远超过了王瀚骏对记者所说的“二十余万”债务所带来的压力,有人断言:没有人再会和王瀚骏进行调查合作了。

  “我想通过你的媒体说:我会把债都还清楚,我从没想赖帐。如果他们(债主)现在有活儿,比如主持人、报告撰写,我都可以给他们做,能顶北京夸克欠的债就行!” 电话里的王瀚骏依然健谈,却掩盖不了无奈和艰难的境遇“其实有12家公司(是债主),但是只有3家闹到了协会,我觉得自己获得了他们大多数人的谅解。我欠别人二十几万,而客户欠我一二百万啊。”说到三角债,王瀚骏很愤慨:“某大学下属企业的戒烟贴项目,给了20%的项目款,等我全做完了,企业连人都找不到;某集团是我的长期客户,现在都回黑龙江了,根本找不到人……”

  说到以后的打算,这个曾经中国调查行业屡次口出狂言的调研公司老总说:“我每个月还一两万,给我点时间,我会把债还清楚,现在我换办公室都会给大家打电话……我不做市场调查了,中国市场调查行业有问题!。”

  剖析夸克之死

  早在2002年,王瀚骏还在北京夸克新世界的办公室,精力充沛、信心十足的王瀚骏在名片上罗列了北京、上海、广州3地的夸克名头。开口的第一句话是:“我们不相信定性调查,一切都是能量化的。”随后,列举了众多的例子来证明:市场调查行业奉行了120年的定性、定量两大方式其实应该只有定量一种。“我们不做定性调查。”三年过后,再见王瀚骏,他在电话里说:“我现在更想把量化的管理方法和模型推广到全国。”

  自称出身宝洁的王瀚骏曾把全盛的夸克作到业内公认的全国前10位,是什么让夸克有今日之败,甚至要退出中国调查行业呢?难道只是“协会之变”?当然不是,《中国财富》调查发现:是调研行业的无序竞争杀死了缺乏自制能力的夸克调查。

  1996年,宝洁公司委托的入户调查,单个样本为120元,等到2000年,调研难度增加,物价上涨,而入户调查的单个样本价格却降到70元。样本数量也在减少,造成整体调研利润的下降。与此同时,国内调查公司的数量却增加了近一倍,价格竞争在仅有的几个大客户身上展开。这部分客户恰恰是哺育了中国市场调查行业的外资或合资客户,他们拥有相对良好的信誉和职业道德。竞争终于还是让大量如夸克一样渴望迅速扩张的公司把目光转向广阔的民营企业市场。于是,“中国特色的调研环境”破土而出。王瀚骏说:“现在我做咨询和培训,没有先期的成本投入,不用维持一定的企业外在规模。”而这个规模与发展之间的平衡却是付出了全盘皆输的代价。

  从盖洛普将重心转到咨询和培训、新生代把咨询作为发展方向之一、夸克调查的阶段性终结,对话2005年以前10年的中国调查行业,“咨询”这稻草真的能救命吗?

  道德之手 大象无形

  接通中国信息协会市场研究业分会何建新电话的时候,他正要出差去上海,为了2005年3月的第四届中国市场研究业双年会与调研公司沟通。说起关于夸克的处理,何建新的声音里有一丝自豪,毕竟在这个事件上,把一个一向被漠视的行业协会分会推向了行业领袖的神坛,网络上汹涌的支持者不全是夸克或者王瀚骏的“仇人”,更多的则是那些对市场调查业爱恨交织的业内人:终于有人出来拿中国调查行业的道德说话。

  值得关注的是,行业协会依据什么来处罚夸克?在《处理意见》中的第二条,协会对处罚依据的解释是:根据2002年起采纳的全国市场研究行业的基本准则——ICC/ESOMAR市场研究准则,“研究者不论是有意或是无意,都不能做出有损于市场研究行业的声誉或使公众丧失信心的举动”。协会认为“王瀚骏作为北京夸克市场研究有限公司负责人和市场研究行业从业者,他的行为有损于中国市场研究行业的声誉,导致一些代理公司和众多从业者对这个行业信心的动摇。”

  “动摇了行业信心、损害中国市场研究行业声誉”,罪名不可谓不大,而处罚最多却只能“谴责”,棉花大棒的威力在“势”而不在“度”。

  我们不想把夸克之“死”归结成从业人员的品行,也无意给行业协会歌功颂德,只是希望我国的调研行业可以依靠自律走向成熟,而不是如同今日的夸克调查,被市场经济的铁律驱赶出局。

  信息块

  美国调研行业道德借鉴

  美国市场营销调研协会1997年5月通过的《数据收集标准准则》:

  对大多数公众和商业团体的责任

  1. 不蓄意在商品销售和观点调查中滥用公众信任。

  2. 不主张非研究性质的活动进行销售和观点研究,例如:

  ● 不论是为了法律、政治、私人或者是其他的企图,以获得受访者个人资料为唯一目的的问题;

  ● 不是为了研究目的而进行名单、记录员或者名字和地址的数据库汇编;

  ● 行业、商业或其他形式的间谍活动;

  ● 信誉等级调查服务机构或其他类似机构使用的信息;

  ● 利用机会向访问者出售或促销商品;

  ● 债务的收集。

  3. 让采访者知晓对任何未成年人适用的任何特殊条件。

 

全国知名的调研公司毁于一旦,但值得深思的是事件中的道德之手,昭示着中国调查行业的新希望。

 

  民意调查篇 5万块:让13亿人举起右手  

虚假民意调查,不仅拥有完善的手法,甚至还形成了庞大的流派。

“伪调查和毒奶粉一样,都是犯罪。”盖洛普(中国)公司副董事长 方晓光

  “总有一天这种调查会被司法立案,现在赚钱的家伙必将有牢狱之灾。”一个曾经从事伪民意调查的悲观主义者

  “我们的数据旨在反映社情民意,为政府政策提供依据……”一个正在依靠伪民意

调查敛财的乐观主义者

  2004年10月,山东青岛一家小型橡胶生产企业,用5万元买了一项全国消费者满意度民意调查的第一名,用10万元,把“青岛双星”调整为第四名。

  根据记者走访,国内几乎所有省会城市每年至少有5次以上的此类调查,加上北京、上海等地的全国性调查,每年带来的发生额在5000万以上,而其中真实客观的调查却是寥寥无几。一位从事此类调查客户开发工作的知情人对《中国财富》说:“总有一天这种调查会被司法立案,现在赚钱的家伙必将有牢狱之灾。”

  虚假民意调查的由来

  近几年,国家各部门明令禁止各种评选活动,于是,一些根本不了解调查常识的机构和个人,开始以民意调查代替评选的方式进行敛财。而这一切最终伤害的将是中国尚不成熟的数据供应行业。虽然,这类的调查目前还不能被诉诸法律,相关的司法案例还无从借鉴,但是根据国际上社会调查的相关发展历程,这也只是个时间问题。

  一些知情人向记者介绍说,虚假民意调查大多是为了配合企业的产品宣传,比如:“消费者最满意的品牌、消费者心目中的知名产品、民众心中最可信赖的……”。这些调查内容都是为了向企业收取赞助而量身定做的,数据采集之前,排名早已敲定。这些企业界心照不宣的伎俩,对消费者的伤害却是巨大的。

  六种方法识别虚假民意调查

  虚假民意调查的炮制者不是不懂得调查技术,正如制造假酒的人不能说不知道假酒能害死人。2005年初,《中国财富》历时两个月,走访调查了13家近期在国内炮制虚假民意调查的企业,总结出以下六种识别虚假民意调查的方法,从虚假样本数量、混乱的调研方法、具误导性的细节设计、大张旗鼓地篡改数据、精心包装的数据发布……趋利、暗箱、曲解几乎遍布调研发起到结论发布的整个过程。

  1.样本数量:谎称巨额投入,实则瞒天过海。

  典型谎言:公司出于公益目的,在全国采用入户调查的方式,共收回有效样本3万个。正规的民意调查需要足够的资金投入,并且在样本数量上有标准的要求。虚假民意调查机构为了节省操作成本,大多虚报样本数量,来伪装自己的数据来源。目前国内的入户调查费用多在50元-120元之间,如果真正做到1万个样本,则调研机构的前期成本至少要达到200万以上,以这样的投入水平,做完全公益的评选和社会调查,在国内是屈指可数的;如果采用街头拦截的方式来进行民意调查,则在调研方法上已经失去了进行系统分析的数据基础,因为街头拦截的方式如果不能配合二次抽样,则无法作为民意调查的数据采集渠道。另外一些民意调查机构缺乏基本的统计常识,甚至用电话调查抽取二百个样本、甚至几十个样本来推测该地区的民意状况。样本数量不足,那么,数据分析将变的毫无价值。

  2.抽样方法:测量手指不能做出好服装。

  典型谎言:调查采用都市报刊登问卷的方式,研究了民众对大排量汽车燃油税的看法和意见。调研行业有句名言:测量手指是不能做出好服装的。错误地选择了被访问者,调研的价值就无从谈起。目前国内的虚假民意调查,基本不存在抽样设计,往往使用报刊刊登问卷,接受信函回复,根据收回的问卷进行统计。实际上,能够配合报刊调查,并把问卷寄回的民众与总体的民众构成有很大差异:通常情况下,我国平面媒体的问卷回收比例在10%以下,大多维持在5%以下,也就是说大约20个人会有一个把报刊上的问卷填写工整寄到指定地址。而这部分人多以退休人员、学生、无业人员为主,与很多的“品牌产品”购买者群体大相径庭。

  3.问卷设计:错误引导,欺骗民众。

  典型谎言:“您是否会因为支持民族工业,而购买物美价廉的国产电视机?”虚假民意调查往往为了左右调查结果而在问卷设计上采用暗示、诱导的方法来干预民众的真实选择,例如:2004年,北京的一份电器售后服务满意程度调查,当问到对空调的满意程度时,只提供了“不满意、满意、比较满意、非常满意”四个选项,得出的结论是“大部分人对售后服务表示满意”,实际上是违背了问卷设计的平衡中立原则,缺少负面意见的备选,从问卷角度阻碍了消费者真实意愿的表达。

4.问卷复核:排除异己,操纵数据。

典型做法:把所有持否定意见的问卷筛选出来,按作废处理。民意调查在问卷回收以后,完全进入了调查机构的操作暗箱。为了配合将来的“交叉分析”、为了关联交易,虚假数据的制造者会在源头对问卷进行筛选。原本用于验证数据有效性的复核,成了左右结论倾向的黑暗环节。于是,在很多的调查结果发布会上,调查机构所展示的结果尽管匪夷所思,却能提供原始的问卷、原始的数据库资料,不怕官司、不畏质疑。

  5.数据分析:漫天要价,就地还钱。

  典型场景:“如果能出到5万,我就可以让你们企业成为上海消费者公认10强。”如果你能看到虚假数据公司的电话费清单,你一定会发现数据分析阶段的通讯费用是最高的,所有的研究数据将通过疯狂的讨价还价,被随意篡改。无论是排名,民众收入水平,民众期望,甚至是民众性别比例……从90年代的暗示,到目前的毫无避讳,中国数据行业的这个角落里,行业腐败的程度恐怕远远超过了中国足球的赌球黑哨。

  6.数据发布:羊头狗肉、金玉包装。

  典型场景:本次数据发布会请到了省委的领导、大学的教授、知名企业家……研究报告成型以后,虚假数据的制造者总是要借助很多的外力来包装自己“惟利是图”的虚假调查。通常的手法是请领导、靠学术、请名人,有领导在场,可以论证数据的权威和正式;有大学教授,则证明研究体系严谨科学;知名企业家,则可以吸引媒体的关注。完善的后期包装,理直气壮的发布气势,把一场以敛财为唯一目的的虚伪民意调查推向高潮。

  《中国财富》采访了一向以民意调查著称的盖洛普公司。公司负责人表示:“我们从没做过排行榜”,“以后也不会做”。无论是出于市场的良知还是职业的操守,我们引用盖洛普公司中国区董事方晓光的话,来劝戒那些身在其中的伪调查从业者:“这(市场)就像篱笆,现在政策有空隙,你钻进去了,等有一天那个空隙堵死了,你就永远留在篱笆那边了。”

  《中国财富》在调查中还了解到,进入2005年,虚假民意调查的日子也越发艰难。不断的破坏性经营,虚假数据的无限泛滥,受众对数据的反应也日渐平淡。按照目前的情况,即使不采取任何动作,虚假民意调查的规模也会日益萎缩。何况,企业操纵伪调查也非本意,只是恐居人后罢了,动因没有了,伪调查自然不攻自破。

  操纵数据篇 数据无间道

  即使数据是真实的,即使调研过程公示,利益方照旧可以操纵数据。

即使不和调研机构勾结,同样有机会操纵数据,让数据失实。

  有些调查部门可以提供完整的调研流程和方法体系,甚至可以提供完整的调查问卷备查,看上去无懈可击。而知情人透露:“高超的数据操纵方法是很难被发现的,看上去天衣无缝的调查,背后却是百孔千疮。”

一只手袋决定一项调查

  2004年底,一所高校筹划在上海进行一次日用品健康指标的调查。调查开始之前,按照惯例,应该为接受调查的被访问者准备礼品和礼金,但是小组的经费却明显不足。正在调查小组为调研经费犯愁的时候,一家日化企业主动和小组取得了联系,并承诺可以提供资助。

  赞助方不仅不要求篡改数据,也没有任何的非分要求,只是希望可以把自己的产品作为礼品赠送给接受采访的上海市民,还一再表示:“不要向被访问者透露这次赞助,希望不要影响到调查的公正立场。”

  一个月以后,调研数据完成采集,这家日化企业获得了非常高的消费者评价,消费者满意程度等几个指标都远远超过了其他测试产品。调查报告以书籍的方式由大学组织出版,这家企业还以市价购买了上千本。

  专家向《中国财富》介绍,这家企业并没有调研高手,却依靠常年的营销实践,充分掌握了消费者的心理习惯,利用赠品成功操纵了数据。调查赠品的包装原本只是一个10厘米见方的盒子,但是却专门提供了长40厘米的手袋,在调查过程中,访问员不得不提着印有企业标志的手袋接触被访问者,甚至进入被访问者的家庭。调研过程中,这个举动对被访问者的影响几乎超过了企业组织调查所产生的暗示引导。

  对于调查的设计者,有时采用外包委托的方式进行调查执行,不了解访问过程中的细节,而实际上,即使是访问员的一声叹息,一个眼神都足以决定问卷的真实程度,何况是带有完整企业名称和标志的礼品袋。

  数万套住宅一夜蒸发

  房地产企业如果能有效包装自己的销售状况,不仅是可以实现销售造势,最大限度迷惑竞争对手,还可以在融资角度获得良好的信用口碑。可以说,地产企业用于对抗数据采集的手段是所有行业中最成熟的。

  虚假销售,炒作骗贷:在地产行业中有一种普遍的做法,就是开发商用职工或者家属的名义购买大量的住房,从银行把贷款拿到手用于继续开发。而这部分虚假的销售则进入上报的统计数据,实际上房子还在开发商的手里。等到项目销售大批启动,开发商再利用自己的销售渠道(或者结合二手房中介)把手里的存房买掉。这部分房子在国家的统计数据中先是正常消失,而后合理出现,但却拥有完全不同的数据意义。

  灯火通明,迷惑竞争对手:《中国财富》在采访中见到了在广州从事地产调查的李先生,他率领的团队到广州组织调查已经有3个月了。春节在即,李先生还没能完成任务:“现在地产调查很难做,各个盘的防范意识太强了。以前,我们有很多的方法来发现竞争对手的实际销售率,比如可以派人在晚上时候去对方的项目拍照,然后回来数项目里面入住业主的灯光数量,在这个基础上往高估一点也就可以了,现在这办法不行了。”

  第二天晚上9点左右,《中国财富》和李先生一起来到海珠区的一个项目,记者看到整个项目灯火通明,几乎所有的房间的灯都开着,根本不能分辨哪些是已经入住的,哪些还没有完成销售。

  销售看板,对抗买家:房地产的销售部门有一个职位叫做销售控制。他所负责的就是在协调整个项目对内对外的销售数据披露。李先生介绍说,几乎所有的项目都有计划地虚拟销售看板、设立销售暗语,来对抗调研机构和消费者的探询。比如业务员问“可不可以介绍”就是“诚意不明确”,销售控制则应回答“已经售出”等等。

  家电企业的数据狙击战

  在我国各行业都存在行业普查,而普查的结果也具有最高的公众说服力。采访中,一位曾经在一家家电企业任策划主管的知情人透露,即使不和调研机构串通,同样可以操纵普查。

  这家家电企业在普查中的数据一向不好,这大大削弱了消费者对产品的信 !E 年8月,新的数据显示:这家企业的产品零售销量从上季度的全行业末位,上升至本季度的前五位。即使是调研机构也无法解释这种情况的原因,但凭借经验,调研人员知道:数据被操纵了。

  这家企业从2004年4月开始关注这项每年四次的调查,并且通过销售人员向零售商了解调查的细节。策划人员注意到,调查通常在每年的7月初对零售渠道进行调查,调查的内容为各渠道销售的各品牌家电数量,并且向零售渠道支付一定数量的访问费用。掌握了具体的采访时间后,企业在调查开始前一周,授意所有销售人员向零售渠道增加供给量,并贿赂零售商,把两个月的销量全部记入2004年7月初的统计数量。

  于是,调研机构开展调查的时候,这家企业的数据顺利进入了排行榜的前五位,并且在调查痕迹上没有任何破绽。

  满腹狐疑的分析人员分析了这家企业的销售表现,一无所获,只好在报告中做出“产销两旺,消费者喜好增加”的判断。

  企业可以操纵小规模的数据普查,同样也可以操纵更大范围的普查。

  在民意调查之前,有些企业依靠公众媒体进行有针对的宣传,例如:在住宅环境调查的前期,宣扬地产项目周边的新公园建设意向、贿赂社会机构公布有关的测试结果,都可以在不同情况下影响民意调查的结果。

  操纵满意度  2005年1月,一则业主与物业公司纠纷新闻引起了《中国财富》的注意:北京一个大型社区的业主委员会试图炒掉物业公司,理由是大部分的业主不满意物业公司的服务质量,但物业公司却在仲裁的时候出示了近千条“业主满意”数据,来证明自己的服务拥有很高的满意度,物有些调查部门可以提供完整的调研流程和方法体系,甚至可以提供完整的调查问卷备查,看上去无懈可击。而知情人透露:“高超的数据操纵方法是很难被发现的,看上去天衣无缝的调查,背后却是百孔千疮。”

  信息块

  谁是虚假数据的操盘手?

  如果认真追寻那些造假手法的出处,你会发现大部分来自调研机构自身。那些操刀造假的人,多半和国内知名公司有些渊源。

  1.数据合作过程中,企业从调研公司学会了弄虚作假的手法,并把这些手法变成客户需求。

  2.从调研机构改行进入企业的分析师,利用自己的专业反攻调研机构,自然得心应手。

  结束篇 造成数据恐慌的35个细节

 

问卷设计阶段

  修改提问方法,实现问卷暗示。问卷设计者可以使用误导、暗示词语,影响被访问者真实意见的表达。如:某某企业在2004年进行了大量改善投资者关系的努力,请选择您的满意程度。由于问题中进行了假设——“大量的努力”,构成了对被访问者直接的暗示。

操纵提问逻辑,导致结论失实。为了能实现倾向性引导,问卷设计者通过调整问题的顺序来实现对调查结果的影响,例如:首先询问“您是否愿意通过本次调查加入某某商场的消费者俱乐部?”然后再问消费者对这家商场的满意程度。

  通过刻意提醒,打击操纵者竞争对手。例如:2004年一家零售企业曾出现供应商丑闻。而竞争对手操纵的一次调查中,刻意提到食品安全与商业信誉是零售企业的命脉,再询问消费者评价。

  操纵备选项,屏蔽竞争对手。例如:在进行食用油产品调查过程中,将对手产品系列中主力产品屏蔽在选项之外,并根据数据结果绘制市场份额图表,在渠道商中进行宣传。

  调整选项顺序,实施问卷暗示。在一些出示选项的问题中,把操纵者产品名称放在首位,请消费者进行选择,或者在无提示问题中进行提示,都可以间接提高“首选比例”。

操纵测量尺度,误导调查结论。例如:您如何评价某电视产品的售后服务?非常好、略好于平均水平、满意、需要改进。因为问卷选项语气和缓,意见又不均衡,客观上实现了提高满意程度的操纵效果。

  执行阶段

  缩减执行成本,导致调查精度下降。例如:调查过程中过于仓促、访问佣金不充足,都可以导致被访问者回答问题精度降低,按照“马太效应”的原理,原本很高的数据被进一步提高,结论呈现出夸大的一边倒,例如:多品牌的零售数量调查中,基数较小的品牌往往被低估。

  复核不足,对执行公司督导不利。数据采集拥有严密的后期复核程序,这也是对执行过程进行监督控制的主要手法,其意义不只是发现虚假问卷,更多是形成对正在执行项目的威慑。

  执行公司陷入价格竞争,执行过程弄虚作假。为了得到业务,目前执行公司的价格竞争已经接近成本底线,出于保证利润的考虑,很多项目在发包的过程中,已经注定无法按照科学方式执行。

  企业通过阶段性调整销售策略,左右监测数据。操纵者为了获得良好的第三方数据,在调研执行阶段可以调整促销策略和公关策略,通过增加进货、举行顾客沟通会等方式实现对数据的操纵。

利用道具、礼品等方式影响调研执行。操纵者利用赠品、改变访问现场细节等方式,实现现场暗示,左右数据采集。采用协助调查或提供二手资料的方法来误导数据结果。为了应对国家有关部门、机构的普查,操纵者刻意使用虚假数据进行呈报,以获得荣誉。例如:地产企业虚报业绩获得TOP评价。

  统计分析阶段

  克隆数据,伪造问卷。调研机构在实行了偷减样本数量以后,需要在统计分析之前对样本数量进行处理,以免露出样本不足的痕迹,例如:尽量使用百分比,减少绝对数的使用,或者干脆对数据记录进行不规则克隆。

  调整数据检索方式,断章取义。例如:在一次民意调查中,朝阳区的私营企业对本市的投资环境表示满意,而其他区域的满意程度很低。调查机构就把朝阳区的图表作为全市满意程度的例证进行解读,“整体满意程度很高,仅朝阳区就达到了95%。”而不对外提供整体满意程度数据。

  不执行科学的数据清查,容忍逻辑错误和恶意极值。当调查中存在极值(远远高出平均水平的数值)时候,一些调研机构不能进行复核,而是直接采用,并只进行平均数分析,形成了数据误导。

  操纵者直接篡改数据。由操纵者参与选择数据对比、分组解读方式,误导受众。操纵者得到数据分析的初稿,往往对不利数据进行删除或篡改。

操纵分析人员。操纵者为了包装经过篡改的数据,往往给分析人员提供虚假的背景资料,参与造假的调查机构也会主动寻找能够符合数据的证据,来对数据进行合理化包装。

  结论与报告撰写阶段

  违规使用不合理的加权权重。一些调研结果是经过加权处理的,而决定权重多少和依据的往往是分析人员,一些研究机构往往在这个阶段使用带有倾向性的权重。例如:首选、次选的赋值。

  利用无效的交叉分析来体现出资方的意图。在常规分析不能体现操纵者目的的情况下,一些调研机构往往使用无效的复杂交叉分析来误导受众。例如:某地产企业的报告中声称:本企业在22岁-35岁的北京本地私营业主心目中是可信赖的品牌,实际上调查中这部分人的数量还不到10个。

与相关企业以往公布的数据进行对照调整,增加可信度。例如:明明调查过程中的男女比例为3:7,但是为了报告看上去可信,一些调查机构往往在数据发布之前参照其他权威机构的相关数据,对调查进行修正和完善,让数据看上去可信度更高。

  数据发布包装阶段

  数据分析、采集方法,寻求学术掩体。例如:在数据发布会上聘请知名学术机构的专家充当嘉宾或者顾问,同时请人进行研究方法的统计学包装,直到大部分的受众根本看不懂的程度,虚假数据的学术掩体才算真正完成。

  操纵媒体,打击竞争对手的商业数据。例如:调动企业的媒体关系,发布对竞争对手不利的数据新闻,既打击了对手,又能落一个低调的好名声。

  操纵发布,增加数据影响。资助调查机构对数据进行宣传推广,增加数据的影响范围;把数据变成销售道具,应用到行销第一线。

  让假数据成为政策。操纵者千方百计把数据提供给有关决策部门或领导,以影响政策法规的制订。例如:借助名人的演讲,提供给行业协会等。

  操纵者与调查方相互鼓吹,结成同盟,共同维护数据谎言。例如:操纵者对客户说:“某某机构是业内最权威的,他们自主调查的数据显示……”,而调查机构则对外宣称:“我们完全自主调查,对于某某企业的数据我们完全按照国际标准进行调研获取……”。

调研机构调整调查日志,配合最后完成的调研结论。统一所有口径,从调研立项到执行、分析、发布,销毁真实数据记录,保证不留下篡改数据的痕迹。

  立项阶段

  操纵调研议题。例如:如果操纵企业的产品口碑很差,那么在调查过程中就尽量减少满意度评价,或者只进行部分优势项目的评价测试,只签协议不写细节。操纵者所付出的费用不只是发起有利于自己的调查,更重要的是获得调查好评,一般此类合作都有协议,而调查机构多予以否认。

  事先约定数据结果。多数的结论约定是口头的,或电子格式,很少形成书面的文件。例如:约定市场占有率、客户满意程度的比例范围。但这种形式多用来操纵部分数据。

  抽样阶段

  抽样技术陈旧,无法应对新的调研情况。随着社会人群居住情况、意识形态的改变,很多抽样的方法已经无法应对现实的调研环境。例如;目前城市家庭的人口数量在逐渐减少,有的小区定位成两口之家的青年公寓,有的则是老年社区,传统的抽样方法无法完成这类的甄别判断。

  抽样控制存在众多疏漏、敷衍塞责。市场调查的抽样部分多在执行公司完成,也有按照执行公司提供的地图完成初步抽样,然后交给执行公司完成。为了降低执行的难度,执行公司往往更希望选择较为配合,且访问酬金作用显著的区域进行抽样。

  资金或时间无法执行科学抽样。目前国内的很多项目因为样本数量受到预算的影响,样本量过少,根本无法使用科学抽样方法进行分配。调研机构为了获得更多利润,在调研抽样过程中减少样本数量,只保证样本的相对比例,通过减少样本数量来节约成本。这种情况在很多的公众调查中尤其普遍,专项调查中少有发生。

  降低人群属性的筛选标准。人群属性越是严格细致,调研的成本越高,例如:一项针对职业经理人的调查,要求月收入在8000元以上,年龄在30岁-50岁之间,获取合格样本的难度很大。调查机构往往在实际执行中放松限制,来保证进程和利润。

  以数据库为名,从操纵企业调用数据,从而使数据失去公正性。企业以提供数据为名,限制了调研机构的抽样,但是鉴于成本方面的考虑,部分调研机构多采取自主抽样与数据库结合的方式。

  (以上举例均来自2004年真实的公众调查事件)

  你有没有操纵过数据?

  如果想知道:“有多少公司曾经操纵过调查公司的数据?”永远也不会有答案,因为这问题如同问妓女有多少情人,而中国调查行业公信力所遭受的损失、中国消费者所遭受的欺骗却历历在目,影响深远。那些曾经操纵了数据的企业,最终对数据供应商的客观和能力失去信心,导致了商业企业对调研行业的质疑。恶性的竞争,断送的不只是行业道德,也断送了行业的未来。

  目前在国内盛行的伪调查狂潮却在逐渐消磨中国调查业赖以生存的公信根基。

.