C114中国通信网: 门户(微博 微信) 论坛(微博) 人才(微博) 百科 | C114客户端 | English | IDC联盟 与风网

技术 - 行业技术 - 数据通信 - 正文 运营商投稿当日通信资讯

传统研究在大数据下业务流程的变化与调整

http://www.c114.net ( 2015/1/8 13:40 )

数据是市场研究业务处理的主要目标,所以以数据处理流程来定义市场研究业务处理流程的关键环节,会更准确和直观。在后文说明中,传统模式代表传统业务形态(问卷调研等非大数据源+传统分析方法论)的数据处理流程,大数据模式代表大数据源+全部方法论(传统方法论+大数据方法论)的处理流程。

1 基本业务环节的变化

首先我们来看一下数据业务流程在两种模式下的变化。

从上图可以发现,大数据下的业务流程,相比传统模式,总体上有两点重要的变化:

(1)数据融合代替数据收集,将成为数据来源的主要模式。传统模式下,数据来源更多是研究公司自身采集(如问卷)或者客户采集后提供,所以采集是核心。在大数据模式下,研究公司自身能力和资源有限,将会更多通过非采集方式(如各种外部渠道数据引入/交换,并进行整合)获得分析的数据,此时融合是核心问题。

(2)数据管理能力成为一个新的要求。传统模式因为业务数据量小,基本不存在对数据管理的较多要求,所以可以忽略。但大数据场景下,数据规模大而且多样,且常常比较分散,其统一的管理(如存储和检索等)能力,是后续业务环节顺利进行的基础,有必要得到更多的重视。

为了更深入的理解业务环节的变化,下面将对每个环节,进行更深入的讨论。

2 各业务环节的变化

为了便于说明,将两种模式下的流程进行统一,整个业务流规范为了五个环节。下图简要说明了各环节下两种模式各自在实施上的特点。

(1)数据融合/采集

传统模式下,数据采集的方式主要是问卷、座谈会等。这是一种小规模的采样,且对目标有直接影响(有交互)。数据本质是某个时间点的静态、快照式的截面数据,维度受采集方式所限也不可能太多。
而大数据下,数据融合代替采集成为市场研究获取数据的主要方式,此时数据同步和ETL成为主要方式。在最初的源数据采集中,行为日志记录、网络Spider抓取、移动互联网App基于Sdk采集等成为主要手段。这类方式仍然可认为是采样(不过更大的规模),但作为一种监听/探针式的模式,用户不会感知和受影响(所以数据会更加符合实际情况)。采集的数据在时间和空间上多是动态和持续性的,可记录的维度也会大很多。

(2)数据管理

传统模式下,数据通常为标准的结构化数据,且规模小(通常万级以下),此时pc单机的普通文档(如Csv,Excel之类)足以胜任所有存储和检索要求。特定应用,百万级的数据量用小型数据库也都足够。所以此时数据管理一直被忽略。

在大数据环境下,数据量起点在亿级以上,比传统模式增加了成千上万倍,格式也更加多样,数据的管理难度几何级数增加,原有方式已经无能为力。此时,新的技术体系(多机、分布式文件系统/海量数据库)和专业架构人员,确保了大数据的安全管理和快速检索。相比之前,研究企业需要在该方面做出相当大的投入。

(3)数据计算

传统模式下,计算主要是各种统计学的计算(比如总计/方差/均值…)为主,计算量不大,工具以Excel到SPSS、SAS为主流,处理多由DP完成。此时DP人员更多是研究业务的辅助支持。
在大数据模式下,数据规模、维度和分析方法的变化对计算的要求大大加强。传统的统计性计算仍然需要,但更大的变化是:计算工作更多样化、更高复杂度和更具专业性,且与分析更深入的结合。许多新的计算理论成为主角,比如对网络非结构化文本数据使用自然语言处理,大数据挖掘的机器学习处理(大部分是高维度向量计算),而社交网络计算更多是图计算。这些新的计算理论和方法,极大扩展了大数据分析洞察的能力,但也对相关人员的专业能力提出了很高的要求。

(4)分析

分析是研究过程中最重要的环节。传统模式下,研究人员主要根据传统方法论,对DP人员生成的指标性数据,考察全局性的分布/差异,历史的变化等。

大数据模式下,除了传统方法论的分析外,更多使用大数据方法论的思路(更关注个体,比如如何给用户打标签、个体/群体的匹配度是多少,对未来发展的预测期望)。同时,由于分析主要基于各种专业计算的结果,而研究人员并不具备相关技能,因此必须与专业IT技术专家紧密配合,才可能完成有价值的分析。此时,相关IT专家成为本阶段最重要的参与者。

(5)结论与呈现

传统模式下,研究结论关注的是统计性指标的变化,对相关原因分析和建议是重要的内容。结果更多是通过专项报告(以文档而不是系统平台)形式,在呈现方式上多采用表格和基本图表。
大数据模式下,既有传统的统计性结论,也有更多大数据方法论,比如基于个体特性之上的群体特性标签化描述。结果更多地通过在线化系统来展示,新的可视化技术,在大数据的分析和结果展示上,越来越受到重视。

通过上面各环节的比较可以发现:在新的大数据业务生态下,市场研究的业务流程

(1) 各环节的方式和支撑方法,都有较大的扩展/变化

(2) IT技术能力(数据管理与专业数据计算分析能力),成为大数据业务实现过程中最重要的推动因素。

HCR(慧辰资讯)近半年来,已经在相关环节进行了积极有效的调整和提升。市场研究公司业务产品各有所长,业务模式也不尽相同,所以对于大数据业态下的发展思路也不会完全一致。建议从自身的大数据业务规划出发,结合现有情况,有针对性的调整和改进现有业务流程,以更好的适应未来大数据业务的发展。

在相关调整中,IT技术资源是传统研究公司最需要投入的环节。考虑大数据业务下相关资源(软硬件和团队)投入较大且专业性强,笔者后续将结合市场研究领域的业务特点,对市场研究涉及的大数据领域相关的主要技术理论、应用场景与常用的工具资源,专文进行说明。

作者:HCR(慧辰资讯) 马亮   来源:C114中国通信网

支持作者观点

轻松参与

VS

表达立场

反对作者观点

Copyright©1999-2017 c114 All Rights Reserved
上海荧通网络信息技术有限公司版权所有
南方广告业务部: 021-54451141,54451142 E-mail:c114@c114.net
北方广告业务部: 010-63533177,63533977 E-mail:shixinqi@c114.net.cn
编辑部联系: 021-54451141,54451142 E-mail:editor@c114.net.cn
服务热线: 021-54451141,54451142
沪ICP备12002291号