车挂厂家
免费服务热线

Free service

hotline

010-00000000
车挂厂家
热门搜索:
行业资讯
当前位置:首页 > 行业资讯

大数据是个死胖子

发布时间:2020-06-30 20:11:27 阅读: 来源:车挂厂家

摘要:大数据的大不仅仅体现在数据记录的行数多,更体现在字段变量的列数多,这就为分析多因素之间的关联性带来了难度。

关键词:大数据

近年来,有关大数据的热点话题一浪高过一浪,关注大数据应用的人也越来越多。总体来说,人们对大数据的前景持乐观态度,比如谈到大数据的技术特征,人们最容易想起的就是4个“v”:vast(数量庞大)、variety(种类繁多)、velocity(增长迅速)和value(总价值高)。这些都没错,但仔细一想,它们都是偏重说明大数据的正面优势的。但其实,大也有大的难处,大数据也不可避免地存在着一些负面劣势。这些负面劣势可以概括四点:

inflated--大数据是肥胖的。大数据的大不仅仅体现在数据记录的行数多,更体现在字段变量的列数多,这就为分析多因素之间的关联性带来了难度。哪怕是最简单的方差分析,计算一两个还行,计算一两百个就让人望而生畏了。

unstructured--大数据是非结构化的。大数据的结构也是非常复杂的,既包括像交易额、时间等连续型变量,像性别、工作类型等离散型变量这样传统的结构化数据,更增添了如文本、社会关系网络,乃至语音、图像等大量新兴的非结构化数据,而这些非结构化数据蕴含的信息量往往更加巨大,但分析手段却略显单薄。

incomplete--大数据是残缺的。在现实的世界里,由于用户登记的信息不全、计算机数据存储的错误等种种原因,数据缺失是常见的现象。在大数据的场景下,数据缺失更是家常便饭,这就为后期的分析与建模质量增加了不确定的风险。

abnormal--大数据是异常的。大数据里还有不少异常值(outlier)。比如某些连续型变量(如一个短期时间内的交易金额)的取值太大,某些离散型变量(如某个被选购的产品名称)里的某个水平值出现的次数太少,等等。如果不删除,很可能干扰模型系数的计算和评估;如果直接删除,又觉得缺乏说服力,容易引起他人的质疑。这使得分析人员落到了一个进退两难的境地。

利用大数据的分析,已经可以预见和分析出很多当下时代的大趋势了。但是,数据的真实性如何保证?

如果没有全面、客观认识大数据的过程,即便得到很多可预见的数据,又有几分准确性?

想要真正运用好大数据,并不是一项在常规条件下数据分析的简单升级,而是一项需要大智慧的综合工作。

责编:fanwei

订工程服

泰安订做劳保工服

辽宁订做防静电工作服

德州定做工服

相关阅读