文献类型：期刊文章

作　　者：李学龙[1] 龚海刚[2]

机构地区：[1]中国科学院西安光学精密机械研究所光学影像分析与学习中心(OPTIMAL),西安710119 [2]电子科技大学计算机科学与工程学院,成都611731

出　　处：《中国科学：信息科学》

基　　金：国家自然科学基金(批准号:61125106)资助项目

年　　份：2015

卷　　号：45

期　　号：1

起止页码：1-44

语　　种：中文

收录情况：BDHX、BDHX2014、CSCD、CSCD2015_2016、JST、RCCSE、ZGKJHX、核心刊

摘　　要：随着科学、技术和工程的迅猛发展,近20年来,许多领域(如光学观测、光学监控、健康医护、传感器、用户数据、互联网和金融公司以及供应链系统)都产生了海量的数据(更恰当的描述或许是"无限"的数据,例如,在光学观测和监控等应用中,数据都是源源不断而来的,形成了"数据灾难"),大数据的概念也随之再次引起重视.与传统的数据相比,除了大容量等表象特点,大数据还具有其他独特的特点,例如大数据通常是无结构的,并且需要得到实时分析,因此大数据的发展需要全新的体系架构,用于处理大规模数据的获取、传输、存储和分析.本文对大数据分析平台进行了尽可能详尽的文献调研,首先介绍了大数据的基本定义和大数据面临的一些挑战;然后提出了大数据系统框架,将大数据系统分解为数据生成、数据获取、数据存储和数据分析等4个模块,这4个模块也构成了大数据价值链;随后讨论了学术界和工业界中和大数据相关的方法和机制;最后介绍了典型的大数据系统基准和大数据的一些科学问题.本文意图为非专业读者提供大数据的全景知识,也为高级读者定制自己的大数据解决方案提供辅助思想,希望能够对大数据相关的科技和工程人员起到一些参考作用.

关 键 词：大数据 数据获取 数据存储 数据处理 数据分析

分 类 号：TP311.13]