文献类型：期刊文章

作　　者：许鑫[1,2] 时雷[1] 何龙[1] 张浩[1,2] 马新明[1,2,3]

Xu Xin;Shi Lei;He Long;Zhang Hao;Ma Xinming(College of Information and Management Science,Henan Agricultural University,Zhengzhou 450002,China;Henan Grain Crops Collaborative Innovation Center,Zhengzhou 450002,China;HHH Science Observation and Experiment Station of Agricultural Information Technology,Ministry of Agriculture,Zhengzhou 450002,China)

机构地区：[1]河南农业大学信息与管理科学学院,郑州450002 [2]河南粮食作物协同创新中心,郑州450002 [3]农业部黄淮海农业信息技术科学观测实验站,郑州450002

出　　处：《农业工程学报》

基　　金：河南省科技创新杰出人才(184200510008);河南省现代农业产业技术体系(S2010-01-G04);十三五国家重点研发计划(2016YFD0300609);河南省重大科技专项(171100110600-01)

年　　份：2019

卷　　号：35

期　　号：1

起止页码：172-179

语　　种：中文

收录情况：AJ、BDHX、BDHX2017、CAB、CAS、CSA、CSA-PROQEUST、CSCD、CSCD2019_2020、EI、FSTA、IC、JST、PROQUEST、RCCSE、SCOPUS、ZGKJHX、核心刊

摘　　要：为了解决农田物联网大量图像、视频和传感器等结构化和非结构化数据实时处理与写入问题,该文基于分布式存储与NoSQL(NotOnlySQL)技术,结合农田物联网数据特征,利用HDFS(HadoopDistributedFileSystem)和HBase(Hadoop Database)存储非结构化和结构化数据,基于Redis缓存服务,设计了三层物联网数据云存储框架,实现了海量农田物联网数据存储中的业务处理、事务处理、图片打包与索引、负载均衡等关键技术。面对复杂业务下的事务数据一致性,该文采用基于HLock的乐观锁机制,实现了HBase对强事务性的支持,经过与传统MySQL集群事务对比测试,当数据量级在500万时,数据读取效率提升达35.75%。为了提高农田物联网中大量的小图片和小文件处理效率,基于图片打包合并策略,利用SequenceFile技术实现物联图片的快速索引读写技术,与原生HDFS存储效率相比,读写效率提升30%以上。该研究可以为海量农业物联网数据的存储和管理提供技术参考和理论支撑。

关 键 词：农田 数据存储系统 管理  物联网 NOSQL Hadoop  HBASE 云存储  

分 类 号：S126]