农业大数据的专属特征及应用现状探讨

来源:用户上传      作者:

　　摘   要   大数据因其所拥有的巨大潜在价值，已经成为现代科技研究和应用的重点和热点。从大数据产生背景出发，以大数据和农业大数据特征解析为切入点，阐述了农业大数据在国内外的发展现状和农业大数据含义的不同表现形式，分析了农业大数据与一般大数据不同的8个专有特征，对大数据在农业育种、栽培和病虫害防治中的应用成效进行了评述。
　　关键词  大数据;农业大数据;特征解析;应用研究;进展
　　中图分类号：S126   文献标志码：C   DOI：10.19415/j.cnki.1673-890x.2019.22.026
　　1 大数据概念的形成与发展
　　21世纪全球进入了大数据时代。未来学家、社会思想家托夫勒在他的巨著《第三次浪潮》中首次提出了大数据的理念，为今后人们的研究奠定了基础[1]。《Nature》和《Science》分别在2008年和2011年出版了大数据专刊，可见大数据对社会发展的巨大推动作用。2012年达沃斯世界经济论坛上发表全球信息技术报告，认为大数据是这个时代的新宝藏，是复苏经济的新手段，是数据全球化的新纽带。2012年美国公布了大数据研发计划，2013年英国发布了《英国农业科技战略》，2013年日本公布了《信息通信白皮书》[2]。
　　2013年中国政府把发展大数据技术写入“十二五”规划当中，并把它列入863计划，设置立项了5个大数据项目[3]。中国计算机学会大数据专家委员会主编的《中国大数据技术与产业发展白皮书》于2013年正式出版，2014年該专家委员会又出版了《中国大数据技术产业发展报告》，让更多的人了解了大数据时代背景下各相关产业的发展前景[4]。经过近5年的发展，大数据应用于我国的行政管理、公共安全、交通运输、经济、互联网营销、教育等众多领域，在数据挖掘应用、大数据可视化分析、大数据平台构建等方面的研究与应用方兴未艾[5]。
　　由于大数据的定义尚无统一的标准，导致对大数据的定义的理解有多种表现形式。McKinsey咨询公司的定义是：大数据是一些巨大数据的集合，在规定时间内采用传统数据分析软件工具无法对数据内容完成采集、存储、管理和分析[6]。维基百科的定义与之近似，表述为：大数据所涉及的资料量规模巨大，是无法通过当前主流软件工具，在适宜时间内达到采集、管理和处理的数据集。大数据是具有大量（Volume）、高速（Velocity）和多样（Variety）的“3V”特征[7]，新一代的信息技术架构和基础设施，可以通过快速（Velocity）的数据采集、处理、分析，从大量（Volumes）、多样（Variety）的数据中发现和提取有价值（Value）的信息数据（4V特征）[8]，其中大数据的真实性（Veracity）是实现数据分析、应用的前提[9]。因此，大数据之大的关键不只是在于容量，还在于它对海量数据的交换、整合、分析和使用，从而去发现新的知识和规律，创造新的价值和内容，带来“大知识”“大科技”“大利润”和“大发展”[10]。
　　2 大数据的“5V”特征
　　大数据理念的产生、概念的形成与完善以及大数据技术的广泛应用，已经经历了近40年的发展，“5V”特征概念逐渐明晰起来。
　　2.1 大量（Volume）
　　大量是大数据所具有的最显著特征之一。数据每时每刻都在产生、无处不在。互联网数据中心（Internet Data Center，IDC）研究报告说，2011年全球数据总量已经达到1.8 ZB，超过人类有史以来所有印刷材料的数据总量（200 PB），预计到2020年，全球电子存储数据量将达32 ZB[11]。
　　2.2 高速（Velocity）
　　大数据的高速不仅表现在数据量增长的速度快，对数据处理的速度也快，还表现在数据更新的速度也非常之快。如淘宝每天的交易量超过数千万笔，新浪微博每分钟都会发出数万条微博[12]，以及股市行情的数据变化瞬息万变，稍不留神就会错过入股、抛售的最佳交易时机。
　　2.3 多样性（Variety）
　　大数据的多样性表现在数据类型和形态上，既有传统的关系数据类型，也有以网页、视频、音频、图片等未加工的、半结构化的和非结构化的数据[13]。数据对象、数据来源、数据维度、数据的利用和数据最终产生价值等方面，都表现出多样性的特征。
　　2.4 价值（Value）
　　大数据特征里最关键的一点就是价值。数据总量越大，其中的有效信息可能越多，但是数据总量与其中的有价值的信息不一定正相关。如在摄像头的连续监控记录中，其有用的信息可能仅有一两秒。
　　2.5 真实（Veracity）
　　采集、储存到的数据，必须具有真实性，只有真实而准确的数据才能通过对其海量、混杂的数据进行高速分析，帮助人们做出正确的决策，使得数据的运用、管控和治理产生真正的意义。
　　3 农业大数据的专属特征
　　我国是一个农业大国，农业是国民经济的命脉。农业领域是大数据产生的无尽源泉，具有浩大的数据基础，包括了农业资源环境数据、农业生态环境数据、农业生物数据、农资数据、农业技术数据、农业生产数据等[14]。因此，利用大数据技术推动农业发展对于建设现代化农业具有十分重要意义。
　　3.1 农业大数据含义
　　对农业大数据的认识，也是一个由浅入深的渐进过程。在初期，有的专家认为，农业大数据是在大数据分析的基础上，运用大数据理念、技术和方法，对农业领域中跨行业、跨专业的数据进行处理过程[15]。也有的专家认为，农业大数据是指在农业以及涉农相关领域所产生的全样本不同类型数据的集合[16]。这些是对农业大数据的初步认识，难免还有些不够全面。 　　王文生[17]基于更深层次的思考后认为，农业大数据是现代信息技术持续发展而产生的一种计算机技术在农业领域应用的高级阶段，它是多样性海量农业数据的抽象描述，是农业全产业链农业数据大集中的有效工具，是提取农业数据价值、扩大农业数据信息消费、促进农业经济转型升级、加快农业现代化的必经过程。
　　郭雷风[14]从另外的4个维度表述了他对农业大数据含义的理解：农业大数据是现代信息采集技术在农业产业链过程中的广泛使用，是跨领域、跨行业、跨学科农业综合数据集成共享平台，是农业数据存储与管理的重要形式，是农业产业链上各个环节或各个元素达成竞争与合作的平衡，是大数据协同效应的更好体现。
　　因此，由于对农业大数据研究与应用的目的、对象、功能、作用等角度的不同，目前描述的农业大数据定义也不尽相同。但是，农业大数据的大量、多样、高速、真实和对产业发展的巨大价值的认识是基本一致的。
　　3.2 农业大数据的专属特征
　　农业大数据除了具备一般大数据的特征以外，还具有泛在性、周期性、地域性、社会性、交叉性、多变性、综合性和分散性8个特征[18]。
　　3.2.1 泛在性
　　农业与人类社会相伴发展，餐桌上的任何食材都是由农业原始产品加工而成，畜禽产品、五谷杂粮、水果蔬菜、田间生产、企业加工和市场销售等，到处都有农业元素的体现，任何地方都是农业大数据的源头之一，农业大数据无处不在。
　　3.2.2 周期性
　　农业生产中的动植物，受自然因素的影响，其生长都遵循有一定的规律，随季节变化而具有周期性。因此，农业大数据将随动植物生产周期的变化而呈现出一定的周期规律性。
　　3.2.3 地域性
　　不同的动植物生产，需要的自然资源条件是不同的。不同地域的地理位置、地形地貌、水分、热量、土质等自然条件、生态环境以及社会经济、技术条件和商贸环境等各不相同，因此农业大数据表现出突出的地域性特征。
　　3.2.4 社会性
　　我国每年的1号文件都是关于农业的。农业是国家政治、经济和社会稳定的基石，农业数据是农业生产、生活、运输、贸易的集中体现，它的变化就是整个社会状态变化的反光镜。
　　3.2.5 交叉性
　　农业大数据包含了品种选育、耕作技术、管理措施等作物生产的全过程，这些过程又受到气象、资源、环境、市场、运输、安全等的综合影响。农业大数据呈现出跨行跨业，交叉影响的特征。
　　3.2.6 多变性
　　农业产业链上的每个环节都受众多复杂因素的影响，使得农业大数据时时刻刻都可能发生变化。在不同的时间和空间尺度下，农业气象数据、农产品价格数据、农业生产环境数据等等，差异性非常之大。
　　3.2.7 综合性
　　农业数据的相互关联性特征非常显著。一个数据往往直接或间接地与多个数据相关和相互作用。大家熟悉的作物产量数据实际上是品种、土壤、气候、农艺管理等数据的综合体现，其农产品价格数据实际上是农业市场政策、农业生产状况与农村经济水平和社会供需平衡等的综合反映。
　　3.2.8 分散性
　　事实上，农业大数据在数据的采集和组织方面都是分散的，相互关联而又完整的数据不多见。不同环节的农业数据可能分别属于政府、科研、高校、企业等不同的单位，也可能分散在科研、生产、流通、加工、储藏和消费的各个生产流通过程中。
　　4 农业大数据的发展概况
　　农业大数据已经引起全球的高度重视。英国在颁布的《英国农业技术战略》中强调，大数据能推动农业的巨大发展，农业大数据的开放问题在国际论坛上得到了广泛的讨论;2015年，美国联邦农业部开放了土壤实时数据，帮助农民随时获取与农场生产相关的数据[14]。利用大数据服务农业生产方面，法国、德国[19-21]和美国[22]都在运用农业大数据服务农业;利用分析气象大数据预测灾害，为农民推荐购买适宜的保险[23]。国外的农业大数据已基本上形成了规范、精準、智能的应用格局。
　　众多科学家相继开展有关农业大数据的研究，并发表了研究结果，认为大数据将对精准农业的发展产生深刻影响[24]，将为解决农业问题提供更好的服务[25]，预测天气防灾害，提高农作物产量和质量[26]，利用多元线性回归等数据挖掘技术进行农业数据的利用[27]。
　　我国十分重视农业大数据的发展。山东农业大学成立了第一个农业大数据产业技术创新战略联盟[23]。温孚江高兴地观察到，尽管我国大数据研究起步晚了一点，但农业大数据的研究却遥遥领先[15]。许世卫认为，未来农产品监测预警发展的重要趋势就是将大数据在农产品监测预警领域进行广泛的应用[28]。孙忠富等分析了大数据在农业上的需求、主要应用领域及其在智慧农业中的关键地位[29]。柳平增认为我国渤海粮仓科技示范工程大数据平台建设与投入使用就是农业大数据平台在智慧农业中的具体应用典范[30]。
　　5 农业大数据的重点应用领域
　　5.1 在农业育种领域的应用
　　常规农业育种技术主要是通过化学、物理和种间杂交等技术手段来获取子代的农业优选性状，但育种时间长和选择准确性低是严重降低育种效率的两个重要因子。DNA重组和基因编辑技术的运用，极大地缩短了作物优良品种的选育时间，提高了目的性状的育种精确性。因此，一大批抗病虫且高产优质的优良品种不断产生，农业大数据在其中起到了关键的作用[31]。
　　随着高通量技术的广泛运用和从成本降低，DNA芯片和二代测序技术已成为新品种选育的先进方法。海量基因组资源和基因标记资源，使得性状图谱和分子标记育种更加便捷[32]。同时，父系、母系和子系的群体都可以进行低成本高效率地测序，大大增加了优良性状的识别率[33]。农业育种性状，大多是由多基因控制，农业大数据可以利用国际高通量数据，对有价值的单核苷酸做分子标记，从而建立SNP标记数据库，有利于快速筛选到目的基因片段[34]。根据完整的基因组信息和清楚的分子标记，就可以运用锌指核酸酶技术[35]、TALEN系统[36]和基因编辑技术Cas9[37]改变基因组结构，快速获得目的性状，缩短育种时间。当然，这也是现代农业育种面临的核心研究技术。 　　5.2 在农业栽培领域的应用
　　农业栽培已经从群体监控向单体监控的精细化管理转变。“精准农业”的概念应运而生。运用小型电子传感器，可以追踪单粒种子的生长环境、种植技术、农艺管理、收获储藏等过程，为农民、农业管理员提供有价值的信息。农户可通过手机APP轻松地达到实时了解土壤质量、选定高收益品种，获取最优施肥方案、决定最佳收获时间等目的[38]。
　　5.3 在农业病虫害防治领域的应用
　　随着全球贸易的增加，农业病虫害日益全球化，并具有种类多、影响大、暴发成灾的特点，农业和农产品受到病虫害的影响越来越严重，成为全球主要的农业灾害之一，它的发生范围和严重程度对全球经济、特别是农业生产常造成重大损失。农业大数据在农作物病虫害测控预警上的应用成为现代农业农作物病虫害监测防治的重要决策依据。
　　2013年美国迪尔公司开始使用一种新的传感器系统来实时监控病虫害状况。将传感器收集到的信息存储在农业大数据中，与挖掘的其他农业生产参数一起进行分析，预测病虫害的发生，监测病虫害发生实况，提供有效的防控措施，最大限度地降低病虫害造成的经济损失，增加农业产量和农业收益。
　　生物杀虫、杀菌剂是防治农业病虫害的有效措施，这些生物药剂主要是作用在基因水平上，对环境友好。RNAi保护环境、杀死害虫，可以起到生物防治的作用[39]。农业大数据存储的高通量数据可以作为挖掘有用信息的来源，利用这些信息深入开展农业病虫害机理的研究[40]，开发新的有效的生物防控技术。
　　6 结束语
　　大数据因为所拥有的巨大潜在价值，已经成为了现代科技研究和应用的重点和热点。大数据在农业领域的应用还处于摸索期，虽然概念和方向都比较明确，但是许多核心技术并未实现实践应用，需要更多这种既懂农业技术又懂信息技术的跨专业人才。只有真正的理解了大数据技术的核心点，才能在农业政策制定、农业生产管理、农业栽培育种、病虫害预警预报、产量质量改善、产品效益提高等方面充分发挥大数据优势。大数据对推动农业的革命性进步作用巨大，农业大数据的应用前景十分广泛，将是下一个创新、竞争和生产力的前沿。
　　参考文献：
　　[1] 阿尔文.托夫勒.第三次浪潮[M].黄明坚译.北京：中信出版社，2006.
　　[2] 王文生，郭雷风.关于我国农业大数据中心建设的设想[J].大数据，2016，2（1）：28-34.
　　[3] 天津大学.863项目“面向大数据的先进存储结构及关键技术”启动会[EB/OL].[2013-04-01].http：∥cs.tju.edu.cn/xwzx/xwdt/20130401103608433EtH.shtml.
　　[4] 梁吉业，冯晨娇，宋鹏.大数据相关分析综述[J].计算机学报，2016，39（1）：1-18.
　　[5] 王一鹤，杨飞，王卷乐，等.农业大数据研究与应用进展[J].中国农业信息，2018，30（4）：48-56.
　　[6] Manyika J， Chui M， Brown B， et al. Big data： The next frontier for innovation， competition， and productivity[J]. McKinsey Global Institute， 2011： 1-137
　　[7] Laney D. 3D data management： controlling data volume， velocity， and variety[J]. Application Delivery Strategies， 2001.
　　[8] Gantz J， Reinsel D. Extracting value from chaos[J]. IDC iView， 2011： 1-12
　　[9] IBM. What is big data？ [EB/OL].[2014-03-19]. http：//www901.ibm.com/software/data/bigdata.
　　[10] 涂子沛.大數据[M].桂林：广西师范大学出版社，2012：54-58.
　　[11] 陈如明.大数据时代的挑战、价值与应对策略[J].移动通讯：2012中国国际信息通讯展专刊，2012（17）：14-15.
　　[12] 刘智慧，张泉灵.大数据技术研究综述[J].浙江大学学报（工学版），2014，48（6）：957-972.
　　[13] 陶雪娇，胡晓峰，刘洋.大数据研究综述[J].系统仿真学报，2013，25（S1）：142-146.
　　[14] 郭雷风.面向农业领域的大数据关键技术研究[D].北京：中国农业科学院，2016.
　　[15] 温孚江.农业大数据研究的战略意义与协同机制[J].高等农业教育，2013（11）：3-6.
　　[16] 宋长青，柳平增，任万明，等.实施现代农业大数据工程的理性思考[J].中国现代教育装备，2016（15）：111-114.
　　[17] 王文生，郭雷风.农业大数据及其应用展望[J].江苏农业科学，2015，43（9）：1-5.
　　[18] 吴重言，吴成伟，熊燕玲，等.农业大数据综述[J].现代农业科技，2017（17）：290-292，295.
　　[19] Chute C， Ullman- Cullere M， Wood G. Some experiences and opportunities for big data in translational research[J]. GENETICS in Medicie， 2013，15（10）： 802-809. 　　[20] Gu M， Li XP， Cao YY.Optical storage arrays： a perspective for future big data storage. Light Science & Applications[J]. 2014，58：1-11.
　　[21] Haluk D， Dursun D. Leveraging the capabilities of service-oriented decision support systems： putting analytics and bigdata in cloud[J]. Decision Support Systems， 2013， 55： 412-421.
　　[22] 温孚江，宋长青.农业大数据应用、研究与展望[J].农业网络信息，2017（5）：31-36.
　　[23] 张浩然，李中良，邹腾飞，等.农业大数据综述[J].计算机科学，2014，41（11A）：387-392.
　　[24] Russo J. Big Data & Precision Agriculture[M]. PrecisionAg， 2013.
　　[25] Srinivasulu P， Babu MS， Venkat R， et al. Cloud service oriented architecture （CSoA） for agriculture through internet ofthings （IoT） and big data. IEEE International Conference on Electrical， Instrumentation and Communication Engineering[C]. IEEE， 2017： 1-6.
　　[26] Bendre MR， Thool RC， Thool VR. Big data in precision agriculture： Weather forecasting for future farming. International Conference on Next Generation Computing Technologies[C]. IEEE， 2016： 744-750.
　　[27] Majumdar J， Naraseeyappa S， Ankalaki S. Analysis of agriculture data using data mining techniques： application of bigdata[J]. Journal of Big Data， 2017， 4（1）： 20.
　　[28] 许世卫，王东杰，李哲敏.大数据推动农业现代化应用研究[J].中国农业科学，2015，48（17）：3429-3438.
　　[29] 孙忠富，杜克明，郑飞翔，等.大数据在智慧农业中研究与应用展望[J].高中国农业科技导报，2013，15（6）：63-71.
　　[30] 柳平增.农业大数据平台在智慧农业中的应用——以渤海粮仓科技示范工程大数据平台为例[J].高科技与产业化，2015（5）：68-71.
　　[31] Lusser M， Parisi C， Rodr íguez-Cerezo E. Deployment of new Biotechnologies in plant breeding[J]. Nature Biotechnology， 2012， 30（3）： 231-239.
　　[32] Fox JL. Mars collaborates to sequence Africa’s neglected food crops[J]. Nature Biotechnology， 2013， 31（7472）： 415.
　　[33] Varshney RK， Nayak SN， May GD， et al. Next generation sequencing technologies and their implications for crop genetics and breeding[J]. Trends in Biotechnology， 2009， 27（9）： 522-530.
　　[34] Wilkinson PA， Winfield MO， Barker G ， et al. CerealsDB 2.0： an integrated resource for plant breeders and scientists. BMC Bioinformatics[J]. 2012， 13（3）： 219.
　　[35] Urnov FD， Rebar EJ， Holmes MC， et al. Genome editing with engineered zinc finger nucleases[J]. Nature Reviews Genetics， 2010， 11（9）： 636-646.
　　[36] Bedell VM， Wang Y， Campbell JM， et al. In vivo genome editing using a high-efficiency TALEN system[J]. Nature， 2012， 491（7422）： 114-118.
　　[37] Mali P， Esvelt KM， Church GM. Cas9 as a versatile tool for engineering biology[J]. Nature Methods， 2013，10（10）： 957-963.
　　[38] 孫晓勇，刘子玮，孙涛，等.大数据在农业研究领域中的应用与发展[J].中国蔬菜，2015，1（10）：1-5.
　　[39] Wang YB， Zhang H， Li HC， et al. Second-generation sequencing supply an effective way to screen RNAi targets in large Scale for potential application in pest insect control[J]. PloS One， 2011， 6（4）： e18644.
　　[40] Rafiqi M， Ellis JG， Ludowici VA， et al. Challenges and progress towards understanding the role of Effectors in plant-fungal interactions[J]. Current Opinion in Plant Biology， 2012，15（4）： 477-482.
　　（责任编辑：敬廷桃）
转载注明来源:https://www.xzbu.com/1/view-15007352.htm