大数据在云浮特色农业发展中的应用研究
来源:用户上传
作者:
【摘 要】 特色农业在发展过程中会产生大量有价值的数据信息，通过利用大数据技术，对其进行有效分析和应用，可以实现特色农业发展的科学化、现代化、精准化、可追溯化等。分析了云浮地区特色农业大数据应用价值、现状及问题，提出了云浮特色农业大数据应用平台的建设目标、原则要求、整体架构和技术架构，并介绍了其主要功能，以增强云浮特色农业发展的竞争力。
【关键词】 大数据;特色农业;应用平台;架构;应用领域
[Abstract] Characteristic agriculture will produce a large amount of valuable data information in the process of development. By using big data technology and analyzing and applying it effectively， we can realize the scientificalization， modernization， precision and traceability of characteristic agriculture development. This paper analyses the application value， current situation and problems of the characteristic agricultural big data application platform in Yunfu area， puts forward the construction objectives， principles， requirements， overall structure and technical framework of the application platform， and introduces its main functions in order to enhance the competitiveness of the development of Yunfu characteristic agriculture.
[Keywords] data; characteristic agriculture; application platform; framework; application area
1 农业大数据概述及其应用价值
1.1 概述
农业大数据是指在农业及其相关领域所产生出来的各种不同类型的数据信息的集合，包括大數据的理念、技术和应用方法等，具体涉及到环境数据（气候、土壤、湿度、温度等）资源数据（种子、化肥、农资等）、生产经营数据（种植、施肥、灾害防治等）、管理数据（仓储、加工、物流配送等）、市场数据（供给、需求、运输、销售、消费、售后服务等）等内容，贯穿于整个农业种植、生产、管理、物流、销售及消费等全供应链过程中，各个环节都会产生海量的数据信息。同时，还涉及到与农业发展相关的其他行业或领域的数据，只有对这些数据进行采集、加工、分析、整合、共享和应用，才能发挥其独特价值，促进特色农业向科学化、现代化、精准化、可追溯化方向发展。
1.2 应用价值
特色农业的发展离不开大数据技术的支持，通过构建农业大数据应用平台，对大数据进行采集、存储、分析、处理与应用等，可以推动农业产量和利润率的提高。其应用价值表现为：（1）可以整合农业大数据资源。农业数据跨期长、数量多、种类齐、结构复杂、关联性强等，通过大数据应用平台，实现农业大数据的标准化、规范化等，解决数据孤岛，实现数据的整合、共享、应用与服务。（2）通过对农业大数据资源的采集、获取等，可以保障数据信息渠道的畅通，完善数据监测和统计、分析和预测、信息预警和发布等，实现特色农业全供应链的数据应用和服务，实现特色农业发展的科学化、智能化、精准化、预警化、可追溯化以及数据共享服务等，为政府相关部门提供科学化的决策依据，为农业经营者提供个性化、深度化的信息服务，实现特色农业增产增值。
2 大数据在云浮特色农业发展中的应用现状及其问题
随着云浮地区以云计算与大数据、先进装备制造、生物医药、康养旅游、特色农业的融合发展，大数据、云计算、物联网等信息处理与采集技术在特色农业上的应用日益增多，为农业大数据的产生提供了科学依据和必要手段。然而，云浮特色农业大数据的决策和应用还处于初始阶段，大数据条件和应用平台建设还存在着一些问题，有待进一步完善和提高，以促进特色农业大数据的采集、整合、共享及应用，并以此实现特色农业增产和增值，实现特色农业转型升级和可持续发展，进而提高云浮特色农业发展的竞争力。
2.1 基本现状
近几年，随着云浮“四新一特”产业的发展，一二三产业逐步融合发展，产生了一批较为先进的特色农业企业，如广东温氏食品集团股份有限公司等，在农业信息化建设方面的投入也日益加大，如“温氏智能养殖”手机APP，可采集气温、湿度、日照等基本数据，实现远程在线管理;积累了初始的的农作物病虫害数据，并利用大数据分析软件进行关联度分析，建立了气候数据与大米病害虫之间的监测和预警模型;建立了部分信息系统、决策支持数据平台，如农业生产信息、气候数据、田间耕作信息等;建立了初步的信息服务平台，如数据采集、监测、分析、预测等几个模块和功能。
2.2 主要问题
特色农业大数据的基础数据采集不够充分、数据离散缺失、数据结构不够完善、数据的精准化、标准化和规范化水平较低、自动化和智能化采集功能薄弱、时效性低、数据共享不畅等，导致大数据的采集和利用效率较低，采集成本较高等问题[1]，难以充分发挥农业大数据的价值。 3 特色农业大数据应用平台建设目标、设计原则及架构
3.1 建设目标
利用云计算、大数据、遥感等先进技术，设计并构建特色农业大数据应用平台，并采集、积累覆盖气候、价格、市场等各类型数据，并通过数据交叉验证、标准化等处理，逐步形成以大数据平台为载体、以大数据挖掘分析为关键、以大数据应用为导向、以大数据安全为保障的整体架构，实现特色农业大数据从简单粗放、低效、分散、高成本向集约化、高效、共享、低成本转变[2];坚持问题和需求导向，为数据使用者提供深度化和个性化定制服務，充分发挥大数据在特色农业的生产决策、加工、经营管理、市场与服务领域全过程、大范围应用，有效促进特色农业发展。
3.2 原则要求
（1）保证数据多源汇集与兼容，要将农业相关数据，如往期数据与现实数据、同构化数据与异构化数据等，利用大数据技术进行汇集和兼容，有效消除数据壁垒和孤岛，发挥各类型数据的价值;[3]（2）实现数据的标准化、规范化及统一化管理。大数据平台应该建立统一化的数据标准和规范，既便于数据的应用，又减少因分散建立和运维数据的成本;（3）充分保障数据隐私和安全。数据隐私和安全是数据提供者最为敏感和关注的核心问题，大数据应用平台要设置多级隐私保护权限来保护用户的数据隐私，对于要共享的数据，要进行甄别和审核;（4）实现个性化应用与开放易用。数据使用者可以根据自身的实际需求和分析能力获得个性化数据支持和服务，要根据用户特点，开发复杂数据分析、应用的工具和方法，以便使用者可以方便、快捷地应用数据，有效满足不同数据使用者需求;（5）建机立制、整合资源、提供保障。组建云浮市特色农业大数据应用平台建设领导机构，加强分工协作，明确权责，加强人才引进和培训，提供政策优惠，鼓励和引导电信企业、IT企业、社会资本和农业经营主体等参与投资建设，建立监督、考核和奖惩机制，从各方面保障平台建设的顺利实施。
3.3 架构分析
3.3.1整体架构 特色农业大数据应用平台的设计，既要能满足大规模数据的批量处理功能，还要满足对小规模数据的实时响应功能，这样才有应用价值。其整体架构如下：
基础设备层：是大数据应用平台的载体，包括输入、存储、处理、网络及输出设备等，以保证大数据应用平台的数据采集、存储、整理、挖掘及应用的有效运行。可以利用虚拟化技术对各类设备进行虚拟化，形成统一的虚拟化资源池，并提供统一的资源服务和支持【2】。
数据采集层：针对多种类型的数据，开放数据接口，可以连接多种数据读取设备，方便读取数据;利用RFID、GPS、二维码、传感器、遥感等设备及技术，直接实时采集种植面积湿度、温度、农产品价格等信息。利用大数据和云计算相关技术，对农业基础数据资源进行采集、分析、存储等，如通过价格数据来进行农产品价格的预警和预测，为调整农产品结构提供参考和依据等。
数据处理层：通过对多源的异构化数据进行标准化、规范化处理和交叉验证，以提高数据的可信度及可靠性，设置数据使用和管理权限，以保障共享数据的安全[4]。可以利用云计算技术及其强大的服务能力，设计统一的数据服务平台，提供农业大数据的统计汇总、分析挖掘及数据管理、应用和监测功能等。
数据应用层：提供不同类型、层次的数据支持和服务，设计数据开放接口，支持电脑及手机终端等，满足个性化和深度化的数据定制要求，提供便捷的、易用的、直观的、可视化的服务，如数据采集、分析、共享以及管理服务等[4]。
3.3.2平台技术架构 应用平台要由数据采集、存储、处理、分析、挖掘及应用等环节组成，既要能为政府相关部门、科研院所、相关企业或个人提供必要的参考依据，也要能提供农业数据共享、服务功能，为农业数据的利用和平台的应用提供技术上的可行性。具体分析如下：
数据采集环节。特色农业的发展受自然环境、气候、地理地势等因素的影响和制约， 因此，农业大数据的采集、获取必然要采集如地理、气候、土壤等自然与环境方面的相关数据，农业大数据采集内容还包括市场价格、生产、技术、政策等数据，涉及的范围非常广泛且复杂，要收集到完善的数据存在很大困难。主要有以下几种采集方式：通过物联网方式采集，如利用智能识别、远程遥感、传感器、定位、电子标签、移动扫描、实时视频等技术方法，采集农业种植、生产加工、流通配送、销售等过程和环节中所产生的各类数据信息，并转换成标准化数据加予利用;还可以利用互联网web技术，获取农业种植的气候、土壤、温度等及农产品生产、加工、配送、销售、消费、市场等综合信息并实现数据共享;通过以上几种方式无法获取或需要及时更新的数据信息，还可以采用人工采集方式进行，同时，还要改进和完善的数据源开放接口，以便为数据的输入、输出和共享提供方便。
数据预处理环节。数据预处理环节主要有数据清洗、融合、规约等处理方法。数据清洗主要是针对农业发展过程中数据信息种类多、数据来源广、数据关联性强等问题，通过数据甄别、筛查、选择、剔除、均值等方法，整理并优化数据结构和标准，提供开放式处理接口，为提高数据质量，进行精确分析，数据高效利用等提供基础和便利;数据融合主要是针对非结构化和非标准化的数据进行标准化处理和交叉验证，对已处理好的数据进行入库，根据特色农业大数据的应用要求，利用融合技术对数据进行处理，实现特色农业生产过程中多种数据类型的融合;数据规约主要是根据数据采集、存储要求、精度要求及计算成本等，同时结合特色农业的基本特性，从数据集中筛选出有代表性的样本子集，进行统计分析;利用数据编码或转换技术，剔除不相关或价值不大的数据。
数据存储环节。大数据存储主要采用分布式存储系统，主要有分布式文件管理系统及关系型数据库、NoSQL 高并发数据库和内存数据库，以保证大数据的存储、备份、转换及安全管理，[5]以实现数据的安全性、稳定性和可靠性，保障各个主体之间的利益。 数据分析挖掘环节。采用分布式计算混合型处理架构，包括内存计算、批处理、图计算、交互式分析处理、流处理等引擎。大数据的分析挖掘方法主要有：数理统计分析法、回归分析法、关联分析法、聚类分析法、神经网络分析法、数学建模法等，以实现大数据的准确预测与评价[5]，并据此决策，提高特色农业大数据分析和应用能力。
数据可视化环节。主要是對农业大数据进行二维可视化，从而实现大数据检索、分析结果的直观、形象展示。可以通过生成趋势分析图、实时视频等方法，发现问题，揭示规律，提供预测服务等，为特色农业发展提供数据条件。
数据应用环节。终端应用主要是实现大数据便捷、直观展示和预测预警发布。展示特色农业的变化趋势，并揭示其基本规律，为特色农业发展提供诸如种植面积、农产品产量、市场价格走势的预测，以及自然灾害、病虫害的预警发布，提供环境质量评价及农业数据的动态变化查询与监测服务，【5】并实现数据的及时、准确、高效的共享服务，为政府相关部门和农业经营者等提供有效指导。农业大数据应用平台要能够提供多种终端的应用服务，如支持电脑、手机等方式的即时浏览应用，提供直观、可靠的可视化演示和数据信息服务。
4 特色农业大数据应用的主要领域
特色农业大数据应用要以促进云浮地区特色农业向科学化、智能化、精准化、在线化、可追溯化为导向，以加强硬件条件和软件条件建设为载体，并将其应用贯穿于整个农业种植、生产、管理、物流、销售及消费等全供应链过程及相关领域中。1、组建特色农业大数据应用与推广中心，完善演示沙盘、多媒体投影、农业机器人等设施设备;2、建立特色农业信息化服务平台，为相关方提供标准、便捷、精准的数据信息服务;3、建立即时录入、即时查询的特色农产品信息可追溯化系统，以实现特色农业生产、加工、流通、质量管理的可追溯化，为经营者和消费者提供客观、真实、可信及可视化的特色农产品信息服务;4、建立特色农业物联网及可视化地图，为特色农业生产经营、流通、信息服务等提供技术支持;5、完善特色农产品的行情监测、预警系统、农业气象及灾害诊疗系统、农业资源信息化管理系统等，以准确、实时、海量数据的采集、存储为基础，对农业大数据进行整理、分析、加工及应用与推广，逐步建立云浮地区特色农业“线上+线下”相互融合发展的运行管理体系，以促进云浮地区特色农业发展。
5 结语
特色农业在发展过程中会产生大量有价值的数据信息，通过利用大数据技术，对其进行有效分析和应用，可以实现特色农业发展的科学化、现代化、精准化、可追溯化等。根据云浮特色农业大数据应用的现状及问题，提出了进一步构建和完善云浮特色农业大数据应用平台的目标、原则要求、整体架构和技术架构，并分析了架构的主要组成部分，在实际应用和操作过程中，还需根据特色农业和不同用户的需求进行细化，才能广泛地汇集覆盖农业生产环境、种植、加工、仓储、流通、销售等供应链和各个环节的数据信息，并对多源数据进行标准化处理、分析挖掘、整合、共享及有效应用，为政府决策、科学研究、农业企业管理、个性化农业生产决策等提供科学依据和有效指导，进而增强特色农业发展的竞争力。
参考文献：
[1] 花登峰.全国农机推广信息化建设培训班召开[J].农机科技推广.2016（9）18-19.
[2] 赵新冬，王 勤，戴 威.电力行业存储平台集中管理设计[N].中国信息化周报.2014.10.（008）.
[3] 侯 娟.基于云计算的区域调控技术支撑体系建设研究[J]. 华北电力大学（北京）硕士论文.2016.
[4] 李 瑾，顾戈琦.基于“互联网+”的农业大数据平台构建[J].湖北农业科学.2017（5）1947-1952.
[5] 秦小立，叶 露，李玉萍，刘燕群，梁伟红.热带农业大数据应用平台设计[J].热带农业科学.2018（1）130-136
转载注明来源:https://www.xzbu.com/1/view-15085003.htm
