大数据服务三农的初步分析与探索



摘要:



三农问题是当前中国密切关注的社会问题,大数据技术的发展为三农带来了新的机遇。首先,对大数据推动智慧农业发展的作用进行了深入分析,总结了农业大数据的基本特征、内涵及发展趋势,分析了大数据对解决三农问题的推动作用。其次,综合阐述了农业大数据发展瓶颈和主要问题,包括数据获取能力不够、系统性不强、数据挖掘与分析技术落后、数据质量控制与安全管理难度大等。最后,提出了大数据服务三农的途径,主要包括强化政府引导与推动、强化大数据技术创新等。



引言


“三农(农业、农村、农民)”问题是现今中国社会密切关注的问题,从20世纪80年代开始,中央一号文件多次提到“三农”问题,主要包括:农民就业、收入、教育、医疗、社保、土地流转、农业结构调整、农产品进出口、农村市场建设、环境保护、经济发展、税费改革等问题,这些问题严重阻碍了农村的发展。随着农业改革的进一步深入,城乡差距日益增大,农民收入减缓,劳动力转移加剧,农村社会发展滞后,引发了农村一系列的问题,使得“三农”问题更加复杂。要解决“三农”问题,必须加强农业科技,利用信息技术加快“三农”进步,利用大数据和智慧的力量整合优化“三农”协同发展。科技是农业发展的重要支撑,是国家粮食安全的有力保障,是农业现代化建设的抓手,要实现农业持续稳定发展,根本出路在科技。必须抓住机遇,深化改革,坚持科技兴农,把“三农”问题摆在更突出的位置,突破体制障碍,推动农业科技进步,加大农业投入,为“三农”问题的解决注入强劲动力。


我国人口众多,农业资源总体紧缺,农业机械化综合水平较低,在农业生产领域,电子、计算机和信息等现代技术的应用还远未普及,由于耕地面积不断减少和环境恶化,过度依靠资源开发、大量投入劳动力、大量施用化肥等传统手段已无法有效提高农业产出,农业发展需要更智慧的技术打破传统农业面临的资源与环境难题。智慧型现代农业可使农业资源得到充分的科学利用,可节省时间和资源,提髙工作效率,缓解人力资源的不足,减少不必要的浪费,最大限度地降低成本,实现农业精细化、高效化、绿色化发展。因此,发展智慧农业在许多国家已经成为一种共识,具有长远和现实意义。目前,以互联网、移动互联网、物联网、大数据、云计算等技术为代表的现代信息技术,正向着数字化、网络化、智能化的方向发展,为我国农业现代化建设提供了强有力的工具。


目前,我国已进入传统农业向现代农业加快转变的关键阶段,农业农村发展也进入了关键时期,为进一步加快农业现代化发展,突破制约我国农业农村发展的新难题,需要进一步寻求新的思路、突破口。通过“互联网+农业”的模式,将现代信息技术与传统农业产业结合,通过网络将农业的各种要素整合起来,提高农业的智慧水平,才能突破资源与环境对农业发展的制约,解决“三农”问题。物联网和云计算的普及促进了智慧农业的发展,同时也造成了数据的爆炸式增长,数据结构越来越复杂,而对数据的处理和应用能力并未显著提高,迫切需要新的技术解决这些问题,此时,大数据技术应运而生,作为信息技术的重大变革,大数据技术给信息技术的发展带来了新的方向。



农业大数据的特点


大数据技术的产生将极大促进信息产业的创新发展,已经成为数据挖掘和应用的前沿技术。大数据规模大、结构复杂、内容多样,超出了现有的数据处理能力,因此,如何更好地处理大数据成为迫切需要解决的问题。目前,移动互联网、物联网和云计算等现代信息技术开始与农业深度融合,智慧农业涵盖的范围越来越广,这必然会产生大量数据。农业大数据作为我国大数据战略的重要组成部分,具有重要的战略意义。通过对农业大数据进行分析,快速获得有价值的内容,从而对农业环境、农产品、农业产业链、农业市场进行科学的管理和调控,达到优化农业资源配置、服务“三农”的目的。


农业大数据就是运用大数据理论、技术和方法,解决农业或涉农领域数据的采集、存储、加工与应用等问题,是大数据理论在农业上的实践和应用。农业涉及范围广、影响人口多、数据复杂、持续时间长,是产生大数据的源泉。随着物联网、云计算、智慧农业的发展,农业大数据时代已经来临,但由于农业主体对象复杂,农业生产环境容易受外界干扰,因此,农业大数据也有复杂、多变、动态、不确定等特点,这对农业大数据的采集、整理、加工、分析应用提出了更高的要求。



内涵与特点


农业大数据是大数据理论和技术在农业领域的应用,除了具备大数据的公共属性,还具有农业数据自身的特点。



数据来源广


农业大数据可以概括为4类:农业环境与资源大数据、农业生产大数据、农业市场大数据和农业管理大数据,基本囊括从生产到销售的全过程。例如,与农业源头生产直接相关的是农业环境与资源大数据,农业环境与资源大数据又可分为3类:土地信息数据,如土地位置、地块面积、海拔高度等;环境信息数据,如气象数据、土壤水分数据、温湿度数据等;作物信息数据,如作物长势数据、病虫害发生分布情况数据等。农业生产大数据包括种植和养殖大数据。农业市场大数据包括市场供求信息、市场价格、利润等数据。农业管理大数据包括国际国内的农产品动态等信息。



数据结构复杂


农业大数据不仅包括文字、图形、影像等多媒体材料,还包括专家知识、模拟模型、产量数据库等非结构化数据。通常来自不同数据源的数据,甚至来自同一个数据源的数据,类似的信息结构却完全不同。从农业大数据涉及的主体范围来看,包括农、林、牧、水产、兽医、园艺、土壤等整个农业科学领域,其中主要对象又涉及动物、植物、微生物、昆虫、生态等生命基础学科以及环境科学、食品科学等。面对如此庞大的数据资源,从专业应用来看,应分步实施。首先,构建农业领域的专业数据资源,然后,逐步有序规划专业的子领域数据资源,例如针对某一作物或某一领域的全过程数据采集、挖掘分析、预测和决策等。



数据生成链长


农业大数据以农业生产为中心,涵盖林业、牧业、渔业等子行业,同时涉及上下游相关产业,包括育种、化肥、农机、饲料、加工等,还包括宏观的农业经济数据,如作物产量、价格、生产数据、加工数据、灾害、病虫害数据等。上述各种数据的集合,构成了整个农业产业链,包括农业生产的田间地头、市场流通、超市消费终端等各个环节,把各方数据汇总整合,形成了生产、流通、终端消费的数据链。



数据变异性大


首先,影响农业生产的因素异常复杂,包括生物、环境、社会、经济等方面,都决定了对数据的采集、挖掘与分析应用的难度。其次,农业生产过程的主体是生物,易受外界环境和管理等因素制约,致使农业生产的随机性与不确定性、多样性与变异性、个体形状与群体差异性等特征非常明显。另外,整个农业生产过程的很多环节,目前还未实现标准化、定量化和精准化,都容易产生数据的变异性。



主要应用领域



为精准农业提供数据支持


精准农业的操作需要大数据的支撑,植物工厂、设施农业、大型机械生产作业时,需要大量的作物、土壤、水分、空气等环境信息,同时,还要考虑品种、生产投入量、病虫害情况、作物长势等影响,不同地块的操作可能会千差万别,不同的地块、耕作深度、灌溉量、施肥量、营养元素比例都会有很大的不同,因此,必须要有丰富的农业基础大数据支撑。



为农产品可追溯提供了条件


对农产品从农田到餐桌实行全程的跟踪,有利于保证农产品质量,减少二次污染,防止疾病的发生。随着农业生产分工的不断细化,农产品的产业链也越来越长,追溯也变得越来越难,大数据技术的发展为农产品的可追溯提供了条件,生产端的监控可以保证农产品的产地和来源,运输环节的监控可以保证品质,加工零售端的监控可以减少污染的发生。同时,大数据可以减少生产过程中的浪费现象。



推动农业精准预测和管理


大数据在产品营销、市场监测预测、生产资料管理、产量和灾害预测、产品与市场供需分析等方面,发挥着巨大的作用。依托大数据采集平台以及大数据技术的分析与预测能力,根据产业动态、供需关系状况、市场经济数据、质量管理数据等信息,运用大数据技术,进行农产品预测和风险预警,并及时对外公布,积极引领市场发展。灾难管理结合大数据,将为人类预测灾难、防灾、减灾、救灾和恢复生产生活提供更大的帮助。另外,农业生产上游的种子、化肥、农药、地膜等数据,中游的气象、环境、土壤、种植过程等数据以及下游的农产品加工、农产品销售等数据,都将对农业精准预测和管理起到重要的推动作用。



加速农业生物工程技术的发展


传统的生物工程技术工作量大,耗费时间长。大数据的发展加速了生物技术的进程,过去的生物信息调查大多在温室和大田进行,现在可以通过计算机进行模拟,海量的基因信息可以利用云计算技术进行分析,建立农业生物基因大数据,进行分子设计和药物设计等,从而大大加快了生物工程技术的发展。大数据技术在植物表型(phenotyping)研究中也获得了大量应用,植物表型是指基因型和环境决定的形状、结构、大小、颜色等生物体的外在性状。植物表型检测是植物表型组学研究的主要方向,可提供系统的技术数据给植物功能基因分析和环境影响研究。通过对植物表型进行实时监测和数据采集,形成大数据,充分挖掘植物基因组对表型的影响,从而建立一套快速、准确的表型组学研究方法,为高通量、系统地研究基因组和表型组提供有力支撑。



优化农业资源配置


资源配置是农业生产中的重要环节,随着资源的安置和调配,数据也就产生了。农业大数据时代的到来更为农业资源的配置和优化提供了科学、合理、高效的数据信息,例如对水资源的合理调配、品种资源分配、劳动力资源的分配等。通过对农业资源配置大数据进行分析,可以改善农业资源的利用率,促进资源的合理分配,大力提高农业生产效率,节约农业生产资源,提高农业经济收入,改善“三农”问题。



发展趋势


伴随着物联网、云计算、移动互联网等信息技术的飞速发展,农业数据呈爆发式增长趋势。数据量级的极速增长以及数据维度的多样化发展,开启了农业大数据时代,农业大数据是农业智慧化、精准化、网络化的必然产物,是结构化、半结构化及非结构化的多维度、多粒度、多模型、多形态的海量农业数据的抽象描述,其发展趋势如下。


● 在农业生态环境监测与资源管理调度方面,利用高精度遥感设备,获得大气、水分、土壤、植被等信息,配合专家系统,实现智慧决策;利用基于物联网的精准感知技术,构建农业生产环境监控系统,实现对农业资源的自动监测,并将数据上传到云,积累大量的农业监测数据,为智慧农业提供数据支撑。


● 在农业生产精细化管理与操作方面,从大田、设施园艺、果树生产、水产养殖、畜牧等子领域收集大量的数据,为智能化管理和精细化操作提供数据基础,从而便于实现资源的合理利用,提高生产率。


● 在溯源方面,通过对生产、加工、流通、销售环节的全面感知和信息融合,实现农产品的全程追溯,追溯过程中,产生大量的数据积累,最大程度地保障农产品的质量安全。在农业物流方面,利用射频识别技术(radio frequency identification, RFID)实现产品信息的采集与定位跟踪,采集大量的流通渠道信息数据,可大大提高农产品在仓储和货运中的效率,推动智慧物流的发展。


● 在农业气象灾害和病虫害自然灾害预测预报方面,整理采集灾害历史数据,总结灾害发生发展规律,提高对灾害的预测能力,提高监测预警能力,把握灾害最佳防控时机,最大程度地降低灾害风险。


● 在农产品生产销售信息监测方面,整合历史数据,开展农产品电子商务、期货交易等数据的采集监测,建设农产品加工采集体系,加强农产品资源信息库、国内外农产品数据库等的建设,建立覆盖全国的农产品数据库系统,实现国内外农产品生产者与消费者的精准对接,提高对接效率,减少浪费。



大数据驱动“三农”发展



大数据与智慧农业


农业大数据是提高农村智慧化信息服务水平的主要因素。提高农村信息服务水平,不仅要加大农村信息服务基础设施的建设力度,而且要为农民提供准确的信息服务。通过整合目前已有的、分散的农村服务数据,建立农村信息服务大数据,推动数据的共享开放,从而打破信息“孤岛”,提高数据利用率。同时,通过对农村信息服务大数据的分析,掌握农民的信息需求偏好。具有针对性地研发新型的农村信息服务集成系统、涉农信息技术产品、涉农信息应用管理平台、农产品电子商务交易平台等,提高信息的精准服务能力。


将大数据应用于“三农”,对解决农业发展、农村建设、农民生活等问题具有重要的推动作用。大数据是智慧农业发展的核心推动力。物联网、云计算等技术的发展和应用推动了智慧农业的进程,通过对大数据进行分析、推理和挖掘,发现规律,获得知识,产生智慧,从而对农业生产进行智能化控制和决策管理。中国的“三农”问题是一个非常复杂的问题,积攒的时间长,解决难度大,只有利用现代网络信息技术,才能进行优化整合,达到资源共享的目的。设施农业是当前智慧农业应用的典型代表,在设施农业温室中,通过实时采集环境监测数据,形成温室环境监控大数据。对其进行分析,可以得到相应的模型自动开启或者关闭指定设备,实现温室环境的智能调控。同时,根据水分含量数据,可以进行合理的灌溉操作,还可以根据监控大数据,对病虫害进行预测预报等。当前,现代设施农业距离真正的智慧化还有很大的差距,需要综合考虑经济、社会、环境等多方面的因素,做出更多的努力。



大数据推动农业供给侧结构性改革


农业大数据推动农业供给侧结构性改革,改革需要借助市场的手段实现,通过适应市场需求改善农产品的供求关系。通过建立农产品市场动态监测预警体系,获取不同区域、不同品种农产品市场行情数据,生产者、市民等各种消费行为数据,形成农产品市场大数据。通过对农产品市场大数据的分析,对农业生产结构进行调整,引导农民的生产经营决策,提高农业生产经营的目的性,实现需求与供给的动态匹配。同时,可以对农产品市场进行主动性、前瞻性、针对性的调控,确保农产品市场供求关系的健康、平衡,提升决策部门的农业综合信息服务能力,从而进一步助推农业供给侧结构性改革。


我国幅员辽阔,村落分散,交通不便,造成了农业基础差、农民收入水平低。在农民的生产劳动和农业科研活动中,积累了大量的历史数据,这些数据对于解决“三农”问题有着至关重要的作用。如果将这些历史数据加工处理成农业大数据系统和专家系统,再结合农业生产的现场信息,农民和农技专家在家就可观测到田地里的情况,从而对农业生产活动做出正确的选择。当前,在农产品流通、农业气象、农产品安全溯源、病虫害防治、土壤修复、遗传育种等多个“三农”领域,都可以利用大数据进行智慧化管理。



大数据服务“三农”的关键技术


利用大数据技术服务“三农”,是促进“三农”发展的重要途径。通过建立大数据系统,推动农业体制创新,提升农村信息化服务水平,提高农民收入,加快农业现代化发展。大数据服务“三农”的关键技术主要包括:多源异构大数据获取技术、大数据与农业智能化融合技术、农业预警大数据技术、农产品溯源技术、大数据共享与服务技术等。



多源异构大数据获取技术


通过利用地面物联网监测和遥感监测等多种手段,强化农业生产环境监测、植被生长状况监测和灾害监测;搭建农业物联网长期监控站点,开展农田、林地、水资源数据的长期定点监测与采集;通过农业大数据实时监测网络,建立农业生产智能化监测体系,从而获取农情、墒情、苗情、病虫情等多源异构大数据,为构建大数据系统,实现农业管理智能决策,提供数据支撑。



大数据与农业智能化融合技术


推进农业物联网技术的应用,产生并收集大量数据,为无人驾驶技术、无人机技术、机器人技术、自动化技术、精密机械技术、地理信息系统、导航技术、人工智能技术、图像处理技术、模式识别技术、机器视觉技术、传感器技术、LED应用技术等现代信息技术在农业中应用提供数据保障,从而加快农业生产智能化的发展进程。



农业预警大数据技术


建设全国重点区域气象灾害、生物灾害监测站点,搭建气象灾害、动物疫情和植物病虫害上报和指挥调度系统,健全气象灾害、动物疫情和作物病虫害监测体系,通过农业预警大数据技术,提升智能监测、预防控制和指挥决策的智能化水平,提高监测预报的准确性。同时,基于农业预警大数据技术,建设农产品价格、产量、市场预警体系,食品安全预警体系,农业产业损害预警体系等。



农产品溯源技术


通过建立农产品溯源系统,实时、自动、完整地获取农产品生产过程中的环境、长势、灾害等全过程监测数据,农产品生产后的收购、仓储、运输、加工、销售等环节监测数据,生成相关的大数据系统,运用农产品溯源大数据技术,实现追溯的精准定位和精准定时,从而精确、及时地查找问题的根源,实现有数可查、有据可依。同时,建设包含农业、化肥、种子等资料的信息系统,建立健全制度规范,为农业监管机构提供可依托的大数据系统。



大数据共享与服务技术


建立农业科技云服务平台,整合农业科研数据,完善农业专家系统,基于大数据共享与服务技术,建立共享模式,推动农业科技数据、知识的共享。汇聚农业科技系统的各方面力量,实现农业重点、难点问题的联合攻关,形成农业科研、成果转化、推广示范、农民培训、成效反馈等一系列的农业大数据共享机制。