You are on page 1of 8

第3卷 第1期 农 业 大 数 据 学 报 Vol.3,No.

1
2021 年 3 月 Journal of Agricultural Big Data Mar. 2021

DOI:10.19788/j.issn.2096-6369.210108

农业单品全产业链大数据平台设计与实现
顾 君 1* 齐晓军 1 苑青微 1 曾庆鸿 2

(1. 同方知网 (北京) 技术有限公司,北京 100192;


2. 贵州省农业农村厅,贵阳 550001)

摘 要:农产品全产业链管理需要大数据支撑。本文提出了一个全产业链大数据平台框架设计,包括数据指标体系、
数据分析模型、模型对数据的安全和按需调用,实现了对农业单品全产业链数据的自动采集、动态更新、
多源数据存储、数据治理,为产业链上相关主体提供及时的产业数据可视化分析、产业监测预警、产业智
能分析报告,有效指导生产、加工、流通,促进生产和市场平稳运行,为促进产业平稳发展提供信息服务
和数据支撑,也为同类农业全产业链大数据平台建设提供了经验借鉴。
关键词:农业大数据;农业单品;全产业链;数据指标体系;知识服务
中图分类号:S-1 文献标识码:A 文章编号:2096-6369 (2021) 01-0073-08

引用格式:顾君,齐晓军,苑青微,等 . 农业单品全产业链大数据平台设计与实现[J]. 农业大数据学报,2021,03(01):73-80.

Gu Jun,Qi Xiaojun,Yuan Qingwei,et al.Design and Implementation of an Agricultural Product-focused Data Platform for Use
Across the Industry Value Chain[J].Journal of Agricultural Big Data,2021,03(01):73-80.

Design and Implementation of an Agricultural


Product-focused Data Platform for Use Across
the Industry Value Chain
Gu Jun1* Qi Xiaojun1 Yuan Qingwei1 Zeng Qinghong2
(1. Tongfang Zhiwang (Beijing) technology Co., Ltd, Beijing 100192,China;
2. Agriculture and Rural Affairs Department of Guizhou Province, Guiyang 550001,China)

Abstract: Industry value chain management of agricultural products requires the support of big data. This paper describes a
design for a big data platform to serve an entire agricultural industry value chain. The data platform includes a data
index system, a data analysis model, the model's data security and on-demand support. The platform supports auto‐
matic acquisition, dynamic updating, multi-source data storage and data governance, and provides data visualiza‐
tion analysis, industry monitoring and early warning, and industry intelligence analyses and reports for relevant en‐
tities in the industry value chain. The platform effectively enables the production processing, and distribution of in‐
formation and data to promote streamlined agricultural production and market operations, and thus supports the
steady development of the industry. This paper also offers insight into the construction of a big data platform for
an entire agricultural industry value chain.

收稿日期:2021-02-15
第一作者简介:顾君,女,硕士,主任编辑,研究方向:农业信息化,软件工程;E-mail:gujun@cnki.net
通讯作者:顾君,女,硕士,主任编辑,研究方向:农业信息化,软件工程;E-mail:gujun@cnki.net
74 农业大数据学报:专题——农产品单品种大数据 第3卷 第1期

Keywords: agricultural big data; agricultural single product; full industry chain; data index system; knowledge service

1 前言 数据融合共享和数据应用提供支撑,为产业链上各类
主体提供及时的产业数据信息和“数据+知识”融合

农产品全产业链运作是一种农业产业化创新经 的产业问题解决方案,有效指导生产、加工、流通,促

营模式[1-2],是以消费者的需求为导向,将农作物种 进生产和市场平稳运行,引导产业生产经营决策、协

植、加工、运输及销售等多种产业环节组成一个完整 调区域发展、支撑联动调控,为促进产业平稳发展、农

的产业链系统,推动农业产业集聚, 进而释放巨大的 民增收提供信息服务和数据支撑。

发展潜力, 不仅能在加工储藏、市场营销、农产品市场
2.1 数据指标体系
等方面衍生相应的服务行业, 更能加速实现农业现
代化[3-4]。 农业单品在各业务环节产生海量数据,存在着结
农产品全产业链管理需要大数据支撑。中国农 构化数据和非结构化数据混杂、数据质量良莠不齐、
业农村部早在 2015 年就明确提出要构建农业大数据
数据标准不统一问题;数据开发利用低;数据语言与
体系,2016 年印发《农业农村大数据试点方案》,开展
业务语言不通等诸多问题[8-10]。为了解决上述问题,
生猪等 8 种重要农产品的大数据试点工作,探索建立
需以全产业链为基线,构建从生产、加工、流通仓储、
分品种分产业的全产业链大数据工作[5]。大数据服
价格、消费、贸易、成本收益、舆情等八大全产业链环
务农业全产业链,就是高效整合各类数据资源要素,
节的数据指标体系(见表 1),实现农业数据的全产业
完善农业大数据采集、汇聚、分析、服务机制,打造智
链目录导航检索,从而满足平台用户对数据快速查
能化的全产业链大数据平台,为全产业链上的各类主
阅,促进数据资源的再开发、再利用。
体提供科学准确的决策支持服务,并充分利用信息技
在具体农业单品(水稻、玉米、茶叶、马铃薯、苹
术推动农业全产业链改造升级[6][7]。
果、中药材等)全产业链大数据平台建设过程中,需要
本文从农业单品全产业链关键环节入手,提出了
以表 1 的数据指标体系为基础,建立指标本体及其属
一种农业单品全产业链大数据平台的构建框架,希望
性的规范名称、代码规范表,平台通过规范表自动生
为相关的农业农村大数据系统建设提供可借鉴和可
成同等数量的规范映射表(见图 1),实现数字资源碎
复制的模式和经验。
片化时数据库相关字段的归一化处理,解决来源不同
指标不统一的问题,形成规范化数据库,为打通内部
2 农业单品全产业链大数据平台设计
数据关联,实现智能应用奠定基础。

农业单品全产业链大数据平台的整体建设思路 2.2 全产业链数据分析模型


是,按照育种、栽培、收获、贮藏、加工、产业化发展等
全产业链关键环节,依托互联网、物联网、大数据等技 平台对结构化和非结构化数据进行深度挖掘,除
术,构建全产业链数据资源体系,实现全产业链数据 了一些通用模型算法,如数据分类、回归、聚类、关联
的自动采集、动态更新、多源数据存储、数据治理,为 降维、时间序列、识别、预测、优化等类型外,还需要根

图1 标准化映射
Fig.1 Standardized mapping
第1期 顾君等:农业单品全产业链大数据平台设计与实现 75

表1 农业单品全产业链数据指标体系
Table 1 index system of the whole industry chain
序号 一级指标 二级指标 指标项说明
1 国内生产情况
2 生产 国际生产情况 主要包括农产品在我国各地区的产量与种植面积,如单位面积产量、各地区的产量等数据。
3 机械化水平
加工企业
加工产能
4 加工 主要包括农产品加工企业分布、加工产能、原料消耗、产品结构、开工率等以及相关上市公司财务情况。
上市公司财务情

5 主产区销售情况
6 主销区消费情况
流通仓储 包括农产品仓储、物流运输、库存情况、产品流量、流向、流通渠道等情况,以及电商销售情况。
7 电商数据
8 库存监测
9 集贸市场价格
10 价格指数 包括不同品种的收购价格、批发价格、零售价格、差价、超市价格、集市价格、指数等数据,以及农产品期货价格、仓单
价格
11 批发市场价格 数据等。
12 期货价格
13 消费量
消费 包括各地不同品种的销量、各地区居民购买量等数据,以及鲜食量、种用量、加工用量、损耗量等食品收支数据。
14 食品收支
15 中国贸易规模
贸易 包括我国各个地区进出口数量、价格、净出(进)口量、顺(逆)差等数据。
16 全球贸易
17 收益情况
18 成本收益 费用与用工 包括我国各地区农产品种植成本(包括化肥投入、用工投入等)、收入及利润情况。
19 化肥投入

据全产业链数据分析的特点,构建农业产业结构与自 指标数据,实现从产销分析、产能分析、进出口以及指
然资源禀赋协调性分析模型、农产品供需平衡模型、 数模型分析方面分析全国农产品的供需平衡状况。
农产品市场监测预警模型等,形成一个全产业链监测 2.2.3 农产品市场监测预警模型
与预警分析算法库。 基于农产品生产量年涨跌度、消费量年涨跌幅,
2.2.1 农业产业结构与自然资源禀赋协调性分析模型
以及价格日涨跌幅、按年累计涨跌幅,对农产品的生
产业规划是未来经济运行的指南针,产业规划的
产量、消费量、价格,分别设定监测预警阈值,将预警
编制需要准确而实际的数据以及运用科学的方法进
等级划分为四个等级,用红橙黄绿颜色表示,对涨幅
行整体到细节的设计。该模型从全国、省级、市级维
超过一定数值的农产品进行预警提醒以达到及时对
度,结合地区特点和产业特征,从农业产业结构和农
业自然资源生态系统两方面进行综合指数评价,通过 农产品供需过程进行诊断和分析。

构建指标体系及耦合协调模型,建立协调发展标准,
2.3 模型对数据的授权访问
助力用户进行区域农业产业结构与自然资源协调度
评判。
平台建设过程中,数据安全是特别重要。平台通
2.2.2 农产品供需平衡分析模型
过本体及其属性建设,标明不同指标需要什么样的数
农产品供需不对称问题的形成是多种因素共同
据,这些数据来源在哪里,采用哪种数据集成方式获
作用的结果,但它也是造成农产品“卖难买难”、价格
异常波动等问题的根源,因此要保障农产品的有效供 取数据。平台给每个模型授予不同的底层数据的访

给首先还是要保障供给和需求在数量方面的均衡[11]。 问权限,即给一个模型授予了底层数据的访问权限,
根据农产品产销系统模型,即“系统输入量+系统生 那么能够使用该模型的用户就有这些数据的获取权
产量=系统输出量+系统消耗量”,基于需求相关经济 限,如图 2 所示。
76 农业大数据学报:专题——农产品单品种大数据 第3卷 第1期

图2 数据模型和数据定性
Fig.2 Data model and data qualitative analysis

2 农业单品全产业链大数据平台的实 多数据格式、多人同时的数据检索,在线生成图表,以
支撑单品产业市场行情、景气指数、投入产出、竞争格
现与应用
局、消费热点分析,辅助农户、经营主体、科研人员、主
管部门科学决策,如图 3、图 4 和图 5。
农业单品全产业链大数据平台实现了大数据资
源管理、海量数据智能搜索、数据可视分析、产业智能 2.2 全产业链监测与预警
报告等功能。平台汇聚单品产业相关 CNKI 期刊、图
书、表格、视频、问答资源及舆情资讯等多源异构资 农产品供需不平衡,卖难买难,以及价格异常波
源,形成大数据资源中心,以单品全产业链数据指标 动等问题是产业链运行的主要风险所在,需要进行监
体系为基础,实现农业单品数据资源的集中管理、实 测与预警。通过对农产品的生产量、消费量、价格,分
时更新与交换共享。平台以数据资源中心为基础,知 别设定监测预警阈值,平台对涨幅超过一定数值的农
识图谱技术为支撑,通过检索结果的智能优化,满足 产品进行预警提醒以达到及时对农产品供需过程进
平台不同用户群体多样性获取信息的要求,实现数据 行诊断和分析,如图 6 所示。
的智能搜索。平台根据具体业务需求,实现了以数据
地图、数据图表、数据一张图等方式来可视化展示分 2.3 农业单品全产业链智能报告
析数据。平台通过对海量数据进行深入挖掘分析,并
通过对海量数据进行深入挖掘分析,平台按照全
基于知识图谱与 CNKI 碎片化重组的期刊文本产生
产业链(生产、加工、流通仓储、价格、消费、贸易、成本
关联,将知识资源和数据分析进行结合,实现产业报
收益、舆情)实现了产业报告的自动生成,报告的种类
告的自动生成。
有价格报告,以及针对产业现状分析、问题研究、对策

2.1 全产业链数据分析可视化 建议形成的产业分析报告等,引导产业生产经营决


策 、协 调 区 域 发 展 、支 撑 联 动 调 控 ,如 图 7 和 图 8
平台实现了常用算法的封装,包括分类、回归、聚 所示。
类等,支撑混杂型数据的联动、连接、计算分析,可自
动或通过可视化操作实现常见计量统计指标的统计 3 总结与展望
与分析,针对海量数据,对用户目标数据进行检索,方
便用户快速查找数据,可实现多约束条件、多数据源、 围绕农业单品全产业链,本文提出了一个全产业
第1期 顾君等:农业单品全产业链大数据平台设计与实现 77

图3 数据分析
Fig.3 Data analysis

图4 数据分析可视化
Fig.4 Data analysis visualization
78 农业大数据学报:专题——农产品单品种大数据 第3卷 第1期

图5 农业产业结构与自然资源禀赋协调性分析
Fig.5 Analysis on the coordination between agricultural industrial structure and natural resources endowment

图6 农产品监测预警阈值
Fig.6 Threshold of agricultural products monitoring and warning
第1期 顾君等:农业单品全产业链大数据平台设计与实现 79

图7 智能报告全产业链知识体系
Fig.7 Intelligent report whole industry chain knowledge system

图8 产业报告生成类别
Fig.8 Industry report generation category

链大数据平台框架设计。平台按照产前、产中和产后 参考文献
构建形成多维度关键环节数据指标体系,实现对农业 [1] 朱耿,朱占峰,朱一青,等 . 新时代农业全产业链大数据建设
模式探索——以浙江省为例[J]. 物流工程与管理,2019,41
单品全产业链数据的自动采集、动态更新、多源数据
(11):117-121.
存储、数据治理,为产业链上相关主体提供及时的产
Zhu G, Zhu Z F, Zhu Y Q, et al. Research on the Big Data
业数据可视化分析、产业监测预警、产业智能分析报 Construction Model of Agricultural Whole Industry Chain in
告,有效指导生产、加工、流通,促进生产和市场平稳 the New Era: A Case Study of Zhejiang Province[J]. Logis‐
运行,为促进产业平稳发展提供信息服务和数据支 tics Engineering and Management, 2019,41(11):117-121.

撑。通过在贵州省的相关应用实践表明,平台结构合 [2] 田剑英 . 农业全产业链融资方式与完善对策——基于浙江


省 55 条 农 业 全 产 业 链 的 调 查 与 跟 踪 研 究 [J]. 经 济 纵 横 ,
理,功能丰富,性能优越,对同类平台的建设具有参考
2018,(9) : 112-121.
价值。下一步将加强平台上数据驱动模型的开发,提
Tian J Y. Financing Methods and Countermeasures for the
升平台用户界面的友好性,更好地发挥大数据在农产 Agricultural Whole Industry Chain——Base on the Investi‐
品全产业链管理上的作用。 gation and Tracking Research of 55 Agricultural Whole In‐
80 农业大数据学报:专题——农产品单品种大数据 第3卷 第1期

dustry Chains in Zhejiang Province[J]. Economic Review, [8] 颜士锋 . 转型时期中国居民食品消费研究[D]. 山东大学,
2018,(9) : 112-121. 2010.
[3] 魏晓蓓,王淼“互联网
. + ”背景下全产业链模式助推农业产 Yan S F. Research on the Inhabitants Food Consumption in
业升级[J]. 山东社会科学,2018( 10):167-272. Transition China[D]. Sshandong University,2010.
[4] 崔磊 . 农业大数据建设的需求、模式与单品种全产业链推 [9] 杜宇,唐庆春 . 全产业链视角下农业大数据建设与应用展望
进路径[J]. 大数据,2019,5(05):100-108. [J]. 农业展望,2020,16(08):120-123.
Cui L. Demand and model of agricultural big data construc‐ Du Y, Tang Q C. Agricultural Big Data Construction and Ap‐
tion in China and the way to promote the whole industry plication Outlook from the Perspective of the Whole Industry
chain[J].Big Data Research,2019,5(05):100-108. Chain[J].Agricultural Outlook, 2020,16(08):120-123.
[5] 王钧,任万明 . 大数据服务农业全产业链:山东的实践与探 [10] 张辉, 冯晓, 王来刚, 等 . 花生大数据平台建设研究和展望
索[J]. 信息技术与信息化,2018(9):172-173. [J]. 农业大数据学报, 2020, 02(01):45-52.
[6] 王传岐 . 浅析如何实现农产品全产业链大数据建设[J]. 种 Zhang H, Feng X, Wang L G, et al. Establishing a Peanut
子科技,2019,37(14),164-168. Big Data Platformin China: A Proposal and Applications[J].
[7] 陈亚东 . 我国苹果产业数据资源建设与整合研究[D],中国 Journal of Agricultural Big Data, 2020, 02(01):45-52.
农业科学院,2016. [11] 徐静 . 我国生鲜农产品有效供给保障研究[D]. 江苏大学,
Chen Y D. Study on Construction and Integration of Data Re‐ 2016.
sources of Apple Industry in China[D]. Chinese Academy of Xu J. Effective Supply Insurance of Chinese Fresh Agri-
Agricultural Sciences Dissertation,2016. products[D].JiangSu University,2016.

You might also like