(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210749992.2 (22)申请日 2022.06.29 (71)申请人 南京理工大 学 地址 210094 江苏省南京市玄武区孝陵卫 200号 (72)发明人 刘佳昱　刘天乐　常家宁　白宏阳　 陶家璇　唐雷　宋孜烨　彰彬　 岳子豪　 (74)专利代理 机构 南京理工大 学专利中心 32203 专利代理师 薛云燕 (51)Int.Cl. G06V 20/56(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)H04N 7/18(2006.01) H04N 5/232(2006.01) (54)发明名称 一种空地一体化植物生长状态智能感知系 统及方法 (57)摘要 本发明公开了一种空地一体化植物生长状 态智能感知系统及方法， 该系统包括无人巡视 机、 无人巡视车、 智能图像监测云台、 智能APP和 服务器。 方法为： 首先用户在智能APP上设定无人 巡检车、 无人巡检机的巡检轨迹进行巡检巡检； 然后智能图像监测云台进行数据采集， 将采集到 的植物图像树莓派进行检测与识别， 树莓派驱动 机械臂偏转使喷洒系统对准喷洒目标， 对目标病 虫害完成对应农药的喷洒； 用户通过智能AP进行 问题咨询和交流， 实现作物生长、 采摘、 销售以及 运送的一条龙式服务。 本发明操作简单、 功能齐 全、 病虫害识别精度高、 成本低、 对环境污染小， 提高了作物生产、 采摘、 销售和运送的效率。 权利要求书4页 说明书9页 附图6页 CN 115187943 A 2022.10.14 CN 115187943 A 1.一种空地一体化植物生长状态智能感知系统， 其特征在于， 包括无人巡视机、 无人巡 视车、 智能图像监测云台、 智能AP P和服务器； 所述无人巡检车、 无人巡视机， 包括导航定位模块和控制模块， 用于进行路径规划和自 动巡检； 所述智能图像监测云台包括摄像机、 局域网接口、 机械臂、 喷洒装置和树莓派， 安装于 无人巡检车上， 用于收集病虫害植物图片， 进行病 虫害识别， 得出对应的解决方案， 操纵机 械臂完成对病虫害的治理； 所述智能APP为人机交互系统， 安装于用户终端， 包括专家在线模块、 生长监测模块、 病 虫防治模块、 采摘应答模块、 一键送达模块和立体化销售模块， 为用户提供可视化操作界 面； 所述服务器用于存 储智能AP P的交互数据。 2.根据权利要求1所述的空地一体化植物生长状态智能感知系统， 其特征在于， 树莓派 搭载摄像机以超高 帧率， 进行每秒100次的数据采集， 利用树莓派搭载的传输算法将采集到 的植物图像压缩， 通过局 域网传输到电脑端， 电脑端的对接算法对图像进行解压后导入数 据库； 通过控制摄 像机的角度， 保证图像的规整度， 减少叶片倾 斜度对监测结果的影响； 所述的局域网接口根据物理位置和距离情况制作网线， 并且通过测试确保网线的连通 性； 网线采用平行布线 方式和交叉布线方式， 平行布线方式用于不同种类设备的互联， 交叉 布线方式用于同一类型设备 的互联， 各设备能识别平行布线方式和交叉布线方式， 智能图 像监测云台和用户电脑终端之 间通过局域网进行数据交互， 此项通过树莓派传输算法和电 脑端对接算法实现； 所述树莓派将摄像机获取的病虫害视频， 通过Yolov5x算法将视频进行抽帧处理， 设置 间隔点， 保证均匀采样， 并将截取的图片通过opencv库函数cv2.imwrite保存到指定文件 夹， 采用马赛克、 mixup、 随机反转、 随机翻转、 随机剪裁、 随机旋转操作保证图片的多样性； 用labelImg工具对含有病虫害的图像进行标定， 如果得到符合VOC格式的xml数据标注， 则 对该xml数据标注进行手动解析， 得到每张图像上病虫害坐标位置对应的txt标注文件； 控 制机械臂偏转使喷洒系统对准喷洒 目标， 实现对多目标的检测与识别； 发现目标后生成喷 洒信息并传输 至智能Ap p系统中。 3.根据权利要求1所述的空地一体化植物生长状态智能感知系统， 其特征在于， 所述 Yolov5x算法模型包括骨干网络、 头 部网络和检测层； 所述骨干网络为0到9层， 分别由卷积层和跨阶段局部网络层交替构成， 跨阶段局部网 络层结构有3倍层叠和9倍层叠2种类型， 第八层为空间金字塔池化层； 所述头部网络为10到23层， 采用FPN的正金字塔结构与PAN倒金字塔结构， 由4个卷积 层、 4个C3层、 2个上采样层和4个拼接层构成， 卷积层的卷积核有1*1和3*3两种， 跨阶段局部 网络层层为3倍层叠， 上采样层为2倍上采样； 所述检测层采用GIoU_Loss作为损失函数， 共有3个检测头， 大小分别为20 ×20×255、 40×40×255、 80×80×255。 4.根据权利要求1所述的空地一体化植物生长状态智能感知系统， 其特征在于， 所述 Yolov5x算法模型， 具体如下： 待检测图像作为第一标准卷积层的输入， 将所有预测框的置信度降序排序， 选出置信权　利　要　求　书 1/4 页 2 CN 115187943 A 2度最高的预测框， 确认 其为正确预测， 并计算他与其他预测框的IOU， 根据计算的IOU去除重 叠度高的预测框， IOU>threshold阈值的预测框直接删除， 剩下的预测框返回进行预测框的 置信度降序排序， 直到 没有剩下的预测框为止， 依次级联后输出特征图， 用于找到最佳的目 标边界框， 消除冗余的边界框 。 5.根据权利要求1所述的空地一体化植物生长状态智能感知系统， 其特征在于， 所述智 能图像监测云台包括跟踪图像、 控制两大功能； 所述控制界面设置以下两种控制指令： 1)通过监控软件直接手动控制机械臂转台， 包括向上、 向下、 向左、 向右、 左上、 左下、 右 上、 右下八种指令； 2)根据所跟踪目标的位置， 设置 机械臂的俯仰角和偏航角参数自动控制机 械臂转动； 所述目标跟踪控制界面设置以下两种控制命令： 1)开启手动跟踪指令， 操作人员在病虫害图像显示界面中手动框选目标， 树莓派在识 别出框中目标后发送智能图像监测云台控制指 令， 控制智能图像监测云台上的摄像机进 行 跟踪； 2)开启自动跟踪指令， 操作人员通过标注计算选择监测中置信度最高的目标， 树莓派 发送指令控制智能图像监测云台上的摄 像机进行跟踪。 6.根据权利要求1所述的空地一体化植物生长状态智能感知系统， 其特征在于， 所述智 能App， 分为用户和管理员两个权限； 所述用户权限用于查询作 物在种植过程中不同阶段的 病虫害特征， 并且根据不同的特征查询解决解决方案； 所述管理员权限用于对服务器数据 库中存储的数据进行增 加、 删除、 修改操作； 所述智能App系统采用分层次的设计策略， 浏览器向服务器发出请求， 服务器访问数据 库， 数据库给服务器结果， 服务器返回至浏览器； 所述智能App 包括专家在 线模块、 生长检测 模块、 病虫防治模块、 采摘应答模块、 一键送达模块和立体化销售模块； 所述智能App基于 Android系统， 设计简单易懂的人机交 互界面， 使用JA VA语言开发； 所述专家在线模块， 通过上传图片视频至专家， 专家进行知识解答； 所述生长监测模 块， 展示小车拍摄的作物生长状态； 所述病虫防治， 控制机械臂和喷洒装置进行病虫害防 治； 所述采摘应答模块， 根据用户需求， 在收获时间段进行劳务人员召集， 提供作物采摘收 割信息交流； 所述一键送达模块， 通过转接到地图导航软件进行导航， 完成定点配送； 所述 立体化销售模块， 通过联系附近商家进行售卖， 实现作物生长、 采摘、 销售以及运送的一条 龙式服务。 7.一种空地 一体化植物生长状态智能感知方法， 其特 征在于， 包括以下步骤： 步骤1、 用户根据实际需要， 在智能APP上设定无人巡检车、 无人巡检机的巡检轨迹； 无 人巡检机根据设定好的巡检轨 迹定向移动， 无 人巡检车进行 更细致化的巡检； 步骤2、 智能图像监测云台以每秒100次的数据采集， 利用树莓派搭载的传输算法将采 集到的植物图像压缩， 通过局 域网传输到电脑端， 电脑端的对接算法对图像进行解压后导 入数据库， 图像处理模块采用Yolov5模 型作为目标检测模 型， 进行对目标的检测与 识别， 通 过交叉布线 方式完成各设备的互相连接， 共享智能图像监测云台和智能APP之间的局域网， 算法的一次循环如下 所示： 步骤3、 树莓派通过处理智能监测云台传回的视频， 用l abelImg工具对含有病虫害的图权　利　要　求　书 2/4 页 3 CN 115187943 A 3