（1）参与大学生创新训练项目：基于NB-IoT与HCI的禽类智能养殖系统设计；
（2）参与科研项目：基于SLAM的鸡舍的空气消杀检测机器人。
（1）江苏省农业科技自主创新资金，CX（21）3058，规模化养鸡场环境与鸡健康状态实时监测关键技术研发，2021/07-2023/06，主持
（2）国家自然科学基金面上项目，62072248，面向太阳能杀虫灯物联网的核心问题研究，2021/01-2023/12，第一参与人
（3）江苏省现代农机装备与技术示范推广项目，NJ202001，基于机器学习的规模化养鸡场智能巡检机器人关键技术研发，2020/12-2022/12，主持
（4）江苏省农业科技自主创新资金项目，CX（19）2025，设施叶菜类蔬菜生产及收获全程机械化电动化关键技术研发，2019/07-2022/06，主要参与人（5）江苏蓝溯源生态农业有限公司委托项目，黄羽鸡精细化养殖环境监测与控制系统研制，2018/07-2020/12，主持（6）南京蓝绿物联科技有限公司委托项目，农业物联网的区块链体系结构设计，2018/06-2020/12，主持（7）美国农业部NIFA-AFRI课题，571622，Mitigating environmental stress for enhanced broiler production performance and welfare，2017/03-2020/2，参加（8）教育部“云数融合 科教创新”基金，2017A10051，基于大数据挖掘技术的江苏农产品产地土壤重金属环境风险评价研究，2017/07-2018/06，主要参与人（9）国家重点研发计划子课题，2016YFD0700904，快捷悬挂系统关键技术的开发，2017/01-2020/12，主要参与人（10）中央高校基本科研业务费自主创新重点项目，KYTZ201606，基于ENVI和视觉技术的茶树霜冻灾损测度研究，2016/01-2018/12，主持（11）江苏省农机三新工程项目，NJ2015-10，谷物联合收获机自动导航及测产系统开发与应用，2016/01-2018/12，参加（12）新三板上市公司深圳般若计算机系统股份有限公司委托项目，气象网格化计算系统设计，2016/01-2017/12，主持（13）中国博士后科学基金，2015M571782，基于3S技术和并行计算的水稻飞虱灾损测度研究，2015/06-2017/12，主持
（14）江苏省农机基金，基于视觉技术的水稻飞虱灾害损失测度模型研究，2014/12-2017/12，主持
指导老师邹修国为项目提供技术指导和启动经费支持
2011-2019年期间，我国蓝莓产业市场需求量总体增长，年均复合增速高达50%，蓝莓供给的短缺与蓝莓的高需求，带来庞大的利润，同时也刺激着蓝莓种植业的技术革新。目前，我国蓝莓产业已初步形成规模化、产业化、商业化发展趋势，但在产业生产标准化、技术专业化、规模化与产量化方面相对落后。蓝莓产业链条不完善，技术水平低，其中蓝莓的采摘作业是蓝莓生产链中最耗时、最耗力的一个环节，工作量约占总环节的40%，采摘费用占蓝莓制品总成本的比例约为33%-70%；采摘果实损失率高，掉落率高，造成资源浪费。总的来说，我国蓝莓种植规模与采摘效率发展不平衡，现有技术无法满足规模化采摘需求，蓝莓采摘的机械化、智能化程度亟需提高。
团队拟结合实时国情与实际情况，基于双目视觉系统与深度学习算法，实现了一款蓝莓采摘机器人的开发，以便于适应不同种植环境的作业要求。对蓝莓进行精确识别、定位与采收，减少采收时间，降低采摘成本，避免野蛮采摘，实现安全采摘；基于硬件Jetson TX1平台实现了蓝莓分级检测，滤除缺陷蓝莓，保证蓝莓品质，提高采收效率与经济效益。
（1）基于STM32单片机及ROS，搭建蓝莓采摘机器人整体框架与控制系统。
（2）应用SLAM技术及ROS操作系统实现机器人的定位导航。
（3）采用双目摄像机标定及视差测距法确定蓝莓空间位置。
（4）应用深度学习算法自动准确的实现蓝莓识别，并实现缺陷蓝莓个数的检测。
（5）使用MATLAB/GUI开发界面，设计面向企业应用的人机交互界面。
针对蓝莓采摘量大、效率低等问题，本项目拟开发智能化的蓝莓采摘机器人。根据蓝莓的物理特性设计出一款蓝莓采摘机械手并对末端执行机构进行建模分析。利用采摘设备、图像技术对蓝莓进行识别，双目摄像机对蓝莓进行定位。通过运动学正逆解等技术对采摘过程进行研究，设计一套机器人控制系统。同时，基于机器视觉技术，结合蓝莓的外观特征和生长特征，开发了蓝莓质量检测系统。
本项目的主要研究内容如下：
（1）簸箕式蓝莓采摘机械手的三维仿真分析及运动控制
根据蓝莓的生长特性与采摘方式，首先利用 Pro/Engineer 三维软件，完成蓝莓采摘机械手的三维实体建模，将 Pro/E 软件中的模型导入到ANSYS Workbench软件中，运用高级仿真模块进行有限元分析，根据其三维模型指导物理样机的零件加工与装配；采用D-H坐标系，运用MATLAB机器人工具箱，对机械臂进行正逆运动学分析，最后运用插值算法进行路径规划。
根据项目需求与实际情况，机器人采用二级主从式结构控制方式。在Jetson TX1上搭建 ROS系统，实现系统管理、语言编译和人机交互接口,以STM32 控制板为核心实现底层电机控制，机械臂控制及激光雷达、双目摄像机等各类传感器的采集与反馈。使用 labelImg 标注工具按 PASCAL VOC 数据集的标注格式对图片进行标注。进行灰度化与去噪处理，采用数据增强等手段避免过拟合，建立蓝莓识别样本库。
（3）基于Faster R-CNN 算法的蓝莓识别和基于双目视觉系统进行蓝莓定位
以手工标记的蓝莓数据集作为训练集，采用神经网络模型进行训练，建立基于Faster R-CNN 算法的蓝莓识别模型，最后对模型采用端到端的联合训练方法进行训练，实现蓝莓识别。利用双目设备对目标蓝莓的采摘点进行三维空间定位，摄像机采用张氏标定法进行标定，通过视差测距法和MATLAB相结合获取大致采摘的点位置。
根据其蓝莓创面的颜色、质感，研究蓝莓特征提取方法；基于Tensorflow平台，结合RGB色彩系统与MobileNet网络技术识别统计具有缺陷的蓝莓个数。同时设计蓝莓检测系统与人机交互界面，选择面向企业（To Business）的形式进行设计，基于MATLAB/GUI这个图形用户开发界面工具，设计了面向企业应用的人机交互界面，设计更友好的交互界面，获得更快速、直观的实时应用。
果蔬采摘机器人是针对果实自动收获过程，通过编程实现水果识别、定位、采摘,具有感知能力的自动化机械收获系统[1]。其融合机械结构、图像处理、机器人运动学与动力学、传感器技术、控制技术及信息处理等多领域知识，是一项复杂的系统工程。果蔬采摘及人在解决劳动力不足、提高果实采摘效率方面有着不俗的价值与巨大的潜力。从现有的果蔬采摘机器人研究水平来看,对于采摘对象生理特性、生长环境、栽培模式等的不同，机器人的具体组成各有特色。但其系统的基本结构已经确立，是由信息感知系统、机械臂系统、末端执行器、控制系统、移动系统等四部分组成。针对各部分的关键技术，国内外很多专家和学者已经做了许多研究工作，取得了不错的成果。现今的研究方向，主要基于机械、传感、控制这三大基础部分，集中研究结构开放化、人机交互界面人性化、果实识别及路径规划系统智能化三方面。
蓝莓的采摘难度很大，因此研究一种高效率、低损伤率且适合我国蓝莓种类采摘方法十分重要。对蓝莓采摘机器人，最重要的结构是末端执行器，而果实的物理特性以及采摘形式决定末端执行器的各项设计参数。通过改变末端执行器的设计与采摘参数，也可推广向其他水果的采摘。现有对于果实采摘方式的研究主要集中在人工方法，吸收式采摘，振动式采摘，机械手采摘、梳齿式采摘等采摘方式。
日本近藤[2]等研制出适于高架栽培的草莓采收机器人装置，末端执行器采用真空气吸加刀片切割器，采摘时末端执行器吸附并固定草莓，腕关节移动使果柄进入适当位置，切割器切断果柄部。岐阜大学和日本国立蔬菜茶叶研究所开发了茄子采摘机器人，其末端执行器主要包括四个手指、两个吸嘴、两个诱导杆、光电传感器及气动剪[3]。
我国蓝莓采摘基本上属于人力劳动方式，其中以梳齿状的手工采收机械最为普遍，同时。对于采摘后蓝莓的筛选和分类，也依靠人工劳作，成本高，效率低。鲍玉东[4]等人研制了 GYL062 型牵引振动式蓝莓采摘机，采摘部分与常规拖拉机的悬挂连接，适宜工作频率下采摘效率为7.17kg/min，是人工采摘的10倍,但树枝总体损伤率达到30%。王业成[5]等人对黑加仑采摘，以振动的方式采摘果实并建立了采收率与振动频率、振幅、激振位置关系的数学模型，实现采收率达95%，且无果实损伤。王海滨[6]等设计了一款基于槽型凸轮传动的蓝莓采摘机，其采用“反转法”推导凸轮廓形曲线，利用“角分线法”设计采摘系统末端执行装置，设计样机进行试验，实现成熟果实达到采净率 83% 、果实损坏率 3. 1% 。
采摘开始之前，首先要完成工作对象的识别与定位，这是采摘机器人研发的重点部分，决定了采摘效率。视觉系统采集图像后，通过图像处理算法，实现数据获取、三维定位、空间匹配三项功能，同时通过计算得出空间坐标，再传递给控制系统，指导末端执行器完成抓取、切割等工作[7]。在本系统中，果实识别与果实定位精确度是影响果实采摘效率的两个关键因素。现有研究主要集中在提高识别工作目标的精确性这一方面，致力于解决识别时间长、精度低、夜间识别困难等问题，适应采摘机器人复杂多变的作业环境。现有的定位方法有激光定位、红外测距、超声传感、单目视觉、双目视觉、多目视觉等方法。
Kassay[8]等把立体视觉方法引入到了 AUFO 采摘机器人中。其执行器上固定两个CCD 相机进行图像收集，对图像二值化处理，通过边缘检测、Hough变换与立体匹配，提取目标三维坐标。西班牙 Jiménez[9]等设计了一种基于激光的球形果实检测系统，通过激光测距仪获得果实的反射图像与信息图像，再经过整合对图像进行特征提取，由Hough 果实空间坐标。意大利的BuemiF等[10]设计了西红柿采摘机器人,基于色彩与饱和度进行图像分割，对同一场景不同图像进行匹配，得到空间信息，实现了90%的成熟西红柿检测。
李国利[11]等（2015）提出了一种在果实不稳定条件下进行识别与定位的新方法。通过单目视觉技术和超声波检测技术的结合使用，能够消除在采摘过程中果实震荡的影响，精确判断出精确的定位并分析最佳采摘位置。通过试验测得该方法的成功率达到为 86%。 项荣[12]等完成了在不同距离下提取成熟番茄的三维图像，将彩色图进行二值化处理得到灰度图，实立体匹配与深度图像的提取，对比番茄形心在深度图中的分布计算其空间坐标，从而实现机器人的自动采摘。熊俊涛[13]等人基于双目立体视觉建立了荔枝采摘机械手视觉定位系统。对成熟荔枝的颜色特征进行分析,选取YCb Cr颜色模型进行处理,利用otsu算法结合模糊C均值聚类法（FCM）对荔枝果实和果梗进行了分割。吕继东[14]等利用单目视觉技术进行苹果果实的空间定位。机器人接近苹果果树时相机间隔拍摄两幅图片，经过处理可得果实中心位置。计算采摘机器人行走距离，通过计算通过三角形原理得到果实空间位置。王粮局[15]等提出基于视觉伺服的草莓采摘机器人果实定位方法，对于垄作栽培草莓，采用摄像机曝光信号触发控制卡进行高速位置锁存，采用运动恢复结构的方法推导出较为精确的果实采摘参数，定位时间在0.633~0.886s之间，相对误差在-4.34%~0.95%范围内。
采摘时，机器人对果实进行精确定位，并控制移动底盘移动到目标处。采摘工作在田地、果园、大棚等复杂环境进行，工作环境比采摘机械手的工作环境要复杂，属于非结构化环境，这就对移动平台稳定性与自动化水平提出了较高要求，其运动性能直接影响整个采摘机器人系统的性能。移动平台导航技术研究目的主要是为了使农业装备具有自定位、自走能力,进而实现自动化、无人化作业。自主导航功能作为采摘机器人的关键技术之一，主要研究移动机器人位姿估计、环境感知与重建和路径规划三个问题[16]。其导航方式主要分为基于路标导航、基于地图导航、基于视觉导航、基于感知器导航等，其中视觉导航是现今的研究热点。
Stanford机器人研究中心[17]研发了第一台真正意义上的移动机器人Shakey，其搭载有摄像头、激光测距以及触觉传感器，主要研究机器人在复杂环境下的感知、运动规划和控制问题，为自主移动机器人的发展提供了通用框架。Matthies[18]等开发了战术侦察机器人Urbie，可应对楼梯或坑洼路面等非结构环境，基于一种两轴扫描激光测距仪，实现了地图绘制和立体视觉避障、视觉伺服跟踪等功能。温淑慧[19]等人设计了基于ROS的移动机器人自主建图与路径规划系统。他们利用Gmapping算法实现机器人的自主定位与建图，通过激光雷达获取周围环境信息,利用IMU获取机器人的姿态和加速度信息,基于头尾双向搜索的A*算法和DWA算法完成全局路径规划和局部避障工作。张声成[20]等人采用基于改进Rao－Black-wellized 粒子滤波SLAM 用于机器人在未知环境中实现同时定位和建图，通过激光雷达扫描匹配建立栅格地图，采用 A* 和DWA 算法对建立的栅格地图进行全局路径规划和局部动态避障。李贵亚[21]等使用粒子滤波器作为核心算法对 SLAM 问题进行求解，基于ROS系统与Kinect视觉传感器，使用梯度下降的扫描匹配算法及基于频率的地图绘制算法对 SLAM 过程进行了实现。
蓝莓采摘机械手在采摘过程中,由于果实非结构化的特殊生长环境，工作目标和障碍物的分布杂乱无章，影响着蓝莓采摘的效率与精确度。因此，对机械臂进行避障路径规划是一项关键性工作。现有研究主要将机械臂运动规划算法分为三类：以 Dijkstra 算法、A*算法和人工势场法为代表的基于图的搜索算法，以 PRM 和 RRT 算法为代表的基于采样的规划算法，以遗传算法、神经网络和强化学习为代表的智能规划算法。
Lazona-Perzel [22]在19世纪80年代提出了基于C-空间的自由空间法。以机械臂关节轴坐标系建立C-空间并映射阻挡物形成障碍，其补集即为自由空间，再应用启发式搜索算法进行路径规划。姚立健[23]等人提出了一种茄子收获机器人机械臂在笛卡尔空间的避障方法。将空间障碍物等效为可以用数学建模的圆柱扇环,将三维空间转化为二维空间，提高了控制的实时性;将障碍从工作空间转换到C-空间中,使对机器人的控制直接作用于关节，避免了使用雅可比逆阵进行复杂的坐标转换。将C-空间映射到图像矩阵中,通过对图像进行适当的处理,规避了在使用A*算法寻优时可能出现的失败。张占宾[24]等直接运用ROS系统即实现了对机器人的碰撞检测、运动路径规划和操作控制等，实现了机械臂对指定位置物体的自动抓取与运送。
[1]顾宝兴. 智能移动式水果采摘机器人系统的研究[D]. 南京农业大学, 2012.
[2]Kondo N, Monta M, Arima S. Strawberry harvesting robot on hydroponic system. In: Preprints of 3rd IFAC/CIGR Workshop on Artificial Intelligence in Agriculture. 1998. 194-198.
[3]Hayashi s, Ganno K, Ishii Y. Machine vision algorithm of eggplant recognition for robotic harvesting. J SHITA, 2001, 12: 38- 46.
[4]鲍玉冬, 李志鹏, 郭艳玲, 等. 振动式蓝莓采摘机对果实收获的影响试验[J]. 湖南农业大学学报, 2014, 40(01): 96-100.
[5]王业成, 陈海涛, 林青. 黑加仑采收装置参数的优化[J]. 农业工程学报, 2009, 25(3): 79-83.
[6]王海滨, 李志鹏, 姜雪松, 等. 基于槽型凸轮传动的蓝莓采摘机设计与试验[J]. 农业机械学报, 2018, 49(10): 80-91.
[7]李强. 苹果采摘机器人视觉系统研究[D]. 兰州理工大学, 2017.
[8]Dale Whittaker,G. E. Miles,O. R. Mitchell, et al. Gaultney. Fruit Location in a Partially Occluded Image[J]. Transactions of the ASAE,1987,30(3)
[9]AR Jiménez, Ceres R, Pons J. A vision system based on a laser range-finder applied to robotic fruit harvesting[J]. Machine Vision and Applications, 2000, 11(6):321-329..
[11]李国利, 姬长英, 顾宝兴. 基于单目视觉与超声检测的振荡果实采摘识别与定位[J]. 农业机械学报, 2015, 46(11): 1-8.
[12]项荣, 应义斌, 蒋焕煜等. 基于双目立体视觉的番茄定位[J]. 农业工程学报, 2012, 28(05): 161-167.
[13]熊俊涛, 邹湘军, 彭红星等. 荔枝采摘机械手视觉定位系统设计[J]. 农业机械学报, 2012, 43(S1): 250-255.
[14]吕继东. 苹果采摘机器人视觉测量与避障控制研究[D]. 江苏大学, 2012.
[15]王粮局, 张立博, 段运红等. 基于视觉伺服的草莓采摘机器人果实定位方法[J]. 农业工程学报, 2015, 31(22): 25-31.
[16]闫树兵, 姬长英. 农业机器人移动平台的研究现状与发展趋势[J]. 拖拉机与农用运输车, 2007(05): 13-15.
[17]Raphael B. Robot Research at Stanford Research Institute[R]. STANFORD RESEARCH INST CA, 1972.
[18]L Matthies, Y Xiong, R Hogg, et al. A portable, autonomous, urban reconnaissance robot[J]. Robotics & Autonomous Systems, 2001, 40(2-3): 163-172.
[19]温淑慧, 问泽藤,等. 基于ROS的移动机器人自主建图与路径规划[J]. 沈阳工业大学学报, 2022, 44(01): 90-94.
[20]张声成, 蒋永翔, 孙宏昌等. 清雪机器人自主定位与导航系统设计与开发[J]. 机床与液压, 2021, 49(21): 73-78.
[21]李贵亚. 基于立体视觉的机器人SLAM算法研究[D]. 哈尔滨工业大学, 2015.
[22]Lozano-Perez, T. Automatic Planning of manipulator transfer movement. IEEE Transaction on System Man and Cybernetics, 1981, SMC-11,1981:681~698
[23]姚立健, 丁为民, 陈玉仑等. 茄子收获机器人机械臂避障路径规划[J]. 农业机械学报, 2008(11): 94-98.
[24]张占宾, 李小坚. 带移动底盘的机械臂控制系统设计[J]. 工业控制计算机, 2018, 31(09): 90-91.
本项目的主要创新点与特色如下：
（1）设计一种簸箕式蓝莓采摘机械手的末端执行装置，利用 Pro/E 三维件建模，进行有限元分析元件与运动学分析，验证末端执行机构设计的合理性。
（2）采用SLAM算法实现未知环境的同时定位与建图，并通过A*和DWA算法在地图中进行底盘的路径规划和动态避障，提高定位精度与算法实时性。
（3）在蓝莓识别方面，采用Faster R-CNN 算法，以手工标记的蓝莓数据集对ZF-Net特征提取网络进行训练。该算法在检测速度方面有极大优势，在果实识别领域内效果极好。
（4）选用新兴的MobileNet技术，建立蓝莓分级检测模型，其具有更少的计算量，解决了深度卷积层中信息丢失的问题，在移动端与嵌入式设备中有较好的应用。
本文以果园栽培模式下的簇生蓝莓果实为研究对象，针对其栽培模式、生长状态，进行采摘机器人总体方案的设计；其次，针对蓝莓果实的物理学特性与生长状态，进行识别算法的改进和空间坐标的获取方法的研究；最后根据结合硬件平台，进行基于蓝莓缺陷程度的分级检测算法研究。具体技术路线如下：
图1 技术路线图
5.1.1 整体结构设计
①在果园作业时主控制器通过RS232采集双目摄像机拍摄的果树行间图像与果树图像,进行处理、识别并提取视觉导航参数，然后再采集激光雷达信号，并将视觉导航信息和雷达定位信息进行融合并决策分析,进而实现自主导航。若双目摄像机检测到存在障碍，主控器根据障碍信息、深度信息、方位信息、环境信息、位姿信息等进行智能决策并避障。
②当双目摄像机采集到成熟蓝莓果实的图像后,主控制器发送电机停转指令,移动平台停止运动，同时控制指令机械臂旋转至制定图像采集位姿，双目视觉装置开始采集蓝莓灌木各部分图像。
③完成果树实时图像收集后,主控制器对成熟蓝莓果实进行识别和空间定位,进行手眼标定、坐标系转换并根据果实的坐标规划机械臂避障运动路径与正逆运动学求解。
④机械臂运动时，上位机通传感采集装置采集压力数据，向末端执行器控制器发布运动指令，控制簸箕状末端执行器到果实定位点下方 3cm 处缓慢上升，使蓝莓簇受力而脱落，掉落在簸箕式末端执行器的收集器中，通过压力传感器比较阈值以调节钢尺间距。
视野范围内成熟蓝莓采摘完毕,机械臂复位，系统重复进行上述流程；当上位机检测到果树减少至消失,说明移动平台到达边缘，移动平台转向。装置到达终点时,采摘流程结束。
硬件选型：
Jetson TX1是一款快速高效的嵌入式AI计算设备，体积小，功耗低，非常适合移动机械臂等智能边缘设备。拥有更强大的深度学习性能，满足常用的深度学习模型训练。使用英伟达高性能计算单元，读取速度是Xavier Nx和Jeston nano的10倍以上，运算性能比Jeston nano提升了不止一倍,价格适中，比Xavier Nx便宜的多，是机器人开发的理想选择。树莓派在移动机器人上可以用于简单的入门学习，但是无法跑默认的深度学习算法。
二级主从式结构控制方式：
在Jetson TX1 上单张图片的检测时间相比工控机上单张图片的检测时间提升巨大。 同时 ROS 就是一个分布式的软件框架，可以方便的实现多机间的协同工作，因此采用二级主从式结构控制方式，其特点是实时性好,对高速和高精度控制具有较好的适应性。
上层主控计算机基于Jetson TX1开发板的ROS操作系统进行系统管理、人机接口、图像处理、路径规划、智能决策等。下位机基于STM32F407VET6进行控制，负责机械臂运动控制、末端执行器运动控制、智能移动平台运动控制、果树图像及路面导航图像采集、信号采集。
分层设计方法：
跟据Saridis分级递阶智能控制理论，将蓝莓采摘机器人各个层级进行分层设计，分别为：用户层、处理层、执行层。用户层主要包括桌面端及手机端 APP的开发，进行可视化的操作，便于用户进行控制并监视，实现便携的人机交互。处理层是系统是数据交互的核心，在主控制器中对多种传感数据进行融合处理与智能决策，实现机器人的图像识别、颜色识别、定位导航、路径规划等核心工作。执行层接受处理层的指令并进行解析，生成电机控制信号，并实现实时反馈；同时借助各传感器模块对环境信息加以收集，便于执行单元完成移动和采摘的工作。
图2 系统架构图
果实识别和定位系统：主要由双目摄像机、USB接口和主控制器构成。选用深度相机获取深度信息，采取“眼在手”的相机安装方式实现机械臂精确控制，相机搭载于机械臂末端，同机械臂共同运动；使用基于位置的视觉伺服（PBVS）控制方法，根据当前位姿和目标位姿通过控制器控制机器人运动，形成闭环控制。
在Jetson TX1 上安装Ubuntu 18.04及ROS Kinetic、相机驱动程序和相关的 ROS 程序包，并使用一种AR标签识别技术进行辅助定位。摄像机采集果树图像,并通过USB接口将采集到的原始图像传输到主控制器,采用深度学习算法处理实时图像信息，识别得到成熟蓝莓果实；进行手眼标定来获取两坐标系的转换关系，解算出果实在机械臂基坐标系下的空间位置。
智能移动平台导航系统：主要由双目摄像机、思岚RPLIDAR A1激光雷达、陀螺仪、超声波避障传感器和主控制器构成。双目摄像机采集实时路面信息,并通过USB接口将采集到的果园路面图像传输到主控制器,在主控制器中对路面图像进行处理,同时基于激光雷达即时定位与地图建模，完成SLAM的建图与路径规划。而在无遮挡、环境结构化的情况下,采取简单的循迹与避障算法自动巡线行驶。
机器视觉导航受环境光影响较大，在暗处无法工作,导航精度不是很理想,但获取的数据量大,适用于复杂环境且成本较低。激光雷达导航测量精度高、响应速度快、抗干扰力强且全天候都能使用，但障碍物增多无法灵活避障。由于果园行间路面的非结构环境,采用机器视觉和激光雷达多传感器融合的方式进行果园导航。
机械臂系统:主要包括大扭矩步进电机并联机械臂、簸箕式采摘机构、Astra系列深度摄像头三部分。移动底盘与机械臂通过 RS232 接口与主控制器相连，可接受指令并发送数据。深度相机通过 USB 接口连接在 Jetson TX1 上。机械臂通过支架与移动底盘相连接，中部空间用于放置各种设备。
在主控制器上安装机械臂和机械手相关的驱动程序和软件包，实现机械臂和末端机构的控制以及和移动底盘的通信。机械臂伺服控制系统通过RS232发出运动指令，单片机控制驱动电机实现机械臂运动，机械臂各处的编码器对关节位姿进行实时反馈，确保正确的运动规划。末端执行器控制系统采用串口通信，通过压力传感器反馈实时压力数据以调节钢齿间距，由上位机（Jetson TX1）与下位机（STM32F407VET6 ）协作完成采摘工作。
驱动控制系统:采用STM32F407VET6 运动控制板作为下位机主控制器。通过 RS232 接口与主控制器进行通信，发送运动信息并接收运动控制指令；同时，通过伺服驱动器控制伺服电机，对智能移动平台、采摘机械臂、末端执行器进行底层驱动控制，实现底盘行走、机械臂运动、梳齿间距调整等操作。
本项目各个功能规划为节点，在ROS Master节点管理器注册后，由Ros Master对各个功能节点进行管理，并且任意节点可以通过消息或话题的形式进行通信。节点包括自主导航与定位节点、运动控制节点、避障节点、图像采集节点、图像处理节点、图像显示等节点。本次通信基于ubuntu18.04运行，在该操作系统下进行建立工作空间、各个模块所在功能包文件夹、设置环境变量以及导入各模块所需C++或py算法等操作。上位机通信流程见图3。
①图像采集节点：进行摄像头驱动，获取从双目摄像机采集的蓝莓图像，并对图片进行坐标变换定位，分级测量等操作后，以topic为通道传输图像Message供给图像处理节点和图像显示节点进行订阅。
②图像处理节点：完成对蓝莓的识别和分级检测。
③图像显示节点：完成蓝莓图像采集和处理之后，该节点订阅消息，使用户可以远程查看蓝莓图像和蓝莓数据。
④建图和定位节点：获取激光雷达、双目摄像机、陀螺仪等传感器采集的信息后，采用基于激光雷达的gmapping算法和move_base功能包完成SLAM的建图定位和路径规划。
⑤运动控制节点：上位机将路径规划生成的移动控制指令给下位机底盘电机控制程序，驱动电机控制机器人行驶到目标蓝莓位置。
⑥避障节点：采集由超声波模块采集到的信息后发布关于障碍物位置信息的话题，由运动控制节点订阅。
⑦机械臂控制节点：采集到图像数据之后发布控制指令给电机以及舵机等功能模块。
图3 通信设计
根据采摘机械手的设计原则，以及蓝莓植株的生物学特性、采摘需求及其生长环境的特点，对蓝莓采摘的末端执行机构进行设计，使得机械手能够满足一系列采摘与存取蓝莓的工作，并且避免对蓝莓造成较大的伤害。
首先，对蓝莓生长环境及物理特性进行分析。本项目研究对象为果园种植模式下的矮从蓝莓，密植果园较大程度地节约土地,改变以往粗放的管理方式;成熟后果实沿枝条单粒或成簇生长，一簇7-10颗浆果，表皮鲜嫩而易损，不易单粒采摘。生长环境较为复杂，其植株为多年生灌木浆果果树，树高约为30-50cm，株行距为0.5m*2m。针对以上特点，结合相关文献与民间已有工具，提出一种簸箕式末端执行机构。机械臂模拟人工采摘的过程，沿着蓝莓簇生长方向将镂空式设计的钢齿插入到蓝莓树枝下，通过挤压的方式摘取蓝莓，蓝莓脱离枝干后，自然滑落到蓝莓收集器中进行存放。
其次，分析蓝莓的采摘力学参数，验证末端执行器的结构合理性。采摘机构自身的性质和与植株的相互作用关系共同决定了蓝莓的采摘效果。分别测量蓝莓的生长特征参数、形状大小、夹紧力大小、破损压力与果梗结合力等，得出足够的力学参数，为采摘机构的设计提供理论支撑。利用游标卡尺对蓝莓果实及枝梗直径进行多次实地测量并取平均值，得到蓝莓生物学特征参数；运用微控电子拉压试验机，对蓝莓进行挤压试验、拉压试验，由STC-100力学传感器返回的压力值参数确定蓝莓损伤的最小拉力与果梗结合力。
图4 民间采摘装置
再利用 Pro/Engineer 三维软件，完成蓝莓采摘末端执行器的三维实体建模；再将建好的模型导入ANSYS Workbench 软件，进行末端执行机构的静力学分析。具体流程如下：
蓝莓采摘机械手建模。目前主要的三维设计软件有Unigraphics NX、Pro/ENGINEER、Solid Works、CATIA等。Pro/Engineer作为领域的新标准而得到业界的认可和推广，是现今主流的CAD/CAM/CAE软件之一。通过Pro/E，完成蓝莓采摘机械臂的三维建模。主要流程为整体结构设计、实体建模、虚拟装配、干涉检验、仿真分析五部分。
蓝莓采摘机械手的 ANSYS 有限元仿真模拟 。有限元分析（FEA）是一种计算机分析系统，将求解区域分开为依照节点相连的微小单元，给定其每部分初始状况，用有限数量的未知量去逼近无限未知量，得到真实解。首先，将Pro/E 软件中机械手简化三维模型模型导入 ANSYS Workbench 软件中，对模型进行有限元分析；接着，在Static Structure模块中定义材料参数，跟据蓝莓采摘实际需要，定义模型的接触关系；之后再进行网格划分，模型网格划分越细，则计算的精度越高，跟据蓝莓采摘机构特点，选用 3D 四面体网格及自动划分法；然后，模拟蓝莓采摘的真实场景，对模型施加固定约束及载荷分布形式；最后，得出静力学分析结果并做出分析，得出末端执行器手指的形变和应力云图。其主要流程如图6。
图6 ANSYS Workbench 有限元分析流程图
本研究运用STM32单片机作机械臂控制端，接收上位机传来的命令信号，并控制舵机以实现机械臂关节的运动，进而实现对机械臂整体硬件结构的控制。电气控制结构设计如下所示：
图7 机械臂电气控制设计
进行机械臂的运动控制，需要对机械臂进行运动学分析，具体分析步骤如下：
建立机械臂运动学方程。考虑运用D-H坐标系，即在机器人的每个连杆上都固定一个坐标系，然后用齐次变换矩阵来描述空间关系。通过依次变换推导出末端执行器相对于基坐标系的位姿，从而建立机器人的运动学方程，方便对其进行进一步的运动学求解。
正逆运动学求解。运用MATLAB机器人工具箱（Robotic_Toolbox）对机械臂进行正运动学分析，推知机械臂各几何参数与末端执行器位置之间的关系；再运用逆运动学运算实现将末端执行器推进至目标位置。
采用传统的反变换法。对于四自由度关节型机械臂，采用正运动学分析所得的齐次变换矩阵求逆，实现从目标位置到各运动参数的转换。首先两边左乘机械臂关节的齐次变换矩阵的逆矩阵，然后根据等式两边矩阵中相同位置的元素相等，得到各关节的角度变量值。
通过正、逆运动学求解后，已经得到了机械臂的运动到目标位置对应的关节变量。首先需要保证规划的轨迹平滑，使得机械臂运动平稳；其次需要提升各关节的运动速度，以提升采摘的效率。
首先需要对起点到终点的轨迹进行插值，在满足约束条件的前提下规划路径；其次需要对路径进行数值解析，根据运动学原理得到一条逼近给定的路径，然后确定满足约束条件的参数，进行路径规划。
采用关节空间法，以确保运动控制的精度，避开直角坐标空间中起始点和终止点的路径形状描述。把各关节变量描述成随时间变化的函数，给定机械臂起始点和终止点的位置信息，对于各关节的变化值，通过拟合方法，将运动轨迹表示成角位移、角速度和角加速度的函数曲线。
MATLAB机器人工具箱（Robotic_Toolbox）实现插值算法，并结合ROS Moveit!功能包，把各关节变量描述成随时间变化的函数，给定机械臂起始点和终止点的位置信息，通过拟合方法，将运动轨迹表示成角位移、角速度和角加速度的函数曲线。具体实现流程如图8。
图8 运动轨迹规划流程图
完成蓝莓的识别和定位后，需控制机器人到达指定的蓝莓地点。由此基于机器人操作系统 (ROS) 结合激光雷达的同时定位与建图技术（SLAM) 、路径规划技术，确定蓝莓采摘机器人的行走路线。自主导航与定位节点、运动控制节点、避障节点保持独立，在ROS Master注册后，通过消息或话题的形式进行节点之间的通信。
SLAM是实现移动机器人定位与建图的核心技术之一，可使得移动机器人在未知环境中进行自主定位和实时地图构建。
ROS用于机器人的控制，可完成多种系统操作工作，如底层驱动程序管理、模块间信息的传输、模块发行包的管理等。同时，还包括采集、分析、整理数据等功能。
①通讯：完成STM32开发板与Jetson TX1开发板之间的通信任务-UART串口通信，以及系统与上位机之间的通信任务-远程登录。
②建图和定位：获取由激光雷达和双目摄像机等传感器获得的信息后，我们采用基于激光雷达的gmapping算法和move_base功能包完成SLAM的建图和路径规划。
gmapping算法使用粒子滤波完成栅格地图的构建，以激光雷达和双目摄像机获取的深度信息，陀螺仪获取的IMU信息、编码器获取的里程计信息作为输入。最终在Rviz界面观看建图和机器人运动轨迹。
如图所示：
move_base导航主要由全局路径规划器和局部路径规划器组成，先由全局路径规划器规划出一条全局最优路径，然后由局部路径规划器把它分割成小段再进行局部路径规划，实现精确避障。ROS导航时不仅利用了move-base功能包，还利用AMCL功能包。在AMCL功能包的作用下，能够确定蓝莓采摘机器人在整个栅格图中的位置，动态分析机器人设备的在地图中的位置。最终通过rviz界面观察机器人建立的地图、机器人的位置、机器人的运动轨迹以及指定导航目标点。
表1 常见路径规划算法
机器人抓取目标，需要首先在复杂环境下快速准确识别处蓝莓。蓝莓识别方法主要分为传统方法和深度学习方法，其中传统方法受复杂背景与复杂环境影响较大，针对蓝莓采摘机器人，深度学习方法可以更好满足实际应用需求。
Faster R-CNN 算法在果实识别领域内效果极好，针对蓝莓果实的平均识别率为95.05%，能够准确区分单一蓝莓成熟果、半成熟果与未成熟果。本项目以手工标记的蓝莓数据集作为训练集，将ZF-Net特征提取网络在样本库上预训练得到的参数作为网络的初始参数，对网络进行训练。具体流程如图10。
数据集中的训练图像经过ZF-Net特征提取网络，以 ReLU 函数作为激活函数，对所测图像进行特征提取，生成特征图。接着，利用一个候选区域生成网络（RPN），以特征提取网络输出的特征图作为输入。生成候选区域相当于目标的粗检测过程，分担后续网络的压力。网络将图像特征映射成一个256维的特征向量，跟据该向量输出18个分数及36个修正参数，利用修正参数修正即可得到候选区域。最后RPN利用Softmax层对分数归一化，区分背景与目标蓝莓。
获取候选区域后，进行分类回归操作，以特征提取网络输出的特征图和候选区域生成网络输出的候选区域为输入。为了满足全连接层对输入特征的限制，首先使用一个 ROIpooling 层将形状、大小各异的特征图池化和归一化处理，转换为固定维度的特征向量；接着使用全连接层对特征图信息进行整合，输出各类的分数与修正参数；再使用 Softmax层将分数进行归一化，进行精准分类，判断蓝莓成熟度。 最后使用效果较好的端到端的联合训练方法，将候选区域生成网络和分类回归网络看作一个整体，对网络进行训练。
图10 Faster R-CNN 算法流程图
对蓝莓识别之后，需要确定蓝莓的空间位置才能进行后续的采摘工作，我们利用双目视觉系统进行定位。
本项目基于MATLAB软件，采用张正友标定法原理获得内外部相机参数。内部参数采用矩阵的形式, 而外部参数采用旋转矩阵R和平移向量T形式。标定流程如图4所示。标定完成后，由于位置误差和摄像头本身等原因，需要对图像进行校正，调整两个摄像头拍摄的图像位于同一个平面且图像水平线可以重合，之后采用视差测距法确定蓝莓空间坐标。三维获取坐标流程如图11所示。
视差测距法确蓝莓大致位置：首先根据摄像头的成像模型进行目标定位。摄像头成像模型如图6所示。P为蓝莓采摘点（目标点），其中 p 和p' 分别是点 P 在左右视角中的投影点，Ol和 Or分别是左右相机的中心点。设相机左摄像头坐标为 (0,0,0)，则右摄像头为(0,b,0)，摄像头中心距离 b为基线长度，b=x1-x2，为测量b，本项目选用蓝莓左右图像中蓝莓的质心为测量点。根据小孔成像与三角形相似原理，推出比例关系为：
由此解出：
根据此公式观察到要求出空间任一坐标P（x,y,z），须获得必须要得出左右视图中与 P 相对应点 P1、P2的位置。在对蓝莓图像进行之前的图像识别工作后，利用 MATLAB 编程来完成对蓝莓图像质心提取的工作。像素质心点得出之后，再利用公式
将像素质心点坐标转换成像平面坐标。完成转化后，可以通过质心横坐标相减b=x1-x2得到视差，带入公式2即可求得目标在空间中的质心位置。由于本项目采用簸箕式末端执行器进行采摘，只需求出大致的质心位置。最终根据蓝莓植株的大小对质心Z坐标值进行适当变更，即可通过末端执行器操作完成对蓝莓的采摘工作。
图12 摄像机成相模型
蓝莓的识别与定位需要研究大量的蓝莓图像。MS COCO、PASCAL VOC、Image Net、CIFAR-10为目标检测算法常用数据集。但是在蓝莓采摘的识别任务中，不需要如此多的类别。因此，重新建立一个蓝莓图像数据集，对神经网络进行训练。
数据一部分来自互联网，使用Python语言开发图片爬虫从互联网上对自然环境下的蓝莓图片进行下载比较图片的MD5值去除重复图片，主要来源为百度图片和谷歌图片，但绝大部分仍采取实地拍摄。样本库制作流程如图13。
图13 样本库制作流程
图像采集与预处理。首先，数据集图像的采集工作在蓝莓采摘园进行，以三脚架承载双目相机，置于果实正向、侧向、下方，取得不同场景、不同光线、不同环境的多种蓝莓原始图像。例如不同成长阶段的蓝莓、存在高光或阴影的蓝莓、重叠蓝莓或被遮挡蓝莓等，使用这些数据训练网络，观察网络表现情况，跟据训练结果，不断添加新的图像样本，以实现对各种复杂情况蓝莓进行识别。同时，为了去除光照、拍摄装备等干扰因素，采用图像灰度化与去噪处理等方式对图像预处理。
数据集标记。然后使用 labelImg 标注工具按 PASCAL VOC 数据集的标注格式对图片进行标注，标注文件自动储存为XML格式。将标注文件放在Annotations文件夹下，文件的名称与图片一一对应。标注文件包括图片名称、位置、尺寸、蓝莓坐标等。
生成样本库。丰富的数据是训练深度神经网络的决定性因素，本项目种的样本数是无法满足神经网络的训练和检验的，过小的数据量会导致神经网络的过拟合，得到比较差的效果。因此使用数据增强技术处理图像，增加数据多样性。本项目使用MATLAB采用旋转、裁剪、平移、添加噪声和色彩抖动（改变亮度、饱和度、对比度）这几种方法进行样本的批量增强处理,样本库划分为训练集、测试集和验证集，各占据图像样本库的 50%、25%、25%。
在建立蓝莓质量检测模型的过程中，由于完好的蓝莓与损伤的蓝莓存在形态特征上的差异，其创面的颜色、质感与其它部位有较为明显的区别。因此，可以利用这种形态特征将损坏的果实与其它正常的果实区分开来，并进一步统计数量。此检测模型基于Tensorflow平台搭建，结合RGB色彩系统与MobileNet网络技术识别统计具有缺陷的蓝莓个数，以单次采摘5个及以下果实损坏为一等品质，5-10个为二等品质，10个及以上为三等品质的标准进行分级。蓝莓质量分级检测模型的具体内容如下：
图14 蓝莓缺陷数量计算示意图
提取疑似缺陷区域。在采摘中受到损伤的蓝莓存在缺陷区域，而在可见光域中，缺陷区域往往与其它正常部分的分光反射率有较大的差异，故可以凭借缺陷处与正常处的颜色差异提取疑似缺陷区域。模型中的这一部分基于RGB色彩系统，在蓝莓表面的R、G、B分时的亮度图中，缺陷区域的亮度值明显低于边缘正常区域，故阈值法难以区分两种不同的区域。考虑使用梯度算法，寻找灰度值突变的区域，并增长至全部的缺陷区域。
用MobileNet模型进行深度分类。受到光线、遮挡、采样角度等复杂因素的影响，使用RGB色彩系统仅能粗略提取出“疑似”的缺陷区域，其准确率较低。故在完成初步提取后，基于Tensorflow平台搭建MobileNet模型，对这些区域进行分类。使用的MobileNet卷积网络主要由输入层、卷积层、池化层、全连接层组成，在预先建立蓝莓特征样本库的基础上，初始化权重，并从头对网络进行高次迭代训练，输出期望结果。在期望结果的基础上，设计循环结构对有缺陷的蓝莓数量进行叠加统计。
本项目应用于蓝莓现实中的采摘、分级等工作，其人机交互界面应选择面向企业（To Business）的形式进行设计。面向企业的产品设计应遵循简洁、大方、直观的原则，更有利于提高生产效率。在本项目中，基于MATLAB/GUI这个图形用户开发界面工具，设计了面向企业应用的人机交互界面，旨在提供更便捷、更舒适的体验。首先，明确面向企业的人机交互界面的需求，进行初步设计，绘制草图并确定排版；其次，于MATLAB软件中新建GUI界面，添加合适控件，并再次细化设计页面布局，添加回调函数；最后，在完成排错与设计美化工作后，运行程序，生成GUI界面。
在人机交互的页面布局中，包括蓝莓分级检测结果、单次蓝莓采摘数量、采摘消耗时间等补充结论。通过人机交互界面，可以汇总并输出本项目各个模块出得到的所有结论，将复杂的机器语言转化为通俗易懂的语言文字，实现良好的交互功能。
本项目研究中拟解决的问题包括如下几点：
①蓝莓采摘机器人集成了视觉图像处理、机器人运动控制、机械臂控制技术以及计算信息处理等多方面的智能化技术。需要设计出合理的方案，使各部分有机结合起来。
②蓝莓识别与定位算法的选择。需要解决如何实现深度学习算法及蓝莓的立体匹配与定位方法，即如何具体实现基于Faster R-CNN 的果实识别算法及基于双目摄像机标定及结合MATLAB和视差测距法确定蓝莓位置。
③蓝莓果实微小柔软，果皮脆弱，导致蓝莓易损，需设计并调试出适当的末端执行器，并对其进行建模和仿真分析；同时，采摘过程中机械臂易受茎秆遮挡。需合理运用静力学、运动学及动力学分析，规划机械臂最优采摘路径。
④蓝莓分级检测系统的设计，如何在嵌入式移动系统上建立准确的分级检测模型。设计合适的深度学习算法判断蓝莓小浆果的损伤情况，确保准确性率与速度；在人机交互部分，设计符合企业用户需求的人际交互界面，研发具有较高的舒适度、便捷度的产品。
①搭建一个成本低、高效率、高稳定性基于双目定位的蓝莓采摘机械臂控制系统，包括导航算法的实现、蓝莓识别与定位算法的实现及机械臂路径规划算法的实现。
②在硬件基础上搭建蓝莓分级检测系统，设计友好的人机交互界面，可通过PC端以及手机端的程序,对蓝莓质量、采摘耗时等信息进行显示。
③完成中期检查报告和结题报告，撰写论文1-2
2022年3月-2022年5月：完成前期物品的购买，查阅相关文献，依照分工明确项目具体的技术路线与实现方法。
2022年5月-2022年8月： 搭建项目硬件平台，完成机器人硬件设计及控制系统搭建，实现底盘路径规划、机械臂路径规划算法。
2022年8月-2022年11月：搭建项目软件平台，实现蓝莓识别及定位算法的设计，训练蓝莓分级检测模型，开发机器人软件系统。
2022年11月-2023年1月：编写设备端相关代码，设计友善的人机交互界面。
2023年1月-2023年3月，对系统进行整体的优化和测试，针对问题进行改进。
2023年3月-2023年5月，撰写论文和项目总结报告，准备验收。
（1）指导老师之前带领的小组已经对番茄采摘机械臂有研究，在采摘机器人的硬件设计与软件开发方面，都有一定的基础。本项目研究一个基于双目定位的番茄采摘机械臂控制系统，该项目采用两个具有USB接口的CMOS摄像机来进行图像信息采集；通过USB接口连接到TQ2440 开发板，由ARM处理器完成图像处理和数据传输的任务，并通过无线网络将图像和处理数据传回给PC上位机；上位机可以存储或者对图像再次处理，同时可以由人通过上位机控制整个系统，保证系统可靠性；最后由ARM开发板对机械臂进行控制，完成采摘动作。
硬件方面，本装置采用了基于S3C2440的TQ2440开发板，使用到的接口主要是板载五线异步串行口（涉及到Linux的三串口驱动）、网络接口（板载100M DM9000网卡，带联接和传输指示灯）、USB接口（连接摄像头）、LCD接口（支持不同分辨率的TFT LCD）；选用Arduino USB32路舵机控制板及4自由度机械臂，操作上位机控制软件，可给伺服舵机控制器发送控制指令信号，从而实现机械臂在空间内精确作业；双目USB摄像头组采用zc301USB摄像头；采用机械手爪，将其固定在顶端的舵机上，方便更好的抓取球形物体（番茄），并减小损伤。
软件方面，在开发环境上，选用基于嵌入式的linux系统的Ubuntu14开发环境，并进行arm-linux-gcc交叉编译链的设置与目标机的实现。在s3c2440处理器上，完成Linux系统的移植；图形界面开发上，选用QT开发平台，开发图形界面，并在液晶屏上显示。
在目标图像处理上，选用OpenCV和Matlab标定工具箱，通过Matlab标定工具箱精确的获得摄像头参数，进行相机标定并消除畸变。
利用Matlab标定工具箱以便于后续的坐标转换以及机械臂控制。对所用摄像头进行标定得到数据如下：
图15 摄像头标定
在双边带滤波的基础上进行二值化，得到的平滑图像呈现出只有黑和白的视觉效果；利用霍夫圆变换获得番茄圆心坐标从而初步定位，进行后续的校正后，实现番茄的坐标转换。利用OpenCV霍夫变换得到圆心坐标，实验结果如下：
图16番茄中心的获取
该系统针对现有番茄采摘机器人的智能化水平、实用化水平和商品化水平还不够高的情况，致力于实现一个体积小、成本低、稳定性高的基于双目定位的茄果类蔬菜采摘机械臂控制系统，为茄果类蔬菜采摘、收获的自动化奠定一定基础，为以后进行更加深入的研究工作做一定准备。
（2）项目成员参与科研项目：基于SLAM的鸡舍空气消杀检测机器人。该项目针对鸡舍环境消杀存在大量人力浪费和消杀不彻底的问题，设计广泛应用于鸡舍、鸭舍、鹅场等养殖场生产环境的智能化、自动化设备。
机器人整体主要集成四大功能模块，分别为基于ROS系统SLAM算法的路径规划模块、采用传感器阵列及树莓派主控的环境参数检测模块、固液光三位一体的三重环境消杀模块、基于CenterNet算法及的鸡只健康监测识别模块。同时，开发了一款集成图传、建图、导航功能的消杀机器人APP。
图17 消杀机器人整体展示
图18 消杀机器人APP导航界面
①指导老师实验室有海康工业相机和消杀机器人底盘。
②项目组成员曾学习过计算机网络与C语言，熟悉MATLAB、VC++、Python等软件的使用，在软件设计方面有一定的基础。
③项目组成员对STM32单片机有过系统性学习，搭建过智能小车，在硬件方面有一定基础，具备良好的动手能力。
④项目组成员参与过校级焊接比赛与数学建模竞赛，均取得过优异成绩，在竞赛方面有较为丰富的经验。
⑤小组成员成绩优秀，积极上进，勤奋刻苦，均有较强的创新思维与动手能力，成员分工明确，具有钻研精神。
①组员缺乏对于深度学算法及路径规划算法的了解，仍需阅读大量文献并亲身参与实践。
②硬件设计与控制系统设计方法和思路比较模糊，需要在实践中进行提高。
③缺乏对软件系统设计及人机交互界面设计的学习，需要针对实际开展工作。