“智幻”智能机器人仿真系统
配套的实验课程：《机器人建模与仿真》、《嵌入式Linux操作系统》、《机器人编程（C++）》、《机器人编程（Python）》、《数字图像处理基础》、《机器人操作系统》、《机器人感知传感》、《机器视觉与AI》、《机器人学》、《机器人定位导航》、《智能机器人建模仿真综合实践》。
对应的竞赛：一个白名单大赛的1个项目，及一个机器人竞赛指数榜单大赛的2个项目。
“智幻”是一套用于开展机器人实验教学的仿真系统，除了配套机器人建模与仿真的实验课程外，在仿真环境下，还可基于ROS开展机器人感知传感、机器人学、机器视觉与AI、机器人定位导航等核心课程的实验教学。结合行业应用场景，依托“智幻”系统设计了相关竞赛项目，并内置了竞赛裁判系统，充分体现了以赛促教、赛课融合的实践教学理念。
配套的实验课程大纲如下：
|
机器人嵌入式Linux操作系统（20课时） |
|||
|
编号 |
实验名称 |
实验内容 |
学时 |
|---|---|---|---|
|
1 |
Linux系统简介 |
为什么学习Linux，如何学习Linux，Linux特点，机器人与Linux的关系。 |
2 |
|
2 |
体验机器人上Linux |
使用图像采集卡或HDMI连接屏幕，连接外设，WIFI连接，介绍桌面功能。 |
2 |
|
3 |
体验Linux远程连接与终端 |
远程软件准备，配置电脑网络，终端初始体验，软件安装与卸载。 |
2 |
|
4 |
了解Linux命令行 |
打开终端，命令提示符，命令行体验，命令格式与帮助，常用命令。 |
2 |
|
5 |
用户与文件 |
了解用户与用户组，文件系统，chmod命令，操作Linux文件目录 |
2 |
|
6 |
Linux系统下的机器人程序 |
通过Git管理程序，程序编译。 |
2 |
|
7 |
Vscode便捷调试开发 |
Vscode下载与配置使用，查询机器人IP地址，vscode远程连接机器人。 |
2 |
|
8 |
Makefile简介 |
了解编译工具，介绍MakeFile，使用MakeFile编译多个文件。 |
2 |
|
9 |
网络通信 |
了解网络通信在机器人软件中的应用，安装网络调试助手，了解Linux系统中的UDP通信，TCP通信，通过socket实现网络通信。 |
2 |
|
10 |
串口通信 |
了解串口通信在机器人系统中的应用，安装串口调试助手，了解Linux系统中的串口，与Windows主机进行通信。 |
2 |
|
机器人编程（C++）（20课时） |
|||
|
编号 |
实验名称 |
实验内容 |
学时 |
|---|---|---|---|
|
1 |
机器人中的C++ |
了解机器人中的C++应用，了解为什么C++是机器人很重要的开发语言。 |
2 |
|
2 |
C++编译原理 |
编译器，编译过程，CMake语法，使用IDE配置C++编译工程。 |
2 |
|
3 |
C++的数据结构 |
在机器人的处理器中，开发C++应用程序，学习C++中的变量，数组与数据类型。 |
2 |
|
4 |
C++的运算符 |
在机器人的处理器中，开发C++应用程序，学习C++中的加减乘除移位等各类数字逻辑运算符。 |
2 |
|
5 |
C++的控制结构 |
在机器人的处理器中，开发C++应用程序，学习if-else，while等各类控制结构。 |
2 |
|
6 |
C++的函数与指针 |
在机器人的处理器中，开发C++应用程序，学习并了解函数与指针。 |
2 |
|
7 |
C++的面向对象编程 |
在机器人处理器中，开发C++应用程序， |
2 |
|
8 |
常用机器人C++库 |
C++中机器人开发常用的标准库，关联容器等知识。 |
2 |
|
9 |
C++进程管理 |
了解进程的概念，基于C++开发机器人程序进程。 |
2 |
|
10 |
C++线程管理 |
了解线程的概念，基于C++开发机器人程序多线程。 |
2 |
|
机器人编程（Python）（24课时） |
|||
|
编号 |
实验名称 |
实验内容 |
学时 |
|---|---|---|---|
|
1 |
Python简介 |
了解机器人中的Python应用，了解为什么Python是机器人很重要的开发语言，使用vscode配置Python开发环境。 |
2 |
|
2 |
Python数据结构 |
在机器人的嵌入式AI处理器中，开发Python应用程序，学习Python中的变量，数组与数据类型。 |
2 |
|
3 |
Python运算符 |
在机器人的嵌入式AI处理器中，开发Python应用程序，学习Python中的加减乘除移位等各类数字逻辑运算符。 |
2 |
|
4 |
Python的控制结构 |
在机器人的嵌入式AI处理器中，开发Python应用程序，学习if-else，while等各类控制结构。 |
2 |
|
5 |
Python的函数与指针 |
在机器人的嵌入式AI处理器中，开发Python应用程序，学习并了解函数与指针。 |
2 |
|
6 |
Python的面向对象编程 |
在机器人的嵌入式AI处理器中，开发Python应用程序，学习并了解面向对象编程。 |
2 |
|
7 |
常用机器人Python库 |
Python中机器人开发常用的标准库，如Numpy，MatPlotlib等知识，在机器人的嵌入式AI处理器中进行库的使用。 |
2 |
|
8 |
Python串口编程 |
了解Python的串口库pyserial，安装串口调试助手，了解Python如何调用系统中的串口，与Windows主机进行通信。 |
2 |
|
9 |
Python网络编程 |
了解Python的网络编程类socket，了解数据交换格式Json，安装网络调试助手，了解Python如何与Windows主机进行网络通信。 |
2 |
|
10 |
UI编程框架PyQt |
了解Python的UI编程架构PyQt，基于PyQt编写UI程序，查询机器人处理器信息。 |
2 |
|
11 |
环境管理工具Conda |
了解Python为什么要做环境隔离，在机器人系统中安装并使用环境包管理工具Conda。 |
2 |
|
12 |
交互式开发工具Jupyter |
了解Jupyter开发工具，在机器人系统中安装Jupyter并进行交互式Python开发与调试。 |
2 |
|
数字图像处理基础（20课时） |
|||
|
编号 |
实验名称 |
实验内容 |
学时 |
|---|---|---|---|
|
1 |
OpenCV简介 |
了解机器视觉与数字图像处理的基本内容，了解最常用的数字图像处理库OpenCV。 |
2 |
|
2 |
图像采集 |
熟悉实验设备，打开并配置相机，进行图像拍摄与保存。 |
2 |
|
3 |
图像生成 |
在机器人的嵌入式AI处理器中，开发OpenCV应用程序，生成图像，并对图像进行操作。 |
2 |
|
4 |
图像滤波 |
在机器人的嵌入式AI处理器中，开发OpenCV应用程序，实现图像的各种滤波操作。 |
2 |
|
5 |
图像变换 |
在机器人的嵌入式AI处理器中，开发OpenCV应用程序，进行图像的平移旋转缩放等各类操作。 |
2 |
|
6 |
图像特征提取 |
在机器人的嵌入式AI处理器中，开发OpenCV应用程序，进行图像的点特征和线特征提取。 |
2 |
|
7 |
图像的像素处理 |
在机器人的处理器中，开发OpenCV应用程序，进行图像的像素计算。 |
2 |
|
8 |
图像颜色空间 |
了解灰度，RGB，HSV等各种颜色空间，并在机器人的嵌入式AI处理器中，开发OpenCV应用程序，进行颜色空间转换。 |
2 |
|
9 |
形态学运算 |
在机器人的嵌入式AI处理器中，开发OpenCV应用程序，进行对图像的腐蚀膨胀与开闭运算。 |
2 |
|
10 |
阈值处理与图像分割 |
了解图像二值化的原理，了解阈值分割的方法，在机器人的嵌入式AI处理器中基于图像像素颜色阈值进行分割。 |
2 |
|
机器人操作系统（20课时） |
|||
|
编号 |
实验名称 |
实验内容 |
学时 |
|---|---|---|---|
|
1 |
机器人操作系统入门 |
了解什么是ROS机器人操作系统，ROS的系统组成，ROS的运行原理，配置在个人PC上安装虚拟机，在虚拟机安装ROS操作系统，启动小乌龟，建立一个工作空间，创建一个功能包，实现一个ROS节点。 |
2 |
|
2 |
主题与消息 |
了解ROS的主题与消息机制，基于C++和Python实现主题与消息，实现自定义主题与消息。 |
2 |
|
3 |
服务Service |
了解ROS的服务机制，基于C++和Python实现服务的服务端与客户端，实现自定义服务。 |
2 |
|
4 |
参数与动态参数 |
了解ROS的参数机制，基于C++和Python实现参数的增、删、改、查。了解ROS中的高级功能-动态参数原理和运行机制，实现使用动态参数调节小乌龟运动速度。 |
2 |
|
5 |
动作Action |
了解ROS的动作机制，基于C++和Python实现动作的服务端与客户端，实现自定义Action。 |
2 |
|
6 |
ROS中的调试与仿真工具 |
了解ROS工具箱中的RViz工具与rqt工具，了解ROS的日志系统，掌握调试ROS程序的方法。在虚拟机中安装配置Gazebo仿真系统，在仿真中运行UPROS机器人模型。在仿真中运行机器人定位导航，体会ROS的功能。 |
2 |
|
7 |
机器人坐标与TF变换 |
理解机器人坐标系原理，熟悉TF变换工具，学会使用TF包，编写TF发布与接收程序。 |
2 |
|
8 |
机器人运动控制与轮式里程计 |
了解机器人双脑架构，了解机器人运动模型，在机器人中编写节点，控制机器人底盘运动，学习轮式里程计数据协议，基于轮式里程计控制机器人运动。 |
2 |
|
9 |
ROS与机器人定位导航 |
体验机器人的定位导航功能，了解SLAM与路径规划技术，编写一个节点，发布目标点控制机器人运动。 |
2 |
|
10 |
ROS与机器视觉 |
体验ROS系统中的机器视觉功能，编写程序订阅摄像头的信息，并控制机器人进行决策。 |
2 |
|
机器人感知传感（18课时） |
|||
|
编号 |
实验名称 |
实验内容 |
学时 |
|---|---|---|---|
|
1 |
超声/TOF传感器 |
了解超声/TOF传感器的工作原理，读取超声/TOF传感器数据，学习并开发超声/TOF传感器通讯接口，根据传感器消息实现避障。 |
2 |
|
2 |
惯性测量单元传感器 |
学习惯性测量单元（IMU）的原理，通过IMU读取机器人当前的姿态，角速度，加速度，根据IMU数据控制机器人姿态。 |
2 |
|
3 |
激光雷达传感器 |
学习激光雷达的工作原理，对激光雷达数据进行滤波处理， 根据激光雷达数据进行避障。 |
2 |
|
4 |
视觉传感器 |
学习相机的工作原理，获取视觉信息并根据视觉信息控制机器人运动。 |
2 |
|
5 |
深度视觉传感器 |
学习深度相机的工作原理，处理深度图像与深度点云，对环境进行三维感知。 |
2 |
|
6 |
机器人轮式里程计 |
了解编码器的概念，学习轮式里程计数据协议，基于轮式里程计控制机器人运动。 |
2 |
|
7 |
多传感器融合-EKF里程计算 |
融合轮式里程计与IMU的信息，进行里程计的融合计算。 |
2 |
|
8 |
多传感器融合-激光SLAM |
融合轮式里程计与IMU信息，了解三者信息如何融合，利用激光SLAM技术感知机器人周围环境。 |
2 |
|
9 |
多传感器融合-协同避障 |
融合激光雷达与深度相机信息，激光雷达进行大范围障碍感知，深度相机进行眼前补盲，学习不同类型传感器在障碍感知的作用。 |
2 |
|
机器视觉与AI（20课时） |
|||
|
编号 |
实验名称 |
实验内容 |
学时 |
|---|---|---|---|
|
1 |
视觉传感器 |
学习相机的工作原理，获取视觉信息并根据视觉信息控制机器人运动。 |
2 |
|
2 |
AprilTag识别 |
学习如何基于ROS图像提取AprilTag，辅助机器人进行视觉定位。 |
2 |
|
3 |
颜色识别 |
学习如何基于ROS图像提取颜色，进行颜色识别，并根据颜色进行交通灯识别与运动。 |
2 |
|
4 |
形状识别 |
学习如何基于ROS图像提取颜色，并根据颜色获取出的形状特征使用霍夫变换的方法提取特定的形状，对形状进行跟随。 |
2 |
|
5 |
视觉巡线功能 |
学习提取视野中的线条，并实现基于视觉的巡线功能。 |
2 |
|
6 |
人脸识别 |
学习如何基于ROS识别人脸，提取人脸特征，采集人脸信息，训练模型识别人脸。 |
2 |
|
7 |
表情识别 |
学习如何定位出人脸的多个特征点，并依据人脸特征，采用机器学习的方法识别表情，并作出对应动作。 |
2 |
|
8 |
手势识别与交互 |
学习MediaPipe框架，如何基于该框架识别手势控制机器人。 |
2 |
|
9 |
深度学习目标检测 |
了解深度学习与卷积神经网络，学习如何基于机器人的嵌入式AI芯片进行目标检测。 |
2 |
|
10 |
视觉传感器位姿估计 |
了解视觉SLAM的方法，学习如何基于视觉传感器估计机器人的移动。 |
2 |
|
机器人学（20课时） |
|||
|
编号 |
实验名称 |
实验内容 |
学时 |
|---|---|---|---|
|
1 |
机械臂关节控制 |
了解智能机械臂的工作原理，基于ROS接口驱动机械臂关节运动，基于ROS接口驱动机械臂夹爪开合。 |
2 |
|
2 |
机械臂关节校准 |
了解机械臂产生零偏误差的原理，标记机械臂关节零篇误差，实现机械臂关节校准功能。 |
2 |
|
3 |
机械臂正逆运动学解析 |
了解五自由度机械臂正逆运动学分析解算，测量机械臂各个关节，控制各个关节的角度，计算不同角度下机械臂末端的期望位置，并对实际位置进行测量计算误差，对机械臂进行逆运算计算。 |
2 |
|
4 |
机械臂YZ平面逆运算控制 |
根据末端位置进行YZ平面逆运算计算，并控制机械臂到达指定末端，与理论值对比思考误差产生的原因。 |
2 |
|
5 |
根据TOF传感器控制机械臂抓取 |
根据机械臂前方TOF传感器信息获取待抓取物块距离，根据逆运动学计算出各个关节角度，完成抓取与放置，调整参数增加成功率。 |
2 |
|
6 |
机械臂XYZ立体逆运算控制 |
根据末端位置进行XYZ立体环境的逆运算计算，并控制机械臂到达指定末端，与理论值对比思考误差产生的原因。 |
2 |
|
7 |
视觉感知抓取 |
根据机械臂前方的深度视觉传感器依据物块上的Tag信息获取待抓取物块的绝对位置，根据逆运动学计算出各个关节角度，完成抓取与放置。 |
2 |
|
8 |
连续感知分拣 |
根据机械臂前方的深度视觉传感器依据物块上的Tag信息获取待抓取物块的绝对位置，根据逆运动学计算出各个关节角度，完成连续分拣。 |
2 |
|
9 |
Moveit!配置 |
初步了解强大的ROS的机械臂功能包Moveit!，于Moveit!配置机械臂运动规划。 |
2 |
|
10 |
Moveit!编程 |
编写代码，实现指定关节、指定末端位置、指定动作组的运动规划与执行。 |
2 |
|
机器人定位导航（20课时） |
|||
|
编号 |
实验名称 |
实验内容 |
学时 |
|---|---|---|---|
|
1 |
坐标系与坐标变换 |
理解机器人坐标系原理，熟悉TF变换工具，学会使用TF包，编写TF发布与接收程序。 |
2 |
|
2 |
机器人轮式里程计 |
了解编码器的概念，学习轮式里程计数据协议，基于轮式里程计控制机器人运动。 |
2 |
|
3 |
激光雷达 |
学习激光雷达的工作原理，对激光雷达数据进行滤波处理， 根据激光雷达数据进行避障。 |
2 |
|
4 |
MoveBase初探 |
初步了解强大的ROS定位导航功能包MoveBase，基于MoveBase配置机器人定位导航与路径规划系统。 |
2 |
|
5 |
MoveBase编程开发 |
了解MoveBase的通信接口，控制机器人移动到指定位置，实现通过MoveBase接口编程开发。 |
2 |
|
6 |
栅格地图 |
了解机器人SLAM系统的原理，学习概率栅格地图，了解如何发布和构建概率栅格地图。 |
2 |
|
7 |
激光雷达地图拼接 |
驱动激光雷达，基于激光雷达传感器与里程计拼接出概 率栅格地图。 |
2 |
|
8 |
地图构建与定位 |
使用Gmapping建立和保存地图； |
2 |
|
9 |
路径规划系统实验 |
了解机器人代价地图与路径规划系统原理，配置代价地图， 全局规划和局部规划器，实现简单的A*全局路径规划算法和DWA局部路径规划算法。编写一个简单的规划与控制器CoreMove，更深入的体会MoveBase的运行逻辑。 |
2 |
|
10 |
MoveBase插件机制学习与开发 |
了解MoveBase的插件机制，学习基于插件实现禁区虚拟墙、TEB 规划器、脱困恢复行为的功能。 |
2 |
|
机器人建模与仿真（20课时） |
|||
|
编号 |
实验名称 |
实验内容 |
学时 |
|---|---|---|---|
|
1 |
Gazebo环境搭建与基础操作 |
了解Gazebo的基本配置，Gazebo界面介绍与基本操作，建立Gazebo模型。 |
2 |
|
2 |
机器人建模 |
了解Urdf与Xacro语法，了解机器人的连杆与关节，搭建机器人模型，配置机器人模型参数。 |
2 |
|
3 |
激光雷达模型添加与参数配置 |
学习在机器人模型上，添加激光雷达，并配置传感器的参数和位置。 |
2 |
|
4 |
IMU模型添加与参数配置 |
学习在机器人模型上，添加IMU，并配置传感器的参数和位置。 |
2 |
|
5 |
视觉传感器模型添加与参数配置 |
学习在机器人模型上，添加视觉传感器，并配置传感器的参数和位置。 |
2 |
|
6 |
超声传感器 |
学习在机器人模型上，添加超声传感器，并配置传感器的参数和位置。 |
2 |
|
7 |
机器人运动控制 |
ROS通过Gazebo插件控制仿真场景中的机器人运动，编写机械臂驱动，在Gazebo中控制机械臂。 |
2 |
|
8 |
自定义机器人运动插件编写 |
编写全向移动插件，在Gazebo中实现全向移动机器人。 |
2 |
|
9 |
自定义模型开发 |
利用Gazebo的地形编辑工具和模型库，创建一个复杂的仿真环境，在场景中部署指定纹理。 |
2 |
|
10 |
仿真中的定位导航机器人 |
在自定义场景中加载自行搭建配置的机器人，部署在仿真场景中移动并完成任务。 |
2 |
|
智能机器人建模仿真综合实践（40课时） |
|||
|
编号 |
实验名称 |
实验内容 |
学时 |
|---|---|---|---|
|
1 |
场景分析 |
分析仿真环节在机器人软件与算法开发、验证过程中的重大作用，学习ROS与仿真场景的结合，通过一个路径规划算法的实践案例，了解仿真算法联合开发流程。 |
4 |
|
2 |
机器人仿真启动 |
在ROS环境下，开发节点驱动仿真场景中的机器人运动，可控制机器人移动，控制机械臂关节运动，理解ROS的硬件驱动抽象。 |
4 |
|
3 |
机器人传感器获取 |
在ROS环境下，开发节点获取仿真场景中机器人当前的各传感器通信接口，读取各传感器信息。 |
4 |
|
4 |
机器人建图与定位 |
在仿真场景中使用Gmapping建立和保存地图，使用AMCL在保存的地图上连续定位，使用坐标变换获取在地图上的位置。 |
4 |
|
5 |
机器人导航 |
编写节点发布Action，在仿真场景中机器人可在地图上标定点进行连续导航。 |
4 |
|
6 |
算法验证软件使用 |
了解算法验证软件的使用方法，了解算法验证软件如何通过算法判断路径规划轨迹的质量，了解算法验证软件如何支撑算法验证。 |
4 |
|
7 |
仿真接口开发 |
在仿真系统中，根据仿真接口和算法验证软件接口开发程序，使得算法可接入验证系统。 |
4 |
|
8 |
开发栅格法路径规划 |
通过栅格法，开发算法遍历路径，在仿真环境中运行，并通过算法验证系统计算得分。 |
4 |
|
9 |
开发深度优先搜索路径规划 |
通过路径优先搜索法，开发算法遍历路径，在仿真环境中运行，并通过算法验证系统计算得分。 |
4 |
|
10 |
扫描线法路径规划 |
通过扫描线法，开发算法遍历路径，在仿真环境中运行，并通过算法验证系统计算得分，思考几种算法得分不同的原因，并思考优化方法在验证系统中验证。 |
4 |