“探智”视觉与语音实验箱
配套的实验课程：《AI软件开发基础》《机器视觉与人工智能》《机器人人机交互》《具身智能综合实践-智能分拣系统设计》。
对应的竞赛：一个机器人竞赛指数榜单大赛的1个项目。
“探智”是一款面向人工智能专业及其它涉及Python编程，机器视觉，自然语言，人工智能，机械臂控制，人机自然交互等课程的工科专业的实验教学平台。由嵌入式人工智能处理器与桌面级柔性高精度机械臂、摄像头、麦克风、扬声器、触摸交互显示屏等硬件模块组成，将机械臂控制，机器视觉，人工智能，人机交互等技术结合起来，围绕与上述课程教学大纲中的知识点设计了大量的实验，配套不同的调试与开发软件，以智能分拣为应用场景，助力高校人工智能与机器人相关专业的实验教学。
配套的实验课程大纲如下
AI软件开发基础
|
AI软件开发基础（16课时） |
|||
|---|---|---|---|
|
课次 |
课程名称 |
内容 |
课时 |
|
1 |
Linux基础 |
Linux特点，指令集，权限与用户。 |
2 |
|
2 |
Linux进程 |
Linux系统进程的概念，进程管理。 |
2 |
|
3 |
Python初级 |
Python在机器人开发中的作用，Python语言简介，Python运算符，数据结构，控制结构等基本语法。 |
2 |
|
4 |
Python进阶 |
Python文件操作，Python面向对象编程。 |
2 |
|
5 |
Linux串口通信 |
基于Python + Linux系统的串口通信开发。 |
2 |
|
6 |
Linux网络通讯 |
基于Python + Linux系统的网络通信开发。 |
2 |
|
7 |
Python驱动机械臂 |
基于Python，通过API控制机械臂完成正逆运算与驱动。 |
2 |
|
8 |
Python常见库应用 |
基于Python常见的第三方库Numpy，Jupyter等熟悉与应用。 |
2 |
机器视觉与人工智能
|
机器视觉与人工智能（24课时） |
|||
|---|---|---|---|
|
课次 |
课程名称 |
内容 |
课时 |
|
1 |
图像基本操作 |
图像的加载、保存，摄像头视频流获取，WEB视频流获取。 |
2 |
|
2 |
图像基础 |
图像描述，像素访问，颜色空间转换。 |
2 |
|
3 |
图像处理 |
图像平滑，图像锐化，图像二值化，缩放与旋转。 |
2 |
|
4 |
特征提取 |
边缘检测，角点检测，轮廓检测。 |
2 |
|
5 |
特征匹配 |
基于特征/模板的匹配方法。 |
2 |
|
6 |
目标检测1 |
基于颜色/形状的目标检测。 |
2 |
|
7 |
目标检测2 |
基于Haar特征的人脸检测。 |
2 |
|
8 |
目标检测3 |
基于HOG特征的行人检测。 |
2 |
|
9 |
目标跟踪 |
基于卡尔曼滤波/光流法的目标跟踪。 |
2 |
|
10 |
相机标定 |
基于棋盘格对相机进行外参标定。 |
2 |
|
11 |
二维码检测 |
使用Apriltag进行二维码的识别和定位。 |
2 |
|
12 |
深度学习的目标检测 |
基于PaddlePaddle训练Yolo模型，并部署在机器人上，进行目标检测与分类。 |
2 |
机器人人机交互
|
机器人人机交互（8课时） |
|||
|---|---|---|---|
|
课次 |
课程名称 |
内容 |
课时 |
|
1 |
基于界面的人机交互实验 |
基于Pyqt编写图形界面实现人机交互。 |
2 |
|
2 |
智能语音人机交互实验 |
基于人工智能技术实现语音转文字和文字转语音，并通过语音控制不同形态的机器人运动。 |
2 |
|
3 |
基于人脸识别的人机交互 |
基于人工智能技术实现人脸识别的人机交互，实现机器人交互解锁功能。 |
2 |
|
4 |
基于深度学习手势识别的人机交互 |
基于视觉与人工智能技术实现机器人手势识别的人机交互，可以基于不同的手势执行不同的动作。 |
2 |
具身智能综合实践-智能分拣系统设计
《具身智能综合实践-智能分拣系统设计》是一门高度贴合人工智能技术在智能制造行业应用的综合实践课程，课程特点是聚焦在国产AI芯片上的边缘计算技术，在国产嵌入式AI芯片与部署架构下实现视觉检测，并依托桌面四轴机械臂实现相应的分拣，充分满足教学与实践的需求。综合实践课程支持32课时或者1-2周的集中式教学模式。
|
具身智能综合实践-智能分拣系统设计（32课时） |
|||
|---|---|---|---|
|
课次 |
课程名称 |
内容 |
课时 |
|
1 |
场景导入与任务分析 |
介绍智能制造行业应用场景，从行业应用场景导入视觉检测与分拣系统的设计思路及需要的性能参数。熟悉设备的各个组成部分，启动设备，连接AI控制器系统并运行经典案例。 |
2 |
|
2 |
设备开发指导 |
对如何在设备上基于Python编程开发进行教学与实践，对机械臂驱动进行调试。 |
2 |
|
3 |
摄像头与视觉系统调试 |
对摄像头驱动进行开发，通过简单的Python编程获取摄像头数据并进行保存等。 |
2 |
|
4 |
神经网络数据集制作与标注 |
基于摄像头，对数据进行采集和标注。 |
2 |
|
5 |
图像增强 |
运用常见的数字图像处理技术进行图像增强，保证数据集的多样性。 |
2 |
|
6 |
数据集生成 |
对采集的数据集进行分类，生成训练集、验证集和测试集。 |
2 |
|
7 |
模型训练 |
使用Pytorch框架，基于Yolo训练目标模型，并进行目标识别。 |
2 |
|
8 |
模型部署 |
了解边缘计算的概念，完成Pytorch模型到Onnx模型，再到可本地加速推理的Rknn模型的转换。 |
2 |
|
9 |
边缘计算推理 |
将转换后的模型部署在国产AI芯片上，进行加速与推理，感受并行运算优化加速的优势，体会芯片国产化的意义。 |
2 |
|
10 |
视觉模型校准 |
对图像坐标系和机械臂坐标系进行校准，为后续分拣抓取做准备。 |
2 |
|
11 |
视觉图像调试 |
实现基于单目视觉相机识别要搬运的物体，并使用深度视觉定位此物体，为抓取提供参考。 |
2 |
|
12 |
语音系统调试 |
基于机载芯片本地加速模型推理，实现语音转文字，文字转语音，通过语音指令为抓取逻辑提供参考。 |
2 |
|
13 |
整体业务逻辑编程开发与调试 |
在机器人上进行编程开发，串联各个模块，并进行调试，完成自主搬运任务。 |
6 |
|
14 |
演示与汇报 |
结合场景任务进行演示与汇报。 |
2 |