AI视觉与语音实验箱
（1）产品简介
AI视觉与语音实验箱是一款专注于视觉、语音、AI技术的产品，聚焦数字图像处理技术、计算机视觉技术、机器学习技术、深度学习技术、语音交互技术，采用理论与实践相结合的方式，从通识概念理解、算法研究、软件功能实现、到动手联调实践等多个方面帮助学生掌握相关软硬件知识。通过一系列综合实践案例，使学生了解相关技术在生活实际与产业实践方面的应用，助力高校人工智能与自动控制技术的人才培养。
（2）产品特点
●采用模块化分离式设计，简易搭建即可快速进入实验状态，实验完毕后便捷收纳至实验箱内，降低教师对实验器材的管理难度；
●配置系统级控制器和深度学习处理器，可进行多种人工智能视觉、语音应用的开发，可实现边缘深度神经网络（DNN）推理应用的快速原型设计、验证和部署；
●全面的计算机视觉与AI教学内容
从Python编程语言基础开始，到数字图像处理的基础知识，各类机器视觉算法原理与实现，机器学习算法原理与实现，深度学习算法离在线教学，各类AI框架了解与使用，模型设计与优化，视觉与机械臂软硬结合，综合创新案例等，由浅入深，由模块到综合，课程内容贯穿大二到大三，非常全面；
●丰富的语音实验案例
利用离线语音唤醒、离线命令词识别、语音合成与播报、智能问答等技术，结合一系列综合实践案例，满足新工科相关专业在人机自然交互方面的教学与实训需求；
●富有趣味性的创新案例
设计了一系列的创新综合案例，如人脸考勤系统、口罩识别、物料分拣、远程交互、垃圾分类语音助手等实验；
●与应用高度结合
介绍一系列在工业与商业应用的落地案例，在开源AI框架基础上进行深度学习模型优化与裁剪，使用商业现场应用较多的openvino框架，可进行深度学习推理；
●机械臂控制精度高
工业级的精度：重复定位精度0.2mm。采用DDR机器人结构，选用步进电机和减速机执行器，具有振动小、结构刚度高、机械传动损耗小、响应速度快、可靠性高等优点。能够更好地支持用户在机械臂运动学、机械臂定点抓取、图像引导视觉抓取等方面进行深入实验和研究；
●仿真联动
设计了ROS系统下的STDR仿真交互，在实物上进行实验时，可在仿真系统内设置应用场景进行联动，具有独特的实验教学效果。
（3）适用领域
●人工智能、机器人工程等专业的专业核心课；
●智能分拣、视觉抓取等比赛项目的参赛平台；
●本科毕设或研究生用于验证理论算法、验证学术论文等。
（4）软件功能示例
AI计算机视觉机械臂控制、物块分拣：基于OpenCV+机械臂控制为一体的颜色识别、物块分拣、物块堆叠。使用OpenCV对桌面上放置的物料进行颜色识别，获取不同颜色的物料在OpenCV图像轮廓中的坐标，通过坐标变换和机械臂逆向运动学推导计算出机械臂要成功抓取到物料所需要转动的角度，计算出结果后，控制机械臂对物料进行抓取，堆叠放置；
基于深度学习的水果识别与抓取：包括环境配置、制作数据集、模型训练、模型部署，基于YoloV5目标检测和pytorch深度学习框架；
基于AI视觉的智能考勤：使用tensorflow和keras搭建机器学习神经网络模型，利用OpenCV进行图像处理，使用pyqt5制作智能化的考勤界面，可以在考勤界面上进行人脸录入，考勤打卡；
年龄、性别、人脸特征点等综合检测：基于深度学习模型和openvino推理框架，实现综合检测；
机械臂运动学仿真：通过matplotlib对机械臂建立简单的模型，实现机械臂的逆向运动学模拟；
语音、视觉与STDR仿真联动：将语音识别、OpenCV手势识别和ROS中的STDR的自动导航仿真相结合，通过语音指令和数字手势来控制ROS仿真小车在包含多个房间的地图中进行自动导航；
语音交互：语音查询天气、温度，日常问候，通用型知识百科，语音控制机械臂，语音分拣物料，垃圾分类语音助手等功能。
课程设置示例
课程名称: AI视觉与语音交互综合实验
开课年级：大二—大三
课程以关键技术分解实战和终端互动实践为导向，由浅入深进行递进式教学。
|
AI视觉与语音交互综合实验（32学时） |
||
|---|---|---|
|
课次 |
课程内容 |
学时 |
|
第1次 |
实验箱上手指南 |
2 |
|
第2次 |
Python入门 |
2 |
|
第3次 |
机械臂运动学 |
2 |
|
第4次 |
机械臂运动控制 |
2 |
|
第5次 |
图像处理与机器视觉 |
2 |
|
第6次 |
人工智能技术 |
2 |
|
第7次 |
机器学习与模式识别 |
2 |
|
第8次 |
水果识别分类 |
2 |
|
第9次 |
深度学习 |
2 |
|
第10次 |
人脸考勤 |
2 |
|
第11次 |
深度学习应用 |
2 |
|
第12次 |
人脸性别年龄特征点检测 |
2 |
|
第13次 |
智能控制 |
2 |
|
第14次 |
语音交互 |
2 |
|
第15次 |
ROS操作系统入门 |
2 |
|
第16次 |
ROS仿真联动 |
2 |