中人教仪厂
一、产品结构组成
系统包含六自由度机械臂、宽动态AI视觉摄像头、Jetson Nano边缘处理终端17.3寸边缘计算显示单元、机器视觉场景应用资源包、可模拟人工智能典型应用场景，实现人工智能应用技术教学实验。
教学平台系统预装Ubuntu18.04操作系统，所有环境代码库文件均已安装，开机即用。基于多维度学习实践平台，由浅入深循序渐进，从基础单独的GPIO扩展开始学习过渡到传感器实验项目再进入OpenCVPyTorch、ROS系统，机器运动学，AI机器视觉，AI语音识别听觉等学习，从而学会AI人工智能开发。
所提供的算法源代码（包括人脸检测、车牌识别、垃圾分类、目标检测），兼容Caffe/TensorFlow/MXNet训练模型和API，可以让学生对机器视觉的流程、处理方式等有更好的了解，熟悉相关算法，了解实际应用场景，贴近工程化应用。
1、JetsonNano边缘计算平台
NVIDIA Jetson Nano是一个小巧却功能强大的计算机，它可以让你并行运行多个神经网络、对象检测、分割和语音处理等应用程序,Jetson Nano搭载四核cortex-A57处理器，128核MaxwellGPU及4GB LPDDR内存，带来足够的AI计算能力,提供472GFLOP算力,并支持一系列流行的Al框架和算法，比如TensorFlow、Pytorch.caffe/caffe2、Keras、MXNET等
2、机器视觉(机器臂)
视觉机械臂以Jetson nano为主控，Open Source CV为图像处理库，以主流的Jupyter Lab为开发工具,使用Python3为主要编程语言。摄像头与机械臂机身一体式设计，“手眼合一”的视觉识别让机械臂显得更加灵动，它不仅可以实现颜色识别追踪与抓取，还能人体特征识别互动，甚至进行垃圾分类模型训练垃圾分拣;通过RO5机器人操控系统，简化了6自由度串行总线舵机复杂运动控制。
1080P摄像头：感光元件尺寸：1/237”最高有效分辨率：1928*1088;数据格式：YUY2/MJPG;像素大小：3.0μm*3.0μm;宽动态范围：96DB;自动控制：饱和度，对比度，锐度，白平衡，曝光。
机械臂：Cortex-M3内核的处理器控制板，自由度桌面式机械臂，大功率串行总线智能舵机，臂展350mm，负载≥300g，带夹爪，阳极氧化处理铝合金机身，主要用于工业机械臂的控制。支持python编程，可灵活和精准调节每一关节角度和位置；支持PC上位机、手机APP、USB游戏手柄控制；
3、语音识别-麦克风阵列
麦克风阵列是基于MSM261S4030H0数字麦克风芯片设计的，模块声音识别灵敏度、信噪比都比较高，可应用于声源定位、语音识别、波束成型等需求场合。
1. :RISC-V Dual Core 64bit,with内核,主频400MHz,8M Byte,内置语音识别麦克风阵列(8mics),网络模型:支持YOLOv3 \ Mobilenetv2 \ TinyYOLOv2,支持TensorFlow/Keras/Darknet/Caffe等主流框架
2. 麦克风:6+1个MSM261S4030H0组成阵列（声压级:140 dB SPL，灵敏度:-26，信噪比: 57dB，THD<1%，时钟频率:1.0-4.0MHz正常模式，150-800kHz低功耗模式）
2.灯光:12个LED通过双信号线级联（颜色和亮度可调)
3.支持声源定位、语音导航、语音交互、离线语音识别。
4、激光雷达
相较于传统技术，利用红外激光设备可实现超大屏幕的多点触摸，其反应更快、精度更高、抗环境光能力更强。激光雷达作为核心传感器，可快速获得环境轮廓信息，配合SLAMWARE使用，可以帮助机器人实现自主构建地图、实时路径规划与自动避开障碍物。应用领域智能扫地机、家用机器人。
测量半径：12米，测量频率：8000次/秒，扫描频率：5.5HZ，360度扫描测距
工程应用方向
1. 计算机视觉基础应用与机械臂的运动控制
（1）视觉定位：放置任意物体在视野中，在图像中将其分割（框出来），并输出中心点坐标；
（2）颜色识别和分选：多种颜色混合放置于视野中，每种颜色各一个，控制手臂挑选出某种颜色，并放置在一侧；
（3）颜色识别和堆叠：多种颜色混合放置于视野中，如两种，每种颜色两个，控制手臂抓取某种颜色并堆叠，或多颜色分别堆叠；
（4）形状识别和分选：多种形状混合放置于视野中，每种形状各个，控制手臂挑选出某种形状，并放置在一侧；
（5）形状识别和堆叠：多种形状混合放置于视野中，如两种，每种形状两个，控制手臂抓取某种形状并堆叠，或将多种形状分别堆叠；
（6）单一形状目标按大小排序：同种形状，放置三种不同尺寸的物体于视野中，控制手臂按照从大到小的顺序依次放置；
（7）多种形状目标同时按形状和大小堆叠：三种形状，每种形状放置三种不同尺寸的物体于视野中，控制手臂按照不同形状、从大到小的顺序分别进行堆叠（即三个堆垛，均为从大到小）；
（8）垃圾分类：在目标上贴上不同物体的图案，如白菜、标识为有毒物品的玻璃瓶、纸箱，混合放置于视野中，通过配置，控制机械臂按照厨余垃圾、有害垃圾、可回收垃圾进行分类；
（9）手势交互：比如伸出1、2、3、4个手指，机械臂分别执行向上、向下、向左、向右运动，伸出5个手指，则画一个圆；
（10）目标跟踪：操作者手持一个小球，机械臂识别该小球（形状或颜色），并**小球的移动而移动；
（11）OCR光学字符识别与排序：目标上贴上字符，乱序摆放（可要求字符必须朝同一个方向，但顺序是乱的），机械臂通过视觉识别，将其按照123456的顺序摆放到指定位置
2.计算机视觉与人脸识别、车牌识别等应用
（1）人脸识别：事先录入人脸，对新的人脸进行识别，识别成功弹出人员的信息，识别不到则提示该人员不在系统中；
（2）人脸门禁：识别到人脸后，打开门禁系统，同时绿色指示灯亮起，识别不到，黄色指示灯亮起，提示无该人员信息；
（3）人员入侵预警：同上。同一人脸连续识别超过 3 次，且均显示不在系统中，红灯亮起，同时蜂鸣器报警；
（4）车牌识别：事先录入车牌，对新的车牌进行识别，识别成功弹出车主信息，同时绿色指示灯亮起，识别不到则黄色灯亮起，并提示该车辆不在系统中；
（5）车辆入侵预警：同上。同一车牌连续识别超过 3 次，且均显示不在系统中，红灯亮起，同时蜂鸣器报警；
（6）运动目标识别与跟踪：采用视频实时识别的方式，对视野中的一个或多个人员进行识别，框出来，标记识别到的人员数量，并**人员的移动进行跟踪；
3.语音识别与智能家居系统
（1）智能门禁控制：预先对语音进行标记，通过配置语音指令和门禁系统控制算法，实现如发出“开门”的指令，门禁系统自动打开的动作；
（2）智能灯光控制：预先对语音进行标记，通过配置语音指令和灯光控制算法，实现如发出“开灯”的指令，灯光自动打开的动作；
（3）智能风扇控制：预先对语音进行标记，通过配置语音指令和风扇控制算法，实现如发出“打开风扇”的指令，风扇自动开启的动作；
（4）智能温湿度检测：预先对语音进行标记，通过配置语音指令和温湿度传感器控制算法，实现如发出“今天的温度是多少”的指令，传感器自动开启并在屏幕上显示当前环境温湿度的动作。
西门子plc仿真实训软件包括基本指令、应用指令、顺序控制指令
一、基本指令：电动机启停控制、电动机正反转控制、电动机循环正反转、可逆运行反接制动、三速电机控制、星角降压启动控制、数码管点亮控制、交通灯控制、恒压供水系统控制九项。
1、电动机启停控制包括：实训要求、实训器件、器件布局、I/O分配、T型图、电路连接、通电运行等七项
（1）实训要求：文字、图片的形式展示。将主要掌握的知识点予以概括，了解本模块主要的学习内容包括两地控制电路的编程方法，学会实际控制设计PLC的外围电路，学会分局实际控制要求设计简单的梯形图等。
（2）实训器件：列出电动机启停控制单元所用到的全部器件，包括三相异步电动机、PLC、交流接触器、三相断路器、熔断器、热继电器、启动按钮、停止按钮。
（3）器件布局：将器件库中的仿真器件放到仿真配电柜中的相应位置，用于训练学生对器件及电路的了解。电路上要有相应的符号，器件拖拽错误器件会拖拽不上去并会有相应的声音显示。
（4）I/O分配：软件中有I/O分配地址和电路图，将鼠标点到分配地址资源后会有相应的事物图片展示，用来让学生更好的了解器件模型与电路图。
（5）T型图：给出缺失符号的T型图和相应的符号，学生根据所学知识用鼠标将符号拖拽到T型图上，如果正确则符号保留在T型图上，错误则消失。
（6）电路连接：
原理图中闪烁的线条即为当前应连接的电路，用鼠标点击连接此线的两触点中的一个触点，然后拖动鼠标，找到另一个触点并点击，若正确将出现连接线，不正确此线消失，只有当该连线连接正确后，才能进行下一条线的接线操作。如果接线中出现困难可点击“答案”按钮，点击后将出现已完成的接线图，可参考该图完成你所进行的操作，再次点击“答案”按钮，答案将消失。
可以自由接线，参照电路图可以进行自由接线，如果不会可以点击提示，鼠标点击任何一个接线热点另外的一端热点会闪烁显示。
（7）通电运行：以仿真实训方式实现。通电后，可按照操作步骤按下相应开关，即可直观地观察到电路的运行情况，同时配合模拟真实场景的声效，达到仿真的效果。
部分实训项目资源
实验1 CC2530 GPIO实验
实验2 CC2530 UART串口实验
实验3 CC2530定时器实验
实验4 CC2530 AD转换实验
实验5 CC2530外部中断实验
实验6 CC2530睡眠定时器唤醒实验
实验7 TI Z-Stack协议栈代码介绍
实验8 Z-Stack简单无线收发实验
实验9 Z-Stack点对点通信实验
实验10 Z-Stack树状网实验
实验11 Z-Stack广播通信实验
实验12 Z-Stack MESH网实验
实验13 Z-Stack星状网实验
实验14 STM32 GPIO实验
实验15 STM32 定时器实验
实验17 STM32 RS485通信实验
实验17 STM32外部中断实验
实验18 STM32 FLASH存取实验
实验19 STM32 UART串口实验
实验20 STM32 SDIO实验
实验21 STM32 AD转换实验
实验22 STM32 液晶屏驱动实验
实验23 STM32 CAN通信实验
实验24 ISO14443标签寻卡操作实验
实验25 ISO14443标签密码下载实验
实验26 ISO14443标签密码修改实验
实验27 ISO14443标签数据读写实验
实验28 ISO14443 TYPEB读取身份证卡号实验
实验29 漫反射光电开关传感器实验
实验30 风扇控制实验
实验31 人体感应传感器实验
实验32 12V可调灯控制实验
实验33 报警灯实验
实验34 烟雾传感器实验
实验35 火警传感器实验
实验36 4-20mA接口实验
实验37 485门禁读卡器实验
实验38 0-10V接口实验
实验39 电控锁实验
实验40 继电器控制实验
实验41 指纹识别模块实验
实验42 智能电表实验
实验43 光照传感器实验
实验44 智能调光实验
实验45 震动传感器实验
实验46 智能插座实验
实验47 温湿度传感器实验
实验48 雨滴传感器实验
实验49 Android系统编译环境搭建实验
实验50 搭建Android系统应用程序开发环境实验
实验51 Android系统开发环境的搭建实验
实验52 编译ANDROID的启动引导程序UBOOT实验
实验53 ANDROID内核程序linux实验
实验54 编译ANDROID实验
实验55 SD卡烧写Bootloader实验
实验56 菜单(MENU)实验
实验57 SD卡烧写Android系统实验
实验58 ACTIVITY&INTENT实验
实验59 ANDROID HelloWorld应用程序实验
实验60 ADB工具的使用实验
实验61 WIDGET基础控件实验
实验62 LCD设备驱动实验
实验63 对话框(DIALOG)实验
实验64 触摸屏设备驱动实验
实验65 USB HOST设备驱动实验
实验66 按键设备驱动实验
实验67 USB OTG设备驱动实验
实验68 实时时钟设备驱动实验
实验69 SDIO WIFI 设备驱动实验
实验70 音频设备驱动实验
实验71 以太网设备驱动实验
实验72 SD/MMC卡设备驱动实验
实验73 摄像头设备驱动实验
实验74 按键设备驱动实验
实验75 LCD设备驱动实验
实验76 物联网应用之传感器告警设计实验
实验77 物联网应用之可调灯光设计实验
实验78 物联网智能农业应用开发
实验79 物联网智能家居安防综合系统实验
实验80 物联网智能家居环境监控综合系统实验
实验81 物联网智能交通应用开发
实验82 物联网RFID货柜应用开发
