返回

AI语音与机器视觉实验室建设方案

配置表

序号 产品名称 数量 规格
1 AI语音与机器视觉开发应用系统平台 25 由边缘计算处理器RK3399，4G+16G内存配置，11.6寸高清电容屏、AI摄像头、AI麦克风阵列等构成。提供更丰富的扩展接口：双路USB3.0，RS232，RS485，嵌入式拓展接口等各种外设接口。
2 AI图像视觉开发资源包 1 配套源码，视频教程，实验指导书，PPT等
3 AI语音语言开发资源包 1 配套源码，视频教程，实验指导书，PPT等
4 AI神经网络基础资源包 1 配套源码，视频教程，实验指导书，PPT等
5 物联网应用云平台软件 1 1）能够将物联网感知层设备（传感器、执行器等）接入物联网云服务平台，平台能够接收并存储传感器和执行器的实时数据，模块在线状态，并实时显示。
2）提供后台管理系统，能够设置账号类型和使用权限。支持多用户管理及权限控制，分为父用户和子用户，父用户可以创建多个子用户，并且可以为每个子用户分配增、删、改几种权限，子用户创建的资源相互隔离。
3）提供物联网规则编辑器，无需编写代码即可编辑复杂的自动化控制策略，实现移动互联网系统的自动化控制。
4）提供丰富的可视化控件库，通过拖拽、简便配置即可完成美观的UI设计。支持GIS地图、曲线图、柱状、饼图、图表、按钮、仪表图等控件。
5）物联网感知层设备也能够向执行器发送控制命令，系统能够实现模块的在线监测。
6）云平台支持物联网硬件多协议接入，通过ZigBee/BLE/wifi/lora/NBIOT无线技术取得传感器采集的数据，形成一个完整的无线传感器网络。
7）数据通过http/MQTT协议传输至物联网应用基础云平台软件，进行数据图形化展示。
8）实现基于云平台的智能家居实验，并包含配套完整的教学资源。
9）支持本地化部署和云端部署两种方式。
6 实验桌 50  
7 电脑 50  
 

2.     产品说明

2.1.       AI语音与机器视觉实验室建设思路

2.1.1.          实验室建设概况

2.1.1.1.     建设目标

嵌入式人工智能创新应用实验室，整体规划与布局如下：
在原专业的基础上，培养能在人工智能及其应用的各相关领域中从事数据挖掘、深度学习、神经网络、计算机视觉、机器人学习、语音识别等的人工智能应用型人才。以ARM人工智能创新实验室作为产业聚集地，承担规划设计、建设指导、协调支持等作用；涵盖基础教学、算法应用开发、产品原型开发验证和企业案例应用实训等四个关联递进的场景；形成以人才培养基地、资源中心、培训中心、资质认证中心、创新创业基地、教学研究中心为目标的6大生态体系，建成工信部紧缺人才实验中心并获得工业和信息化领域急需紧缺人才培养工程授牌，为学校建设和社会人工智能人才培养服务，实现产教深度融合。
通过人工智能技术手段，结合学院的人才培养特点，为学院的实践教学、科技创新、学科竞赛及产学研项目等提供平台支撑。打造能够服务于人工智能、物联网等研发产业,为优化升级产业结构和发展提供技术支撑和人才培养教学平台。

1.2           建设思路

AI趋势：智能向端迁移，端云结合
•  云：数据挖掘、算法训练
•  端：推理，产生高质量数据（信息）
•  全面渗透金融、医疗、安防、零售、制造业、以及家庭等全行业，典型应用AIoT。


面对新一轮人工智能浪潮中如何将人工智能教育落实到课程上,嵌入式人工智能创新应用实验室为学员准备不同层次的训练，使学员能由简到繁、由易到难不断的深化学习。

1.3     建设内容

人工智能产业尚处于一个发展的初步阶段，随着标准的制定、核心技术的研发与普及，将会衍生至各产业行业的众多技术变革与应用。为此学校在实训室的建设方面需要有一定的前瞻性。一、应保证满足3至5年的需要；二、升级换代方便；三、最大限度地保护已有投入。那么参照这个原则，人工智能实训基地的建设发展目标是：
Ø  设备能够满足5年内的教学需求。
Ø  设备易于升级与更迭。
Ø  设备扩展性好。
Ø  企业能提供强大的售后服务支持。
Ø  企业能够在人工智能研发探索上提供关键技术支撑平台。
Ø  企业能够提供行业发展的最新信息，能够提供满足教学需求的教学资源库。
Ø  企业应具备为学校提供师资队伍的能力。

2.1.2.          课程体系设置

2.1.2.1.   教材名录

2019年，国内来自北京大学、北京邮电大学、武汉大学、同济大学、哈尔滨工业大学、哈尔滨工程大学等近30所学校知名专家教授共同撰写的42本教材，由人民邮电出版社出版。
序号 书名 序号 书名
1 人工智能原理    22 物联网概论
2 脑科学导论 23 物联网通信技术
3 人工智能学科基础 24 射频识别（RFID）原理与应用  
4 大数据导论 25 窄带物联网原理及应用
5 计算智能 26 工业物联网技术及应用
6 自然语言处理与深度学习 27 智能家居设计与实践
7 人工智能导论 28 智慧交通信息服务体系与应用
8 计算机视觉 29 Linux操作系统基础
9 机器学习原理与python实现 30 嵌入式系统导论
10 知识图谱 31 嵌入式系统基础-基于Arm Cortex-M微控制器系统
11 Python数据处理与挖掘 32 嵌入式系统设计
12 深度学习 33 Arm嵌入式系统及应用
13 智能自主体系统 34 智能嵌入式硬件系统开发实例教程
14 人工智能与区块链：数字经济学视角的技术范式 35 基于Arm Cortex-M3核的SoC设计实验教程
15 GPU编程 36 C++程序设计 ——现代方法
16 人工智能白皮书 37 Python高级程序设计
17 物联网系统开发技术 38 计算机网络与通信
18 机器学习 39 微型计算机原理及应用--基于Arm微处理器  
19 智能无人系统 40 5G移动通信技术 
20 数字图像处理与Python实现 41 物联网信息安全与隐私保护
21 智能系统设计与实践 42 物联网智能控制
 
 

2.1.2.2.   2.2 课程资源

Ø  人工智能课程建设思路
 
一、基础模块 二、智能科学与技术模块 三、物联网技术模块 四、嵌入式系统模块
1.数据结构 1.人工智能导论 1.物联网技术导论 1.Linux操作系统基础
2.程序设计基础（C/Python） 2.人工智能原理 2.物联网通讯技术 2.Linux高级编程
3.计算机网络与通信 3.机器学习 3.自动识别技术及应用 3.嵌入式微处理器技术及应用
4.操作系统 4.计算机视觉 4.传感器原理及应用 4.开源硬件应用开发
5.微型计算机原理及应用 5.智能机器人 5.物联网中间件技术 5.嵌入式系统设计
6.单片机基础 6.模式识别 6.物联网应用系统设计 6.嵌入式操作系统
7.数据库系统原理 7.数据挖掘 7.窄带物联网 7.嵌入式软件设计及开发
  8.自然语言处理 8.工业物联网 四、嵌入式系统模块
  9.智能移动软件开发技术 三、物联网技术模块 1.Linux操作系统基础
  10.数据科学 1.物联网技术导论 2.Linux高级编程
  11.深度学习框架及应用 2.物联网通讯技术 3.嵌入式微处理器技术及应用
 
 
1） 基础课程设置
提供人工智能、大数据、云计算等相关基础技术开源组件的理论知识、各组件的安装部署配置等上机实训手册，以及运维监控、性能优化等知识宝典、提供教学环境上机操作实训体验 。
Ø  理论知识：相关的电子书籍、技术介绍文章等
Ø  实训知识：相关的安装、部署、配置手册
Ø  技能宝典：自动化部署脚本、维护和优化知识库、主要论坛地址等
Ø  操作体验：提供环境，进行安装部署操作
2）专业提升课程
通过各个开源组件部署配置，以及定制开发，实现通用的云计算平台（容器、DevOps）、大数据可视化平台、人工智能平台等符合企业需求的技术平台，以及近似企业平台的用户操作体验，提升专业技能。
Ø  技术平台：介绍技术平台架构，如：技术组件，系统架构
Ø  使用手册：介绍如何通过平台实现企业各类场景需求
Ø  上机体验：提供教学环境的场景，
Ø  提升认知：引入配套的AR增强现实体验等方式

2.1.2.3.     2.3 课程设置

Ø  课程（本科）：专业方向：智能技术及应用
课程类别 课程名称 学分 总/周学时 理论
课时/学分		 实践
课时/学分		 先修课程
专业核心课 C++程序设计 ——现代方法 4 64/4 48/3 16/1  
Linux操作系统基础 3 48/3 32/2 16/1 C++
人工智能原理 4 2秋
  4 2秋
2 32/2 32/2    
神经网络与深度学习 4 64/4 32/2 32/2 C++
计算机视觉 4 64/4 32/2 32/2 C++
语音信号处理 3 48/3 32/2 16/1 C++
2 32/2 32/2    
神经网络与深度学习 4 64/4 32/2 32/2 C++
计算机视觉 4 64/4 32/2 32/2 C++
语音信号处理 3 48/3 32/2 16/1 C++
 
 

2.2.       AI语音与机器视觉开发应用系统平台

人工智能语音机器视觉系统是一款集成AI语音、机器视觉、深度学习基础、嵌入式Linux于一体的高端教学科研实验平台。


整个教学平台由实验箱高性能嵌入式主板够成，高性能嵌入式核心板采用高性能64位ARM处理器，标配4GB DDR3内存和16GB闪存，可运行ubuntu、android、linuxqt等多种操作系统，可满嵌入式linux和AI应用开发。
平台采用多核高性能 AI 处理器，预装 Ubuntu Linux 操作系统与 OpenCV 计算机视觉库，支持 TensorFlow Lite、NCNN、MNN、Paddle-Lite、MACE 等深度学习端侧推理框架。
提供多种应用外设与丰富的机器视觉、AI语音、深度学习实战应用案例，如语音前处理（声源定位、语音增强、语音降噪、回声消除、声音提取）、语音活体检查、语音唤醒、语音识别、语音合成、自然语言处理、声纹识别门锁、语音智能家居、手写字识别、人脸识别、目标检测、端侧推理框架、图像识别、人体分析 、文字识别、人脸门禁控制、车牌道闸控制、手势家居控制等，通过案例教学让学生掌握计算机视觉与深度学习的基本原理和典型应用开发。

2.2.1.          嵌入式网关核心板

RK3399核心板是一款266-pin金手指形式高性能ARM计算机模块，它采用了瑞芯微64位六核（包含双核Cortex-A72 +四核Cortex-A53）Soc RK3399作为主处理器，标配4GB DDR3内存和16GB闪存，板载2×2 MIMO双天线Wi Fi模组，尺寸只有69.6×50mm，模块上带有独立的Typec供电接口，以及USB-C显示接口。
https://img.alicdn.com/imgextra/i4/73291228/O1CN01qanb671KwStxlQsHR_!!73291228.jpg       
RK3399计算模块具有丰富的外设和扩展接口，可以扩展使用双MIPI宽动态摄像头，另外它还带有eDP显示接口，MIPI显示接口，1路USB3.0,2路USB2.0，以及12C,12S,SPI,PWM,GF10和串口等各种资源。RK3399可流畅运行Android 8.1,Ubuntu 18.04,Armbian,Buildroot等主流嵌入式操作系统，软件资源和生态非常丰富，尤其是Android 8.1具有NN SDK神经网络加速软件包，Qt-5.10集成了VPU硬件编解码，GPU图形加速，可使用QML快速开发流畅的动态式界面，因此RK3399核心板非常适合做高端人脸识别，机器视觉，VR虚拟现实，自动驾驶，深度计算分析等方面的人工智能产品快速原型及产品开发。
硬件参数：
CPU SOC:RK3399
核心:64位双核Cortex-A72 +四核Cortex-A53
频率:Cortex-A72 (2.0 ghz), Cortex-A53 (1.5 ghz)
GPU Mali-T864 GPU,支持OpenGL ES1.1/2.0/3.0/3.1、OpenVG1.1 OpenCL, DX11, AFBC
VPU 4K VP9 and 4K 10bits H265/H264 60fps decoding, Dual VOP, etc
Memory RAM: Dual-Channel 4GB DDR3
Storage eMMC: 16GB(regular), 32GB/64GB(optional), eMMC 5.1
Power Management RK808-D PMIC,配合独立直流/直流,启用dvf solfware省电,RTC唤醒,系统睡眠模式
Connectivity 以太网:本机千兆以太网
wi - fi: 802.11 a / b / g / n / ac
蓝牙:4.1双模式
天线:双天线接口
Video Input 1个或两个4-Lane MIPI-CSI,双重ISP, 13 mpix / s,同时支持双相机数据的输入
Video Output HDMI: HDMI 2.0a, supports 4K@60Hz，HDCP 1.4/2.2
DP on Type-C: DisplayPort 1.2 Alt Mode on USB Type-C
LCD Interface: one eDP 1.3（4-Lane，10.8Gbps）, one or two 4-Lane MIPI-DSI
USB USB 2.0: 2独立的本地主机USB 2.0
USB 3.0: 1本地主机USB 3.0
USB c类型:支持USB3.0 c型和显示端口1.2 Alt模式USB c型
PCIe PCIe x4, compatible with PCIe 2.1, Dual operation mode
调试 1 x调试UART, 3 v级,1500000个基点
LED 1x Power LED(Red)     1x GPIO LED(Green)
Key Power Key x1   Reset Key x1   Recovery Key x1
工作温度 -20℃ to 70℃
电源 直流12 v / 1(边缘连接器)或DV 5 v / 2.5 (c型)
 

2.2.2.          网关底板其他外设

 框图
l  11.6寸高清触显一体屏：板载，eDP接口,电容式多点触摸，分辨率1920*1080
l  按键：板载重启、恢复、电源3个功能按键，4个用户自定义按键
l  UART：1路RS232，1路RS485
l  以太网：100/1000M
l  音频：音频输出接口、MIC音频输入接口、板载4欧3W扬声器
l  无线网：WiFi (2.4G and 5G, 802.11 ac), Bluetooth 4.1
l  4G模组：板载，板载EC20模组
l  LoRaWAN网关模块接口：板载mini-pcie接口，可接入SX1301八通道并行LoRaWAN网关模块。1个项目须至少配备1个LoRaWAN网关模块，以实现对实验室所有lora节点的接入管理。
l  Zigbee网关模块：板载，直列双排20芯插针接口，非usb接口。
l  BLE网关模块：板载，直列双排20芯插针接口，非usb接口。
l  USB 3.0 HOST接口：板载2个
l  Debug接口：板载1个
l  Download接口：板载1个
l  键盘：板载7寸80键标准键盘
l  高清相机模组：CMOS传感器OV13850，MIPI信号输出，400万像素，最高支持2688x1520像素。
l  麦克风阵列：板载7颗数字高性能硅麦克风。
l  红外接收：板载红外接收模块1个
l  震动马达传感器：1个
l  LED：板载4颗蓝色LED灯珠。
l  天线接口：板载wifi、BLE、lora、LET 共4个天线接口。
l  传感器扩展接口：板载，与无线传感器节点的传感器模块接口兼容，可完成linux系统下的传感器驱动开发实验。
l  OBD接口：板载，标准16针OBD-II插座，与配套软件结合可完成基于CAN总线通信相关实验。
l 

电源：DC 9-12V输入
l  其他接口：MIPI、GPIO、SPI、I2C、TF Card (sd/mmc 3.0)、SIM卡座、USB 2.0 HOST、USB Type-C (with DP out)、eDP 1.3、HDMI 2.0 for 4K 60Hz

2.3.       外设模块

2.3.1.         


4G LTE模块l  网络：FDD-LTE/TDD-LTE/WCDMA/TD-SCDMA/GSM/EDGE；
l  制式：CMCC/CUCC（B1/B3/B8/B34/B38/B39/B40）；
l  工作频带：HSPA1900/2100，GSM 900/1800；
l  高速USB 2.0接口、PCI-E接口；
l  支持短信、数据、电话本、PCM语音功能；
l  支持IPv4,IPv6协议；
l  支持LTE多频；
l  支持最大150M/50Mbps的理论上下行数据传输速率；

2.3.2.          AI麦克风阵列

l  7路麦克风阵列，提供声源定位、语音增强、语音降噪、回声消除、声音拾取等功能。
l  带硬件浮点运算的RISC-V 双核64位处理器，主频最高800MHz。
l  具备机器听觉能力和语音识别能力，内置语音处理单元（APU）。
l  具备卷积人工神经网络硬件加速器KPU,可高性能进行卷积人工神经网络运算。
l  麦克风阵列模块集成TFT彩屏屏，能够直观显示音频频谱图。
l  内置ARM STM32 USB音频驱动芯片，提供USB声卡驱动，开放源代码。
l  接口：双列直插封装/USB，需能够接入到eAIOT平台使用。
l  支持语音识别、语义理解、语音合成、人机对话等功能，可与硬件进行语音交互。
l  5米监测范围、基于linux系统。
图片5

2.3.3.          AI摄像头

l  1/1.8" SONY Exmor CMOS
l  有效像素200万像素，30帧@1920*1080
l  C/CS镜头接口，最低照度0.001 Lux，120dB TWDR
l  支持协议：PROFILE S，GB/T28181，FTP/RTSP.UPNP等
l  支持双码流、手机监控、心跳机制，具3D降噪、去雾、数字宽动态、镜头校正、走廊监控等智能模式
l  提供基于eAIOT教学平台的人脸识别系统案例。

2.4.       物联网应用基础云平台

1、功能简介
1）学生能够将物联网感知层设备（传感器、执行器等）接入物联网云服务平台，平台能够接收并存储传感器和执行器的实时数据，模块在线状态，并实时显示。
2）提供后台管理系统，能够设置账号类型和使用权限。支持多用户管理及权限控制，分为父用户和子用户，父用户可以创建多个子用户，并且可以为每个子用户分配增、删、改几种权限，子用户创建的资源相互隔离。
3）提供物联网规则编辑器，无需编写代码即可编辑复杂的自动化控制策略，实现移动互联网系统的自动化控制。
4）提供丰富的可视化控件库，通过拖拽、简便配置即可完成美观的UI设计。支持GIS地图、曲线图、柱状、饼图、图表、按钮、仪表图等控件。
5）物联网感知层设备也能够向执行器发送控制命令，系统能够实现模块的在线监测。
6）云平台支持物联网硬件多协议接入，通过ZigBee/BLE/wifi/lora/NBIOT无线技术取得传感器采集的数据，形成一个完整的无线传感器网络。
7）数据通过http/MQTT协议传输至物联网应用基础云平台软件，进行数据图形化展示。
8）实现基于云平台的智能家居实验，并包含配套完整的教学资源。
9）支持本地化部署和云端部署两种方式。
10）提供“物联网应用基础云平台”软件著作权登记证书及软件产品登记测试报告复印件并加盖公章，原件备查。

 

 

3.     部分实验案例

3.1.1.          嵌入式linuxQT综合实验


 
  RTC时钟


3.1.2.          手写字识别

学习设计一个神经网络模型，然后用已经标注过的MNIST数据来训练这个模型，然后进行测试验证。

图：手写字识别案例

3.1.3.          人脸识别

通过OpenCV自带的分类器、OpenCV的深度学习分类器是基于SSD(Single Shot  Detector)框架的ResNet网络，实现在图片、视频中对人脸的检测，并用矩形框框出来。
学校可用于身份识别、课堂/上下班考勤、会议签到、刷脸支付、门禁通行、安防监控相关场景。

图： 人脸识别案例

3.1.4.          目标检测

  利用深度学习框架caffe，实现对常见物体的检测。

图：目标检测案例

3.1.5.          人体姿态识别

使用边缘侧推理框架Tengine检测图像中的所有人体并返回每个人体的矩形框位置，精准定位 21 个核心关键点，包含五官、四肢、脖颈等部位，更多关键点持续扩展中；支持多人检测、人体位置重叠、遮挡、背面、侧面、中低空俯拍、大动作等复杂场景。

图：人体姿态识别案例

3.1.6.          手势识别

利用深度学习框架caffe，实现对简单手势的识别。

图：手势检测和识别系统案例

3.1.7.          车牌识别

使用opencv 的 HAAR Cascade 检测车牌大致位置，使用卷积神经网络回归车牌左右，然后使用卷积神经网络滑动窗切割字符、及识别字符。

图：交通门禁车牌检测和识别系统案例

3.1.8.          人脸门禁

采用 mtcnn 进行人脸检测，采用MobileFaceNet 进行人脸识别，然后用活体检测算法进行检测。

图：人脸门禁检测和识别系统案例

3.1.9.          声纹锁实验

通过语音增强、语音质量检测、语音增强、有效语音提取、声纹特征提取等步骤，完成声纹注册及声纹验证。

图：声纹电子锁系统案例

3.1.10.      AI语音控制智能家居

本系统实现语音数据高速传输，基于百度语音识别 API 完成语音识别，并用无线方式控制电灯，电风扇，以及获取温度和湿度。

图：语音控制智能家居系统案例

3.1.11.      知识图谱和聊天机器人

知识图谱融合了两千五百多万的实体，拥有亿级别的实体属性关系，机器人采用了基于知识图谱的语义感知与理解，致力于最强认知大脑。自然语言处理工具包的功能有：中文分词、词性标注、命名实体识别、关键词提取、文本摘要、新词发现、情感分析等。

图：知识图谱和文本聊天机器人系统案例

4.     招标参数

序号 项目名称 项目技术指标 备注
1 名称：AI人工智能语音机器视觉开发应用系统平台
型号：DB-SD38		 本项目实验系统采用CPU+GPU双处理器架构，是一款集成AI语音、机器视觉、深度学习基础、嵌入式Linux于一体的高端教学科研实验平台。
整个教学平台包括人工智能（AI）和嵌入式Linux部分，两部分互相支撑、互为补充，共同实现嵌入式人工智能。人工智能部分的硬件基于嵌入式ARM控制器、高清相机模块、7麦麦克风阵列，具备语音、图像数据的采集和处理能力及适用于多种场景的控制接口；嵌入式Linux部分的硬件采用CPU+GPU双处理器架构，配备高清大屏以及丰富的外设接口。
平台采用多核高性能 AI 处理器，预装 Ubuntu Linux 操作系统与 OpenCV 计算机视觉库，支持 TensorFlow Lite、NCNN、MNN、Paddle-Lite、MACE 等深度学习端侧推理框架。
提供多种应用外设与丰富的机器视觉、AI语音、深度学习实战应用案例，如语音前处理（声源定位、语音增强、语音降噪、回声消除、声音提取）、语音活体检查、语音唤醒、语音识别、语音合成、自然语言处理、声纹识别门锁、语音智能家居、手写字识别、人脸识别、目标检测、端侧推理框架、图像识别、人体分析 、文字识别、人脸门禁控制、车牌道闸控制、手势家居控制等，通过案例教学让学生掌握计算机视觉与深度学习的基本原理和典型应用开发。
一、硬件技术参数
★1、处理器：
CPU: RK3399：六核 Dual Cortex-A72 + Quad Cortex-A53, 64-bit CPU at 1.8GHz
GPU: Mali-T864 GPU,支持 OpenGL ES 1.1/2.0/3.0/3.1, OpenVG 1.1, OpenCL, DX11
2、存储器：双通道LPDDR3（64-bit）不低于4GB，16GB 高速emmc 扩展存储，MicroSD不低于64G
3、高清相机模组：CMOS传感器OV13850，MIPI信号输出，1300万像素，最高支持4224x3136像素。
4、AI高清摄像机：有效像素500万像素，对焦方式自动对焦，USB2.0接口，提供基于eAIOT教学平台的人脸识别系统案例。
★5、11.6寸板载高清触显一体屏：11.6寸eDP接口,分辨率不低于1920*1080
★6、1）Zigbee网关模块接口：板载，采用直列双排20芯插针牢靠固定，非usb接口。
2）BLE网关模块接口：板载，采用直列双排20芯插针牢靠固定，非usb接口。
7、4G模组：板载EC20模组，支持LTE TDD/LTE FDD/TD-SCDMA/WCDMA  /TD-SCDMA/CDMA2000/CDMA/GSM等频段
★8、7路麦克风阵列：
1）7路麦克风阵列，提供声源定位、语音增强、语音降噪、回声消除、声音拾取等功能。（需提供完整硬件原理图及PCB文件截图证明为自主研发产品）
2）主控芯片K210，RISC-V 双核64位处理器，主频最高800MHz。集成卷积神经网络加速器KPU，峰值算力1TOPS。
3）一体化单板设计，集成TFT彩色液晶屏，能够直观显示彩色音频频谱图。
4）集成 STM32音频驱动芯片，提供USB声卡驱动，开放源代码。（提供源码工程截图，源码备查）
5）采用双列直插封装和USB接口输出，需能够接入到系统主板中使用。
6）5米监测范围，基于linux系统。
★9、OBD接口：板载，标准16针OBD-II插座，与配套软件结合可完成基于CAN总线通信相关实验。
10、天线接口：板载wifi、BLE、lora、LTE共4个天线接口。
11、其他硬件接口：
1）UART：1路RS232，1路RS485
2）以太网：100/1000M
3）音频：音频输出接口、MIC音频输入接口、板载4欧3W扬声器
4）无线网：WiFi (2.4G and 5G, 802.11 ac), Bluetooth 4.1
5）USB 3.0 HOST接口：板载2个
6）Debug接口：板载1个、Download接口：板载1个
7）键盘：板载7寸80键标准键盘
8）红外接收：板载红外接收模块1个
9）传感器扩展接口：板载，与无线传感器节点的传感器模块接口兼容，可完成linux系统下的传感器驱动开发实验。
10）按键：板载重启、恢复、电源3个功能按键，4个用户自定义按键  LED：板载4颗蓝色LED灯珠
11）震动马达传感器：板载1个
12）其他接口：MIPI、GPIO、SPI、I2C、TF Card (sd/mmc 3.0)、SIM卡座、USB 2.0 HOST、USB Type-C (with DP out)、eDP 1.3、HDMI 2.0 for 4K 60Hz
12、实验箱箱体：单层一体式设计，左边固定安装实验所需硬件，右边收纳放置配套电源适配器、线材、配件等设备。
二、软件规格参数要求
★1、操作系统：Linux+QT、Ubuntu18.04、Android8.1，支持Linux+QT、Ubuntu双操作系统SD卡快速离线切换，方便教学管理；
★2、须配备LoRaWAN NS(network server)实验软件，配合硬件可实现LoRaWAN双向通信实验，实验可以显示无线通信频率值、扩频因子、RSSI（接收信号强度）、信噪比、fcnt等信息。通过实验可以快速评估和测试LoraWan协议下的数据通信格式、通信距离、信号质量等，同样也可以基于现有的样例进行二次开发快速完成课程设计、项目开发、科研等。
★3、提供嵌入式深度学习框架Tengine：针对 ARM CPU 及 ARM Mali GPU 优化，支持 Caffe/TensorFlow/MXnet/ONNX 模型文件，兼容 Caffe/TensorFlow API，以插件方式支持底层算子扩展，支持 INT8 量化。
★4、提供物联网应用基础云平台：
1）学生能够将物联网感知层设备（传感器、执行器等）接入物联网云服务平台，平台能够接收并存储传感器和执行器的实时数据，模块在线状态，并实时显示。
2）提供后台管理系统，能够设置账号类型和使用权限。支持多用户管理及权限控制，分为父用户和子用户，父用户可以创建多个子用户，并且可以为每个子用户分配增、删、改几种权限，子用户创建的资源相互隔离。
3）提供物联网规则编辑器，无需编写代码即可编辑复杂的自动化控制策略，实现移动互联网系统的自动化控制。
4）提供丰富的可视化控件库，通过拖拽、简便配置即可完成美观的UI设计。支持GIS地图、曲线图、柱状、饼图、图表、按钮、仪表图等控件。
5）物联网感知层设备也能够向执行器发送控制命令，系统能够实现模块的在线监测。
6）云平台支持物联网硬件多协议接入，通过ZigBee/BLE/wifi/lora/NBIOT无线技术取得传感器采集的数据，形成一个完整的无线传感器网络。
7）数据通过http/MQTT协议传输至物联网应用基础云平台软件，进行数据图形化展示。
8）支持本地化部署和云端部署两种方式。
★5、人工智能麦克风阵列语音前处理软件：
1）需支持以下实验并提供所有源代码：声源定位、语音增强、语音降噪、回声消除、声音拾取实验。
三、实验教学课程资源
★平台提供成套教学资源，用户可以按照学期长度和实际教学情况安排教学，须配备实验指导书，实验指导书可以提供10～18周、每周2～6节课的教学实验需要。包含但不限于以下知识实验课程：
Linux 实验列表
初识linux 系统：Ubuntu 系统安装、Ubuntu 系统入门、Ubuntu 终端操作、Shell 操作、APT 下载工具、Ubuntu 下文本编辑、Linux 文件系统、Linux 用户权限管理、Linux 磁盘管理
Linux应用开发基础：编写 HelloWorld 代码、编译 HelloWorld、GCC 编译器、Makefile文件
ARM Linux 开发基础：RK3399开发平台介绍、开发环境搭建、关于ARM架构、AArch64汇编基础、RK3399启动方式详解、汇编LED灯试验、C语言版LED灯实验
基于SDK开发Uboot,kernel,rootfs：SDK     基础、U-Boot 顶层 Makefile 详解、U-Boot 启动流程详解、U-Boot 图形化配置及其原理、Linux 内核顶层 Makefile详解、buildroot根文件系统构建
linux 设备驱动程序开发基础：字符设备驱动开发、嵌入式 Linux LED 驱动开发实验、新字符设备驱动实验、Linux 设备树、设备树下的 LED 驱动实验、pinctrl 和 gpio 子系统实验、Linux 并发与竞争、Linux 并发与竞争实验、Linux 按键输入实验、Linux 内核定时器实验、Linux 中断实验、Linux 阻塞和非阻塞 IO 实验、异步通知实验 
linux 设备驱动程序开发进阶：platform 设备驱动实验、设备树下的 platform 驱动编写、Linux 自带的 LED 灯驱动实验、Linux MISC 驱动实验、Linux INPUT 子系统实验、Linux RTC 驱动实验、Linux I2C 驱动实验、Linux SPI驱动实验、Linux misc杂项设备驱动实验  
Linux 无线通信编程实验：lorawan NS实验、Linux网络编程试验、嵌入式 Web 服务器试验、IOT云服务实验
嵌入式 Linux QT开发
Qt简介：Qt环境搭建
Qt编程基础：Qt用到的开发工具、Qt编程涉及的术语和名词、Qt Creator的初步使用、第一个Qt程序、Qt项目管理文件、Qt项目界面文件、Qt项目中的main主函数、Qt界面布局管理、Qt信号与槽机制、Qt Creator使用技巧
Qt应用开发实例：QCalculator计算器应用实验、QClock实时时钟应用实验、QLed LED控制应用实验、QSht20温湿度计应用实验、QFileview文件浏览应用实验、QReader文本阅读器应用实验、QTest综合测试应用实验、添加应用到系统桌面
人工智能实验列表-基础
神经网络的基本工作原理：神经网络的基本工作原理
神经网络中的基本概念：线性反向传播实验、非线性反向传播实验、梯度下降实验、损失函数实验
神经网络之回归问题：单变量线性回归、多变量线性回归
神经网络之分类问题：线性二分类、线性多分类、神经网络非线性二分类、神经网络非线性多分类
神经网络模型的推理与部署：测试训练结果实验、查看模型文件实验、ONNX模型文件制作实验、模型部署和测试实验
深度神经网络：深度神经网络框架设计、深度神经网络应用、神经网络优化、神经网络过拟合问题
卷积神经网络：卷积神经网络概述、卷积的前向计算、卷积的反向传播、池化的前向计算与反向传播、经典的卷积神经网络模型、MNIST分类实验、Fashion-MNIST分类实验
循环神经网络：普通循环神经、通用的循环神经网络模型实验网络、两个时间步的循环神经网络实验、四个时间步的循环神经网络、不定长时序的循环神经网络实验、深度循环神经网络、双向循环神经网络、高级循环神经网络
人工智能实验列表-图像
图像采集：USB摄像头图像采集
图像处理：图片显示、色彩空间、像素运算、ROI与泛洪填充、滤波与模糊操作、图像直方图、模板匹配、图像二值化、图像金字塔、图像梯度、Canny边缘检测、直线检测、圆检测、轮廓发现
传统机器视觉：手写字识别、人脸检测、目标检测
深度学习机器视觉：手写字识别、人脸检测、目标检测、 端侧推理框架
云端机器视觉应用：图像识别实验、文字识别、人体分析
图像视觉综合应用：人脸门禁控制、车牌道闸控制、手势识别
人工智能实验列表-语音
语音处理 ：语音采集和播放实验、语音编码和解码实验、语音变速变调实验、语音活性检测实验、语音唤醒实验、语音识别实验、语音合成实验
自然语言处理：中文分词实验、关键词提取实验、文本可视化实验、文本向量化实验、文本分类实验、文本聚类实验、文本情感分析实验、句法依存分析实验、构建聊天机器人实验
云端语音语言应用：云端语音合成实验、云端语音识别实验、云端对话情绪识别实验、云端新闻摘要实验、云端短文本相似度实验、云端情感倾向分析实验、云端地址识别分析实验
语音语言综合应用：构建知识图谱和聊天机器人实验、声纹识别门禁实验、AI语音智能家居实验		  
 

上一篇：电子技术综合实训室（世赛）建设方案
下一篇：嵌入式边缘物联网实验室建设方案
X(带手机端)

截屏，微信识别二维码

微信号：13817525788

（点击微信号复制，添加好友）

  打开微信

微信号已复制，请打开微信添加咨询详情！