【RT Thread作品秀】手语识别翻译发生装置 电路方案

【RT-Thread作品秀】手语识别翻译发生装置作者:岁月触礁如梦 概述(说明应用产生的背景、实现功能)手语是聋人使用的语言,是由手形动作辅之以表情姿势由符号构成的比较稳定的表达系统,是一种靠动作/视觉交际的语言.手语识别的研究目标是让机器弄懂聋人的语言.因此我们选择基于 STM32 为主控,对手语识别进行识别和处理,再利用显示系统或者语音模块,从而实现利用 MCU 对手语翻译从而帮助发音障碍人士之间的交流。 开发环境(所采用的软、硬件方案)硬件:ART-PI+MPU6050 RT-Thread版本: 开发工具及版本:RT-Thread Studio RT-Thread使用情况概述(简要总结下应用中RT-Thread使用情况:内核部分、组件部分、软件包部分、内核、其他)使用rt-thread的i2c驱动部分驱动多个MPU6050,然后通过uart驱动发送出去 ART-PI 硬件框架(概述应用所采用的硬件方案框图,并对核心部分做介绍)MPU6050x6 电脑 STM32H750 采集来自 MPU6050 的数据,打包后通过uart模块发送到电 脑上进行数据处理 软件框架说明(介绍应用所采用的软件方案框图、流程图等,并加以解说)数据 声音单元 Sotfmax 全连接层 软件模块说明(介绍应用软件关键部分的逻辑、采用的实现方式等)使用 tensorflow 搭建模型判断手势,使识别成功率大大提高。模型包含一个输入层,两层全连接层,和一个输出的softmax层,最后比较输出结果,如果结果大于0.8则发出对应手势的声音 演示效果(演示效果请采用3张高清图片,并录制一段不少于1min视频解说应用所实现的效果,视频上传至B站或者腾讯视频或其他视频平台,给出链接即可)比赛感悟(可以围绕这次比赛学到了什么,克服了哪些困难,有哪些收获,不低于200字)这次比赛让我深入了解了rt-thread,对RT-Thread 软件包的使用有了丰富的经验。它是运行于 RT-Thread 物联网操作系统平台上,面向不同应用领域的通用软件组件,由描述信息、源代码或库文件组成。RT-Thread 提供了开放的软件包平台,这里存放了官方提供或开发者提供的软件包,该平台为开发者提供了众多可重用软件包的选择,这也是 RT-Thread 生态的重要组成部分。软件包生态对于一个操作系统的选择至关重要,因为这些软件包具有很强的可重用性,模块化程度很高,极大的方便应用开发者在最短时间内,打造出自己想要的系统。RT-Thread 已经支持的软件包数量已经达到60+,如下举例:。通过此次参赛,学习到了许多机器学习相关的知识,现在还处在入门阶段,对于过多数据的处理方法没有选对,使得手套动作的识别准确率不高,但后期一定会做更多的研究,做出一个完整的作品来