隔空控物——基于YOLOv5的手势识别


【隔空控物——基于YOLOv5的手势识别】隔空控物,用Yolov5训练的手势识别

可能是到了毕业季,最近很多学生做毕设搜索到我的文章,加我微信。问识别到手势后,怎么控制游戏,我在这儿统一回答一下。
我的地球演示程序是用Unity开发的,python端跟unity进行数据通信,需要通过跨进程通信技术,比如socket或者其他。
而我这个demo,采用一个最简单的方式。python端识别出手势之后,输出键盘事件,然后在Unity端监听键盘事件,实现跨进程控制。
这里介绍一个最近帮一个同学实现的——两个python脚本间通信的方法。一个脚本检测手势,输出键盘事件;另一个脚本监听键盘事件,控制游戏。
手势识别输出键盘按键:

import pyautoguipyautogui.press('a') # 触发键盘按键a pya

    推荐阅读