在灵思CSK6的可视化AI开发包中试用基于CSK6011a_nano的虚拟撞砖交互系统。
5G时代必备 音视频WebRTC实时互动直播技术入门与实战
download：
环境建设
搭建开发环境相对容易，参考灵思科技提供的说明。我在虚拟机上使用的是ubuntu18.04，在设置环境时，sudo命令被添加到每个命令中。使用这种开发环境的缺点是视觉采集软件是基于windows的，所以有时候一不注意就会忘记切换usb设备，导致工作失败。
另外有时候我刷程序的时候会偶尔提示板卡不存在或者串口有问题。反正我就不管了，重新执行命令就ok了。至于原因，就不清楚了。
项目介绍
第一次看到CSK6可视化套件的时候，第一反应是它类似于我在疫情前几年玩过的一个大创新项目的虚拟“撞砖”交互系统，于是带着这个题目再次申请。
该系统的作用是不再使用键盘/鼠标操作挡板的移动，而是通过摄像头采集和AI识别手势命令来操作挡板左右移动，使运动中的球可以前后移动，在击倒目标的同时不会掉下屏幕。
程序的难点在于分析CSK6011a_nano识别的手势数据。修改源代码，分析串口数据后，有了这个手势对应的状态，再根据实际的程序效果进行微调。
state.png
应用效果
总体分析是手势识别的结果是基于串口通信的，所以系统的流畅度不会太高。另外，匹配摄像头的识别率不高(个人认为匹配头肩识别程序的灵敏度有待提高)，导致手势识别的灵敏度不高。
希望
希望听思科技能能给我提供制作自己模型的指导，让我不用再用目前提供的手势进行操控。目前的手势在这个项目中有点笨拙。
