【硬件使用】Yanshee两大人工智能应用之视觉识别介绍

lemei_cn

       Yanshee机器人有两大人工智能应用，分别是语音交互和视觉识别。日常Yanshee课程中会应用到其中一小部分功能，今日给大家介绍详细完整的两大应用之一视觉识别，以便学校不时之需。

       机器人预装了人脸识别、人脸数量检测、人脸跟踪、**别识别、年龄识别、口罩检测、眼镜检测、物体识别、物体跟踪、手势识别、颜色识别、二维码识别、AprilTag识别等 10 余种离线视觉识别功能，支持通过语音、Blockly编程、API 开启视觉技能。其中，可视化视频流接口支持用户通过视频流弹窗实时查看机器人视觉识别的过程。

视觉能力	触发使用方式
	语音触发	APP控制	PC Blockly编程	YanAPI调用
人脸识别			√	√
人脸分析-年龄	√	√	√	√
人脸分析-**别	√	√	√	√
人脸分析-表情	√			√
人脸分析-眼镜		√	√	√
人脸分析-口罩		√	√	√
人脸检测计数		√	√	√
人脸跟踪	√			√
物体识别	√	√	√	√
物体跟踪	√			√
手势识别	√	√	√	√
颜色识别		√	√	√
二维码识别				√
AprilTag识别				√
可视化视频流				√

（1）人脸识别

        

       打开机器人本体系统内的PC Blockly，选择展开【AI】模块，鼠标双击【采集人脸】积木块，则打开人脸采集界面，正面面向机器人摄像头，调整距离使人脸完整显示在人脸框内，在输入框内输入名字，点击“录入”按钮，则完**脸采集。当人脸库存在人脸信息，则【AI】模块将支持人脸识别积木块调用。

（2）人脸分析

        

       进入语音交互后对机器人说：“分析人脸”，此时会听到机器人回复：“开始进行面部识别，处理中，请稍等”，机器人眼睛指示灯将变成红色；请按照机器人指示人脸正面面向机器人摄像头（或用人脸照片也可以），等待机器人返回分析结果。

        

        一个典型的分析结果回复如下：“你好妹子（**别），你大概年龄21岁（年龄），你看起来好淡定（表情）”。根据不同**别、年龄、表情，机器人的回复也会有所不同，其中表情主要能够分辨开心、惊讶和正常。

        

       人脸分析相关识别还支持判断是否佩戴口罩和眼镜，可通过Blockly、YanAPI调用视觉识别接口。

（3）人脸跟踪

      

       进入语音交互后对机器人说“人脸跟踪”，此时会听到机器人回复：“开启跟踪，请距离50厘米左右，正面朝着我”，机器人眼睛指示灯将变成红色；请按照机器人指示正面面向机器人摄像头（或用人脸照片也可以），当机器人成功定位到人脸目标，将语音回复：“发现人脸目标，请保持正面朝着我，左右缓慢移动”；此时左右缓慢移动人脸，机器人头部会跟踪人脸移动而转动。

      

       短按胸前按钮，再次进入语音交互，听到“叮”的一声，对机器人说：“关闭人脸跟踪”，将会听到机器人回复：“跟踪已关闭”。此时机器人停止人脸跟踪功能。

（4）物体识别

     

       进入语音交互后对机器人说“物体识别”，此时会听到机器人回复：“开始识别物体，请在5s内摆好物体”，机器人眼睛指示灯将变成红色；请按照机器人指示面向机器人摄像头摆好一个物体（或用物体照片也可以），当机器人成功定位到物体目标，将语音回复识别结果。例如：“我看到了香蕉”或者“这个物体是：玫瑰”。注意：让机器人识别物体时，最好保证纯色简单背景，自然光照不过曝。

     

       可识别物体主要包括：常见的花类（向日葵、康乃馨、鸡蛋花、玫瑰、百合、映山红、蝴蝶兰、**斯菊、水仙、雏菊、风信子等）、绿植（绿萝、富贵竹、发财树、万年青、君子兰、虎皮兰等）、水果（苹果、橙子、香蕉、火龙果、猕猴桃、草莓、樱桃、葡萄、芒果、桃子等），特定物体（悟空机器人、Yanshee机器人、手掌、手机、普通二维码、魔方、手机）。

（5）物体跟踪

     

       进入语音交互后对机器人说“物体跟踪”，此时会听到机器人回复：“开启跟踪，请把物体放到我眼前30厘米的位置”，机器人眼睛指示灯将变成红色；请按照机器人指示面向机器人摄像头摆好一个物体，当机器人成功定位到物体目标，将语音回复“锁定可跟踪目标”；此时机器人将跟随物体移动而转动头部、向前走动或转弯。

   

       短按胸前按钮，再次进入语音交互，听到“叮”的一声，对机器人说：“关闭物体跟踪”，将会听到机器人回复：“关闭跟踪”。此时机器人停止物体跟踪功能。

     

       支持跟踪的物体有：完整的橘皮橙子、完整的红苹果、Yanshee机器人、悟空机器人、打乱的三阶魔方。可通过YanAPI指定跟踪物体、设置跟踪检测超时时间等。

（6）手势识别

     

       进入语音交互后对机器人说“手势识别”，此时会听到机器人回复：“开始识别手势，请在5s内摆好手势”，机器人眼睛指示灯将变成红色；请按照机器人指示面向机器人摄像头摆好手势动作，当机器人成功识别出手势，将语音回复识别结果。例如：“识别到手势OK”。注意：让机器人识别物体时，最好保证纯色简单背景，自然光照不过曝。

     

       可识别手势如下图所示：

（7）颜色识别
      
       机器人支持颜色识别，可通过通过Blockly、YanAPI调用视觉识别接口开启颜色识别。可识别颜色包括：红橙黄绿青蓝紫黑白灰。

（8）二维码识别

      

       机器人支持二维码识别，可通过通过YanAPI调用视觉识别接口开启二维码识别，获取二维码包含的内容信息，例如文本、图片、音频、URL地址等。

（9）AprilTag识别

     

       机器人支持AprilTag识别，可通过通过YanAPI调用视觉识别接口开启AprilTag识别，获取机器人相对于AprilTag的位姿信息，可用于协助机器人导航定位、实现AprilTag跟踪等。