擎学社

标题: [软件使用] ucode舞台模式中AI扩展相关积木块的使用方法 [打印本页]
作者: huyuanlin_cn    时间: 2022-4-1 14:43
标题: [软件使用] ucode舞台模式中AI扩展相关积木块的使用方法
ucode舞台模式中的AI扩展模块支持可视化训练AI模型，在不直接编程的情况下，训练机器的学习，导出AI模型。
1.AI-通用
1.1打开设备摄像头
可直接在左侧AI拓展积木块区域直接打开设备摄像头
1.2加载AI模型
功能描述：下拉选项中含有物体识别，姿态识别，图像分割，涂鸦识别四个类别，当运行该积木时，加载所选择的AI模型，直到加载成功。
             当前正在运行AI模型时，如果再次运行不同的AI模型，则释放当前运行的AI模型，加载新的AI模型；
             当前正在运行AI模型时，如果再次运行相同的AI模型，则视为加载成功，无需再次加载模型；
             当脚本结束运行时，自动释放当前AI模型；
程序范例：
1.3释放AI模型
功能描述：当运行该积木时，释放当前已加载的AI模型。
程序范例：

2.人像分割
2.1对角色造型进行人像分割
功能描述：本积木能够识别舞台上某一角色造型的**轮廓，将背景和人像分离开来，只保留基本人像。注意，本积木块通常只对那些有背景的人像图片生效。
工作原理：本积木使用的是开源机器学习模型bodyPix，它允许在uCode中对图像或者视频进行人像分割。在现实应用场景中，人像分割技术可用于抠图与美化，**特效，和影视后期处理。
程序范例：
运行效果预览：
2.2对视频进行实时人像分割
功能描述：本积木能够对视频流进行人像分割，将背景和人像分离开来，只保留基本人像。
工作原理：本积木使用的是开源机器学习模型bodyPix，它允许在uCode中对图像或者视频进行人像分割。在现实应用场景中，人像分割技术可用于抠图与美化，**特效，和影视后期处理。
编程范例:

3.姿态检测
3.1设置**姿态参数
功能描述：当运行该积木时，**姿态的节点/骨骼大小或粗细调节至所输入的数值大小，颜色以及参数将调至所选择的颜色 和数值。
程序范例：
3.2姿态选择
功能描述：当运行该积木时，在所设定的时间内对比所识别到的静态姿势和所选的姿势，返回True/False值
程序范例：
3.3识别当前结果
功能描述：返回动作与节点坐标点
程序范例：
3.4识别**部位节点与坐标
功能描述：当识别所选择的对应**部位节点时，返回对应的x/y坐标点数值；未识别到所选择的**节点时，不返回数值；
程序范例：
4.物体识别
4.1物体识别与对比
功能描述：打开物体选择窗口，选择指定物体，允许多选识别物体，当所有选项被选中时，则取消选择当前分组的所有选项
               当运行该积木时，在所设定的时间内对物体进行识别和对比并返回True/False值   
程序范例：
4.2物体的置信度
功能描述：识别物体的精确度
程序范例：
4.3物体识别结果
功能描述：返回识别到的获取数据集中所存在的识别物字段
               如果存在多个识别结果返回，则仅返回置信度最高，且置信度>0.3的物体结果字段
               如果所有识别结果置信度均<0.3，则返回【无结果】字段。
程序范例：
4.4识别指定物体的x/y中心坐标点
功能描述：如果存在多个识别结果返回，则仅返回置信度最高，且置信度>0.3的物体结果字段
               如果所有识别结果置信度均<0.3，则不返回字段。
程序范例：
5.涂鸦识别
5.1打开涂鸦画板
功能描述：当执行到该积木时，打开涂鸦画板
               如果当前正在运行涂鸦识别AI模型，则每次按下鼠标后就会向涂鸦模型发送一次画板上的绘图，并获取识别结果
程序范例：
5.2识别到涂鸦为
功能描述：此积木将打开涂鸦选择窗口
               当运行该积木时，对比涂鸦画板发送的结果和所选的涂鸦选项，返回True或False值
程序范例：
5.3识别涂鸦结果
功能描述：返回识别到的获取数据集中所存在的涂鸦字段
               如果存在多个识别结果返回，则仅返回置信度最高，且置信度>0.3的涂鸦结果字段
               如果所有识别结果置信度均<0.3，则返回【无结果】字段。
程序范例：
5.4涂鸦识别置信度
功能描述：涂鸦识别的精确度
程序范例：
6.视频绘图
6.1显示 / 隐藏AI识别物的结果信息
功能描述：显示/隐藏，所需要显示的信息参数
可显示的信息参数：识别框
                           ID标签：识别到对象的ID，如人脸ID，物体ID等
                           识别结果标签：识别到置信度最高的结果，如小明（注册人脸识别结果），dog（物体识别结果）,
                           sad（情绪识别结果）；
                           置信度：当前识别到的结果的置信度信息，范围为0-1，保留小数点后两位；
                           姿态骨骼；
程序范例：
6.2绘制回传视频中的距离
功能描述：提供坐标信息后，在视频中用实现绘制两个坐标之间的距离，并在线段中心点显示线段之间的距离
显示参数信息：显示/隐藏视频回传中坐标点之间的线段
                     可嵌入积木括号，允许输入任何文本字段信息，字数上限不限，可为空
                     显示/隐藏线段上放的数值及单位。
程序范例：
7.自定义AI训练
7.1自定义训练识别
功能描述：打开自定义训练识别窗口的同时摄像头将同步开启
7.2训练模型
功能描述：用户可以通过此窗口上传图像或是拍照来自定义训练识别模型，目前支持图像分类和姿势识别
7.3对实时视频预测结果
程序范例：
7.4模型对类的置信度
功能描述：模型对类的识别精确度
程序范例：
7.5实时视频的侦测结果
功能描述：模型对实时视频侦测的结果为哪一个类
程序范例：








欢迎光临 擎学社 (http://bbs.changeducation.cn/) Powered by Discuz! X3.3