举动一款成长成熟的机械练习开源框架，TensorFlow 的图像照料经典案例也许能够给你谜底。

　　2020 谷歌开采者大会上，谷歌为公多供应了一个能够“亲密接触”用机械练习杀青动态逮捕与视觉筑模的好时机 ——“谷歌面馆”线上互动体验。

　　“谷歌面馆” 是基于 TensorFlow.js 中的 PoseNet 来杀青动态逮捕，将用户的肢体作为与“拉面”观念做团结，创造出的趣味好玩的互动体验，让民多正在寓目 Google 开采者大会演讲间隙营谋双手，添补满满元气，同时祈望借此饱励开采者的创造力，用代码搜索更多恐怕性。

　　互动的玩法也很简略，每个玩家发轫和上半身来筑造虚拟“面条”，就像拉面行家那样，正在 1 分钟内尽恐怕地拉扯和拉伸面条，同时征采分表或避免不须要的配料，以增补面条长度的点数来获胜。你进入筑造的面条越多，取得的俊杰徽章就越多，就有时机取得更多中心演讲以及开采科技练习时机。疾去大会官网亲身体验一下吧！

　　看到这里，你恐怕不禁好奇，有趣拉面互动体验真相是若何杀青的？它所利用的 PoseNet 又是什么？

　　本来，“谷歌面馆” 利用了一种叫 PoseNet 的视觉模块，它能够通过检测人体环节部位的场所，来估测图像或视频中的人体状貌。比方，PoseNet 能够估测图像中人物手肘和膝盖的所正在场所。状貌估测模子只会识别人体环节部位的场所，而不会去区分图像中的人物。目前，PoseNet 已正在 GitHub 上开源，并被平凡用于差异项目中。比方，开采者可按照人体图像巩固实际筑造预备机图形人物动画以及为运动中的运策动剖判步态。

　　总之，借帮 PoseNet 这款示例操纵，开采者和机械练习专家可能更轻松地搜索轻量级搬动模子的种种恐怕性。接下来，咱们将使用 TensorFlow.js 中的 PoseNet 和Facemesh（来自 Mediapipe）模子，展示一个通过简略的收集摄像头杀青人体作为逮捕的项目实例，手把手教你从零开端落地一个用身体局限浏览器中 SVG 脚色的有趣操纵。

　　采用 2D 矢量图并按照 PoseNet 和 FaceMesh 的识别结果及时更新其矢量弧线。为此，Pose Animator 模仿了预备机图形技艺中骨骼动画的思绪，并将其操纵于矢量脚色。

　　正在 Pose Animator 中，表皮由输入 SVG 文献中的 2D 矢量途径界说。对待骨骼机闭，Pose Animator 基于 PoseNet 和 FaceMesh 的环节点供应了预订义的（骨骼层级）绑定流露 (Rig Representation)。正在输入 SVG 文献中以及字符插图中指定了此骨骼机闭的初始样子，同时通过机械练习模子的识别结果来及时更新骨骼场所。

　　● 解析输入的 SVG 文献以获取矢量图和预订义的骨架，两者均为 T 样子（初始样子）。

　　● 遍历矢量途径中的每个分段，利用线性搀杂蒙皮（Linear Blend Skinning，本文中稍后会作作声明）预备每根骨骼的权重影响和变换矩阵 (Transformation)。

　　● 正在每个输入帧上及时运转 FaceMesh 和 PoseNet，并利用结果环节点更新骨骼场所。

　　再有其他东西也可供应相同的木偶操作功效，可是，大无数东西仅转变人物图像的场所，而不会通过识别环节点转变脚色的实践几何样子。其它，很少有东西能供应全身识别和动画表现。Pose Animator 能让单条弧线变形，所以相当擅长逮捕面部和全身运动的轻微之处，并希望带来更具发扬力的动画成效。

　　绑定机闭按照 PoseNet 和 FaceMesh 的输出环节点计划。PoseNet 将返回 17 个全身环节点，极度简略，能够直接包括正在绑定中。可是，FaceMesh 将供应 486 个环节点，因此我需求审慎采用将搜罗哪些环节点。终末，我从 FaceMesh 输出当采用了 73 个环节点，如此咱们就具有了一个由 90 个环节点和 78 根骨骼构成的全身绑定，如下所示：

　　每个输入 SVG 文献都应当正在默认场所包括这个骨架。更实在地说，Pose Animator 将寻找一个名为“骨骼”的组，此中包括以它们所代表的各个闭节定名的锚点元素。可正在此处查看绑定 SVG 示例。计划师能够正在计划文献中自正在地搬动闭节，让骨骼最理念地嵌入到脚色中。Pose Animator 将按照 SVG 文献中的默认场所来预备蒙皮，但有时绑定算法恐怕无法很好地援帮少许异常情景（比方，腿/手臂骨骼极度短），并有恐怕让表现的成效不天然智能。

　　Pose Animator 通过一种最常用的绑定算法，利用骨骼机闭让表皮变形，这种算法称为线性搀杂蒙皮 (Linear Blend Skinning，LBS)，该算法通过将每根骨骼孑立局限的变换相搀杂，再由每根骨骼的影响因子加权，来变换表皮的极点。正在咱们的例子中，极点是指矢量途径上的锚点，骨骼由上述绑定中的两个相连环节点界说（比方，“leftWrist”和“leftElbow”环节点界说了骨骼“leftWrist-leftElbow”）。

　　骨骼的影响因子可主动天生，也能够通过权重绘造来手动分拨。Pose Animator 目下仅援帮主动权重分拨。极点 i 上骨骼 j 的原始影响因子预备形式如下：

　　此中 d 是从 vi 到骨骼 j 上迩来点的间隔。终末，咱们将一个极点上统统骨骼的权重规范化，使其总和为 1。

　　现正在，要将 LBS 操纵于由直线D 矢量途径，咱们需求通过进出图柄对贝塞尔弧线分段举行少许分表照料智能。咱们需求离别预备弧线点、进局限点和出局限点的权重智能。因为如此能够更精准地逮捕局限点的骨骼影响因子，所以会发生更好的表观成效。

　　这是一个分表的例子。当进局限点、弧线点和出局限点共线时，咱们对这三个点同时利用弧线点权重，以确保正在以动画形式表现时它们仍依旧共线。这有帮于依旧弧线的滑腻。

　　LBS 仍旧为咱们供应了动画帧，可是 FaceMesh 和 PoseNet 原始输出引入了分明的颤动。为省略颤动，取得更流通的动画，咱们能够利用预测结果中的信赖值分数对每个输入帧举行不匀称加权，让信赖值较低的帧所带来的影响也较幼。

　　恪守这一思绪，Pose Animator 会按如下算式预备闭节 i 正在第 t 帧的滑腻场所

　　思虑异常情景。当两个继续帧的可托度均为 1 时，场所将以 50% 的速率接近最新场所，这看起来很伶俐且相当滑腻。（要进一步降低呼应速率，能够通过更改最新帧的权重来调解接近速率。）当最新帧的置信度为 0 时，其影响将被所有大意，所以可防备低信赖值结果形成的蓦然颤动。

　　除了利用可托度对闭节场所举行插值表，咱们还引入了最幼阈值来确定是否应当绘造途径。

　　途径的可托度是其分段点的均匀可托度得分，而反过来它又是影响骨骼分数的加权均匀值。当特定帧的分数低于特定阈值时，一共途径将被潜匿。

　　这对待潜匿低信赖值区域的途径相当有效，这些区域中往往是镜头局限以表的身体部位。设念一下有一张上半身照：尽量腿部和臀部的环节点预测的可托度很低，但 PoseNet 永远会返回这些环节点预测。通过这种控造机造，咱们能够确保下半身被稳妥潜匿，而不显示为特殊扭曲的途径。

　　您能够点击这里进入及时演示，您能够正在此中照料现有脚色，也能够增加本人的 SVG 脚色，看它们若何变得维妙维肖。尽量演示的是人类脚色，但 Pose Animator 可用于任何 2D 矢量计划，所以您能够斗胆试验任何空洞/前卫的计划。

　　要创筑本人的动画插图，请查看本指南！不要忘了正在社交媒体上通过 #PoseAnimator# 与咱们分享您的创作。如有任何题目或念直接查看源代码，可赶赴Github。

　　除了使用 PoseNet 一直开采和搜索种种创意的交互体验表，TensorFlow 和谷歌也将一直促进技艺的成长和迭代，戮力于用科技创造价格。AI 己方不会思虑为什么叫做人为智能？