实训项目日志（二）

• 光学动作捕捉
• • 光学式动捕系统基本工作原理
  • 光学式动捕VS惯性动捕？（拓展）
  • 被动反光式VS主动发光式
  • 动捕工作中的注意事项
  • （附）系统出现的问题和探索
• MotionBuilder生成fbx
• • MotionBuilder
  • 使用MotionBuilder生成fbx文件
  • • 导入cd文件
    • 绑定动作到Actor
    • 导出fbx文件

光学动作捕捉

本周我们依据上周制定好的故事版剧本及动作设计进行了动作捕捉的有关工作。使用的系统是光学动捕系统。

光学式动捕系统基本工作原理

在使用一项技术之前，首先对它进行一些了解，什么是光学动捕呢？

光学式动作捕捉系统是基于计算机视觉原理，由多个高速相机从不同角度对目标特征点的监视和跟踪来完成运动捕捉的任务。理论上对于空间中的任意一个点，只要它能同时为两部相机所见，就可以确定这一时刻该点在空间中的位置。当相机以足够高的速率连续拍摄时，从图像序列中就可以得到该点的运动轨迹。这类系统采集传感器通常都是光学相机，不同的是目标传感器类型不一，一种是在物体上不额外添加标记，基于二维图像特征或三维形状特征提取的关节信息作为探测目标，这类系统可统称为无标记点式光学动作捕捉系统，另一种是在物体上粘贴标记点作为目标传感器，这类系统称为标记点式光学动作捕捉。我们采用的是带有标记点的光学动作捕捉。

光学式动捕VS惯性动捕？（拓展）

动作捕捉技术现如今已经比较成熟。常见的动捕系统除了我们刚刚提到的光学式动捕还有一种基于惯性的惯性动捕。在进行动捕前，我们查询了资料，了解了这两种动捕技术的异同，了解了相对于惯性动捕，光学式动捕的优势所在与不足之处。

惯性动捕 全称惯性动作捕捉技术，与基于摄像机的光学追踪系统方式技术完全不同。惯性动作捕捉系统包括多个无线运动传感设备组成的网络连接到被安装到捕捉人的身体上。每个传感器可以直接测量三维转动量以及加速度。采用摄像机的动作追踪系统需要三个标记点进行测量转动量，而惯性系统仅需要在骨骼上采用单个传感器就可以完成转动量的测量。

光学与惯性动作捕捉系统对比（原文链接 .html）

总体上，光学动捕相对于惯性动捕的优势主要在于精确度高，光学动捕能够同时捕捉关节转动和位移数据，并且可以自由添加标记点，比较灵活；而技术上主要的局限性主要体现在其对空间环境的要求较高，安装施工的复杂性以及容易发生的标记点遮挡问题等。

被动反光式VS主动发光式

光学动作捕捉根据标记点发光技术不同还分为主动式和被动式光学动作捕捉系统。（资料来自贴吧 ）
主动式光学动捕系统
主动式光学动作捕捉系统的Marker点由LED组成，LED粘贴于各个主要关节部位，LED之间通过线缆连接，由绑在表面的电源装置供电，市场上最具代表性的产品是美国的PhaseSpace，其主要优点是采用高亮LED作为光学标识，可在一定程度上进行室外动作捕捉，LED受脉冲信号控制明暗，以此对LED进行时域编码识别，识别鲁棒性好，有较高的跟踪准确率；缺点是：第一，时序编码的LED识别原理本质上是依靠相机在不同时刻对不同的Marker采集成像来进行ID标识,相当于在同一个动作帧中分别针对每个Marker进行逐次曝光，破坏了动作捕捉的Markers检测的同步性，导致运动变形，不利于快速动作的捕捉；第二，由于相机帧率很大部分用于单帧内对不同Marker点的识别，因此有效动作帧采样率较低，这点上也不利于快速运动的捕捉和数据分析；第三，LED Marker可视角度小(发射角120度左右)，一个捕捉镜头内部通常集成了两个相机近距离采集，这种窄基线结构导致视觉三维测量精度较低，并且在运动过程中由于动作遮挡等问题仍然不可避免地导致频繁的数据缺失，如果为尽量避免遮挡造成的数据缺失，需要成倍增加动作捕捉镜头的数量弥补遮挡盲区问题，设备成本也随之成倍增加；第四，由于时序编码的原理局限，系统可支持的Marker总数有严格限制，在保证足够的采样率前提下，同时采集人数一般不宜超过2人，且Marker点数量越多，单帧逐点曝光时间越长，运动变形越严重。

被动式光学动捕系统
被动式光学动作捕捉系统，也称反射式光学动作捕捉系统，其Marker点通常是一种高亮回归式反光球，粘贴于各主要关节部位，由动作捕捉镜头上发出的LED照射光经反光球反射至动捕相机，进行Marker的检测和空间定位。这类产品市场上最典型的品牌是美国Motion Analysis、英国的Vicon以及中国的天远，其主要优点是技术成熟，精度高、采样率高、动作捕捉准确，表演和使用灵活快捷，Marker点可以很低成本地随意增加和布置，适用范围很广；主要缺点是：第一，对捕捉视场内的阳光敏感，阳光在地面形成的光斑可能被误识别为Marker点，造成目标干扰，因此系统一般需要在室内环境下正常工作；第二，Marker点识别容易出错，由于反光式Marker点没有唯一对应的ID信息，在运动过程中出现遮挡等问题容易造成目标跟踪出错，导致Marker点ID混淆，这种情况通常导致运动捕捉现场实时动画演示效果不好，动作容易错位，并且需要在后处理过程中通过人工干预进行数据修复，工作量大幅增加。不过新一代的Vicon软件以及天远的DMoCap都植入了先进的智能捕捉技术，具有很强的Marker点自动识别和纠错能力，很大程度上满足了现场实时动画演示的需要，并且大大降低了人工干预的工作量，从本质上进一步提升了系统的实用性。

我们采用的是被动式的光学动捕。一般情况下，被动反光式实用性更强，应用范围更广，综合性能（动作精度、适用性、可拓展性、便捷性）更好些，比起主动发光式的局限性，被动反光式支持更复杂的动作捕获。

动捕工作中的注意事项

回顾本周的动作捕捉工作，总结了一下注意事项

• 反光点的粘贴。演员服装上粘贴了近50个反光点，一般是在全身的关节部位对称粘贴（其中腰部左右两个点对贴的不完全对称，以允许系统区分左右），具体的粘贴位置相对比较自由，但是要保证注意关节部位有足够的反光点可以被光学摄像机捕捉。但注意的是贴反光点的位置和个数要与在vicon blade（动捕系统使用的配套软件）中所使用的骨架模型上的点保持一致。
• 在正式开始捕捉需要的动作前，需要进行校准，演员表演一套幅度较大的动作进行捕捉，来使系统识别到所有的点，进而与骨架模型匹配绑定。
• 光学式动作捕捉的场地实际上比较有限，为保证正确的捕获，需要注意演员的活动范围，一般在直径四五米的矩形区域内运动会被正确的捕捉，超出范围则会有部分点出现错误。
• 场地四周围绕着一圈光学摄像机，动捕场地中最好不要放置一些道具，如桌椅，会产生遮挡进而影响摄像机对反光点的捕捉。在地面上做一些走位标记或者平铺一些东西是可以的。但是如果是要捕捉坐在椅子上的动作，那就扎马步吧（微笑）。
• 为了后期骨骼绑定相关工作方便进行，在每一次开始捕获时，演员应该先保持T字站立，进而开始表演动作。

（附）系统出现的问题和探索

在捕获工作中，由于我们使用的系统已经有比较悠久的历史，所以在它所包含的12个摄像机中有一个是换了，另一个时好时坏。对于坏了的摄像机，无可奈何，vicon blade中会将它排除，不参与贡献，不过这倒是还好。对于时好时坏的摄像机，会出现开始捕获时是正常工作的，但是在捕获过程中它突然崩掉导致捕获出问题或者被迫中止的问题，（还不如完全是坏的）。我们不胜其烦心力交瘁，在老师的帮助下寻求解决的办法，最简单粗暴的就是把这台摄像机机人为关闭。于是我们拆开了服务器机箱试图将出问题的摄像机对应的线拔掉。（如图）


但是拔掉之后，我们发现捕捉出现了比较严重的错误，查询使用说明后意识到改变了配置需要重新校准场地和设备，老师说这个一般都是专业人员来处理的，我们没有经验，于是只好作罢。

MotionBuilder生成fbx

动捕结束后从vicon blade中导出的是保存骨骼点信息的CD文件，下一步需要首先使用MotionBuilder将cd导入与actor进行绑定，生成fbx文件，用于后续将动作信息与角模型绑定。

MotionBuilder

（引自百度百科）
MotionBuilder是业界最为重要的D角动画软件之一。它集成了众多优秀的工具，为制作高质量的动画作品提供了保证。此外，MotionBuilder中还包括了独特的实时架构，无损的动画层，非线性的故事板编辑环境和平滑的工作流程。
Alias MotionBuilder是用于游戏、电影、广播电视和多媒体制作的世界一流的实时三维角动画生产力套装软件。利用实时的、以角为中心的工具的集合，对于从传统的插入关键帧到运动捕捉编辑范围内的各种任务，该软件为技术指导和艺术家提供了处理最苛刻的、高容量的动画的功能。

亮点功能

加速效能
核心引擎的诸多改进以及存储优化有助于在处理大场景文件时提供卓越性能。
该动画工具的非线性编辑功能比以往任何时候都要快，使得电影艺术和动作编辑场景数据的处理变得更加迅速。
增效型动画工作流
更强的姿势控制支持使得动画师能够捕捉姿势并将其应用于另一个目标物，以实现快速的动画重复使用。
对自定义键组的支持使得动画师能够通过定制化装备、小道具、照相机和照明灯提高工作效率，并定义他们自己的键设置方法。
Actor 工具已经使用 Python脚本语言推出，通过自动设置动作捕捉数据并将其传输至角，来帮助用户节省时间。
拓展的物理学和角模拟功能
接合现可用于连接多个模拟对象，以达到模拟的目的。这意味着用户可以为其角使用一些小道具，并由物理引擎自动解决二级动画问题。
一个全新的连贯动作工作流让动画师能够操纵他们的人偶模拟或使其与自定义姿势相匹配。
更强的互操作性
Autodesk MotionBuilder 2011 已经与最新版的 Autodesk HumanIK中间件进行整合。AutodeskMotionBuilder 的姿势控制、角控制和角定义表目前也可以与 HumanIK插件共同使用。
MotionBuilder 的角模板已经进行更新，从而加强了对 ds Max Biped 的支持。
Autodesk Softimage 2011 软件现在包括 MotionBuilder Template 工具，方便了不同应用之间的角数据交换。
在 MotionBuilder 内对 Qt 用户界面元素的支持使开发人员能够利用业界标准用户界面工具包帮助打造 Open Reality软件开发包插件。

使用MotionBuilder生成fbx文件

这部分是我在参考本组有经验的骨绑大佬的博客教程后进行的~~结束我负责的绑定部分后写下以下内容（过程基本跟大佬交代的一样啦），为表敬意附上同组大佬的那篇博客（hhh我是个真诚的读者)~

file -> Motion File Import

到cd文件（注意cd文件路径不能含有中文），打开，弹出一个选项窗口，保持默认，点击import

成功导入cd文件后，可能因为位置问题看不到（或者位置看上去比较奇怪）捕获点，这时候需要对点集进行整体旋转操作，摆正位置（一般，人物直立）。一般使用右侧工具栏处的旋转操作。
首先旋选中控制点集变换的控制球，再在右边工具栏选择旋转操作，下方数值输入在x方向旋转-90°

旋转后的视图如下（人物已经立起来了，可以看出是每次捕获开始前的T字POSE）

然后，右下角resources窗口中依次选择Templates -> Characters -> Actor，按住Actor拖动到viewer窗口内

拖拽进来这样一个标准Tpose的Actor

下一步，通过工作栏旋转平移缩放操作，使得actor与点集对应起来，注意，捕获点集可以进行整体的旋转和平移，但不要缩放（避免出错），actor可以进行适当的缩放（整体缩放，每个部位也可以单独缩放）来与点集尺寸匹配。调整时，注意关节处的对应。调整后的状态如下。（调整过程中用到的视口视角调整：shift左键，移动；shift右键，旋转；滚轮，缩放）

然后进行绑定。左下角navigator窗口，actors -> actor ->markerset… -> create
然后actor身上出现如图的圆圈。
接下来选择scene -> CD:optical，里面是所有的捕获点，将对应位置点拖拽到小圆圈上，进行绑定。（不必要全部都拖，只选择没有问题的，尤其是关节等重要部位的点），每个圆圈最多绑5个点。

绑定完成（原来空的蓝正方体里出现小白点代表该点已经被绑定）

绑定完成后选择上方snap按钮，然后弹出对话框，选择TF。

绑定基本完成。接下来可以选择中部控制区的播放按钮查看效果

发现actor开始跟随捕获点的变换移动~~

当然，有一些点可能在捕捉时会出现问题，然后会影响到绑定效果，如果在播放查看效果时出现错误（如肢体错位、变形等），可以检查对应位置，到出现问题的点，解绑它或者换绑其他点进行调整。

Ctrl S或选择file -> save，保存为fbx格式即可。

参考
[1]: .html
[2]: .html
[]:
[4]: .html
[5]:
[6]: =singlemessage