用于体育应用的人体动作捕捉系统的准确性；最新回顾
Accuracy of human motion capture systems for
sport applications; state-of-the-art review
摘要
目的：体育研究经常需要对运动员进行人体动作捕捉。然而，选择合适的系统可能是劳动密集型的，而且很困难，而制造商报告的规格是在设置中确定的，在体积、环境和运动方面与体育研究有很大的不同。本综述的目的是帮助研究人员为他们的体育应用实验装置选择一个合适的运动捕捉系统。我们启动了一个开放的在线平台，以支持（体育）研究人员选择系统，并使他们能够贡献和更新概述。设计：系统综述。方法：在Scopus、Web of Science和Google Scholar中进行了电子搜索，并仔细检查了筛选出的文章的参考文献列表，以确定在学术界发表的运动分析研究中使用的人类运动捕捉系统。结果：提供了17个人体动作捕捉系统的概述，报告了制造商给出的一般规格（传感器的重量和尺寸、最大捕捉量、环境可行性），以及在同行评议的研究中确定的校准规格。每个系统的精确度与测量范围相对应。结论：概述和图表可以帮助研究人员选择一个合适的测量系统。为了提高数据库的稳健性并跟上技术的发展，我们鼓励研究人员在实验前进行精度测试，并对图表和系统概述进行补充（在线，开放访问）。
强调
·本综述的目的是帮助研究人员为其体育应用的实验设置选择合适的运动捕捉系统。
·提供了17种人体运动捕捉系统的概述，报告了制造商给出的一般规格和在同行评议的研究中确定的校准规格。
·启动了一个开放的在线平台，以支持（体育）研究人员选择系统，并使他们能够贡献和更新概述。
1引言
体育研究经常需要对运动员进行人体动作捕捉。人体运动捕捉是记录人体运动的过程；本综述着重于记录运动员身体（部分）的整体位置。要获得关于测量系统的准确性和实际使用情况的信息可能是劳动密集型的，而且很困难。制造商报告的规格是在与进行体育研究的条件和设置不同的情况下确定的；这可归因于体育研究领域的四个特点。
首先，体育研究是在非实验室环境下进行的，即在体育活动的场地、溜冰场或竞技场。这种在受控的实验室环境之外的区域带来了一些挑战，即不同的地点（如室内与室外）、天气条件（如温度、湿度）、测量干扰（如噪音、散射、磁干扰）和该地区的障碍物导致的遮挡。
第二，测量（捕获）量往往很大（图1）。通常情况下，精度与定位系统的覆盖范围成反比（即测量量越大，精度越低），这使得这通常成为选择测量系统的限制性因素。当参与者的位移变大时，有时会使用测力计来获取大量的运动周期。然而，这并不总是可取的，因为在测力计上的运动可能与实际运动不同，或者仅仅是因为没有测力计来复制运动。
第三，体育分析的研究往往涉及高度动态的运动，比静态或缓慢的运动更难捕捉（如步态分析）。例如，高采样频率的必要性构成了一个技术挑战。对于体育应用，典型的采样频率在50至250赫兹之间（表二）。倾向于防止使用太高的采样频率，以避免过多的数据量和避免高频噪音。只有在特定情况下，非常高的频率（>1000赫兹）才是必要的，例如，研究冲击（如跳跃）或非常高速的运动（如棒球投球）。此外，该系统必须处理运动动力学问题，例如，这在惯性测量单元（IMU）中被证明是有问题的，其中线性加速度会干扰传感器融合算法的传感器方向估计。
第四，当测量系统需要将传感器、标记物、转发器或标签直接放在运动员身上时，传感器的尺寸和重量是很重要的。特别是在高性能和高动态条件下，运动员的行动自由应受到最小的阻碍。
本文的目的是帮助研究人员为他们的体育应用实验装置选择一个合适的运动捕捉系统。为此，我们对在体育分析的同行评议论文中使用的现有人体运动捕捉系统进行了文献回顾。本文概述了已发现的测量系统及其制造商给出的规格（传感器的重量和尺寸、最大捕捉量、环境可行性），并报告了在同行评议的研究中确定的仪器误差（准确性）。此外，还解释了每个系统的工作原理，因为这些原理决定了系统的限制和特性。运动伪影和数据处理，如身体姿态重建方法和过滤，不属于本调查的范围。这些结果通过一个开放的在线平台提供，以使（体育）研究人员能够对测量系统的概述做出贡献和更新。
2研究方法
我们在2012年10月至2013年1月以及2016年12月至2017年2月期间进行了文献检索。两次检索都是在Scopus、Web of Science和Google Scholar的数据库中进行的，使用的是以下三组的关键词组合。第一组：测量，分析，系统；第二组：运动学，运动，力，坐标，旋转，方向，位置，位置，速度，速度，加速度；第三组：运动，滑冰，自行车，足球，田径，跑步，网球，游泳，曲棍球，棒球，篮球，滑雪和划船。检索仅限于英文的、在同行评议的期刊或会议记录中发表的论文。通过所选论文的参考文献列表获得了额外的文献。
我们阅读了检索到的论文的摘要，以核实该工作中是否使用了人体运动捕捉系统。我们重点关注那些在体育实验环境中使用测量系统的论文。如果不是这种情况，该论文就被排除在进一步调查之外。我们阅读了其余的论文，以获得关于测量系统的准确性和确定该准确性的背景（环境条件、测试设置、运动类型和误差定义）的信息。如果论文中没有包括实验背景下的精度评估，我们试图从论文中引用的研究中检索出这些信息。这些信息随后被包括在内，尽管并不总是在运动背景下确定的，因此在结果部分进行了标注。如果在准确性方面没有找到同行评议的论文，那么该论文和系统就不会被进一步评估。
系统的准确性被设定为仪器误差的第95百分位数（P95）：
其中，mis是报告的平均值（在没有平均值的情况下使用RMSE），sis是报告的标准偏差。一个系统的范围被设定为测量体积的面积（m2）（全球水平面）。我们选择范围而不是体积来获得一个适用于二维和三维系统的通用变量。
3结果
文献研究的结果是共有20个关于测量准确性的同行评审的研究，讨论了17个不同的人体运动捕捉系统。这些系统列于表I。该表提供了制造商所报告的有关环境能力、重量、尺寸和最大体积的系统的一般规格。表二列出了相同的系统与相应的已发表的研究和精度规格。准确度规格包括相机的数量、标记的数量、采样频率、参考系统、运动、一个统计值、测量体积或范围，以及报告的准确度。这些结果在在线互动选择工具中得到处理。在图2中，准确度与实验装置的范围作了对比。正如预期的那样，系统的精度（方程式1）与定位系统的覆盖范围成反比；换句话说，测量量越大，精度就越低。
与测量系统类型相关的实际和技术困难方面的规格高度依赖于其物理工作原理。在人类运动捕捉中，我们区分了五个工作原理：光电测量系统（OMS）、电磁测量系统（EMS）、图像处理系统（IMS）、超声波定位系统（UMS）和惯性感应系统（IMU）。按照这些工作原理的安排，在接下来的章节中对这些测量系统进行了解释。每种工作原理的一般优点和缺点在图1中进行了总结。
3.1光电子测量系统
表1. 总表：制造商关于测量系统的规格。给出的是传感器和系统的重量和尺寸，传感器的类型，以及最大捕获量、标记的数量和采样频率。最大捕获量和采样频率是针对一台相机或传感器给出的；如果一个系统不受传感器数量的限制，则用‘∞’表示。∗表示该系统被用于体育应用，但其准确性是在不同的背景下确定的（通过论文的参考文献列表找到）。
OMS比其他系统更准确（图2）。毫不奇怪，光学系统（如Optotrak或Vicon）在文献中经常被视为运动捕捉的黄金标准。一个OMS检测光线，并利用这种检测通过时间-光线三角测量法来估计标记物的三维位置。这些系统的准确性取决于实验装置的以下部分：照相机的相对位置，照相机和标记物之间的距离，现场标记物的位置、数量和类型，以及标记物在捕捉范围内的运动。另外，相机的分辨率和采样频率之间也有一个权衡。
OMS是基于固定的摄像机，因此只能在一个有限的区域内获取数据。捕获量取决于摄像机的最大数量和每个摄像机的视场。用OMS测量的最大范围是824平方米，由Vicon MX13测量系统获得。对于这个范围，需要24台摄像机。这种数量的相机在成本、便携性、校准、同步化、劳动力和设置方面造成了很大的实际困难。该系统的进一步限制是必须要有视线，这意味着当摄像机失去对标记物的视线时，数据输出将被中断。此外，该系统对设置的改变非常敏感，例如，由于摄像机的意外移动。这些系统主要用于黑暗地区（室内），因为明亮的阳光会干扰测量。
光电系统中有两类：主动标记系统和被动标记系统。被动式系统使用将光反射回传感器的标记。图中的Vicon系统（图2）就是被动式动作捕捉系统的例子。主动式系统利用包含传感器光源（通常是红外线）的标记。在图表中，Optotrak 3020是一个主动标记光学系统。与被动式标记相比，主动式标记的好处是测量结果更稳定。然而，主动式标记确实需要额外的电缆和电池，所以移动的自由度比较有限。此外，当使用多个标记时，最大采样频率会降低，因为每个单独标记的信号需要有可识别的频率，从而可以被识别。
表2. 准确度表：测量系统及其在一定范围内的准确度，如同行评议的文章中所报道的（第2栏）。实验装置的规格在第3-7栏给出。最后两栏（12-13）报告了图1图表中采用的范围和精度；为此选择的是报告的最大范围（第9栏），精度为95%置信区间（P95）（第10栏）。如果报告的统计值（第8栏）不允许估计P95，则在第11栏中以注释形式表示。请注意，同行评议文章中的最大范围不是一个系统的最大捕获量（关于这一点，见总表I）
增加基于标记的OMS范围的一个相当原始的方法是滚动运动捕捉系统。通过这种方法，摄像机被放置在一个固定的移动框架上，以满足摄像机之间固定相对位置的要求。该方法被应用于划船的三维运动学分析，用一个安装在船上的三台摄像机记录系统，它呆在划船者旁边；这项研究显示平均关节中心的精确度约为30毫米。然而，Kersting等人得出结论，该方法非常耗时–主要是由于校准–并且不适合一般的训练目的。
室内GPS（iGPS）是一种不是基于标记的OMS，而是基于附着在被追踪物体或参与者身上的接收器。与其名称可能表明的不同，其（物理）工作原理与普通GPS系统完全不同：该系统有一个发射器，使用激光和红外光将位置信息从发射器传送到接收器。这是一个单向的程序。这个系统的优点是，对系统的可扩展性几乎没有限制。因此，可以根据需要增加发射器，以覆盖一个（工厂）广泛的区域，并且可以使用无限数量的接收器。在一个室内冰场（12,600平方米）上确定的系统精度为6.4毫米。该系统在体育领域应用的重要缺点是需要安装在运动员身上的接收器的尺寸和重量（表一）。
3.2电磁测量系统
电磁系统（EMS）通过从转发器到基站的电磁波–无线电波的飞行时间来寻找测量转发器的未知位置。EMS提供了大量的捕获量（图2），但精确度低于OMS：图表中的每个EMS的精确度都低于性能最差的光电系统。与OMS不同的是，寻找转发器的位置不需要视线；同时，人体对所应用的领域是透明的。该系统的局限性与实验装置有关，是对环境中的铁磁性材料的敏感性，这降低了数据的准确性；此外，当基站和转发器之间的距离增加时，噪声增加，信号的质量下降。EMS的采样频率一般较低，这对体育分析来说是个缺点。使用多个标记物时，频率会降低。
在EMS系统中，GPS-GLONASS双频系统显示了一个有希望的范围-精度组合。在15,000平方米的范围内，精确度为0.04米。GNSS是卫星导航系统，GPS、GLONASS和GALILEO是其中的例子。卫星传输的数据包含卫星的位置和全球时间的信息。由于所有卫星的位置不同，数据到达接收器的时间也不同，这就有了确定卫星距离的选择。如果接收器得到四颗卫星的信息，可以估计出三维的位置，尽管高度信息的确定比水平位移差2-3倍。请注意，在图中，所有的GNSS系统都是差分GNSS系统，它有一个额外的GNSS接收器，作为测试地点5公里内的静态基站。基站的卫星信号的测量与移动GNSS的测量相结合，以提高精确度。
GNSS系统的缺点是GNSS接收机和天线的成本、重量和尺寸。GNSS系统不能在室内使用，而且对室外的遮挡物和天气也很敏感。GNSS系统的精度取决于其规格；例如，（低成本）单频GNSS装置的精度（最高4米）大大低于高成本的双频装置（最高0.04米），特别是在恶劣条件下。然而，高端双频设备更加笨重。
与GNSS相反，所有其他EMS系统都可以在室内使用，因为它们利用本地基站而不是卫星信号。本地位置测量（LPM）由分布在整个地区的基站和受试者佩戴的转发器组成。主基站首先向每个转发器发送一个触发器，然后每个发射器向所有其他基站发送标记电磁波。与全球导航卫星系统一样，至少有四个基站需要接收信号，以通过飞行时间来确定转发器的三维位置。该系统在室内和室外都能发挥作用。在3840平方米的区域内，在动态情况下（23公里/小时），图中所示系统的精度为0.23米。
与LPM的工作原理类似，但精度较低的是无线特设定位系统（WASP）系统；WASP使用标签和锚节点，放置在固定位置，对参与者进行二维跟踪。能达到的精度取决于场地，从室内体育场馆的0.25米到穿过多面墙时的几米不等。在体育研究中，在一个室内篮球场（420平方米）发现的精确度在0.48和0.7米之间。准确度也受制于传输的无线电信号的带宽。
射频识别（RFID）是一种无线非接触系统，它使用电磁波和电磁场将数据从附着在物体上的标签传输到RFID阅读器上。有两种标签：有源标签，主动发射无线电波；无源标签，只能在短距离内读取，因为它们是通过磁场（感应）供电和读取。无源标签实际上没有使用寿命，因为它们不需要任何电池供电。Shirehjini等人的RFID地毯由无源标签组成，在5.4平方米的区域内，报告的精确度为0.17米。Ubisense是一个商业化的系统，最初是为企业追踪资产和人员而设计的，它采用了有源RFID技术。在体育领域，该系统在一个室内篮球场（420平方米）进行了测试，报告的精确度为0.19米。
诸如衰减、信号的交叉路径以及来自其他RFID标签、RFID阅读器和不同射频设备的干扰等因素都会影响标签和RFID阅读器之间的通信。
3.3图像处理系统
与EMS相比，IMS通常具有更好的精确度，与OMS相比，其范围也有所提高。在图像处理中，对拍摄的胶片或照片进行数字分析。与其他基于传感器的测量方法相反，这种方法是基于视觉的，使用光学相机和计算机视觉算法。这种无标记的跟踪在运动中是一个很大的优势，例如用于事件检测。图像处理也有一些缺点：实时进行图像识别并不容易，可能需要昂贵的高质量和/或高速相机。准确度也取决于实验装置，即相机与物体轨迹的位置，以及相机的数量。此外，一般来说，相机分辨率的提高会导致可行的最大采样频率的降低。
基于视觉的系统可以分为两类。基于模型的追踪和基于特征的追踪。基于模型的跟踪使用被跟踪物体的三维模型。在基于模型的跟踪的基本概念中，姿势信息在每一帧视频中都被更新，首先通过预测滤波器使用动态模型，然后通过视频帧中的测量来更新。基于模型的跟踪系统的一个缺点是，由于需要额外的信息，如参与者和环境的三维模型，它们很难在未知的环境中使用，并限制摄像机的运动。
基于特征的跟踪算法使用帧中的兴趣点来跟踪物体。有两种基于特征的追踪算法：使用已知标记的标记追踪和无标记追踪，后者专注于追踪二维特征，如角落、边缘或纹理。请注意，IMS的标记跟踪与OMS不同，因为IMS使用（对人类而言）可见光，而OMS则使用红外光。
对于标记跟踪，使用已知的标记来跟踪物体。这通常比检测自然特征（如现有的角落或边缘）更准确，然而，标记必须在实验前精确到位（网格设置），并且可能发生标记的遮挡。在体育领域，基于标记的特征跟踪已被应用于滑雪和滑雪板轨道的运动学数据的收集，在2500平方米的范围内获得了0.04米的精度。
无标记跟踪消除了对有关环境的预先知识的依赖，扩大了操作范围。这种自然跟踪是一个热门话题，例如，机器人视觉和增强现实。然而，在这些应用中，摄像机实际上是附着在被追踪的物体上的，与体育应用不同的是，到目前为止，摄像机是静态的，同时进行平移、倾斜和/或缩放。Liu等人将一个平移摄像机安装在天花板上，在比赛期间跟踪短道速滑运动员，使用的是滑冰运动员的颜色直方图；他们获得了0.23米的精度（面积810平方米）。
KinectTM传感器–最初是为了让用户在不需要传统手持控制器的情况下与游戏系统互动而设计的–也可以归类为无标记追踪设备，尽管其工作原理与之前描述的略有不同。该系统将一个红外激光斑点图案投射到红外摄像机的观察区域。这台红外摄像机检测到该图案，并通过测量参考斑点图案的变形来创建一个三维地图。由于其低成本和合理的精度（0.19米，7.5平方米，该设备经常被用于科学研究。Kinect相机的缺点是视野小；此外，如果入射光线的入射角度过大，该系统在检测吸收光线的黑暗表面、导致镜面反射的闪亮表面和粗糙表面时很困难。
目前，现有的基于计算机视觉的测量系统的性能要优于光电或EMS，而且其最大范围很小。虽然目前（2017年7月）没有成熟的系统，但有大量的开源代码可用，而且进展迅速。提供了含有人体运动学数据的开源数据库，使开发者能够验证他们的算法。这不仅能够验证所开发的系统，而且也便于研究人员在开发其研究设置时进行系统间的比较。
3.4超声波定位系统
UMS最常用于短距离的测量。UMS通过在空气中传播的超声波的飞行时间来确定物体的位置。这些系统也被称为声学测量系统，因为该系统通过声波发挥作用。声音和超声波的区别在于，超声波对人耳来说是隐蔽的，这在研究中是有益的。超声波的缺点是，与声音相比，其范围有限。另外，在进行动态测量时，超声波的方向性也是一个不利因素。在图表中（图2），包括了一个系统，它是基于运动中的超声波定位，在9平方米的区域内，其精确度为0.05米。然而，请注意，这个结果是通过与无线电频率收发器的融合获得的。
3.5惯性传感器测量系统
IMU是一个由加速度计、陀螺仪和通常的磁力计组成的设备。通过结合加速度计的信息–重力加速度–和陀螺仪的数据–旋转速度–可以确定设备的方向。磁强计用于跟踪磁北，以确定IMU的方向。市场上有许多商业化的IMU。
作为独立的系统，该设备不能确定其（全球）位置，因此不被添加到图表中。原则上，加速度计可以通过进行双重积分来确定位置，但数据会受到较大的积分漂移的影响。这些系统确实作为融合运动捕捉系统出现在表中（见讨论）。例如，当IMU与人的刚体模型相结合时，可以估计全局空间的位置。因此，IMU被放置在身体部分以确定全局方向。IMU没有基站，因此是所有可用的测量系统中最机动的。此外，该系统能够检测到非常快速的运动，而且对用户来说是非侵入性的，这使得它在运动（如体操、游泳）中成为一个有吸引力的系统。一个缺点是，该系统容易受到附近金属（实验装置）的影响而产生测量误差。此外，传感器融合算法对线性加速度很敏感。
4讨论和结论：系统选择
为体育实验选择合适的运动捕捉系统可能是困难的。图2是为了支持研究人员进行这种选择。图2的标题中解释了选择程序，也可通过互动选择工具（https://human-motioncapture.com）在线获得。
根据这项调查的结果，我们定义了一些广泛的体育类别，这些类别在测量系统中需要大致相同的特征（图1）。在团队运动和个人运动之间做了一个划分。在团队运动中，系统通常用于球员的位置、距离、速度和加速度跟踪，而个人运动通常涉及某种技术分析。团队运动主要涉及大的测量量，而且闭塞现象很常见。对于这些跟踪应用来说，精确度不像技术分析那样重要。因此，EMS是最合适的。个人运动除了室内和室外之外，还分为大体积和小体积运动。个人运动通常需要更高的精度。较小的体积可以由高精度的OMS覆盖。大体积的个人运动目前在测量运动学方面是最关键的。最合适的选择是IMS和IMU（融合）系统，然而，这些测量类别往往需要开发一个合适的算法（如果是IMS，则需要跟踪，如果是IMU，则需要融合过滤）。因此，总的来说，我们可以得出结论，在高精度地捕捉大体积的测量系统供应方面存在着差距（图2）。这些规格主要对大体积的个人运动是必要的，包括室内（如游泳、速滑）和室外（如赛艇、田径）。
(在线)选择工具使研究人员能够更快、更明智地选择适合其实验装置的测量系统。仪器的误差取决于研究的背景（第2节）。因此，我们鼓励研究人员总是报告校准程序的准确性测试（即制造商的准确性报告，定制测试，个别组件的准确性测试）。此外，我们邀请研究人员对这里提出的图表（图2）和系统概述进行在线补充。