单个传感器获得的信息非常有限，并且受其自身质量和性能的影响。因此，智能机器人通常配备大量不同类型的传感器，以满足检测和数据采集的需求。人们提出了多传感器融合技术多传感器融合也称为多传感器信息融合，有时称为多传感器数据融合。为了提高每个传感器之间的信息互操作性，提高整个系统的可靠性和鲁棒性，提高数据信誉，提高准确性，扩大系统的时间和空间覆盖范围，增加系统的实时和信息利用率，等等。

随着机器人技术的持续开发，机器人的应用领域和功能得到了极大的扩展和改进。情报已成为机器人技术的发展趋势，传感器技术是实现机器人智能的基础之一。由于单个传感器获得的信息非常有限，并且受其质量和性能的影响，因此智能机器人通常配备大量不同类型的传感器，以满足检测和数据获取的需求。如果每个传感器收集的信息分别处理和隔离，它不仅会增加信息处理工作的量信息的有机组合。这可能会导致信息资源浪费，甚至可能导致决策错误。为了解决上述问题，人们提出了多传感器融合技术（ - ）。

1。多传感器融合的意义

多传感器融合，也称为多传感器信息融合（ - ），有时称为多传感器数据融合（ - 数据），于1973年首次在美国国防部资助的声纳信号处理系统中提出。这是为了许多人。这是一项用于全面处理和优化信息获取，表示及其内部联系的技术。它从多个信息的角度处理和集成了它，获得了各种信息的内部连接和规则，从而消除了无用和错误的信息，保留正确且有用的组件，并最终实现信息优化，这也是一种智能信息处理技术研究提供了新的想法。

2。将多传感器融合算法除以层次结构

多传感器融合主要根据其在融合系统中的信息处理的抽象分为三个级别：数据层融合，特征层融合和决策层融合。

2.1。数据层融合

也称为像素级融合，传感器的观察数据首先融合，然后从融合数据中提取特征向量并进行判断和识别。数据层融合要求传感器是均匀的（传感器观察到相同的物理现象）。如果多个传感器是异质的（观测值不是相同的物理量），则数据只能在特征层或决策层融合。数据层融合中的数据丢失没有问题，结果也最准确，但是计算很大，并且系统通信带宽的要求非常高。

2.2。特征层融合

特征层融合属于中间水平。从每个传感器提供的观察数据中提取的代表性特征被融合到单个特征向量中，然后使用模式识别方法进行处理。该方法的计算量和通信带宽的要求相对降低，但某些数据的准确性降低了。

2.3。决策水平集成

决策级融合是高级融合。由于传感器数据的浓度，该方法产生的结果相对不准确，但其计算量和通信带宽要求最低。

对于特定的多传感器融合系统设计应用程序，应全面考虑传感器性能，系统计算能力，通信带宽，预期准确性和资金功能等因素，以确定哪个水平是最佳水平。另外，在一个系统中，也可以同时在不同级别的融合中进行融合。

3。将传感器融合算法除以抽象水平

最常见的融合类型是在抽象层面上。在这种情况下，问题是“何时应该进行集成？”

本文描述了和相机融合中的早期（）和晚期融合的两个过程。

在行业中，还有其他名称：低（低），中和高（高）传感器融合。

3.1。低级融合：原始数据的融合

低级传感器融合是关于融合来自多个传感器的原始数据。例如，的点云数据和来自相机的像素级数据融合在一起。

这种类型的收敛在未来几年中具有巨大的潜力，因为它考虑了所有数据。

几年前很难做早期融合（低 - ），因为所需的处理量很大。数十万个点可以与每毫秒数十万个像素融合在一起。

这是相机和激光镜头低水平融合的示例。

在该过程中使用了对象检测，但是该作业的真正用途是将3D点云投射到图像中，然后将其与像素相关联。

3.2。中级融合：融合检测数据

中间传感器融合是传感器独立检测到的物体的融合。

如果摄像机检测到障碍物，则雷达检测到它，然后将这些结果融合在一起以形成对障碍物的位置，类别和速度的最佳估计。常用的方法是卡尔曼滤波器（贝叶斯算法）。

此过程易于理解，并且包含了几个现有的实现。

它严重依赖于探测器。如果一个人失败，整个融合可能会失败。卡尔曼过滤器解决此问题！

中间传感器融合示例：

在此示例中，我们将的3D边界框与对象检测算法的2D边界框融合在一起。这个过程有效；但也可以逆转。 3D激光雷达的结果可以映射到2D中，并在2D图像中执行数据融合。

3.3。高级融合：融合轨迹

最后，高级传感器融合是关于融合对象及其轨迹的。我们不仅依赖于检测，还依靠预测和跟踪。

这个过程更高，其优势是它很简单。

一个主要的问题是丢失过多的信息。如果跟踪是错误的，那么整个事情都是错误的。

数据融合图在雷达和相机之间的抽象级别：

4。将传感器融合除外水平

融合算法的第二种类型由集中化水平区分。在这种情况下的问题是“融合在哪里发生？”主机计算机可以做到这一点，或者每个传感器都可以自行进行检测和融合。一些方法使用称为卫星体系结构的技术融合。

让我们了解三种类型的融合：

让我们以经典的自动驾驶汽车为例。在这种情况下，每个传感器都有自己的计算机。所有这些计算机都连接到中央计算单元。

相比之下，开发了卫星建筑的建筑。这个想法是：所有传感器均连接到处理称为主动安全域控制器的智能的中央单元。

在此过程中，利用传感器的位置和传输信息的类型可以帮助减轻车辆的总重量，并且可以通过传感器数量更好地扩展。

左图的情况如下：

这是“集中集成”的两个示例。当我们使用经典体系结构时，我们可能会遇到另外两种类型的融合。

数据融合图在雷达和相机之间的抽象级别：

5。将传感器融合除以竞争水平

对传感器融合算法进行分类的最后方法是竞争级别。

同样，有3种可能性。

5.1。竞争融合

竞争性融合意味着传感器用于相同的目的。例如，当雷达和激光雷达都用于检测行人时。这里发生的数据融合过程称为冗余，使用“竞争”一词。

5.2。互补融合

补充融合是指使用不同的传感器观察不同的情况，以获取我们无法使用其他方法获得的东西。例如，在建造具有多个摄像机的全景时。由于这些传感器相互补充，因此使用术语“互补”。

5.3。协作融合

最后，协作融合是关于使用两个或多个传感器来产生新的方案，但涉及相同的对象。例如，使用2D传感器进行3D扫描或3D重建。

为了学习如何实现这种类型的融合，您可以学习一个立体声视觉课程，该课程协调两个相机的融合以产生3D结果。

6。多传感器融合算法

融合算法是融合处理的基础。它使用不同的数学方法来根据信息融合的功能要求全面地在不同的融合水平上处理数据，并最终实现融合。目前有大量的融合算法，它们都有自己的优势和缺点。通常，这些融合算法可以分为三种类型：嵌入约束方法，证据组合方法和人工神经网络方法。

6.1。嵌入约束方法

由多个传感器获得的多组目标环境数据是根据一定的映射关系由客观环境形成的图像。传感器信息的融合是通过图像（即了解客观环境）求解原始图像。在数学语言中，即使所有传感器的所有信息都只能描述环境的某些方面，但是有许多具有这些特征的环境。一组数据必须对应于唯一的环境（即，上述映射是一旦映射的一个），必须将约束添加到地图的原始图像和地图本身，以启用问题的唯一解决方案。有两种基本的嵌入约束方法：贝叶斯估计和卡尔曼过滤。

6.2。证据组合方法

证据组合方法认为，完成一项智能任务是根据有关环境的信息做出多个可能的决定，而多传感器数据信息在一定程度上反映了环境的这一方面的状况。因此，每个数据都被分析为支持一定决策的证据的支持程度，并将对不同传感器数据的支持程度（即证据组合）组合在一起，并且对证据的最大支持程度的决定被分析为信息融合的结果。

证据组合方法是处理多个传感器的数据信息以完成某个任务。它首先给出了单个传感器数据信息的每个可能决定的支持程度（即，通过数据信息作为证据对决策的支持程度），然后找到证据组合方法或规则，以制作两个不同的传感器已知的数据（当对决策的支持程度不同时，通过反复应用组合规则，最终获得了所有数据信息的总体支持，最大的证据支持该决定，即结果，结果传感器信息融合。

常用的证据组合方法包括：概率统计方法和DS（ - ）证据推理方法。

6.3。人工神经网络法

人工神经网络设计并建立相应的机器和模型，并通过模仿人脑的结构和工作原理来完成某些智能任务。神经网络根据当前系统收到的样本的相似性决定了分类标准。这种确定方法主要反映在网络重量分布中，同时，神经网络的特定学习算法可用于获取知识并获得不确定性推理机制。使用神经网络方法进行多传感器信息融合分为三个主要步骤：

7。摘要

在多传感器融合技术中，融合结构和融合算法占据了重要位置。随着多传感器融合的研究和应用的加深，未来的多传感器融合将是一个更复杂的信息处理过程，包括许多特定的算法，但也具有相对复杂的结构。

如何根据实际应用有机地组合算法和结构以为整个融合系统提供更有效的融合策略是多传感器融合研究所将来解决的主要问题。目前有大量的融合算法，它们都有自己的优势和缺点。这些算法需要通过合理的融合结构组合，以使它们发挥自己的优势并避免缺点，并形成更有效的融合方法。

此外，多传感器融合将面临另一个问题，即动态环境和未知环境之间的融合问题，这无疑会对融合方法提出更高的要求。这不仅需要具有更好性能的融合算法，而且还需要更灵活的融合结构来提高融合系统的适应性和鲁棒性。

参考

多传感器融合技术简介 - 腾讯云开发人员社区 - 腾讯云