关键要点
- 照明和零件的可变性，而不是机器人的能力，是导致大多数视觉引导机器人失败的原因，而这两个问题都可以通过正确的系统架构来解决。
- 在2D和3D机器视觉之间，以及在固定和臂装摄像头之间做出选择，直接决定了您的周期时间和校准负担。做出错误的选择的成本远远超过硬件成本。
- 基于人工智能的机器视觉现在可以处理箱拣选、表面检测和柔性装配中挑战基于规则的系统的“有机”变化，但人工智能并不是精心设计的传统算法的通用替代品。
机器人没有改变。视觉系统做到了。
在工厂车间待足够长的时间，你会看到同样的场景重复出现：生产经理指着一个通过了所有实验室测试的机器人单元说：“在演示中它运行得非常完美。现在它每二十分钟就停止一次。” 机器人没有改变，改变的是环境，视觉系统跟不上。
视觉引导机器人（VGR）赋予机器人在动态、可变生产条件下所需的视觉能力。当它工作时，它可以消除昂贵的夹具，适应转换，并在处理过程中进行检查。当它失败时，失败几乎总是可以追溯到五个可预测的工程差距之一。
挑战 1 — 照明变化会破坏整个系统
在大多数机器人视觉系统应用中，照明设计比相机分辨率更能决定机器视觉的可靠性。环境光的变化、反射表面和照明规格不当是 2D 视觉引导机器人部署中大多数误拒和漏检的主要原因。
许多工业环境对视觉系统的影响是实验室无法揭示的。天窗会随着云层的移动改变环境光的平衡。反光金属部件会产生眩光，使相机传感器饱和。交接班时，一扇门开着，改变了工作单元的光线角度。
基于规则的2D系统对这些条件非常敏感，因为它们依赖于一致的对比度、边缘定义和亮度来定位零件并做出检查决策。当这些条件发生改变，即使只是轻微改变，系统也会开始生成误报、漏检或默认错误。
有两种实用的修复方法：
- 封闭照明环境。 在检测区域周围设置一个遮光罩，可以将视觉系统与周围环境隔离开来。它价格低廉，效果显著，是经验丰富的集成商首先会做的事情。
- 移动到3D视觉，用于可变表面或照明。 与2D系统不同，3D机器视觉系统使用系统本身投射的结构光图案，使其在很大程度上独立于环境照明。相机从投射的图案中读取深度，而不是从反射的环境光中读取。
机器视觉照明的选择也很重要：穹顶照明消除了曲面上的镜面反射；背光照明显示填充水平和轮廓；同轴照明表面微观特征漫射照明模糊。在相机旁边指定照明，而不是在相机之后，这是VGR构建中最具成本效益的决定。
挑战2 — 零件可变性和箱拣选仍然是难题
部分遮挡、重叠部分、反射表面以及随机方向的抓取应用超出了早期基于规则的视觉引导机器人系统的功能。人工智能驱动的机器视觉现在可以解决这些条件，但前提是系统经过正确训练，3D传感器与零件几何形状相匹配。
抓取是暴露第一代机器视觉机器人极限的应用。早期系统在零件以一致的方向到达平皮带上时可以正常工作。将这些零件放入箱中，系统就无法可靠地确定哪个表面可以抓取，也无法规划一条无碰撞的拾取路径。
具体的故障模式：
- 部分遮挡 — 重叠部分遮挡了算法需要定位零件的参考特征
- 姿态模糊 — 对称部分从多个方向看起来相同，使定位算法混淆
- 反射表面 — 闪亮的金属部件在结构光3D系统中产生虚假深度返回
- 低对比度 — 与箱子颜色相似的部件产生弱边缘信号
现代 3D视觉系统 通过构建箱子内容的完整点云来解决位置模糊和遮挡问题，并从点云中规划抓取，而不是从2D图像中规划。基于AI的 机器视觉软件 在实际箱子中的实际零件图像上进行训练，可以处理固定阈值算法无法处理的变异性，包括根据周围环境判断给定表面是否可抓取，而不仅仅是特征几何。
反射表面的资格：结构光3D系统使用调制图案频率来过滤掉相互反射，但传感器模型和安装几何形状仍需要与零件材料相匹配。这不是一个即插即用的问题。它需要事先进行工程判断。
实地笔记：当模式匹配看起来足够了——直到它不够了
"我们最近安装了一个项目，该项目的应用是从纸箱中拾取并放置电脑机箱到传送带上。最初，我们认为模式匹配工具足以检测到机箱。但是一旦电脑接触到纸箱的内壁，边缘就会在相机中变得不可见，模式工具开始失效。我们改用基于人工智能的定位工具来克服这个问题。我从这个项目中学到的是：在开始一个应用程序之前，你必须提前测试每一种情况，以确定基于规则的工具是否足够，或者是否需要人工智能。”
— Rashidh Mohamed，应用工程师
这里的故障模式是教科书式的例子，说明为什么遮挡测试必须在系统规格化之前进行，而不是在安装之后。纸箱墙接触零件边缘，正是实验室演示中从未出现的边缘情况，也是生产第一周出现的情况。
看看视觉引导机器人如何处理现场的零件变化。下载机器人引导和对准指南。
挑战 3 — 相机放置和校准驱动周期时间
固定相机（眼对手机）和臂载相机（眼在手机）的选择直接决定了周期时间和校准频率。
这是VGR设计中最被低估的权衡之一。两种配置都是合法的并且被广泛部署，但是它们具有根本不同的性能特征——选择错误的配置会在电池建成之后产生昂贵的修复问题。
眼对手机器人（固定）摄像头固定安装在单元结构上，由于机器人在摄像头工作时移动，因此可将循环时间降到最低，而且校准效果良好，因此它们是箱拣选、拆托盘和传送带引导的标准配置。眼在手机器人（臂载）摄像头安装在机器人臂端，暂停进行图像捕捉，这可能会使循环时间增加一倍，而且由于电缆弯曲和振动会导致漂移，因此需要更频繁地进行校准 — 对于精密装配、焊缝引导和顺序检查来说，这些权衡是值得的。
手眼标定建立了相机和机器人坐标系之间的精确空间关系，它在初始部署后通常是准确的，但会随着时间的推移而漂移。振动、热膨胀和电缆张力会随着时间的推移将相机位置移动几毫米，对于精度要求高、公差小的装配来说，这一点很重要。重新标定计划需要从第一天起就成为系统设计的一部分，而不是事后才想到。
团队经常低估这项工作的范围：对于固定相机来说，简单的网格校准就足够了，但对于安装在机械臂上的相机来说，这还不够，因为相机和机器人的参考框架是两个不同的物理环境。跳过或匆忙完成这项工作，会导致失败，相机正确检测到零件，但给机器人错误的坐标，因此即使视觉系统看起来正常，拾取也会失败。这种脱节经常被忽视，因为相机“通过”自己的检测测试会在整个系统中产生虚假的信心。
在机器人引导和对齐指南中获取最佳实践的完整分析。
挑战 4 — 何时应使用 AI 而不是基于规则的机器视觉
人工智能驱动的机器视觉在执行涉及有机变化、表面异常和灵活零件识别的视觉引导机器人任务方面表现出色，但在处理基于规则的算法可靠且廉价的任务时表现不佳。性能最高的机器人视觉系统同时使用这两种方法，并将它们与正确的任务相匹配。
在基于规则的视觉系统多年在灵活、可变的应用中失败后，叙述转向了“人工智能解决一切问题”。它不能。在确定性算法表现更好的地方部署人工智能，会创建更难验证、对训练数据质量更敏感、处理速度更慢的系统。
在地面上，追求人工智能的压力主要来自光学，而不是工程学：
"如今大多数客户都想要基于人工智能的相机，原因很简单，人工智能是当前的趋势。但作为工程师，我们知道模式工具比基于人工智能的工具快得多，也便宜得多。只有在零件偏差显著，我们无法区分背景和物体，图像中没有足够的对比度时，才需要人工智能。除此之外，模式工具更高效、训练速度更快、成本更低。”
— Rashidh Mohamed，应用工程师
以下是实际分析:
当基于人工智能的机器视觉获胜时:
- 在具有有机变化的表面（拉丝金属、铸件、食品）上检测缺陷，其中缺陷与自然纹理之间的差异是上下文相关的
- 频繁更换零件类型且再培训比重新编程更快的灵活箱拣
- 零件在颜色、表面处理或次要几何形状上因 SKU 而异的装配验证
- 在位置不可预测的杂乱场景中进行有无检查
当基于规则的视觉获胜时：
- 高速条形码读取和可追溯性代码验证
- 在公差固定的情况下进行精确尺寸测量
- 边缘检测和模式匹配在一致且控制良好的部件上
- 可审计性和确定性是监管要求的应用
德勤和制造研究所的2024年数据明确指出制造业劳动力短缺：2024年至2033年期间需要380万个就业岗位，其中190万个可能无法填补。这种结构性压力促使公司比其工程团队能够仔细评估的速度更快地转向自动化。风险在于在应用中部署基于人工智能的视觉，而这些应用要么过度使用，要么训练不足，要么验证不足，并将失败归因于机器视觉，而不是归因于错误的工具。
机器视觉软件平台将基于人工智能的工具和传统的算法库集成在一起，使工程师能够在单一系统架构内灵活地为每个任务选择合适的方法。
不确定您的应用程序需要哪一个? 下载 人工智能与机器视觉白皮书，了解如何将技术与任务相匹配。
挑战 5 —— 集成复杂性阻碍部署
视觉引导机器人部署成功的最大障碍不是视觉硬件，而是找到既了解视觉系统又了解机器人控制器的集成商，以便在生产环境中可靠地进行通信。
在测试夹具中表现完美的机器视觉相机在集成到活动单元中时可能会立即失效。原因在于系统：
- 坐标系错位 — 视觉系统报告零件位置的相机坐标；机器人在世界坐标中运行；它们之间的转换校准误差会产生看似随机但实际上是有系统的拾取失误
- 通信延迟 — 视觉系统和机器人控制器通过以太网/IP、PROFINET 或 GigE Vision 协议进行握手，导致时间变化，从而在高吞吐量下出现遗漏
- PLC 逻辑间隙 — 故障模式，如在维护后未关闭下游拒绝系统，或意外在失败产品上训练的“教学”功能，会创建几乎无法通过数据记录诊断的质量逃逸
具有原生机器人通信库、预建集成例程和逐周期数据记录的视觉系统大大减轻了这一负担，而工业 4.0/IIoT 标准平台简化了 MES 集成和实时生产线级可见性的路径。
根据自动化促进协会（A3）的说法，将机器人、视觉系统和现实世界坐标系统集成在一起仍然是制造商在首次采用VGR时遇到的主要障碍之一——这也是当前视觉提供商正在通过更好的软件架构和预认证的机器人集成进行投资的领域。
这实际上改善了多少？ 现场的前后对比：
"2024年，我们在视觉软件中没有定义片段，因此很难手动配置每个功能，手动训练姿势，并从机器人执行手眼校准。这消耗了时间，使得培训操作员和运营经理变得困难，因为他们很难从基础开始理解VGR。
2026年，我们为VGR预建了片段和定义了模块，因此我们可以更快、更可靠地培训客户和实施项目。在许多情况下，我们还从基于PC的系统转向智能相机，因为基于PC的平台更难训练。智能相机具有简化、精简的功能集，更容易训练和部署。”
— Rashidh Mohamed，应用工程师
从手工配置、代码密集型部署到预制模块的转变是为什么集成时间表在全行业范围内压缩，以及为什么集成商的平台选择与其工程人才同样重要的原因。
您是否真的需要视觉引导机器人——或者固定自动化就能完成工作？
视觉引导机器人系统 当零件可变性、多 SKU 变更或过程检查要求超过固定自动化可以可靠处理的范围时，其成本是合理的。对于高速、单 SKU 应用，零件以一致、可重复的位置到达，固定自动化仍然是正确的选择。
在指定 VGR 系统之前，运行此决策框架：
在以下情况下使用固定自动化：
- 零件每次循环都以固定、托盘化或一致的方向到达
- 您无限期地运行单个 SKU，没有计划的换型
- 吞吐量要求超过每分钟 200 个循环，不需要灵活性
- 处理站不需要检查
在以下情况下使用视觉引导机器人：
- 零件以不同的位置、方向或从箱子中到达
- 您的生产线处理多个 SKU 或预期产品变更
- 机器人需要在处理过程中验证质量、存在或装配正确性
- 缺陷类型本质上是“有机”的，表面变化、外观不一致或天然材料差异，固定量规无法分类
在以下情况下使用基于人工智能的机器视觉：
- 缺陷是主观的或上下文相关的（刷纹金属上的划痕与自然纹理）
- 零件类型经常变化，且重新训练需要比重新编程更快
- 检查任务涉及灵活、非结构化的场景
这个框架不能替代工程判断。但它可以防止VGR采购中最昂贵的错误：为一个应用购买一个完整的基于人工智能的3D机器人视觉系统，而一个在传送带上的照明良好的2D 视觉传感器可以在很短的时间和成本内解决这个问题。
在您签退之前：经验丰富的集成商检查而其他人跳过的项目
每个客户在签署之前都会检查相机的精度和分辨率。很少有人在实际条件下检查机器人本身：
"客户应该在满载和全速的情况下交叉检查机器人的精度——机器人的精度会随着负载、速度和范围而变化。手臂完全伸展时的精度与靠近时的精度不同。客户还应从机械角度查看夹具变化和安装变化，以便在签署后不会出现任何问题。在试验中要做的第一件事是测试最坏情况，而不仅仅是“黄金样本”。有些客户只用几个好的零件进行测试，通过试验，然后在生产时遇到严重的零件差异。在试验期间测试最坏的情况，实际上可以告诉你基于规则的系统是否足够，或者是否需要人工智能来处理这种差异。
— Rashidh Mohamed，应用工程师
最后一点值得强调：挑战4中的基于规则与人工智能的决策并不是你可以从规格表中做出的。这是一个在试验中系统如何应对最坏情况下的零件变化得到验证或推翻的决策，而不是针对货架上最好的样品。
部署良好的视觉引导机器人系统到底是什么样子？
可靠的机器人视觉系统将应用的正确传感器技术、定制照明、经过验证的校准过程以及与机器人控制器原生集成的软件结合在一起，所有这些都在单元构建之前就已指定，而不是在之后进行改装。
部署的压力是真实的。部署错误系统的成本也是真实的。照明、零件可变性、相机位置、基于规则的选择与人工智能以及集成架构是区分VGR投资能否在多年中不断增长与造成永久性维护难题的关键。
康耐视通过其全球工程网络提供特定应用的指导。请求演示，以了解视觉引导机器人解决方案如何映射到您的特定应用、零件和生产环境。