释放人工智能在自动光学检测（AOI）领域的潜能

引言人工智能（AI）是一门致力于开发计算机系统的前沿理论与技术，这些系统具备执行通常依赖人类智能才能完成的各类任务的能力。这些任务包括视觉感知与模式识别、语音识别、决策制定、自然语言处理与翻译等多个关键领域。机器学习作为人工智能的一个重要分支，赋予了计算机在无需人类辅助的情况下，从海量数据中自主学习的卓越能力。而深度学习作为机器学习的一种先进形式，能够训练计算机模拟人类执行各种复杂任务，如精准识别语音、准确辨认图像或进行合理预测。人工智能指的是机器，特别是配备了合适软硬件的计算机系统，对人类智能过程的模拟。这涉及创建能够执行通常需要人类智能的任务的系统，比如理解自然语言、识别模式、做出决策、解决问题以及从经验中学习等。人工智能涵盖了广泛的技术、算法和方法，每种都有不同的用途。近年来，人工智能在计算机视觉、基于大语言模型的生成式人工智能等领域迅速崛起。在计算机视觉领域，人工智能已成功应用于质量检测场景。基于神经网络的深度学习模型在数字图像处理领域的目标检测和分类任务中展现出了很高的准确性。由于人工智能模型在质量检测过程中通过目标检测和分类开始显示出巨大的替代人类认知的潜力，人工智能辅助的质量检测有望进一步实现这些过程的自动化。尽管本白皮书主要聚焦于将计算机视觉人工智能应用于自动化检测（即运用人工智能对检测图像进行模式识别），但生成式人工智能的快速发展和日趋成熟，为未来生成检测标准开启了全新的可能性。 1 1.人工智能系统详解开发和部署人工智能系统的过程通常包含两个模块：人工智能训练和人工智能推理。人工智能训练人工智能训练是指机器学习模型从大量数据集中进行学习的过程，在这个过程中，模型会调整自身参数，以识别数据中的模式并做出准确预测。近年来，基于神经网络的深度学习模型在数字图像处理领域的目标检测和分类任务中展现出了极高的准确性。以下罗列其中几种已在图像识别应用和实际场景中得到广泛使用的成熟人工智能模型类型：•GoogLeNet•Faster R-CNN（区域卷积神经网络）•Detectron•SSD（Single-Shot Detection）•YOLO（You Only Look Once）•精简版YOLO（You Only Look Once）人工智能训练是一个迭代的工程过程（如图1所示），这项工作由建模人员负责。建模人员不仅要精通人工智能建模技术，还要深入了解业务流程（在本白皮书的语境中，即自动光学检测）。人工智能模型的准确性在很大程度上依赖于来自实际生产的训练数据集的质量和多样性。在训练之前，建模人员需要对训练数据集进行标注（例如，区分合格产品和缺陷产品）。在训练过程中，建模人员将标注好的训练数据集输入到人工智能模型中，这样模型就可以调整自身参数，以最小化预测结果与实际结果之间的误差。标注和训练都是既耗时又耗资源的工作。可能需要经过多次“标注→训练→验证”的迭代过程，才能使模型达到令人满意的性能。和任何模型一样，在这个过程中避免对数据过度拟合非常重要。计算机视觉人工智能训练涉及教导模型解读和理解视觉数据，这被视为一项工程活动，需要大量的图形处理单元（GPU）资源。它通常在与生产系统分离的人工智能训练系统或平台上运行。 2 人工智能推理人工智能推理是指将经过训练的人工智能模型应用于实际生产数据，以在质量检测范围内进行缺陷检测和分类。与人工智能训练相比，它对GPU资源的需求要少得多，但在将训练好的人工智能模型部署并集成到生产系统中时会面临一系列挑战。第3节将详细阐述这些挑战。图1：人工智能训练过程示意图2.人工智能在电子制造AOI中的应用在印制电路板组件（PCBA）的AOI流程里，人工智能能够发挥关键作用。随着技术不断进步，表面贴装器件（SMD）的尺寸持续缩小。为满足电子设备小型化和高性能的需求，体积更小、更紧凑的组件不断问世。这一发展趋势使得减少PCBA AOI的编程时间、判断时间以及调试工作显得尤为必要。近年来，云人工智能、物联网和智能制造等领域的技术取得了显著进步，为进一步提升AOI性能创造了有利条件。运用深度学习和边缘计算技术的人工智能解决方案，在AOI的准确性和效率方面取得了明显提升1。1Wayne Zhang、Ziv Zhao、Ben Wu、Peng Tang、Yan Wang、Marie Cole、Lin Qin Shen和Andrew Vogel，《通过智能视觉洞察解决方案协作提高AOI性能》，2019 SMTA国际会议论文集。 3 释放人工智能在自动光学检测（AOI）领域的潜能在用于优化AOI流程的新型人工智能解决方案中，边缘设备可在生产线上实时处理AOI图像，并将不符合要求的图像发送至基于云的人工智能中心进行进一步分类。该系统减少了人工干预，缩短了生产周期，同时降低了误判率和漏检率。实验结果表明，基于深度学习的AOI系统在准确性和效率方面优于传统系统，因为它能够识别复杂图案，并适应生产环境的变化。3.在制造车间部署人工智能面临的挑战在EMS车间部署人工智能，面临着诸多重大挑战。首先，在将人工智能应用于AOI缺陷检测的人工智能训练阶段，获取高质量的训练数据存在不少难题：•缺陷样本有限：由于缺陷出现的频率较低，收集具有多样性和代表性的缺陷数据集并非易事。例如，电子制造中像枕头效应（HIP）这类缺陷相对少见。若缺乏足够的样本，人工智能模型可能难以进行有效的泛化学习。•类别不平衡：在缺陷检测中，大部分样本是无缺陷的（即正常芯片），有缺陷的样本占少数。这种类别不平衡会导致模型产生•数据隐私：出于保密考虑，电子制造商通常不愿意分享其专有的缺陷数据。这限制了可用于训练的大规模、多样化数据集的其次，在将训练好的人工智能模型实际部署到制造车间进行推理时，会遇到一系列信息技术（IT）和运营技术（OT）方面的挑战2：•高可用性：质量检测是产品发货给客户前的最后一道防线。检测系统的可用性直接影响发货计划，进而影响企业收入。这就要求系统能够全天候不间断运行，维护间隔要尽可能短。•可扩展性和性能：制造业务往往分布在多个地区，因此系统需要具备扩展到不同地点制造工厂的能力。系统应易于扩展，无论是在本地还是云端，都能方便地增加用于人工智能模型训练的计算机视觉实例，同时也能添加边缘设备。此外，还需考虑系统的性能，如速度、异常处理能力等，以满足全球各地用户的需求。•用户认证和授权：制造质量管理系统的一个重要特征是，只有经过授权和培训的操作人员才能进行质量检测。因此，需要对不同用户角色进行严格的用户认证和授权。2Feng Xue、Charisse Lu、Christine Ouyang、James Hoey、Rogelio Fernando Gutierrez Valdez、Richard B Finch，《利用边缘计算在制造业实施大规模人工智能辅助质量检测的框架》，IPC APEX EXPO 2021技术会议论文集。“制造业务往往分布在多个地区，因此系统需要具备扩展到不同地点制造工厂的能力。” 偏差，在检测罕见缺陷时表现欠佳。获取。 释放人工智能在自动光学检测（AOI）领域的潜能5•模型管理和设备管理：人工智能模型和运行人工智能模型的设备的生命周期管理在部署完成后变得至关重要。用户需要一种简便高效的方式来管理生产中使用的人工智能模型版本。同时，设备监控和恢复也十分重要，以尽量减少对制造计划的•数据：检测过程会不断产生检测数据，包括图像和结果。这些数据需要作为重要的机密信息进行安全存储和存档。短期内，这些数据要能被其他应用程序（如分析应用程序、仪表盘）方便地使用；长期来看，要能根据需求随时检索。•成本：必须仔细研究商业案例和投资回报率来评估应用人工智能的成本。在任何IT部署中，相关成本包括固定成本和可变成本。固定成本涵盖所需硬件和基础设施的架设或购买费用。可变成本包括可能的云服务使用费用以及硬件和基础设施的维边缘计算（如图2所示）通常被视为在制造运营中进行此类人工智能推理部署的理想架构。边缘计算是“一种分布式计算模式，它将计算和数据存储移至离需求更近的地方，以缩短响应时间并节省带宽”。在大规模制造中，检测数据在制造工厂内以及各工厂之间的众多检测点（在本白皮书语境中即AOI系统）产生，这些检测点被称为边缘节点。边缘计算非常适合将训练好的人工智能模型（通常在中央计算系统中训练）部署到靠近检测点（如边缘节点）的位置，以便快速图2：分布式人工智能工作负载的边缘计算参考架构[2]3Eric Hamilton，“什么是边缘计算：网络边缘解析”，Cloudwards，2024年9月25日，https://�.cloudwards.net/what-is-edge- 干扰。护成本。将检测结果反馈给检测人员。computing。 64. iNEMI“PCBA AOI的人工智能增强”项目iNEMI自2021年启动“PCBA AOI的人工智能增强”项目以来，一直致力于在电子制造领域开展人工智能应用的实验与探索。项目的第一阶段着重于调研电子制造行业中人工智能和AOI技术的现状，制定通用的性能指标，并为后续实验准备测试试样。作为项目一部分开展的一项调查显示，在PCB组装过程中，AOI采用人工智能技术仍处于早期阶段。当前大部分工作仍处于概念验证或原型开发阶段，调查结果呈现出多种开发和应用模式：•人工智能研发模式：对于AOI设备制造商而言，“完全自主研发”和“与客户合作研发”两种模式的占比大致相当。•人工智能应用模式：对于AOI用户来说，“采用自有人工智能解决方案”和“与设备公司合作”这两种模式的应用比例也大致相同。在AOI场景中，AOI系统被视为边缘节点。由于推理过程在边缘节点也需要图形处理单元（GPU），因此将人工智能与AOI系统集成有两种可选方案：• AOI系统制造商将人工智能能力（如GPU、推理软件等）完全集成到AOI系统中。• AOI系统用户部署一个独立的边缘计算节点（包括GPU）。项目的第二阶段利用第一阶段确定的指标进行了严格的实验，以评估和验证采用人工智能增强的AOI系统的性能。实验中组装了带有通过调查反馈确定的前20种缺陷的印制板。图3：第二阶段实验的全组装测试试样的布局和实物图第二阶段的实验评估表明，集成人工智能技术能够显著提升AOI的性能。主要发现包括：•提高准确性：与传统的AOI系统相比，采用人工智能增强的AOI系统具有更高的检测准确率，同时降低了误判率。•提升效率：人工智能的应用减少了人工检测和返工的需求，从而提高了整体检测效率。 释放人工智能在自动光学检测（AOI）领域的潜能7•数据质量：训练数据的质量和多样性对人工智能模型的性能至关重要。正确的标注和充足的数据量是必不可少的。•批量生产的可行性：无需针对特定产品进行训练就能准确分割和标注组件及焊点，为电子制造中高效且可扩展的缺陷检测开辟了新途径。未来的研究可以探索将此类模型集成到现有的AOI系统中，这有可能给该行业的质量控制带来变革。•合作优势：OEM、EMS和AOI设备供应商之间的合作有助于更好地理解和应用人工智能技术。该项目的技术细节发表于2024年第40届国际电子制造技术（IEMT）会议上的论文《利用人工智能增强印刷电路板组件的自动人工智能在AOI领域展现出了巨大的潜力，尤其在提高检测精度、减少人工干预以及提升生产效率方面表现突出。它为电子制造行业带来了诸多机遇，有助于增强产品可靠性、加快产品上市速度，并降低系统人工调整所涉及的成本和时间。然而，在人工智能能够在电子制造生产线上得到广泛应用之高质量训练数据的获取仍然是一大障碍，特别是多样化缺陷样本的稀缺问题。模型训练过程中的数据标注工作依旧耗费大量资源，这也是人工智能难以应用于大规模生产的关键阻碍之一，对于支持多品种、小批量生产的生产线而言更是如此。IT与OT的融合在制造车间部署人工智能时也构成了重大挑战。管理人工智能模型的部署和生命周期会增加复杂性，尤其是在使IT系统与OT环境相互协调和集成方面。4Wayne Zhang等人，《利用人工智能增强印刷电路板组件的自动光学检测⸺一项全面的行业研究》，2024