海康机器人：深度学习技术与机器视觉应用

杭州海康机器人技术有限公司 2023.03方晓飞 机器视觉的概念 典型应用 案例-生产日期识别系统 •定位引导•尺寸测量•信息识别•缺陷检测 主要行业 感知： •品类、生产日期及批号等字符标识信息、条码信息 应用： •生产管控、流通追溯等 机器视觉系统组成 机器视觉的特点 节拍快 精度高 在3C检测行业，生产的节拍非常快，某电阻外观检测需求，1min的检测量需要8000只。 在尺寸测量、定位抓取的应用场景下，要求0.01mm甚至更高的精度；读码与OCR的识别准确率大于99.95%， 样本少 成本敏感 工业应用场景下，前期很难收集到大量的训练样本，尤其是异常样本。 机器视觉的应用属于边缘化应用场景，一方面客户对成本的控制比较敏感。 应用差异大 成像可控 不同的客户场景的差异性，规范性，同一场景下检测对象的兼容性等给机器视觉的应用带来挑战 同一个应用下相机安装、光照、被测物品基本稳定，成像可控。 机器视觉的难点 深度学习技术 随着人工智能的发展，人们将深度学习带入工业应用场景，对解决传统机器视觉应用中遇到的瓶颈提供了新的方法和思路。 深度学习三要素 深度学习与传统算法的区别 传统方法 深度学习 经验驱动 数据驱动 依赖专家经验知识手工设计特征 无需显式的经验或知识自动学习特征 端到端学习 分步、分治 直接学习从数据到输出的映射关系同时优化 人为划分成多个子问题和步骤难以同时最优 关注点 关注点 大数据/大模型欠拟合 少量数据/小模型过拟合 深度学习应用的困境 我们的理解 模式一：聚焦小场景 视野偏大，来料不均匀场景下： 大分辨率，极小缺陷检测场景下：图像裁剪，仿射变换等 模式二：任务拆分 模式三：数据增强 深度学习的发展方向 VM算法开发平台 VM是通用型算法平台软件 •简单易用：图形化交互流程式配置•性能强大：130+算法工具1/16像素精度•应用广泛：定位引导尺寸测量OCR与读码缺陷检测深度学习…… VM算法开发平台项目实现 SC系列列智能相机 AI智能相机 机身内置：传统检测算法+深度学习目标检测/分类/OCR算法光学组件：多款光源、镜头、自动对焦技术通信协议：Profinet、Ethernet/IP、Modbus、TCP、UDP、FTP等汽车零部件、3C、半导体、食药品包装等行业复杂环境下检测/识别 深度训练平台 光伏行业-太阳能电池片EL缺陷检测 现场应用 项目背景 在太阳能电池片组件制造厂商中，为了保证产品的质量，电池片EL缺陷检测成为重要且必要的一环。目前电池片上常见缺陷有虚焊、隐裂、划痕、破片等缺陷，这些缺陷直接影响组件功率衰减，降低组件寿命或造成报废。而人工检测效率不高且漏检率大，采用深度学习目标检测算法去代替人工进行检测。 锂电池行业-锂电池封口焊缺陷检测 项目背景： 锂电池在做封口焊接时由于焊接工艺的原因会导致焊偏，焊穿和断焊等产品质量问题，由于封口焊焊接质量不一致，或产品本身的一致性较差，会导致缺陷检测稳定性和准确率受到影响，小针孔或者不明显的缺陷在传统的视觉方案下会漏判漏，因此导入深度学习的方式进行封口焊的缺陷检出。 烟草行业-烟盒外包装缺陷检测 项目背景 南京某烟厂需要对烟盒外包装做缺陷检测，缺陷的种类较多，目前有压痕、脏污、划痕、破损和折起五类，传统图像算法难以覆盖并检出全部缺陷特征，因此需要使用到深度学习方案。难点： 1.缺陷形态丰富、出现位置随机 2.缺陷类内有一定差距（如脏污），模型需具有较强鲁棒性3.单流程处理速度需要达到20ms以内 包装行业-产品标签缺陷检测 产品标签缺陷检测，检测标签表面的打印脏污，异物，项目背景 缺损等缺陷。产品的来料一致性差，表面缺陷类型多样，打印信息有差异等导致传统的视觉方案很难实现，客户希望通过深度学习的方案来解决项目痛点 项目难点 缺陷类型多样，标签表面的打印信息变动。 应用延伸 1、包装表面印刷质量检测2、条码\二维码缺陷检测 三大产品线 标准产品布局 采集卡 工业相机 工业面阵相机覆盖30万像素到6亿像素，线阵相机覆盖2k-16k分辨率，涵盖GigE、10GigE、USB3.0、Camera Link以及CoaXPress多种接口，成像质量优异。多系统兼容的MVS客户端，满足不同客户所需。 提供GigE、10GigE、USB3.0、Camera Link、CoaXPress数据接口的采集卡产品。配备海康独有不丢包、ToE技术，可为客户提供更稳定的数据采集传输。 光源 镜头 自主研发的FA镜头系列，秉承高性能、低成本的设计理念，针对视觉行业的应用特点开发，具备高清晰度、更好的图像中心边缘清晰度一致性以及更高的相对照度，工业应用的绝佳之选。 目前涵盖环形光源、条形光源和线光源，全新家族风格设计，多尺寸、适应性强。亮度更高，光学性能好，高效稳定，满足绝大多数视觉打光应用需求。 工控机 配件 海康机器人工控机专为工业和视觉应用打造，为用户提供稳定、可扩展、可客制、高匹配度的产品选型。 海康机器人提供丰富的机器视觉相关的电源线、I/O控制线、数据传输线产品，满足用户各类应用所需。 智能ID产品布局产品分布 算法分布 3D产品两大应用方向 3D激光轮廓传感器 RGB-D立体相机 VM3D算法开发平台 RP机器人视觉引导平台 海康机器人期待与各位合作共赢共同推动智能制造！