Professional Documents
Culture Documents
机器视觉领域最热门
的技术和最流行的应
用有哪些? 8
四种方法,确保运动
中的相机提供最佳视
频稳定性 14
视觉系统自动读取并
检测包装,实现托盘
码货自动化 27
最新进展拓展3D成像
在机器视觉领域的应
用范围 30
嵌入式深度学习
系统赋能零售支
付终端自动化 18
www.vision-systems-china.com
微信公众号
Apr/May 2021
目录 CONTENTS
封面故事
深度学习
嵌入式深度学习系统赋能零售支付终端自动化
通过探测没有条码的商品,人工智能可以更精确地完成自动支付功能;并且随着时间的推移,
其所能处理的商品种类会越来越多。
18
市场风向标 22 太阳能电池板检测
基于无人机的SWIR相机在白天检测太阳能电池板
8 机器视觉领域最热门的技术和最流行的应用有哪 基于短波红外(SWIR)的电致发光成像技术,在光伏
些? 太阳能电池板缺陷检测中显示出了广阔的应用前景。
目前,市场上有哪些机器视觉技术的应用最热门?它
们都用于哪些行业的?本文将呈现9大热门机器视觉应
用在17个行业中的应用挑战情况。 24 深度学习检测
在视觉系统中部署新颖的深度学习软件用于零件
检测
技术趋势 宝马集团的一个试点项目,展现了通过AI检测系统在
汽车零部件检测中获得的可喜成果。
12 3D成像
3D成像组件和应用的软件基础
27 食品包装
随着3D机器视觉领域中组件供应增长,相关的软件产 视觉系统自动读取并检测包装,实现托盘码货自
品也在扩展。
动化
视觉系统和机器人协同工作,确保将合格的食品包装
14 视频稳定处理 传送到正确的位置。
四种方法,确保运动中的相机提供最佳视频稳定性
在开发期间,多花些时间调整相机的稳定性软件,
以确保视觉系统的成功部署。
产品特写
30 3D相机
最新进展拓展3D成像在机器视觉领域的应用范围
16 液态镜头
最近,3D相机在速度、准确度和分辨率方面取得了新
何时在机器视觉系统中采用液态镜头?
进行。
焦距可调的液态镜头,能够提高成像系统的整体速度
和灵活性。
访谈
应用与解决方案 34 洞悉行业应用趋势,全方位产品满足市场需求
20 精密测量 —— 访安森美半导体智能感知部市场总监郗蕴侠女士
The Imaging Source相机配合自动测量仪,有
效提升金属零件测量效率
The Imaging Source映美精相机与测量仪设备商合
5 编者话 36 产品撷英
作,以自动化方式解决了金属零件的测量精度及速
率问题。 6 前沿简讯 40 广告索引
关于《视觉系统设计》
《Vision Systems Design》杂志是美国领先的媒体品牌,主要致力于报道机器视觉及影像处理系统领域的内容。其深度的技术杂志、投稿邮件投递的电子快报以及网站内容,每月为全球143个国家的超过
94,000名工程师和设计专家提供最新报道,是同类媒体中的佼佼者。《Vision System Design》杂志是机器视觉与自动化解决方案领域非常受欢迎的一本杂志。
ACT传媒集团, 国内领先技术期刊出版商之一,获得独家授权出版Vision Systems Design中文版杂志,以函盖正在迅速发展的中国市场。在2015年将从3月开始。《视觉系统设计》杂志是以简体中文发行双
月刊;通过邮寄免费发行到全国9,000多名专业读者;及通过电邮传送到约15000相关读者的电子邮箱内(VSDC内部统计)。此外《视觉系统设计》亦参加国内外相关展会, 面向专业读者免费派发,增加
发行覆盖。
《视觉系统设计》在内容方面将以《Vision System Design》为蓝本,同时增加中国机器视觉领域的相关报道,为读者提供机器视觉及影像处理系统领域的技术、设计、应用和市场等诸多方面的最新发展
状况,欢迎该领域内的广大厂商积极参与,踊跃投稿及宣传。《视觉系统设计》的权威性内容是视觉及相关应用领域用户所关注。
扫一扫 请查询本刊专业网站:www.vision-systems-china.com。
免费下载电子书
About Vision Systems Design China
Vision System Design (VSD) is the leading integrated media brand focused on machine vision and image processing systems. Its in-depth magazine, convenient email newsletters and content-rich website are seen by more than 94,000 engineering
and design professionals in 143 countries each month—more than any other vision-focused media provider delivers. It is a very popular media brand in the machine vision and automation solutions markets.
ACT International Media Group, one of the largest high-tech publishers in China, is authorized to publish the Chinese version to serve the technical professionals in the rapidly growing market in the region. VisionSystems Design China (VSDC) is
published bi-monthly in Simplified Chinese, distributing control-free to 9,000 readers in printed copies and 15,000 readers through electronic versions (publisher' s own data). In addition, VSD China willparticipate in major trade shows across China,
offering bonus distributions to the industry.
Content of VSD China will be partially selected from VSD by our local editors;supplement by locally generated editorial comprises of industry submissions, news/newproducts as well as executive interviews. VSD China' s authoritative content
attracts buyers focused on vision for many different applications and industries.Please visit our relevant website, www.vision-systems-china.com.
S系列
目录 CONTENTS
COVER STORY
Deep Learning:
重新
Embedded deep learning system automates retail payment
terminals
定义
Artificial intelligence can more accurately accomplish self-checkout by detecting
products without barcodes and allowing for the product portfolio to scale up
3D相机
18 more easily over time.
总部地址:上海市浦东新区蔡伦路 ACT International, established 1998, serves a wide range of high technology sectors in the high-growth China market. Through its range of products --
including magazines and online publishing, training, conferences and events -- ACT delivers proven access to the China market for international marketing
1690号3号楼401室 companies and local enterprises. ACT's portfolio includes multiple technical magazine titles and related websites plus a range of conferences serving more
than 100,000 professional readers in fields of electronic manufacturing, vision system design, laser/photonics, RF/microwave, cleanroom and contamination
联系电话:021-63631362
control, compound semiconductor, and Electromagnetic Compatibility. ACT International is also the sales representative for a number of world leading
technical publishers and event organizers. ACT is headquartered in Hong Kong and operates liaison offices in Beijing, Shanghai,Shenzhen and Wuhan.
华南办事处:深圳市宝安区福永街道凤凰社区
www.actintl.com.hk
广深路福永段109号锦灏大厦24楼2407室
4 Apr / May 2021 视觉系统设计 Vision Systems Design China
联系电话:0755-23209458
编者话
Editor’s
中国总部 China Headoffice Notes
出版社
地址
Publishing House
Address
5 大热点技术和 9 大类应用
雅时国际商讯 ACT International
香港九龙 Unit B, 13/F, Por Yen Building, 机器视觉技术的快速发展,使得其应用不断推陈出新,应用领域也在拓
长沙湾青山道478号 No.478 Castle Peak Road,
百欣大厦 Cheung Sha Wan, 展到新的行业,未来视觉技术有望遍布人们生产生活的各个角落。那么目前,
13楼B室 Kowloon, Hong Kong.
机器视觉领域,有哪些应用最多的热点技术?最常用的机器视觉应用类别有
电话 852 2838 6298
传真 852 2838 2766 哪些?机器视觉技术主要活跃在哪些重点行业?这些技术在实际部署中的难
出版总监 Publishing Director
易度如何 ?
麦协林 Adonis Mak
目前,机器视觉领域应用最多的主要有五大热门技术——3D 成像、深
电邮 adonism@actintl.com.hk
副社长 Associate Publisher 度学习 /AI、嵌入式视觉、高速成像以及高光谱 / 多光谱 /SWIR 成像技术。
姚丽莹 Hatter Yao
电邮 hattery@actintl.com.hk
Vision Systems Design 杂志于 2020 年底对包括系统集成商、OEM、机器制造
中文版主编 Editor - China 商和终端用户等在内的 200 多家企业进行了一项调查,目的是了解这些热门
庞会荣 Rossie Pang
电邮 rossiep@actintl.com.hk 技术的都服务于哪些具体的应用类别和行业。
Editorial Consultant
编辑顾问
调查结果显示,目前,机器视觉领域主要有缺陷 / 瑕检测、多光谱 / 高光
王振宇 Mike Wang
记者 Reporter 谱成像、反光零件检测、料箱拣选、视觉引导机器人、嵌入式视觉等 9 大类
Julie Chen
陈玉婷
热点应用,这些应用主要遍布于半导体 / 电子制造、汽车制造、医疗、制药、
电邮 juliec@actintl.com.hk
胡婴 Lily Hu 纺织、塑料、食品饮料、能源、包装等 17 大行业中。调查结果还给出了这 9
电邮 lilyh@actintl.com.hk
大热点应用在不同行业部署的难易情况,比如对于最常见的缺陷 / 瑕疵检测应
北京 Beijing 用,纺织领域有近 60% 的受访者认为,部署缺陷检测方案相对容易 ;而在医
Tel 86 10 8484 4007
上海 Shanghai 疗设备领域,则大约有 1/3 的受访者认为,部署缺陷检测方案的挑战性很高。
Tel 86 21 6251 1200
深圳 Shenzhen
具体各个行业对于不用应用技术的部署难易程度的调查结果,请参见本期的
Tel 86 755 2598 8573/8567 市场风向标栏目(p8)。
武汉 Wuhan
Tel 86 27 5923 3884/1564 人工智能技术,特别是深度学习技术的应用,正在逐渐渗透到人们日常
生活中的各个领域。本期的封面故事,就介绍了借助深度学习技术实现的自
免费赠阅咨询
电话 86 755 2598 8573/8567 动支付功能。在零售商店,可以通过深度学习技术快速识别出没有条形码的
传真 86 755 2598 8567
电邮 circulation@actintl.com.hk
商品,顾客只需要将购买的商品放到自动支付终端结账,系统就能立即完成
网址 www.vision-systems-china.com 支付功能,大大避免了顾客结账排队的现象(p18)。
3D 成像技术已经成为了工业自动化领域的主流技术之一。3D 相机技术
美国办公室 US office
的不断发展,使得终端用户能够更加容易地将 3D 成像技术集成到生产、质量
控制、测量等诸多生产环节中。本期的产品特写栏目,介绍了过去一年中 3D
Alan Bergstein Group Publisher
(603) 891-9447 alanb@endeavorb2b.com
成像技术所取得的进展,以及一些最新的 3D 相机产品以及它们在工业领域的
John Lewis Editor in Chief 应用情况(p30)。
(603) 891-9130 jlewis@endeavorb2b.com
在访谈栏目中,本刊有幸采访到了安森美半导体智能感知部市场总监郗
James Carroll Jr. Editor
(603) 891 9320 jcarroll@endeavorb2b.com 蕴侠女士,请她分享了当下制造业对图像传感器的需求趋势(p34)。
此外,本期内容中还包括了如何确保运动中的相机拍摄能具备稳定性
(p14)、液态镜头的特点及其能为成像系统带来的灵活性(p16)、视觉系统在
自动包装码货中的应用(p27)等内容,供大家阅读参考。
本刊编辑部
西克携手千里眼机器人助力餐企打造智能化餐厅
餐饮业近年来却一直面临着“三 机、红外传感器等技术,让配送机器
高一低”
,即人力成本高、租金高、原 人对环境识别更精准,并快速建图,
材料价格高、利润低的现实问题,疫 实现户外复杂环境自主避障前行,稳
情爆发后,更是受到了很大冲击。如 定且流畅。
何快速有效降低成本、如何让服务人 餐企在用餐高峰期上菜的效率,
员服务好客户的同时,又能保持安全 直接关系到客户用餐体验以及餐企经
距离成为众多商户亟待解决的问题。 营效益。而配送机器人的高效率输出,
千里眼智能机器人与西克传感器 正好解决了餐饮业的这一难题,千里
联手助力餐饮业转型,推出解决智慧 以实现机器人识别环境进行运作。为 眼配送机器人工作输出相当于两个服
型服务餐厅方案,促进打造“智能化 了让千里眼机器人在人工智能机器人 务工作人员的工作。配送机器人一次
餐厅”用智能化的思维和技术,全面 行业脱颖而出,打造具有国际竞争力 出餐就可以送 5-8 盘的菜品,而服务
为餐企赋能。 的自主移动机器人,西克为其提供了 员一次只能送 2-4 盘的菜品,配送机
目前,市面上见到的餐饮配送机 非常强大的激光雷达传感器,助其机 器人的工作效率翻倍,随之带给餐厅
器人很多,但是基本上仅限于规范环 器人实现场景建图、定位、导航、避 的是顾客的满意度提升,店内客流加
境内使用,并依赖于室内粘贴信标, 障功能,再融合视觉摄像头、深度相 快,营业额随之增长。
Datalogic 得利捷全新成像系统满足苛刻的轮胎跟踪和追溯应用
Datalogic 得 利 捷 最 新 推 出 的传送带工作,并且减少了轮胎之间
的 STS320, 是 一 款 基 于 新 型 强 大 的最小间隙,显著提高了生产率。
Matrix™320 阅读器的成像系统。该 STS320 是一个开箱即用、预先
读码器嵌入了一个卓越的 200 万像素 组装、预先配置和工厂验证的解决方
传感器,并结合了先进的多核平台。 案。该设备设计的安装理念就是快速、
该成像系统为轮胎制造商提供了 简单。客户可通过 DL.CODE 软件和
一个完整的可追溯性解决方案,适用 一套完整的远程诊断系统轻松设置、
于供应链上的所有应用。它独特地将 使用和监控读码器。新一代的网络界
客户的读取性能水平提高到 99.9% 以 面可以通过网络设备发现和网络图
上。同时,
它还利用超大的视场角(高 像 Mosaic 视图来监控所有的读码器,
达 1250mm/49'')和高景深,即使读取 实现灵活直观的诊断。STS320 可与 性能结果,对设备运行状况、关键特
高分辨率的条码也能覆盖全部的应用 Datalogic 得 利 捷 WebSentinel™ Plus 性、诊断情况等一目了然。
范围,甚至可用在非常大的传送带上。 合作,这是一款先进的监视器和信息 它是市场上颇具成本效益的解决
该成像系统能够满足速度高达 1.5m/s 收集器,可为终端用户提供了实时的 方案,适用于各种轮胎分拣应用。
海康机器人助力博世华域转向智能赛道,打造汽车智慧物流标杆
博世华域转向全流程智慧物流 WMS 的 对 接, 全 程 产 线 无 缝 切 换,
Smart Log 项目,引入了海康机器人 满足南京工厂智能化物料搬运与精益
潜伏及叉取 AMR,打造物流全流程 化生产管理需求。
的整体集成智能解决方案。项目涵盖 同 一 通 道 内, 采 用 激 光 SLAM
了供应商送货、厂内原材料自动存储、 导航的潜伏与叉取 AMR,在未知环
拣配、转运,及成品发运的全部物流 境中自主创建地图,通过 RCS-2000
场景和流程,实现降本增效的生产物 在同一地图下统一调度,实现多车型
流模式革新。 混行作业。且 AMR 能在复杂环境中 高精度接驳,完成资源的统一调度。
该项目于 2021 年 3 月正式上线 自主避障,定位精度达毫米级。叉取 项目分三期上线,实现从人工叉
运行。项目分三期投入海康机器人潜 AMR 从辊筒线上取托盘放置于潜伏 车到移动机器人 AMR、线边地堆库
伏及叉取 AMR,作业范围覆盖南京 式 AMR 搬运的料车上,由潜伏 AMR 到自动化立体仓库的无缝切换。部署
工厂的生产车间、原材料仓库、成品 搬运物料至产线,实现叉取 AMR 与 效率高,大程度保证了用户效益。通
仓库,涉及物流中心原材料的存储、 潜伏 AMR 的接力运行。 过 AMR 实现原材料自动出库后配送
质检、翻包、分拣、配送及成品配送、 机 器 人 控 制 系 统 RCS-2000 与 至车间各产线,以及产线成品下线自
存储等全流程业务,实现机器人调度 WMS 无缝对接,并实现 AMR 与立库、 动入库的方式,大幅提高配送效率,
系统 RCS-2000 与用户仓储管理系统 辊筒线、机械臂等多种自动化设备的 配料响应时间缩短 15 分钟。
光学引领未来 ™
新品
CobaltTL™ 远心镜头
• 高分辨率 f/4.5 双远心镜头、可选带同轴
照明版本
• 达2000万像素,2.2μm像素大小
关注公众号
爱特蒙特光学(深圳)有限公司
中国深圳市龙华工业东路
利金城科技工业园3栋5楼,518109 欲了解更多信息,请点击此处:
Tel: +86 (0755) 8435 5459 Email: chinasales@edmundoptics.cn www.edmundoptics.cn/041-8632
视觉系统设计 Vision Systems Design China Apr / May 2021 7
市场风向标 Market Trends
机器视觉领域最热门的
技术和最流行的应用有哪些?
目前,市场上有哪些机器视觉技术的应用最热门?它们都用于哪些行业的?
本文将呈现9大热门机器视觉应用在17个行业中的应用挑战情况。
提供高速与
高精度的
Z-Trak2 3D
轮廓传感器
Z-Trak2™系列包含多种里程型号,非常适合 SHERLOCK 8
在线测量和检测应用
特性
» Z-Trak2 S-2K系列最高45000 profiles/sec
» Z-Trak2 V-2K系列10000 profiles/sec
» 免费捆绑3D应用程序所需的Sherlock 8软件
» 工厂级标定,红色和蓝色激光型号供选择 易于使用的多
» HDR 单次扫描 传感器配置
» 使用统一测量空间进行360°
检测
一扫关注
更多信息请访问我们的网站:
teledynedalsa.com/z-trak2
市场风向标 Market Trends
• 制药 术已经在这类应用中证明了它们的价值,那这类应用就是
• 塑料 缺陷 / 瑕疵检测,通常是检测被损坏的物品或是有缺陷的
• 半导体 / 电子 零件。我们一次又一次地看到,当机器视觉技术应用于缺
• 纺织品 陷 / 瑕疵检测任务时,检测速度和检测精度都在不断提高。
以下我们就介绍一下这九大机器视觉技术在实际部 部署缺陷检 / 瑕疵检测功能挑战性最低的应用领域包括 :
署应用中,所面临的挑战程度。 纺织(59%)、无人机 / 无人驾驶(55%)和集装箱 / 包装
(52%);部署缺陷检 / 瑕疵检测功能挑战性为中等的应用
高速检测 领域包括 :能源(石油、天然气、太阳能、风能)(41%)、
GigE 和 GigE10 接 口、CoaXPress 2.0 标 准, 以 及 速 自主机器人(39%)和食品饮料(38%);部署缺陷检 / 瑕
度更快的线扫相机的发展,都是使得高速成像保持在机器 疵检测功能挑战最大的应用领域包括 :医疗 / 医疗设备应
视觉领域前沿的一些创新。在此次调查中,我们询问了针 用(36%)、汽车应用(34%)和药物应用(30%)。
对特定检测目的部署高速成像的挑战。调查结果显示,认
为部署高速成像挑战最小(挑战评分为 1 或 2)的行业及 对反光/有光泽的金属零件进行成像或检测
比例有如下几个 :林业 / 木材行业 63% 的受访者认为部 稳定、一致的照明,对于机器视觉系统捕获能够达到
署高速成像的挑战很小 ;无人机 / 无人驾驶和能源(石油、 检测要求的图像,发挥着至关重要的作用。在某些情况下,
天然气、太阳能、风能)行业的比例各为 62%,纺织行业 只有偏振技术才能处理反射材料,允许机器视觉检测系统
为 61%。 能够按设计操作。调查显示,在塑料(46%,该比例代表
认为部署高速成像的挑战程度为中等水平(挑战评分 该领域有 46% 的受访者认为挑战最大,下同)、汽车(43%)
为 3)的行业有 :汽车(31%)、食品和饮料(28%)和航 和航空航天 / 军事 / 国防应用领域(42%),对反光 / 有光
空航天 / 军事 / 国防(27%)。相比之下,认为高速成像部 泽的金属零件成像或检测,具有最大的挑战;在纺织(53%)
署难度最大的应用行业有:塑料(34%)、消费电子(33%) 和林业 / 木材(42%)应用领域,面临中度挑战 ;在食品
和自主型机器人(29%)。 饮料和消费电子应用领域,面临的挑战程度排在第三位
(34%)。认为对反光 / 有光泽的金属零件成像或检测,挑
多光谱/高光谱成像 战程度最小的行业应用包括 :无人机 / 无人驾驶(54%)
多光谱和高光谱成像是机器视觉领域的两大热门话 应用,物流 / 仓储 / 配送(47%)以及制药应用(44%)。
题。它们在农业和轨道地球观测方面的应用功效已经得到
证实,另外,它们在材料分析领域也在发挥着巨大作用。 随机对象/料箱拣选
毫无疑问,多光谱和高光谱成像在可见光波长之外成像的 分拣和拣选放置应用,是工业自动化、物流、仓储和
各种应用,目前还尚未被开发出来。认为部署多光谱 / 高 配送中经常涉及到的环节。该技术已经从简单的物品拾取,
光谱技术挑战最小的行业有 :纺织(60%)和制药(48%) 发展到借助深度学习技术实现的应用,使得机器人可以对
应用、能源(石油、天然气、太阳能、风能)、食品饮料 混杂在一起的不同类别的物品进行分拣。调查显示,认为
和塑料行业(分别为 46%);认为部署多光谱 / 高光谱技 部署随机分拣技术难度最小的前三类应用类型分别是 :纺
术挑战中等的行业有 :航空航天 / 军事 / 国防(38%)、林 织(53%)、 无 人 机 / 无 人 驾 驶(49%) 和 塑 料(48%);
业 / 木材(37%)和能源(石油、天然气、太阳能、风能) 认为部署难度为中等级别的应用类型分别是 :食品饮料
行业(35%);认为部署多光谱 / 高光谱技术挑战最大的行 (38%)、半导体 / 电子(37%)和制药应用(36%);认为
业有 :农业 / 环境(33%)、半导体 / 电子应用(33%)和 部署难度最大的应用类型分别是 :汽车(40%)、通用制
消费电子行业(32%)。 造(36%),塑料(33%)和自主机器人(33%)。
缺陷/瑕疵检测 随机拆垛
要说有哪类应用,机器视觉技术特别是深入学习技 当每个载货托盘以相同的方式和相同的数量承载货
物时,经过编程的机器人将货物从托盘上卸下来,是一件 嵌入式视觉
相对简单的工作。但是,当不同托盘间装载的货物类型和 最后我们再来看看嵌入式视觉技术。对于“嵌入式”
位置不断变化时,完成这类任务通常就需要使用 3D 成像 的定义,我们通常理解为将处理器集成到设备上以提供计
和 / 或深度学习技术了。调查结果显示,认为随机托盘卸 算功能。板级相机、智能相机、无人机和可穿戴设备,都
货应用挑战最大的应用类型分别是:消费电子产品(31%)、 可以归入嵌入式视觉的范畴。调查结果显示,认为部署嵌
汽车(30%)和无人机(30%);认为挑战最小的应用类 入式视觉技术挑战最小的应用领域有 :汽车(51%)、制
型分别是 :无人机 / 无人驾驶(51%)、消费电子(51%)、 药(50%)和一般制造业(48%);认为部署嵌入式视觉
纺织(47%)和集装箱 / 包装(46%);认为挑战中等的应 技术挑战最小的应用领域有 :认为部署嵌入式视觉技术挑
用类型分别是 :能源(石油、天然气、太阳能、风能)应 战最大的应用领域有 :塑料(32%)、农业 / 环境(24%)
用(41%)、林业 / 木材(37%)
、食品饮料(37%)、纺织 和医疗 / 医疗器械应用(22%);认为部署嵌入式视觉技术
(35%)和航空航天 / 军事 / 国防(35%)。 挑战中等的应用领域有:农业 / 环境应用(45%)、能源(石
油、天然气、太阳能、风能)和航空航天 / 军事 / 国防应
要求相机移动的应用场景 用(各 44%),以及食品饮料和无人机 / 无人驾驶应用(各
在机器视觉系统中,并非所有的相机都是静止固定在 43%)。
一个地方的。有些应用场景,需要相机移动,从多个不同 当然,我们进行的这项调查所看到的结果,只是机器
的角度进行成像,以提高成像的保真度。相机移动可能会 视觉技术在各行各业应用情况的冰山一角。在实际应用中,
改变工作距离,同时也可能需要根据相机的位置,来重新 机器视觉技术所发挥的功效以及遇到的挑战,很可能比我
考虑如何部署照明方案。调查结果显示,认为相机移动带 们得到的调查结果更丰富。
来挑战最大的应用领域是塑料行业,该领域有 38% 的受
访者表示,移动相机会为他们带来极大挑战 ;其次认为挑 2021年OLED市场大幅增长,
战最大的应用领域分别是集装箱 / 包装应用(34%)和消
费电子应用(33%);汽车(48%)、无人机 / 无人驾驶(43%)
质检应用迎来新商机
和航空 / 军事 / 国防应用(42%),认为相机移动对他们带 来自市场研究公司 Omdia 发布的最新数据显示,
来的挑战最小 ;认为挑战为中等程度的应用领域有 :纺织 2021 年 OLED 材 料 市 场 将 大 幅 增 长 40%, 达 到 17.54
(47%)、一般制造业(42%)和食品饮料(41%)。 亿美元,远高于 2020 年 16%的年增长率。该项研究涵
盖了白色 OLED、QD-OLED 以及在智能手机上使用的
视觉引导的机器人 RGB OLED 的制作材料。
视觉系统和工业机器人构成了一种自然配对。过去, Omdia 指出,今年 OLED 材料市场增长将得益于智
机器人的基座通常都是固定的,能移动的很少,由机器人 能手机、电视和 PC 端提升对 OLED 采用,以及 QLED
手臂去执行任务。现在,随着越来越多的片上模块化计算 量产的驱动。其中,5G 智能手机向平价机过渡和中国
机的出现,机器人和工业相机的体积也在随之减小,机器 大陆 6 代 OLED 产线扩产,将推动 OLED 智能手机需求
视觉系统正在开始越来越多地融入到移动机器人中,比如 增长。据悉,LG Display 预计将生产 700~800 万块大尺
部署在仓库里的物流机器人,甚至是部署到办公室和医院 寸 OLED 面板,较 2020 年的 450 万块出货量高出 80%。
等工作场所的小型机器人。调查结果显示,认为部署视觉 Samsung Display 正在开发 QD-OLED 技术,预计明年可
引导的机器人挑战最小的应用领域有:农业 / 环境(54%)、 以商业化生产。
纺织(53%)和林业 / 木材(50%);认为部署视觉引导的 随着 OLED、QD-OLED 面板产量的提升,其生产
机器人挑战中等的应用领域有:纺织(47%)、能源(石油、 过程中对质量检测的需求也将随之提升。机器视觉技术
天然气、太阳能、风能)应用(38%)、制药和集装箱 / 包 已经成为各类屏幕缺陷检测不可或缺的高效方式,因此,
装应用(各 35%);认为挑战最大的应用领域有 :自主机 这类面板出货量的增加,也将为视觉缺陷检测应用带来
器人(37%)、汽车(31%)和塑料应用(28%)。 大量新商机。
3D成像
3D 成像组件和应用的软件基础
随着3D机器视觉领域中组件供应增长,相关的软件产品也在扩展。
文/David Dechow
图像形成和系统配置 不是针对特定应用(而提供)。 M
大多数用于机器视觉的 3D 成像组件系统,都包含专 Y
用的软件驱动程序,该驱动程序用于执行图像采集,并将 3D应用软件 CM
例外,其像素数据默认为深度信息)
。实际上,成像功能 3D 图像用于特定任务的应用软件激增。在每个应用中精 CY
机主机上实现记性,或者在两者上实现——这取决于组件。 应用程序能力的(增长)。 K
支持CXP-12传输协议的高速高分辨率CMOS相机
每秒330帧, 1,200万像素
VC-12MX2
vision.vieworks.com | vision@vieworks.com
技术趋势
Technology Trends
视频稳定处理
四种方法,确保运动中的相机提供最佳视
频稳定性
在开发期间,多花些时间调整相机的稳定性软件,以确保视觉系统的成功部署。
文/Johan Svennsson
在过去的十年间,智能手机行业 提高分辨率,反之亦
推动了视频稳定技术的创新(见图 1)
。 然。与使用低分辨率
现在,同样的技术正在改善其他类相机 传感器相比,使用高
产生的视频,但要想将该技术成功地应 分辨率图像传感器
用到处于运动状态的相机中时,还需要 时,剪切视频时的图
进行相应地调整。当为相机调整视频稳 像质量损失变得不
定性软件时,必须注意相机性能的四个 那么明显。不过,请
重要的关键考虑因素,以做出正确的选 记住,使用更高分辨
择,满足给定的应用需求。 率的图像传感器时,
因为像素数更高,所 图1:在产品开发过程中,优化相机的视频稳定性能,可以为最终用户带来
液态镜头
何时在机器视觉系统中采用液态镜头?
焦距可调的液态镜头,能够提高成像系统的整体速度和灵活性。
在过去的十年中,液态镜头一直 OFF ON
是机器视觉领域最令人兴奋的新技术
静电压力 静电压力
之一。这种镜头使得一个镜头和一台 +
_ +
_
相机能够完成以前需要多个系统才能
完成的任务,为机器视觉系统的设计
提供了前所未有的灵活性。目前市场 水 油 光轴 油 光轴
上存在几种类型的液态镜头技术,本
文将主要介绍焦距可调的液态镜头在
机器视觉系统中的应用。 _
_
液态镜头涵盖了一系列不同的镜 窗口 窗口 窗口 + 窗口
+
头类型,它们使用液体而不是传统的
金属 金属 金属 金属
玻璃或塑料作为透镜,并且根据液态 隔离 隔离
镜头的类型,能在施加电流或电压时 图1:两种不同曲率下的液态镜头。请注意,同一个镜头可以有正曲率或负曲率。
改变其曲率。在任何给定的焦距下,
液态镜头的表现通常与传统镜头相
似,因为材料和曲率决定了镜头的输
出功率(见图 1)。然而,由于液态镜
头的曲率可以改变,它可以有效地像
无限多个镜头一样工作,因为曲率的
每次调节都会改变焦距。这种灵活性
可以用来实现机器视觉镜头的工作距
离变化。
大多数传统的定焦镜头,是通过
一起移动一组镜头元件来改变焦点位
置的,同时还要保持元件间的相对空
间限制。当被成像的物体远离镜头时,
镜头的后焦距(定义为从镜头背面到
镜头焦平面的距离)变小。相反,当
成像物体靠近镜头时,后焦距也会增
加。在需要对镜头进行一次对焦、而
图2:将液态镜头集成到机器视觉镜头中的两种不同方法。左图是改装的35mm焦距镜头,液态镜头位于
中间部分;右图是改装的25mm焦距镜头,液态镜头位于物镜前方。 在操作过程中不需要再接触镜头的情
曝光时间增加,因为光圈
尺寸被减小了,通过系统
的光线更少。设计一个带
有液态镜头的物镜,可以
避免这两个缺点。
由于液态镜头能够
实现令人难以置信的快速
(10ms) 再 聚 焦, 浅 景 深
的镜头不再是一个问题。
集成液态镜头的物镜,应
设计为尽可能低的 f/#,并
且不需要像传统机器视觉
镜头所需要的可变光圈。
图3:围绕液态镜头的结构从头开始创建的物镜。请注意,它没有可
变光圈,没有机械聚焦功能,因为它在设计上围绕液态镜头进行了 此外,增加带有液态镜头
全面优化。
的物镜的 f/# 变得无关紧
况下,这种对焦方法是有效的。但是, 要,因为它的全部目的是克服传统镜
随着机器视觉越来越多地应用到更多 头的景深限制。
领域,并且随着新的传感器技术不断 当 f/# 增加时,所需的曝光时间
提升成像系统的能力,需要光学系统 增加也降低了液态镜头变焦的速度。
具备更大的灵活性。液态镜头通过调 如果曝光率必须更大才能在更高的
节曲率而不是组件的物理移动,允许 f/# 下收集更多的光线,那么液态镜
镜头组件快速准确地再聚焦,从而克 头的速度就没有被充分利用。图 3 显
服了聚焦能力的限制。 示了一个围绕液态镜头构建的物镜,
液态镜头可以通过几种方式集成 没有使用可变光圈。
到机器视觉光学系统中,可以在镜头 除了固定光圈外,不使用机械调
的前部或后部进行改装,或者是插入 节方式聚焦,是围绕液态镜头构建物
到现有镜头的中间(见图 2)。虽然改 镜的另一个重要特征。在理想情况下,
装能够适用于许多应用,但是其所能 所有聚焦都应该通过改变液态镜头的
达到的效果也有限制。围绕液态镜头 曲率来简化聚焦过程,如图 3 中的镜
的结构从头开始设计整个镜头组,是 头所示。设计一个只通过液态镜头而
最佳的液态镜头集成方法。 不是通过机械调节来聚焦的透镜,为
以这种方式设计镜头,能够克服 镜头聚焦提供了一个更直接的过程,
传统镜头的景深限制,提升变焦速度。 并且性能也变得更加可预测。
在传统镜头中,景深受 f/# 的限制—— 当设计一个带有液态镜头的光学
f/# 越高,景深就越大。例如,用于 系统时,必须考虑许多因素,但要记
物流应用或条形码扫描中的镜头,通 住的最重要的一点是 :在设计系统时,
常利用高 f/# 镜头的大景深,但是必 一定要首先将液态镜头考虑在内。通
须能够在很长的距离内成像。然而, 常,这是因为要提高成像系统的速度
随着 f/# 的增加,更大的景深也会带 和灵活性,这样也能在实施过程中加
来两个明显的缺点 :整体分辨率降低, 速所有设计决策的制定。
深度学习
嵌入式深度学习系统
赋能零售支付终端自动化
通过探测没有条码的商品,人工智能可以更精确地完成自动支付功能;
并且随着时间的推移,其所能处理的商品种类会越来越多。
文/James Carroll
随着电子商务的竞争加剧,各类
零售店必须寻找途径,保持自身竞争
力。为此,一个由嵌入式视觉和深度
学习公司联合起来的团队,开发出了
一套自动零售支付和库存管理系统,
该系统支持立即支付功能,能够缩短
零售店中因结账而排队的时间,允许
零售店每周七天、每天 24 小时营业。
目前的自动结账方式,通常是使
用条形码读取来探测并识别商品,也
有一些新的结账系统使用了对象归类
图1:图中是一个原型设备,包括了一台带有S-Mount镜头的Basler MIPI CSI-2相机,Congatec公司的一个
法,利用商品的颜色、类型等特征来 计算机模块(该模块基于恩智浦半导体公司MX 8M应用处理器),以及Irida Labs公司的深度学习软件。
识别商品。然而,在一些很难控制的
环境中部署这两种方法时,在稳定性 主要的目标和最有趣的地方是,它使 13MP 的图像,相机小巧轻便,外观
和可靠性方面都很难保证,缺乏鲁棒 用低功耗设备实时执行深度学习任 尺寸为 29mm × 29mm,重量仅 15g。
性。使用人工智能(AI),可以通过 务,在这个案例中,‘实时’是指每 Irida Lab 公 司 基 于 卷 积 神 经 网
检测没有条形码的商品更准确地实现 秒钟处理五帧图像。” 络(CNN) 的 软 件 EV Lib, 对 托
这一目标 ;并且随着时间的推移,其 该系统原型曾在汉诺威展上进行 盘 中 的 商 品 进 行 识 别、 分 类, 并 向
所能处理的商品种类会越来越多。 首秀。一位顾客将一些食品或饮料放 顾客展示出商品价格。软件和相机
对于边缘 AI 和计算机视觉软件 置到托盘上,到支付终端选择支付方 运 行 在 Congatec 的 SMX8 SMARC
公司 Irida Labs 来说,这样的协作是 式,并把托盘放到这套智能零售系统 2.0 计算机模块上,该计算机模块基
通过与具有相似目标的知名硬件厂商 下面(见图 2)。使用一台 Basler dart 于 NXP Semiconductors 公 司 的 i.MX
共同实现的。据 Irida Labs 公司高级 BCON MIPI CSI-2 高 速 相 机 捕 捉 来 8M 应 用 处 理 器, 该 应 用 处 理 器 具
计算机视觉工程师、产品营销专家 自托盘和托盘中商品的视频流 ;这台 有 ARM Cortex A72、Cortex-A53 和
Demetris Anastassiou 表示,这个案例 Basler 相机采用的是安森美半导体公 Cortex-M4 处理器内核。在该原型系
创建了一个低成本、低功耗、可扩展 司的 AR1335 CMOS 图像传感器,并 统中,使用亮度恒定的 LED 光源提
的系统(见图 1)。 配 备 了 S-Mount 镜 头。 该 彩 色 相 机 供照明,而市场上类似的解决方案在
Anastassiou 介绍说 :
“该应用最 能以高达 30fps 的帧率捕获分辨率为 照明方面还是依赖环境光和室内照明
精密测量
的方式解决了测量精度及速率问题。
利用机器视觉系统进行测量的方法包括图像采集、后
端图像处理以及尺寸测量。首先,由 CMOS 相机拍摄零
件,采集零件轮廓边缘的图像 ;然后,后端图像处理软件
针对所采集图像进行二值化、过滤等处理,再经过边缘检
测得到零件图像的边缘 ;最后,通过尺寸测量演算、进行
特征提取,计算出边缘轮廓数值,经过标定,便可呈现零
件的尺寸。通过这种方法,可以对任何尺寸的零件进行测
量,并且能同时完成不规则外观轮廓以及零件内小孔径的
测量。
图1:通过机器视觉系统,自动测量仪能有效提升金属零件的检测效率。(图
在测量过程中,The Imaging Source 映美精相机提供 33
片来源:shutterstock) 系列 GigE 黑白工业相机,搭配 HALCON 后端软件,针对
过去,测量细小金属零件,大多是通过肉眼搭配简易 金属测量,专门定制了几项测量标准,以提升测量精度。
测量工具来实现。然而,测量过程常常因为人力的疲乏而
造成误差,效率也跟著变差。近年来,机器视觉在测量领 图形匹配
域的应用日趋成熟,以往需要倚靠人工手动测量的微小零 零件形状多变,有些极其相似,肉眼难以逐一辨识,
件,通过机器视觉系统的使用,不但能明显提升测量效率, 可通过机器视觉进行图形匹配。事先训练后端电脑记忆零
同时还能显著提高测量精度。许多工厂引进自动测量仪, 件图形,通过相机扫描流水线上的零件,后端软件辨认图
并在其中整合机器视觉系统,针对数量庞大且孔径细小的 形,再传至前端进行分捡(见图 3)。
金属零件进行测量,能大幅提升生产效率。The Imaging
Source 映美精相机与测量仪设备商合作,通过系统整合, 零件图像边缘和轮廓特征的提取
为金属零件制造商提供机器视觉测量设备,从而以自动化
图5:大小相同的金属垫片有着大小不一的孔径,而不同的孔径间误差十分微
小。利用机器视觉系统,可以自动测量出该零件孔径的大小。
太阳能电池板检测
基于无人机的 SWIR 相机
在白天检测太阳能电池板
基于短波红外(SWIR)的电致发光成像技术,在光伏太阳能电池板缺陷检测中显示出了广阔的应用前景。
文/James Carroll
光伏(PV)太阳能电池板的缺
陷和故障会导致生产损失或不可操作
性,因此必须要迅速确定太阳能电池
板生产过程中出现的问题。电池裂缝、
漏电流和破损的电池连接,往往用肉
眼是看不见的,但是配备了摄像头的
无人机,则为在白天检测太阳能电池
板产生中出现的缺陷问题,提供了一
种有效方法。
电致发光(EL)成像能产生非
常详细的光伏诊断数据,这种方法
经常被部署在光伏太阳能电池板的
检测应用中。在故障识别方面,电
致发光成像能比红外热成像技术提
图1:丹麦技术大学的研究人员为一架无人机配备了一个SWIR相机,用于检测太阳能电池板的缺陷。
供更准确的结果,因为图像在半导
体材料层面上提供分辨率。电致发 常低的信噪比。 究 小 组 选 择 了 Raptor Photonics 公 司
光成像技术通常从早到晚都能在室 为了弥补这一点,研究小组在同 的 Owl 640 短波红外(SWIR)相机,
内或室外使用。 一固定位置采集了许多电致发光和背 分 辨 率 为 640×512。 该 相 机 配 备 了
景图像对,同时对光伏板进行电调制 一 个 25mm 的 定 焦 蓝 宝 石 镜 头 和 一
图像采集 并增加后处理步骤,生成由每对背景 个 1150nm 的带通滤波器,半高全宽
为了寻找一种能在白天有效捕捉 图像的平均值和差值组成的图像。研 (FWHM)为 50nm,以避免探测到来
图像的方法,丹麦技术大学(DTU) 究人员称,这样做可以将信噪比提高 自太阳和周围的环境光。
的一个研究小组开发了一种基于无人 到可接受的水平。 除了照相机之外,EL/ 背景图像
机的图像捕捉系统(见图 1)。在明亮 为了在太阳光下成功实现电致 对的采集装置中,还包括一架六旋翼
的阳光照射条件下,使用日光滤光片 发光成像,图像必须被快速采集,并 无人机,以及来自 Toradex 公司的基
来获得清晰的电致发光图像,通常并 在短时间内曝光,以避免运动模糊和 于 Apalis TK1 NVIDIA Tegra K1 SoC
不能满足要求。由于电致发光的信号 由太阳光带来的饱和。基于 InGaAs 的嵌入式 PC,用于相机控制、实时
强度远低于太阳光,因此这会导致非 的探测器能满足这些要求,因此研 图像反馈和图像存储。无人机通过两
个 Wi-Fi 通道与地面电脑相连,以获
得更好的信号稳定性,而无人机控制
器软件允许半自主飞行。
在 测 试 中, 无 人 机 大 约 在 距 离
电 池 板 4 米 的 上 方 飞 行, 相 机 采 集
光 伏 组 件 的 图 像, 该 组 件 由 36 个
15.6cm×15.6cm 的多晶电池组成 ;在
1125~1175nm 范围内,图像采集速率
为 120fps(见图 2)。
图2:在测试中,无人机在电池板上方约4米处飞行,采集电池板的图像。
电调制与后处理
所有图像都存储在嵌入式 PC 机 AC+DC modulation DC modulation AC+DC modulation
Indoors GPOA= 891.0 W m-2 GPOA= 970.6 W m-2 GPOA= 856.0 W m-2
中,用于图像采集后的后处理。即使
使用适当的硬件,要增强无人机拍摄
的图像的信噪比,仍然面临进一步的
挑战,特别是对于那些在运动中捕获
的图像。
通过无人机采集到图像后,将图
图3:研究小组使用直流方波和AC+DC直流正弦方法,对图像应用调制电波形。结果表明,AC+DC电调
像从嵌入式 PC 传输到桌面 PC 进行 制使EL图像与背景图像之间的平均像素值增量更易再现,而直流电调制则呈现更高的增量幅度。
深度学习检测
视觉系统部署新颖的深度学习软件用于零
件检测
宝马集团的一个试点项目,展现了通过AI检测系统在汽车零部件检测中获得的可喜成果。
文/Dennis Scimeca
传感器是否被正确锁定——爆震是不 被训练去寻找
正常燃烧所导致的燃烧室内压力失 图像中的任何
常。该传感器可监控发动机在燃烧过 一 个 零 件。 然
程中的声音,并确定是否需要调整点 后操作员通过
火时间。 提供所需要的
发动机缸体包括许多零件,例如 20~30 张 训 练
管道和电缆,它们可能会成为传统机 图像来适应模
器视觉系统的视觉干扰。Bricher 表示, 型。
爆震传感器几乎看不见,这增加了使 一旦第二
图2:这套交钥匙型自动化检查系统的所有组件,都包含在S70套包中。
用传统视觉方法进行检测的难度。 个 AI 模 型 能
对尚未完全锁定的爆震传感器进 制轮廓,并在系统的 21.5 英寸监视器 够检测到图像中的特定零件,第三个
行识别,是一项至关重要的任务,这 上(1920mm ×1080mm、60Hz) 显 AI 模型启动,它可以通过对比待检
项任务用肉眼几乎是无法完成的。在 示零件的外形轮廓。如有必要,操作 测零件与良好零件的训练图像,来实
这种情况下,传感器金属带的凸起, 员也可以调整后续图像的轮廓。Nir 现零件的实际检测。第三个模型对每
意味着安装不妥帖。因此,视觉系统 表示,在大多数情况下,设置工作仅 个图像进行分类,检测结果用好与坏
呈现的好图像和坏图像之间的清晰区 需要一张轮廓图(见图 3)。 来区分。Inspekto 系统只能提供二进
分,决定了这项检测 / 识别的效果。 随着设置的继续,生产线开始运 制分类,而不能解释为什么零件会被
行 ;系统捕获零件的图像,操作员识 归类为坏的一类。客户必须手动检查
振动传感器
别出合格或不合格零件图像。Nir 补 图像,并确定其异常的属性。
视觉传感器外壳 充说,第二个 AI 模型用来确定需要 该系统在所有旋转轴上的位置公
视觉传感器全局快门相机
多少图像来完成训练,在 95% 的情 差为正负几度,并且空间偏移也存在
视觉传感器X12
光学变焦镜头 况下,需要 20~30 张图像。另外,还 公差。两者都适用于待检测目标的三
视觉传感器自适应照明
需要考虑到一些环境因素,比如,光 维结构。目标越复杂,位置公差量就
视觉传感器安装适配器 线闪烁或生产线上的振动等,都有可 越小。超出这些公差范围的零件会生
能需要捕获多达 35 张左右的训练图 成警报,以通知操作员该零件的位置
工业控制器
RAID冗余
像。但依照该公司的经验,这些异常 需要调整或批准通过。如果操作员看
PLC通讯 情况并不经常发生。 到零件通过率很高,但是却有较高的
通常在深度学习应用中,AI 模 误报率,那么他们可能需要调整训练
图3:S70操作者对一个合格零件进行轮廓绘制, 型通过处理大量训练图像来检测图像 图像,并重复设置过程中的某个环节。
使通用型AI适用于特定的检测应用。
中的特定目标,在这些图像中特定目 在宝马集团的爆震传感器应用
Inspekto 在其产品中部署了一个 标被识别和标记。一旦模型知道了要 中,INSPEKTO S70 仅从传感器的金
通用 AI 模型系统,该系统采用独特 检测的对象是什么样子的,模型就可 属带略微凸出的图像,就可以轻松识
的架构和训练程序开发。第一个人工 以在新图像中检测该对象。 别出爆震传感器未完全锁定,这意味
智能模型能自动调整照明、快门速度 另一方面,Inspekto 开发的人工 着该零件无法通过检测。
和曝光,以确定最佳设置,以尽可能 智能检测模型,对数百个不同零件的 基于试点计划取得的积极成果,
获得最高质量的图像。在运行过程中, 图像进行训练,每个零件都有数千张 Bricher 计 划 对 维 护 人 员 进 行 培 训,
模型还会根据环境条件的变化,动态 训练图像。最终的结果是,一个拥有 以便将来能够自行部署该系统。据
调整这些设置。 数百万张图像的训练数据集,产生了 悉,宝马集团已经计划于 2021 年第
第二个 AI 模型用于发现被检测 一个基础检测模型,该模型不是被训 一季度将该视觉检测系统部署到起
的零件,在设置阶段,为合格零件绘 练去寻找图像中的特定零件,而是 生产线中。
(广告)
应用与解决方案 Applications & Solutions
食品包装
视觉系统自动读取并检测包装,
实现托盘码货自动化
视觉系统和机器人协同工作,确保将合格的食品包装传送到正确的位置。
文/Chris Mc Loone
联合利华(Unilever)公司对食
品加工和包装业务有着巨大需求,该
公 司 与 Kibele-PIMS 公 司 合 作, 后
者帮助联合利华在土耳其的家乐
(Knorr)和立顿(Lipton)生产厂实
现托盘自动化和包装自动化。联合利
华需要部署一套机器视觉系统,以便
从手动分拣模式过渡到自动化模式,
以便能自动实现食品包装的读取、检
测,并能将食品包装发送到正确的产
线用于托盘码货。
整个自动化系统包括生产线上
的机器视觉系统,以及用于托盘码
货操作的机器人。对视觉系统成像
这 一 部 分,Kibele-PIMS 公 司 转 交 图1:19台相机将Knorr生产线上的小包装箱分类到17条生产线上,并由三台机器人搬运到指定载货托盘
上。(图片来源:Kibele-PIMS)
给 Teledyne DALSA 公 司 来 完 成。
Kibele-PIMS 公 司 管 理 总 监 Erdal 会导致机器人把包装发送到错误的生 Lipton 工厂拥有 10 条生产线,部署
介绍说,公司将这个问题分 产线上。针对这种情况,部署的视觉 了 5 台 Universal Robots 公司的 UR10
为两个阶段来解决,托盘码货自动化 系统采用了 Teledyne DALSA 公司的 机器人,12 台 Genie NanoM1920 相机,
属于第二个阶段要解决的问题。他补 Genie Nano M1920 面 阵 相 机, 配 备 以 及 3 个 GEVA 312T 工 作 站。 对 于
充说,这些位于土耳其工厂,均采用 GEVA 312T 工业图像处理 PC。相机 Knorr 生产线而言,系统任务是,对
了机器人和视觉控制系统相结合的解 采 用 了 Teledyne DALSA 的 Sherlock 通过 27 米长的进料输送机,将生产
决方案。 软件可编程语言,无论何时它们都 出来的汤、酱汁等小批量包装产品进
解 释 说,Knorr 和 可 以 通 过 PLC 与 其 他 产 品 进 行 通 行分类,并将确定的产品类型传送到
Lipton 生产线需要装上“眼睛”。他 信。在这个案例中使用的 PLC,来自 正确的包装站。
认为,从任务上来看,机器人的工作 Beckhoff Automation 公司。 在每个包装站,先由相机读取包
并不复杂,但是当有包装到达生产线 Knorr 生 产 线 上 的 系 统 使 用 了 装箱上的 QR 码对产品进行分类,并
上时,它们的任务就变得不那么简单 19 台 Genie Nano M1920 相 机,4 个 把分类后的产品分配到正确的传送带
了。有些包装可能会损坏,或者包装 GEVA 312T 工 作 站, 以 及 3 台 工 作 上。同时,相机对传送来的箱子进行
上的 QR 码不可读取,这些情况可能 在 27 米长直线轴上的 KUKA 机器人。 检测,检测其包装是否有损伤。有缺
Kibele-PIMS 反,理想条件实际上是完全黑暗,这
为不同应用设 样就能完全使用我们的定制照明方
置了定制照明 案。白天的自然光实际上是一种干
方 案:针 对 扰。” 补充说,因为环境照
QR 码 读 取 提 明条件不稳定,有可能会发生相机读
供一种照明类 取不到 QR 码的情景,这会导致包裹
型 ;针 对 包 装 被传送到错误的托盘上。
检测提供另一 安装这些定制照明方案并没有什
种照明类型。 么挑战性。将工厂切换到全自动解决
联合利华 方案,提高了工厂盈利能力,降低了
图4:Kibele-PIMS为Knorr和Lipton的分类生产线,选择了Teledyne DALSA的Genie
工厂的环境特 包装的错误率。部署了新的自动化系
Nano M1920面阵相机。(图片来源:Teledyne DALSA) 点 是, 照 明 条 统后,Knorr 生产线上的包装速度平
此,在放置直线轴和机器人之前,必 件不停地变化。 介绍说 :
“任 均 为 1.5s/ 箱 ;Lipton 生 产 线 上 的 包
须对地面进行清理平整。无论是任何 何时候只要有视觉检测,就必须启动 装速度平均为 2s/ 箱。
视觉系统的安装,照明都非常关键, 专用照明系统。与很多人的想象相
3D相机
最新进展拓展 3D 成像
在机器视觉领域的应用范围
最近,3D相机在速度、准确度和分辨率方面取得了新进展。
文/ James Carroll
3D 相 机 所 取 得 的 一 些 最 新 进 需求,而且很多重要客户都希
展,正在不断让终端用户能够更加容 望能够从一家供应商而
易地将 3D 成像技术集成到机器视觉 非多家供应商那里,获
应用中,这些应用涉及生产、质量控 得包括软件和硬件的端
制、测量等诸多领域,这也进一步使 到端解决方案。
”Matrox
得 3D 成像技术成为了工业自动化领 Imaging 公司产品管理总
域的一种主流技术。本文将介绍在过 监 Pierantonio Boriero 说
去一年中 3D 成像技术所取得的进展, 到。Matrox Imaging 公司 Matrox
以及一些最新的 3D 相机产品是如何 AltiZ 产品,能够通过减少在 3D 重建
在工业应用中进行部署的。 中产生的间隙或空隙的遮挡,来提高
图1:Matrox AltiZ 3D轮廓传感器专为检测任务而
随 着 Matrox Imaging 的 3D 成 3D 重建的真实性。” 设计,能与Matrox Imaging自己的机器视觉软件或
像产品 Matrox AltiZ 双目相机和单目 Zivid 公 司 Zivid Two 3D 彩 色 相 是第三方机器视觉软件配套使用。
激光 3D 轮廓传感器的发布,Matrox 机 的 发 布, 使 其 在 3D 成 像 技 术 领 能够支持手臂机器人在料箱分拣等应
Imaging 正 式 进 入 3D 成 像 硬 件 市 场 域更进一步。该相机采用结构光成 用中的部署。
(见图 1)。这些产品的目标市场是检 像,分辨率为 2.3MP,每个 3D 帧曝 Zivid 销售和营销副总裁 Raman
测领域,其能够与 Matrox Imaging 自 光 13 次,最短采集时间为 60ms。该 Sharma 表 示 :
“Zivid Two 解 决 了 当
己的机器视觉软件或是第三方的机器 相 机( 见 图 2) 具 有 300~1500mm 今大多数用于拣选和放置机器人的视
视觉软件配套使用。这些轮廓仪使用 的 灵 活 工 作 距 离, 工 作 距 离 为 觉系统中存在的关键限制。
“分辨率、
红 光(660nm) 或 蓝 光(405nm) 激 700mm 时的分辨率为 60µm ;视野为 伪影和真实性错误等,限制了零件和
光 器, 配 备 GigE Vision 接 口 ;内 部 754mm×449mm×700mm, 外 观 尺 物品对象的最佳检测、拾取和放置。
运行专有的算法,通过从两个集成的 寸为 169mm×56mm×122mm,重量 新的 Zivid 3D 相机支持深度学习、人
图像传感器中整合或选择像素数据, 880g,采用 10GigE 接口。 工智能和目标检测算法,以识别更多
能够自动产生各种不同类型的 3D 数 热稳定性和机械稳定性的增强, 的目标,更好地规划如何更可靠地抓
据(包括个体的轮廓、深度图或点云)。 以及浮动校准功能,使得尺寸真实性 取、放置零件。”
另外,这些轮廓仪能达到 IP67 的防 误 差 小 于 0.2%, 而 专 利 的 3D HDR “ 借 助 Zivid Two 3D
他补充道 :
护等级,采用 M12 机械接口,提供 成像和伪影消除技术,允许相机能捕 相机,我们以革命性的形式将视野、
GenICam 拓展接口,通过以太网供电。 捉反光和吸收光的产品以及非常小的 拍摄速度和高质量的点云输出结合在
“Matrox Imaging 之 所 以 选 择 进 零件。此外,相机能够分离彩色和相 一起。”
入 3D 成像市场,是因为我们的客户 似形状的产品。Zivid Two 3D 彩色相 IDS Imaging Development
群体已经呈现出了对 3D 成像能力的 机的目标应用是物流和制造领域,其 Systems 公 司 发 布 的 新 型 号 Ensenso
洞悉行业应用趋势,
全方位产品满足市场需求
—— 访安森美半导体智能感知部市场总监郗蕴侠女士
安森美半导体智能感知部
市场总监郗蕴侠女士
安森美半导体作为半导体芯片 更好的方案,我们也会对不同领域有 信息已远远
制造领域的老牌劲旅,多年来在图像 自己的规划。CMOS 图像传感器分为 不能满足要求,它们需要深度或
传感器领域创建了众多行业第一和领 全局曝光和卷帘曝光两大类。两类产 厚度、高度信息,比如在模具加
先的技术,以满足市场对图像传感 品各有优势,安森美半导体会持续在 工、手机装配等领域的检测。
器不断发展变化的需求。在 2021 年 这两类产品上的研发。为了提升感光 • 人 工 智 能(AI)。 目 前 已 经 有
Vision China 上海展会上,本刊(简 度,安森美半导体将 FSI(前照式)、 60%以上的计算机视觉应用程序
称 VSDC)有幸采访到了安森美半导 BSI(背照式)技术引进到图像传感 中采用了 AI 技术,而 AI 在制造
体智能感知部市场总监郗蕴侠女士, 器中,并且有产品在售。我们会继续 应用程序中的年均复合增长率,
请她分享了当下制造业对图像传感器 推出满足超大分辨率以及高速图像传 已经超过 50%。
的需求趋势,以及安森美半导体所提 感器、经济型全局快门图像传感器, • 人工智能是我们需要的新工具,用
供的产品和解决方案。以下分享采访 以及基于硅光电倍增器(SiPM)、单 于管理工业成像中不断增长的数据
实录,以飨读者。 光子雪崩二极管(SPAD)阵列单点、 集,以实现工业 4.0。另外,边缘
VSDC :在制造业不断向更高端 线阵及面阵的 dToF 解决方案。高分 人工智能也是未来的趋势之一。
发展的大趋势下,在工业机器视觉应 辨率、高画质、低成本是安森美半导 以上这些都是安森美半导体正在
用方面,对图像传感提出了哪些更高 体图像传感器不断推陈出新的目标。 关注的市场。
的要求?安森美半导体针对工业机器 VSDC :在工业应用市场,您最 VSDC :安 森 美 半 导 体 的 XGS
视觉的新动态和举措是什么? 看好哪几个快速增长的市场?增长背 系列 4500 百万像素 CMOS 传感器,
郗蕴侠 :在制造业不断向更高端 后的驱动力是什么?安森美半导体会 其突出性能是什么?它能解决工业机
发展的大趋势下,在工业机器视觉应 重点关注哪些市场? 器视觉应用中的哪些痛点?
用方面,相机系统能够做出快速、精 郗蕴侠 :在工业应用市场,增长 郗 蕴 侠 :XGS 是 安 森 美 半 导 体
准决策的关键,就是图像能够清晰准 快速的市场主要有以下几大类 : 最新一代工业级全局快门图像传感
确地提供信息。不同的检测应用对图 • 平板检测。平板检测是整个工业 器,采用最新的 3.2um 像素工艺,具
像的分辨率、清晰度、噪声、相机的 机器视觉行业中,对图像传感器 有图像质量好、噪声小、帧率高、功
帧率以及系统成本等,都有不同的要 最具挑战性的应用。从 1K、2K、 耗 低、 工 作 温 度 宽、 性 价 比 高 等 优
求。比如屏检、光伏、半导体检测, 4K 到 8K,像素在逐渐扩大,人 势, 可 以 用 在 多 种 工 业 领 域。XGS
需要满足超大分辨率以及高速的图像 们对平板显示的需求也越来越 是一个系列化的家族产品 X-CLASS
传 感 器 ;各 种 工 业 扫 码、 物 流 等 领 多。我们周边的电子设备几乎都 平台,从 200 万像素到 4500 万像素,
域,需要经济型全局快门图像传感器; 会带有一个显示屏,例如车载屏 用两套硬件电路板就可以兼容总共 11
而 3D 应用除了所需的图像传感器之 幕,并且尺寸也越来越大。 个分辨率 ;其中 200~1600 万像素可
外,还需要测量精确的直接飞行时间 • 新能源检测。随着中国的新能源 以轻松放进 29mm×29mm 的相机平
(dToF)解决方案。我们认为,未来 和半导体市场的发展,光伏检测、 台,2000~4500 万像素做到引脚对引
的图像传感器依然会追求高分辨率、 锂电池检测、晶圆检测、3C 检测 脚,客户设计一个硬件平台,可以根
高画质和低成本。 这些需求,都比以往成倍增长。 据具体应用需求选择相应分辨率的传
作为图像传感器领域的领先供应 • 3D 检测。3D 市场的检测需求日 感器。相机制造商可以充分利用现有
商,安森美半导体致力于为客户提供 趋增长,越来越多的检测只用 2D 的零件库存,并加快新相机设计的面
紧凑型2D视觉传感器InspectorP611 CS系列USB3.0相机MV-CS060-10UM/C-PRO
德国西克推出的 InspectorP611 是一款工业级超紧凑 海 康 机 器 人 推 出 CS 系 列 首 款 USB3.0 相 机 MV-
型 2D 视 觉 传 感 器, CS060-10UM/C-PRO,
该传感器的性能特点 其 搭 载 Sony Pregius
主要包括 :可通过微 芯片,成像质量更优,
距拍摄物体精细细 9~24V 宽 电 压 供 电,
节,光源光场分布可 工 作 温 度 -30~60 ℃ ;
自由调节 ;得益于快速安装和直观的网页界面,可立即启 结构更灵活,四面皆可装,定位精度更高。
动 ;通过 SICK Nova 添加或扩展用于客户定制化解决方 相机采用全新平台,进行了相机嵌入式架构、电源效
案的工具功能范围 ;使用 SICK AppSpace 或 HALCON 进 率等多方面的硬件优化,核心组件温度大幅降低,功耗仅
行可选编程。该产品非常适合在线检查较小的零件、组件 2.3W,比同类产品低 20% 左右。
和最终产品。由于结构型式小巧,它适合于安装空间有限 相机支持无损压缩功能,开启无损压缩后,在保持帧
的应用或适合于安装在机械臂上。 率不变的情况下,带宽最大可降低至原来的 40%,大幅缓
德国西克,www.sick.com 解传输链路带宽的压力,可用于多相机连接同一个 HUB
的应用场景。相机内部还植入了 2D 降噪算法,在不影响
1.51亿像素定焦镜头 特征的情况下,最大限度的滤除噪声。
OPT 推出的全新产品 1.51 亿像素定焦镜头,在全视 海康机器人,www.hikrobotics.com
场 φ67mm 大靶面下,保证 3.76μm 像元尺寸的高分辨率
性能,以定焦镜头的设计方 集成式高分辨率智能相机VISOR®V50
案支持宽工作距离下放大倍 SensoPart 推 出 的 集 成 式 高 分 辨 率 智 能 相 机
率从 0X~0.23X 连续对焦。 VISOR®V50, 分 辨 率 为
焦 距 60mm 的 设 计 有 2560× 1936 像 素(500
效减小大视野应用的工作距 万像素),集成镜头和照
离 ;镀膜波段 400~1000nm,兼容可见光和近红外波段, 明,设计紧凑,能在更大
为大靶面高精度检测在中小倍率的应用提供一种新的光学 得范围内检测到微小的细
解决方案。该镜头可广泛应用于 FPC 定位切割、PCB 电 节 ;可通过使用更少的相机,降低了大视场的安装成本。
路板缺陷检测、锂电极片尺寸及缺陷检测、显示面板缺陷 通过软件控制实现电动聚焦,镜头的焦位可以轻松适应不
检测等领域。 同的工作距离 ;可自动调节亮度。只需单击一个按钮,即
OPT,www.optmv.com 可立即改变工作距离和图像设置。
SensoPart 再次扩展了其多功能的用户友好型 VISOR®
消费级3D相机 视觉传感器的应用范围。VISOR V50 M 可提供单色或彩
知微传感推出的消费级 3D 相机产品 Dkam200,采用 色版本,并提供物体识别版本、机器人版本、读码器版本
MEMS 芯片 + 动态结构光 和全功能版本。
原理,利用 MEMS 微振镜 SensoPart,www.sensopart.com
投影编码结构光,然后通
过解算接收到的图象信息 2100万像素230帧高速工业相机Q-21A230
得到目标的点云。该产品采用片上计算方案,点云计算在 Adimec 推出用于下一代 3D-AOI 和半导体后端量测
相机终端完成,不占用 PC 计算资源。相机体积小、功率低、 的全新一代高速工业相机 Q-21A230。相较于上一代 1200
灵活易用,可广泛应用于 3D 人脸识别、医疗美容等领域。 万像素 187 帧的 Q-12A180 相机,Q-21A230 具有更高分
知微传感,www.wizmems.com 辨率、更高帧率、更高感光度、更高动态范围、更低噪声
等 特 点。Q-21A230 完 场景中。
美 匹 配 下 一 代 PCBA 该相机是诸如回收等分类任务以及解决大批量半导
3D-AOI 和 半 导 体 后 体检查、水分检测、食品和饮料、化学识别和生物医学应
端量测系统对工业相 用中质量控制问题的理想选择。
机高分辨率、高帧率、 Allied Vision,www.alliedvision.com
高感光度和稳定性的
需求。 Evolve系列EMCCD全新版相机
Adimec Q-21A230 相机以优秀的图像质量、高效的产 Teledyne 推出的全新 Evolve 系列 EMCCD 相机,在
出、突出的性价比和丰富的配套和支持,提供最佳视觉方案。 性能和可靠性方面都得到进一步提升,能为单分子荧光及
Adimec,www.adimec.com TIRF 等极弱光成像应用提供最佳的成像性能。
全新的 Evolve 系列相机既包括传统 EMCCD 13μm 和
紧凑型激光导航雷达LGS-N50 16μm 像素尺寸,提供最佳灵敏
得利捷发布 LGS-N50 紧凑型激光导航雷达,可适用 度 ;还推出了独有的 10μm 像素
于任何 AGV 环境,坚固防水,快速且用户友好,适用于 尺寸,为 100 倍油镜提供最佳光
内部物流自动化和通用制造业。 学分辨率匹配。当样品发出的信
LGS-N50 是 基 于 时 间 飞 行 红 外 号光子数屈指可数时,需要尽
激光技术的新型高质量、超坚固的测 可能低的噪声来获得足够信噪比。除了背照式芯片提供的
量传感器,扫描角度为 360°,角分 95% 的高量子效率,Evolve 系列使用电子倍增,在不牺
辨率为 0.06°,对反射板目标物的检 牲帧率的条件下,将读出噪声降至 0.25e- 以下。
测距离可达 50m。凭借其紧凑的尺寸 此外,该系列相机在高速读出模式下,全幅帧率可高
和简单的以太网 UDP 协议,该设备 达 61fps ;使用 ROI 成像时,帧率可高于 4000fps。通过
为 AGV 系统提供传输有效的距离和反光强度测量数据。 单输出放大器,Evolve 系列能够提供全幅范围极佳的噪声
LGS-N50 非常容易集成到车辆中,并通过其集成的 均匀性,这对于单分子荧光成像和后续数据分析非常重要。
网络服务器进行简单配置 ;提供 -20~+50℃的宽泛工作温 Teledyne ,www.teledyne.com
度范围,可以安装在必须在低温工厂中运行的室内车辆上。
具有 IP66 防护等级,能防护强大水流喷射。 Ladybug5P 360°全景成像系统
得利捷,www.datalogic.com FLIR 推出的 Ladybug5P360°全景成像系统,能够提
供最高品质的球形 360°成像和精确度。可捕获 8k30 或
短波红外线扫相机allPIXA SWIR 4k60 的高品质内容,其精确度
Allied Vision 推 出 的 allPIXA SWIR 是 Chromasens 级别为 10m 高度 2mm。该成像
allPIXA 系列相机中首款短波红外线扫相机,采用先进的 系统使用 6 个具有高质量 Sony®
铟镓砷传感器,可捕 CMOS 图像传感器的相机,以从
获 950~1700nm 光 谱 代表整个球型 90% 的六个优越
范围内人眼看不到 位置收集并真正提供图像。五个
的缺陷 ;分辨率 1K, CMOS 位于水平环上,另一个被放置在垂直向上的环中。
像元尺寸 12.5µm ;最 这六个相机都经过预先校正,使系统内的创新性成为可能。
高 行 频 可 达 40kHz ; 由于镜头设置,例如焦点与虹膜是固定的,用来确保相机
提供丰富的数据接口,支持 GigE Vision 和 CameraLink ; 保持校正状态,不需要现场校正。
内置 FPGA,支持图像预处理 ;紧凑的外观设计,体积仅 目前,FLIR Ladybug 360°全景成像系统可完成所有
为 62mm×62mm×52mm ;易于集成到许多机器视觉应用 的图像采集、处理、拼接和校正工作,将多个摄像头图像
特设机器视觉展区:
涵盖机器视觉及工业应用:
智能相机 / 图像传感器/板卡 / 相机配件 / 工业镜头光源 / 辅助产品 / 图像处理系统等相关领域
同期展会
扫码登记免费参观
广告索引 Ad Index
Advertiser 广告商名称 网址 页码
堡盟电子 (上海) 有限公司 www.baumer.com 15
CIOE 2021 www.cioe.cn 39
Computar www.computar-global.com 17
爱特蒙特光学 (深圳) 有限公司 www.edmundoptics.cn/041-8632 7
NEPCON Asia 2021 www.nepconchina.com IBC
海康机器人 www.hikrobotics.com 3
盛相科技 www.mega-phase.cn/3dvision 4
MVSZ 2021 华南国际机器视觉及工业应用展 www.iamdshenzhen.com 1
The Imaging Source www.sunvision.net.cn IFC
Teledyne Dalsa teledynedalsa.com/z-trak2 9
Vieworks vision.vieworks.com 13
投稿指南
《视觉系统设计》杂志及网站长期接收投稿,投稿内容可 5、涉及视觉技术的其他内容。
以涉及:
1、公司及行业新闻。 投稿要求
2、公司最新产品发布——详细介绍产品的主要特性及相关 1、请用简体中文书写,提交word文档。
参数,主要适用 2、请提供高清图片文件(JPEG格式),照片的分辨率不
3、最新视觉技术报道——内容可涵盖照明、镜头、相机、 低于300dpi,大小不低于100万像素。
图像传感器、图像采集与处理、视频接口、软件等视觉 3、网站投稿文章长度不限。
领域的各个方面。 4、杂志投稿文章长度约3500字。
4、应用案例——内容可设计视觉系统在工业、智能交通、科
研、医疗、食品、军事等各行各业的应用实例。 投稿邮箱: Email:rossiep@actintl.com.hk
主办单位
ORGANISED BY
同期展会
HELD IN CONJUNCTION
微信扫一扫 微信扫一扫
关注NEPCON电子展服务号 即刻参观预登记
2021
跨超低谷,
“视”不可挡
——VisionCon 2021带你把握市场复苏增长中的新机遇
工业机器视觉、人工智能作为实现工业自动化、智能化不可或缺的技术,正在中国制造业中广泛部署应用。在经过
2020 年的发展放缓后,预计 2021 年中国制造业向高端转型升级的范围和速度都将进一步扩大。如何在蕴含巨大商机
的中国制造业市场中,抓住工业机器视觉环节的增长机会?由雅时国际商讯(ACT International)和《视觉系统设计》
(Vision Systems Design China)联合主办的 VisionCon 视觉系统设计系列会议,2021 年将走进厦门、苏州、深圳、
成都和上海,我们将邀请机器视觉行业产业链上的器件厂商、系统集成商、企业用户及科研机构等业内人士共聚一堂,
共同探讨最新的机器视觉技术在制造业中的发展机会!
厦门 苏州 深圳 成都 上海
5月13日 6月 8月18日 10月22日 11月25日
研讨话题(部分)
• 3D成像技术在工业制造中的应用 • 深度学习在工业机器视觉中的应用 • 偏振成像技术与工业缺陷检测
• 工业相机、工业镜头、光源/打光技术的新发展 • 嵌入式视觉系统开发及应用 • 多光谱/高光谱成像技术及应用
• 被AI和视觉赋能的工业机器人及应用 • 5G为工业机器视觉带来的新机会
历届赞助企业(部分)
会议咨询
Hatter Yao 姚丽莹 Finn Wu 吴 伟 Lainy Gao 高秀芹
Tel:86-139 1771 3422 T:86-137 6156 8429 Tel:86-188 5599 9175
E-mail:HatterY@actintl.com.hk E-mail:FinnW@actintl.com.hk E-mail:LainyG@actintl.com.hk
主办单位 大会媒体
扫码预登记