9号彩票APP下载

广告
广告
您的位置: 资讯中心 > 技术文献 > 正文

3D视觉为机器人增加“眼睛”

2019-05-10 15:21:42 来源:电子技术设计 点击:605

【大比特导读】人类之所以能够驾驭这个世界,是因为具有三维(3D)感知能力。而这个能力也可以赋予给我们的机器人。但人类感知三维的方式也许并不适用于机器。要引导机器人运用深度传感视觉,需要考虑三个关键方法:立体视觉、结构光和飞行时间(ToF)。

人类之所以能够驾驭这个世界,是因为具有三维(3D)感知能力。而这个能力也可以赋予给我们的机器人。但人类感知三维的方式也许并不适用于机器。要引导机器人运用深度传感视觉,需要考虑三个关键方法:立体视觉、结构光和飞行时间(ToF)。

机器人系统已经存在了几十年,但直到最近它们大多都是盲目工作。只需为机器人配备接触传感器、接近传感器和位置传感器,它们就可以优雅地进行精心编排的、无休止的重复动作,可以操纵重型材料,执行精密装配,或焊接复杂的结构。但是,它们工作的成功与否,取决于其环境的精确性、必用材料的精确放置,以及对其运动轨迹的仔细绘制和编程。

然而,这种情况正在发生变化。机器视觉和视觉智能方面的研究、半导体制造的进步,以及图像传感器在手机市场上的应用,简化了视觉系统的开发并降低了其成本,使其成为了一种扩展机器人功能的越来越具成本效益的选择。借助视觉(特别是3D视觉)的引导,机器人将变得更能够与自由世界交互,工作起来更灵活,也更容易适应新的任务。

然而,特定的机器人所需的视觉特性高度取决于应用。例如,对于那些必须通过视觉引导在杂乱的仓库里移动的机器人来说,它们需要对动态环境进行远程感知,但只需要提供适当的精度。固定机器人的需求则可能完全不同,例如有些机器人用来将箱子里所混合的零件取出,并按相同类型进行堆放,这可能只需要在有限的范围内提供高精度的视觉。执行精密装配的机器人则又有另一套需求。因此,要确定采用哪一种3D视觉方法,首先要对机器“观看”的工作方式有所理解。

立体机器视觉

由于和人类观看的方式相似,最容易理解的3D方法是立体视觉。这是一种三角测量法,即用相隔一定距离的摄像头去捕获两个(或多个)图像(或用一个摄像头在图像之间移动),然后通过比较来确定摄像头视场中物体的距离。将摄像头分离会产生视差,这样,较近物体相对远处背景的对齐就会不同——物体越接近摄像头,视差越大。

图1给出了一个简单的示例。图中的两个摄像头沿平行轴指向相同方向,其传感器对齐并相隔基线距离B,每个摄像头都会捕获一个3D空间(X,Y,Z)的点(P)图像。捕获的图像中,该点在其2D图像平面上的位置将会不同(uL和uR)。几何上,该位置相当于从P点向摄像头引一条射线,穿过一个垂直于摄像头光轴(ZA)、距离等于摄像头镜头焦距(f)的平面所得的交点。

 

3D视觉为机器人增加“眼睛”

 

图1:简单的立体视觉几何图。

如果取每个摄像头的ZA与该平面相交的点作为每个图像2D坐标系的原点,那么计算两个成像点之间的距离,就可以获得该点的视差(d)。然后,就可以很容易地计算出该点到图像平面的距离(深度):

深度 = f * B/d

但是通常现实世界中的系统不是那么容易对齐的。图2给出了一种更通用的设置,其中,每个摄像头都有自己的坐标系,它们以其光轴方向和图像传感器像素栅格的旋转方向来界定。确定图像点视差要比简单的距离计算更复杂,这涉及到坐标变换和几何校正,但三角测量原理是相同的。

 

3D视觉为机器人增加“眼睛”

 

图2:现实世界中的立体视觉几何图。

幸运的是,有大量的商用和开源软件可以处理这些计算。还有一些软件可使用摄像头栅格图像来确定所有必要的坐标变换,这样开发人员就不需要精确地确定摄像头方向。因此,计算空间中单个点的深度信息就变成了机器视觉系统中相对简单的一项运算。

但是,这当中仍然存在许多其他的计算挑战。其中最重要的一个是让系统确定不同摄像头图像中是哪个点对应于空间中的相同物理点。这个确定过程可能涉及极为复杂的相关过程,需要将来自一幅图像的一小组像素与构成另一幅图像的所有组像素进行比较来确定哪些组匹配,然后对构成第一幅图像的所有小像素组重复该过程。

结构光深度测定

第二种3D视觉方法——结构光——可简化上面这个相关过程,设计人员应当留意这个优势。这种方法在三角测量工作中用投光机取代了其中一个摄像头。投光机生成一个已知的光斑,然后系统将摄像头图像与这个已知光斑进行比较。所捕获图像中的结构光光斑会因为被测对象上的每个点深度不同而产生失真(图3)。在这个例子中,可以使用基线和两条射线之间夹角计算出P点的深度(R):

R = B (sin α)/sin (α + θ)

 

3D视觉为机器人增加“眼睛”

 

图3:结构光系统根据已知光斑产生的反射光失真来计算深度。

分享到:
阅读延展
机器人 3D视觉 摄像头
  • 美的收购库卡机器人未达预期

    美的收购库卡机器人未达预期

    据央广网报道,今年4月19日晚,美的集团发布的2018年度业绩报告显示,8.23%的营收增速和17.05%的归母净利润增速都比2017年大幅放缓。而其中引人关注的是,美的集团重金收购来的德国机器人公司库卡(KUKA)也出现了业绩下滑,几乎所有业绩指标均为负增长。

  • 机器人进入下半场,三菱电机押注运动规划技术

    机器人进入下半场,三菱电机押注运动规划技术

    机器人行业发展已经进入了下半场面,未来机器人将结合人工智能、物联网、云计算等技术,达到柔性化、智能化和更高效的能力水平。新一代机器人能够进入更多的应用场景,从制造到物流、医疗、建筑、交通等领域不断延伸,为人类社会向前发展提供强大的动力。

  • 物流机器人企业科钛完成数千万元Pre-A轮融资

    物流机器人企业科钛完成数千万元Pre-A轮融资

    5月14日消息,物流机器人企业科钛宣布完成数千万元Pre-A轮融资,本轮融资由璋创投独家参投。对于该轮融资的规划,科钛机器人董事长表示,本轮融资主要用于科钛机器人的市场推广、销售以及技术研发两个方面。

  • 智能工业机器人+新能源,越疆科技与瑞德丰达成战略合作,锂电自动化升级加速!

    智能工业机器人+新能源,越疆科技与瑞德丰达成战略合作,锂电自动化升级加速!

    5月14日,全球领先的轻量型全感知机器人解决方案提供商越疆科技与新能源动力电池结构产品及技术解决方案供应商瑞德丰精密制造9号彩票签订战略合作协议。

  • 一家本土机器人创业公司怎样用四年的时间崛起

    一家本土机器人创业公司怎样用四年的时间崛起

    在G20-智能制造峰会成员企业珞石机器人北京研发总部的实验室中,有十多台工业机器人在各自的工作岗位忙碌着。不同于工业机器人常见的搬运、装配、码垛等工作,他们从事的是立体结构缝制、刀具开刃等需要更多精细动作、有更高精度与协同要求的生产工艺。

  • 基于3D视觉导航的智能料箱搬运机器人在智能制造中的应用

    基于3D视觉导航的智能料箱搬运机器人在智能制造中的应用

    近年来,在国家对智能制造的大力支持下,智能搬运机器人在智能制造中的应用非常火热。其主要应用场景为仓库或线边仓收发料、原材料或半成品在产线各工序间的自动流转。但在实际应用场景中,也存在一些比较难以解决的问题。

  • 基于3D视觉导航的智能料箱搬运机器人在智能制造中的应用

    基于3D视觉导航的智能料箱搬运机器人在智能制造中的应用

    近年来,在国家对智能制造的大力支持下,智能搬运机器人在智能制造中的应用非常火热。其主要应用场景为仓库或线边仓收发料、原材料或半成品在产线各工序间的自动流转。但在实际应用场景中,也存在一些比较难以解决的问题。

  • 波士顿动力收购3D视觉初创公司Kinema Systems

    波士顿动力收购3D视觉初创公司Kinema Systems

    近日,波士顿动力公司宣布了自己的第一笔重大收购交易,收购对象是一家位于旧金山湾区的初创公司,名为Kinema Systems,该公司专为物流拣选系统开发3D成像解决方案。

  • FANUC新型3D视觉3DV/400 Sensor

    9号彩票APP下载FANUC新型3D视觉3DV/400 Sensor

    发那科最新推出的新型3D视觉3DV/400 Sensor,集合了发那科3DL视觉系统和3DA视觉系统的优点,同时拥有很多自己特点。这些特点可以帮助客户更好地实现智能化生产。

  • 2018手机业攻防战:新机矩阵对抗和5G研发冲刺

    2018手机业攻防战:新机矩阵对抗和5G研发冲刺

    一年之内,手机产品的形象突然从16:9屏占比+电容式指纹识别,延伸到18:9的刘海屏、水滴屏、全面屏的升降、滑盖、穿孔等配备屏下光学指纹或3D视觉技术的矩阵系列。

  • 工业机器人的3D视觉技术及其应用状况

    工业机器人的3D视觉技术及其应用状况

    工业机器人作为我国工业发展的重要支撑,如今在制造和物流等领域的应用越来越广泛,而3D视觉作为工业机器人的“眼睛”,已成为影响工业机器人领域应用和性能的关键因素。

  • 图漾科技费浙平:3D工业视觉落地之道

    图漾科技费浙平:3D工业视觉落地之道

    近两年来,3D视觉技术在工业领域的应用逐渐兴起,但距离真正的落地应用似乎还有一段距离。近日,笔者拜访了专注于3D视觉技术解决方案的图漾科技,听创始人费浙平讲述3D工业视觉的落地之道。

微信

第一时间获取电子制造行业新鲜资讯和深度商业分析,请在微信公众账号中搜索“大比特商务网”或者“big-bit”,或用手机扫描左方二维码,即可获得大比特每日精华内容推送和最优搜索体验,并参与活动!

发表评论

  • 最新评论
  • 广告
  • 广告
  • 广告
广告
Copyright Big-Bit © 1999-2019 All Right Reserved 大比特资讯公司 版权所有      未经本网站书面特别授权,请勿转载或建立影像,违者依法追究相关法律责任