ABOUT RELY-MEASURE
您的当前位置:主页 > 使用说明 >

谈3D视觉应用方案光学测量分类以及其原理

发布时间:2020-12-09 22:16 作者:北京快乐8

  苹果公司从iPhone X 的开始引入了3D 深度传感技术,它便是苹果 Face ID 功能的基础。

  iPhone X 的 3D 摄像头采用的是红外3D 结构光方案,包含「红外光源+光学组件+红外传感器」等部分,其中最关键的部分就是红外光源。早期 3D 传感系统一般都使用LED作为红外光源,但是随着 VCSEL 芯片技术的成熟,在精确度、小型化、低功耗、可靠性等角度全方面占优,因而现在常见的 3D 摄像头系统一般都采用 VCSEL 作为红外光源。

  要谈3D视觉应用方案,就必须先弄清楚光学测量分类以及其原理。光学测量分为主动测距法和被动测距法。

  主动测距方法的基本思想是利用特定的、人为控制光源和声源对物体目标进行照射,根据物体表面的反射特性及光学、声学特性来获取目标的三维信息。其特点是具有较高的测距精度、抗干扰能力和实时性,具有代表性的主动测距方法有结构光法、飞行时间法、和三角测距法。

  根据投影光束形态的不同,结构光法又可分为光点式结构光法、光条式结构光法和光面式结构光法等。

  目前应用中较广,且在深度测量中具有明显优势的方法是面结构光测量法。面结构光测量将各种模式的面结构投影到被测物体上,例如将分布较密集的均匀光栅投影到被测物体上面,由于被测物体表面凹凸不平,具有不同的深度,所以表面反射回来的光栅条纹会随着表面不同的深度发生畸变,这个过程可以看作是由物体表面的深度信息对光栅的条纹进行调制。所以被测物体的表面信息也就被调制在反射回来的光栅之中。通过被测物体反射回来的光栅与参考光栅之间的几何关系,分析得到每一个被测点之间的高度差和深度信息。

  结构光的优点是计算简单,测量精度较高,对于平坦的、无明显纹理和形状变化的表面区域都可进行精密的测量。其缺点是对设备和外界光线要求高,造价昂贵。目前,结构光法主要应用在条件良好的室内。

  飞行时间(Time of Flight,简称ToF)法,又叫做激光雷达(LiDAR)测距法。它将脉冲激光信号投射到物体表面,反射信号沿几乎相同路径反向传至接收器,利用发射和接收脉冲激光信号的时间差可实现被测量表面每个像素的距离测量。

  ToF直接利用光传播特性,不需要进行灰度图像的获取与分析,因此距离的获取不受物体表面性质的影响,可快速准确地获取景物表面完整的三维信息。缺点则是需要较复杂的光电设备,价格偏贵。

  三角测距法又称主动三角法,是基于光学三角原理,根据光源、物体和检测器三者之间的几何成像关系来确定空间物体各点的三维坐标。在实际测量过程中,它常用激光作为光源,用CCD相机作为检测器。这种方式主要用于工业勘探、工件表面粗糙度检测、轮胎检测、飞机检测等工业、航空、军事领域,在消费电子类产品还不曾涉及。

  被动测距技术不需要人为地设置辐射源,只利用场景在自然光照下的二维图像来重建景物的三维信息,具有适应性强、实现手段灵活、造价低的优点。但是这种方法是用低维信号来计算高维信号的,所以其使用的算法复杂。被动测距按照使用的视觉传感器数量可分为单目视觉、双目立体视觉和多目视觉三大类。

  单目视觉是指仅利用一台照相机拍摄一张相片来进行测量。因仅需要一台相机,所以该方法的优点是结构简单、相机标定容易,同时还避免了立体视觉的小视场问题和匹配困难问题。

  单目视觉方法又可分聚焦法和离焦法两类。聚焦法是指首先使相机相对于被测点处于聚焦位置,然后根据透镜成像公式求得被测点相对于相机的距离。相机偏离聚焦位置会带来测量误差,因此寻求精确的聚焦位置是关键所在。而离焦法不要求相机相对于被测点处于聚焦位置,而是根据标定出的离焦模型计算被测点相对于相机的距离,这样就避免了由于寻求精确的聚焦位置而降低测量效率的问题,但离焦模型的准确标定是该方法的主要难点。

  双目立体视觉的基本原理是从两个视点观察同一景物,以获取在不同视角下的感知图像,然后通过三角测量原理计算图像像素间的位置偏差(视差)来获取景物的三维信息。这一过程与人类视觉感知过程是类似的。

  在双目立体视觉系统的硬件结构中,通常采用两个摄像机作为视觉信号的采集设备,通过双输入通道图像采集卡与计算机连接,把摄像机采集到的模拟信号经过采样、滤波、强化、模数转换,最终向计算机提供图像数据。一个完整的双目立体视觉系统通常可分为数字图像采集、相机标定、图像预处理与特征提取、图像校正、立体匹配、三维重建六大部分。

  多目立体视觉系统是对双目视觉系统的一种拓展。所谓多目立体视觉系统,就是采用多个摄像机设置于多个视点,或者由一个摄像机从多个视点观测三维景物的视觉系统。

  对多目系统所采集到的景物图像进行感知、识别和理解的技术被称为多目立体视觉系统技术。在双目立体视觉中,对于给定的物体距离,视差与基线长度成正比,基线越长,对距离的计算越精确。但是当基线过长时,需要在相对较大的视觉范围内进行搜索,从而增加计算量。利用多基线立体匹配是消除误匹配、提高视差测量准确性的有效方法之。基线数目的增加可以通过增加相机来实现。

  根据获取图像信息方法的不同,光电3D影像技术分为有源和无源两种技术,无源技术主要是接受物体的辐射或者环境的发射,有源技术是通过投射一束调制的或未调制的光到物体上通过检测物体反射的光来形成3D图像。

  以前大多数技术研究集中在无源3D技术上,利用三角测量原理,通过两台相距一定距离的照相机,左边照相机产生的图像表示深度信息,右边照相机产生差异的二维图像。关键是产生深度信息的照相机需要分离出深度信息。无源3D影像技术需要拍摄的物体具有突出的轮廓特点,比如边缘、角、线等。其优点是不需要特殊的硬件条件,并成功使用在好几个方面。这种技术的缺点是需要两台或者更多的高质量的照相机、图像处理软件。图像质量、拍照速度、数据传输等都是这种机制能否被广泛应用的限制因素。

  有源3D光电图像方法是投射一束有规律的空间分布的线状光到物体上从而产生一个网状格的深度。广泛使用的有源光方法是飞行时间(time off light)方法,最近几年,市场上出现的3D照相机都是基于飞行时间方法,这些3D照相机主要应用于工业控制。SwissRanger3000照相机是最近应用这种技术的产品,通过飞行时间方法检测相位来实现3D影像。一束几十兆赫兹被调制的近红外光照射到物体上,物体反射的光进入3D照相机,由于立体物体的远近距离不同,反射光的相位存在一个延迟,通过检测原始光束以及反射光束的相位延迟从而检测出物体的景深,从而实现3D图像。这种3D图像传感器的制作由ZMD公司完成,ZMD公司根据3D图像传感器需要高速的特点从噪声和速度进行工艺优化,响应速度可以到100MHz以上。

  不管是多个照相机形成的3D无源影像技术,还是以飞行时间方为原理的有源3D影像技术,整个系统的价格都很高、功耗大、需要复杂的校正软件。在有源3D影像技术中可以获得高精度的3D图像,但是要求传感器的工作响应速度很高,在现有技术情况下,不得不降低图像的分辨率。目前研究3D影像技术主要集中在基于CCD或者CMOS图像传感器的3D实现方法、图像处理和显示的研究,真正开展视觉传感器研究的很少。

  一种新的3D视觉图像传感器技术,可以单芯片实现3D拍照的功能,同时可以输出2D的影像,并输出高分辨率的3D图像。这种图像传感器技术并不需要额外的有源光照,通过电子快门控制曝光时间,获得高速的视频图像,通过自动对焦处理,形成景深影像。这种3D传感器技术很适合于低价格、小型化的视觉应用系统,比如手机等多媒体应用。

  该系统由两部分构成,3DCMOS图像传感器以及可变焦的液体镜头两部分构成,其中3DCMOS图像传感器集成光电转变电路、低噪声读出电路、噪声抑制电路、可编程放大电路、模数转换器电路、曝光控制电路、坏像素纠正电路、彩色空间转换电路、自动白平衡电路以及多媒体图像信号处理电路等功能。

  图1是传统2D与提出的3D拍照图像传感器芯片与系统,图1(a)是传统2D拍照图像传感器芯片与系统,图中主要包括2DCMOS图像传感器芯片和定焦镜头,当拍照的时候,物体上所有的像素点都映射到AA平面上,因此系统拍照得到的是一个2维图像。图2(b)是提出的3D拍照图像传感器芯片与系统,图中主要包括3DCMOS图像传感器芯片和液体变焦镜头。其中3DCMOS图像传感器芯片的特点是响应速度快、动态范围高、具有焦距判断、输出控制信号改变液态镜头的功能。液态变焦镜头是近两年发展起来的新型变焦镜头,通过改变施加在液体上的电压而改变焦距,比如拍照AA平面时,液体变焦镜头的形状如图中的实线所示,如果拍照BB平面时,液体变焦镜头的形状如图中的虚线;平面之间可以拍照多幅图像,分析这些图像的轮廓并合成这些图像的边缘,就可以得到一幅完整的3D图像。这种3D拍照图像传感器系统具有分辨率高,根据预设拍照的照片个数的多少而得到更精确的景深照片。与传统的光学变焦镜头相比,这种液体变焦镜头的优势是响应快、变焦快,适合于快速变焦的应用场合。

  图2是3DCMOS图像传感器芯片的示意图,图中的像素单元电路具有灵敏度高、暗电流小、噪声低等优点,行译码电路和列译码电路在时序控制电路的控制下产生像素阵列工作的时序,噪声抑制电路消除信号通路带来的噪声,经过模数转换器将模拟信号转换为数字信号,并输给逻辑产生与数字信号处理电路,逻辑产生与数字信号处理电路产生控制信号控制感光阵列的曝光时间,并集成白平衡处理、彩色差值、焦距判断、轮廓提取等功能。其中模数转换器是多分辨率的模数转换器,在拍照2D图像时输出10bit的数据,当拍照3D图像时,仅仅输出二值化的图像信息。同时电路可以集成电源管理、锁相环电路模块、I2C控制总线,这正是CMOS图像传感器的优势所在(与CCD图像传感器相比,CCD不能单芯片集成)。

  图3表示3DCMOS图像传感器芯片及系统工作的时序图,其中长曝光时间拍摄的是正常的2D图像,后续短曝光拍摄的是景深图像,从AA到BB平面可以连续自动拍照,从而产生合成3D影像的景深图像。当3DCMOS图像传感器芯片工作于2D图像拍照模式时,模数转换器输出10位的数据给数字信号图像处理模块,当3D CMOS图像传感器芯片工作于3D图像拍照模式,模数转换器输出二值化的图像信息,因此3D CMOS图像传感器芯片可以工作于高速拍照的模式,从而获得高速视频信息。

  图4是法国Varioptic公司的液体变焦镜头示意图。液体变焦镜头由法国Varioptic发明,其原理是将两种液体固定在不同的容器中,再它们之间加装一个金属电极,电极中间注入导电液体,当施加在电极上的电压发生改变时,容器中的具有极性的水分子发生漂移,从是两种液体容器中的液体形状发生改变,根据变形的程度来改变焦距。最大特色是其具备几乎是无限宽广的变焦范围,更快反映速度及更出色光学性能,可以应用在可拍照手机、数码相机以及PDA等等设备上。其电压控制信号由3D CMOS图像传感器芯片可编程提供或者自动等间距提供。

  3D新影像技术的关键技术之一的视觉图像摄取器件的原理和实现方法。与传统的3D视觉传感器技术相比,具有结构简单、实现方便、价格低廉的优点,便于便携式多媒体设备的应用,可以弥补目前3D传感装置的缺点。

  制造业的未来是智能化,智能化的基础就是传感器;互联网的方向是物联网,物联网的基石也是传感器;

  文章出处:【微信号:WW_CGQJS,微信公众号:传感器技术】欢迎添加关注!文章转载请注明出处。

  HFY系列在线原油含水分析系统集自动化传感技术、安全防爆技术与计算机信息软件处理技术于一体的智能型综....

  随着科技和工业的不断发展,机器人技术日渐成熟,而码垛机器人在各行各业中也起着更加重要的作用。由于今年....

  3D视觉感知创新平台以“人工智能+3D视觉感知+数据”为核心,主要聚焦3D视觉感知底层基础技术、关键....

  Jennifer Zhao荣获Questex“传感器创新周”的“年度女性”奖

  艾迈斯半导体首席执行官Alexander Everke表示:“Jennifer女士在Questex被....

  英飞凌认为,更广泛地使用ToF传感器的某些挑战将通过其最新的技术解决。与需要提升测量距离或大幅增加功....

  Draper医疗技术和分析部门的主管Jesse Wheeler说:“传统的心电图(ECG)系统可能会....

  要谈3D视觉应用方案,就必须先弄清楚光学测量分类以及其原理。光学测量分为主动测距法和被动测距法。 主动测距方法的基...

  苹果新款MacBook申请Touch Bar专利:支持Force Touch触摸传感技术

  据外媒 9to5Mac 报道,美国专利商标局今天公布了一项新的专利申请,显示了与现有 Touch B....

  基于欧菲光领先的技术,米家扫拖机器人1T通过搭载应用于无人驾驶领域的ToF 3D测距避障技术,利用前....

  国家技术标准创新基地(重庆)理事长范荣妹介绍说,国家技术标准创新基地是综合性的基地,不仅有利于我们技....

  工业自动化和物流自动化已成为机器人重要的应用场景。近年来,3D视觉、AI技术与工业机器人相结合,在物....

  近几年,随着农业发展越来越快,人们的生活品质也逐渐提高,为深入推进控药减害行动,减少农药使用量,降低....

  瑞萨电子汽车数字产品营销事业部副总裁吉田直树表示:“在主动安全和自动驾驶应用中,DSP是处理和细分车....

  ams光谱传感技术助光学测量技术公司实现COVID-19(SARS-CoV-2)快速专业检测

  PCR(聚合酶链反应)检测是目前进行的大多数基因检测的基础,也是目前最常用的COVID-19 (SA....

  奥比中光成立于2013年1月,是一家以AI 3D传感技术为核心的科技创新型企业。在奥比中光最初成立时....

  机器视觉 3D视觉检测案例分享外观检测 现今,药机企业所生产的整机或生产线,是由成千上万种零部件组装....

  随着信息化技术和工业化技术的不断结合,机器人相关的智能产业正在飞速发展。机器人的使用领域逐渐从机械零....

  随着自动化、智能化的发展,全球机器视觉产业正处于高速增长期。高工机器人产业研究所(GGII)数据显示....

  10月30日,在世界顶尖科学家论坛上,1987年诺贝尔化学奖得主让-马里莱恩称赞柔宇推出的柔性显示技....

  10月24日,第四届全球程序员节在西安高新国际会议中心正式开幕,作为全球程序员关注的焦点,本届全球程....

  物联网及传感技术的发展推动了农业现代化技术的进步。将传感技术应用在农作物的育苗、生长、收获及储藏等环....

  众所周知,像AppleWatch这样的现代可穿戴设备通过使用陀螺仪和加速计等传感器来检测手部动作,当....

  量子科技在未来不但使我们计算机的计算能力提高,通信更快,还有传感技术更灵敏,信息精度越来越精确,这些....

  10月14日,奥比中光创始人、CEO黄源浩参加深圳特区40周年庆祝大会,并获评创新创业人物和先进模范....

  LeddarTech是一家总部位于加拿大传感技术企业,专门开发用于ADAS(高级驾驶辅助系统)和AV....

  消防,是我们社会生产、生活、发展中不可缺少的安全基础保障,处处不可缺,但是在消防工作的日常火灾防患,....

  TE Connectivity亮相2020中国(上海)国际传感器技术与应用展览会

  展会首日,TE传感器事业部亚太区高级总监刘能泉博士出席“‘新基建’、‘新智联’开启交通新时代”产业交....

  9月24日,在以“3D视觉技术与应用”为主题的第三十届“微言大义”研讨会上,奥比中光副总裁陈挚博士受....

  芯奥微经过近几年的技术累计与沉淀,培养了一支年轻有活力的高素质人才团队,目前的团队主要都是来自于业内....

  目前,高端装备及先进传感技术的研究进展有航空发动机的高温测量、MEMS执行器在火工品中的应用、传感技....

  视比特创立于2018年8月,是一家深度融合“3D视觉感知与机器人柔性控制交互技术、3D数字孪生与工业....

  受邀参展的新成员汉振智能,作为一家以人工智能及3D机器视觉技术为核心的高科技企业,携全新3D相机与3....

  如本科技CTO邱强表示,现阶段工业机器人在整个自动化行业普及率并不高。据CRIA统计与IFR初步汇总....

  自适应机器人的核心特色之一为全手臂高精度、高响应的复合力控技术。自适应机器人拂晓具备7个自由度,每个....

  在消费电子领域,3D成像和传感模组主要有三大类:立体视觉、结构光、飞行时间(ToF)。但是在智能手机....

  任伟介绍,该技术最早主要计划应用于燃煤发电,可有效节省成本,助电厂达到环保部门超排放标准。惟疫情发生....

  目前的近红外传感器使用的是硅之类的宽带吸收材料,或者是InGaAs之类的材料组合,这些传感器需要一个....

  城市排水管网流量在线监测系统是以流量监测仪器为核心,运用现代传感技术、自动测量、自动控制技术、计算机....

  从中国电子学会获悉,中国服务机器人市场已占全球市场1/4以上,2020年我国服务机器人市场规模有望突....

  随着现在对精确度和自动化的要求越来越高3D机器视觉变得更受欢迎。业界认为2D向3D的转变将成为继黑白....

  五大模块构筑机器视觉系统:按照信号的流动顺序,机器视觉系统主要包括光学 成像、图像传感器、图像处理、....

  在传统制造行业,作为最基础加工工序流程的抛光打磨所需成本占到总成本的20%左右。由于劳动力成本上升,....

  电子发烧友网报道(文/李弯弯)由于比2D更精准、更安全,3D视觉逐渐在一些行业中得到应用,不过新技术....

  号外、号外、号外, 英飞凌电源与传感系统云端大会 启动啦~ 9月7日-11日, 两岸三地、专家携手,....

  重庆(国际)智能传感技术创新联盟8月31日在重庆北碚区授牌成立。联盟首批联合重庆市内外智能传感器研究....

  消防保障了我们的日常生活与社会生产的发展,处处不可缺。但在消防工作的日常火灾防患,消防设施的日常巡检....

  几乎与他们创业的脚步同步,2017年8月,睿熙科技就获得舜宇V基金天使轮融资,次年8月获得达晨、天创....

  智能库房依据工器具属性、存放环境要求、使用情况,设计相应工具存放区,配备智能交互操作台、轨道式机器人....

  在左上角有一张关于斯坦福大学寝室的图片,我们可以将其转化为右上角的深度图,其中深度图当中不同的颜色表....

  8power由剑桥大学微系统技术教授Ashwin Seshia等人于2015年1月共同创立,致力于基....

  据郏县烟草分公司技术推广站主任刘迎昌介绍,今年郏县将安装烟草烤烟物联网设备2700套,通过智能手机借....

  在汽车领域中,磁传感器是一种看不见但又不可或缺的技术,它能使从转弯信号到点火定时的一切都成为可能。 ...

  人的血压心率,通过手环上的那种光电传感器就可以测得。宠物一般有皮毛阻挡,他们的心率如何测呢,大家有没有什么想法...

  转自:红外额温枪Forehead Thermometer 新冠肺炎的突然爆发,给全球数个产业链的...

  随着信息技术的普及,红外探测技术取得了迅速的发展,并广泛应用于夜视仪、报警、医疗和自动控制等领域。在红外探测系统中,红外...

  1、非接触加热,不能吹风,有哪些办法? 2、目前找到的两种是远红外加热和微波加热 3、还有哪些其他办法不? ...

  这是我在网上找的一些资料,不知道有哪位知道更加详细的技术文章推荐一下,想设计一款安全氧气浓度报警的仪表,方便补充完整。 ...

  本文介绍如何在ME300B单片机开发系统(参考本报2005年第24期《编程、食盐、仿真、ISP四合一单片机学习开发系统ME300B》...

  这段时间以来,最热的话题莫过于iPhone X的Face ID,关于用它刷脸的段子更是满天飞。其实iPhone X 实现3D视觉刷脸是采用...

  1 引 言 传感技术与RFID的融合运用还刚刚起步,中国作为世界的制造业大国与消费大国之一,应牢牢抓住这一机遇,自主探索,...


北京快乐8
Copyright © 2018 北京快乐8 All Rights Reservrd 版权所有 技术支持:捷搜网络
网站部分图片来自互联网,如有侵权,请及时通知,我们会及时更换!