张飞软硬开源基于STM32 BLDC直流无刷电机驱动器开发视频套件,👉戳此立抢👈

95zz44

新机器视觉 2019-06-12 09:09 次阅读

机器人研究的核心就是:导航定位、路径规划、避障、多传感器融合。定位技术有几种,不关心,只关心视觉的。视觉技术用到“眼睛”可以分为:单目,双目,多目、RGB-D,后三种可以使图像有深度,这些眼睛亦可称为VO(视觉里程计:单目or立体),维基百科给出的介绍:在机器人和计算机视觉问题中,视觉里程计就是一个通过分析处理相关图像序列来确定机器人的位置和姿态。

当今,由于数字图像处理和计算机视觉技术的迅速发展,越来越多的研究者采用摄像机作为全自主用移动机器人的感知传感器。这主要是因为原来的超声或红外传感器感知信息量有限,鲁棒性差,而视觉系统则可以弥补这些缺点。而现实世界是三维的,而投射于摄像镜头(CCD/CMOS)上的图像则是二维的,视觉处理的最终目的就是要从感知到的二维图像中提取有关的三维世界信息。

系统基本组成:CCD、PCI、PC及其外设等。

CCD/CMOS

一行硅成像元素,在一个衬底上配置光敏元件和电荷转移器件,通过电荷的依次转移,将多个象素的视频信号分时、顺序地取出来,如面阵CCD传感器采集的图像的分辨率可以从32×32到1024×1024像素等。

视频数字信号处理器

图像信号一般是二维信号,一幅图像通常由512×512个像素组成(当然有时也有256×256,或者1024×1024个像素),每个像素有256级灰度,或者是3×8bit,红黄兰16M种颜色,一幅图像就有256KB或者768KB(对于彩色)个数据。为了完成视觉处理的传感、预处理、分割、描述、识别和解释,上述前几项主要完成的数学运算可归纳为:

(1)点处理常用于对比度增强、密度非线性较正、阈值处理、伪彩色处理等。每个像素的输入数据经过一定关系映射成像素的输出数据,例如对数变换可实现暗区对比度扩张。

(2)二维卷积的运算常用于图像平滑、尖锐化、轮廓增强、空间滤波、标准模板匹配计算等。若用M×M卷积核矩阵对整幅图像进行卷积时,要得到每个像素的输出结果就需要作M2次乘法和(M2-1)次加法,由于图像像素一般很多,即使用较小的卷积和,也需要进行大量的乘加运算和访问存储器

(3)二维正交变换常用二维正交变换有FFT、Walsh、Haar和K-L变换等,常用于图像增强、复原、二维滤波、数据压缩等。

(4)坐标变换常用于图像的放大缩小、旋转、移动、配准、几何校正和由摄影值重建图像等。

(5)量计算如计算密度直方图分布、平均值和协方差矩阵等。在进行直方图均衡器化、面积计算、分类和K-L变换时,常常要进行这些量计算。

视觉导航定位系统的工作原理

简单说来就是对机器人周边的环境进行光学处理,先用摄像头进行图像信息采集,将采集的信息进行压缩,然后将它反馈到一个由神经网络和学方法构成的学习子系统,再由学习子系统将采集到的图像信息和机器人的实际位置联系起来,完成机器人的自主导航定位功能。

1)摄像头标定算法:2D-3D映射求参。

传统摄像机标定主要有 Faugeras 标定法、Tscai 两步法、直接线性变换方法、张正友平面标定法和 Weng迭代法。自标定包括基于 Kruppa 方程自标定法、分层逐步自标定法、基于绝对二次曲面的自标定法和 Pollefeys 的模约束法。视觉标定有马颂德的三正交平移法、李华的平面正交标定法和 Hartley 旋转求内参数标定法。

2)机器视觉与图像处理:

a.预处理:灰化、降噪、滤波、二值化、边缘检测。。。

b.特征提取:特征空间到参数空间映射。算法有HOUGH、SIFT、SURF

c.图像分割:RGB-HIS。

d.图像描述识别

3)定位算法:基于滤波器的定位算法主要有KF、SEIF、PF、EKF、UKF等。

也可以使用单目视觉和里程计融合的方法。以里程计读数作为辅助信息,利用三角法计算特征点在当前机器人坐标系中的坐标位置,这里的三维坐标计算需要在延迟一个时间步的基础上进行。根据特征点在当前摄像头坐标系中的三维坐标以及它在地图中的世界坐标,来估计摄像头在世界坐标系中的位姿。这种降低了传感器成本,消除了里程计的累积误差,使得定位的结果更加精确。此外,相对于立体视觉中摄像机间的标定,这种方法只需对摄像机内参数进行标定,提高了系统的效率。

定位算法基本过程:

简单的算法过程,可基于OpenCV进行简单实现。

输入

通过摄像头获取的视频流(主要为灰度图像,stereo VO中图像既可以是彩色的,也可以是灰度的 ),记录摄像头在t和t+1时刻获得的图像为It和It+1,相机的内参,通过相机标定获得,可以通过matlab或者opencv计算为固定量。

输出

计算每一帧相机的位置+姿态

基本过程

● 获得图像It,It+1

● 对获得图像进行畸变处理

● 通过FAST算法对图像It进行特征检测,通过KLT算法跟踪这些特征到图像It+1中,如果跟踪特征有所丢失,特征数小于某个阈值,则重新进行特征检测

● 通过带RANSAC的5点算法来估计两幅图像的本质矩阵

● 通过计算的本质矩阵进行估计R,t

● 对尺度信息进行估计,最终确定旋转矩阵和平移向量

原文标题:机器人视觉系统组成及定位算法(难得的好资料)

文章出处:【微信号:vision263com,微信公众号:新机器视觉】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
分享:

评论

相关推荐

让机器“看见”—计算机视觉入门及实战

直播主题及亮点本次直播,讲者将结合自己过去16年中在机器视觉领域的研发经验,讲解智能视频分析技术的基本概念、基本方法、以
发表于 07-19 00:00 13939次 阅读
让机器“看见”—计算机视觉入门及实战

让机器“看见”—计算机视觉入门及实战

直播主题及亮点本次直播,讲者将结合自己过去16年中在机器视觉领域的研发经验,讲解智能视频分析技术的基本概念、基本方法、以
发表于 07-19 00:00 13939次 阅读
让机器“看见”—计算机视觉入门及实战

工业4.0离不开智能视觉技术 相当于人类视觉在机器上的延伸

基于计算机视觉与深度学习的人脸检测、人脸识别技术正在从安防、商业、金融、家居等各个领域不断迅速地、广....
的头像 Thundersoft中科创达 发表于 06-19 17:23 9次 阅读
工业4.0离不开智能视觉技术 相当于人类视觉在机器上的延伸

LCD屏下指纹量产在即 阜时科技携手华中科大成立实验室

近日,由华中科技大学、深圳阜时科技有限公司主办的“芯时代、芯征程、芯机遇”人工智能与机器视觉高峰论坛....
的头像 第一手机界 发表于 06-19 16:23 29次 阅读
LCD屏下指纹量产在即 阜时科技携手华中科大成立实验室

解析连接器制造过程的四个阶段

电子连接器种类繁多,但制造过程是基本一致的,一般可分为下面四个阶段:冲压(Stamping),电镀(....
发表于 06-19 11:11 17次 阅读
解析连接器制造过程的四个阶段

麻省理工学院开发了一种更好的机器人预测人类运动的新方法

人类和机器人一起工作对工厂和建筑工地等环境有着巨大的潜力,但机器人对人也有着高度的潜在危险,尤其是当....
的头像 新机器视觉 发表于 06-19 08:56 131次 阅读
麻省理工学院开发了一种更好的机器人预测人类运动的新方法

决定机器视觉的两大要素 国内外视觉芯片市场及发展前景

机器视觉之于人工智能等同于视觉之于人类,本文系统介绍决定机器视觉的两大要素——视觉算法和芯片,重点介....
的头像 新机器视觉 发表于 06-19 08:52 161次 阅读
决定机器视觉的两大要素 国内外视觉芯片市场及发展前景

图像读取:机器视觉处理的测试程序

在机器视觉处理中,我们经常要对检测到的物体的方位特征进行评估。比如说,我们要 OCR 识别一个字符串。那么这个字符串与x轴的...
发表于 06-19 08:30 111次 阅读
图像读取:机器视觉处理的测试程序

机器视觉之ICP算法和RANSAC算法

临时研究了下机器视觉两个基本算法的算法原理 ,可能有理解错误的地方,希望发现了告诉我一下 主要是了解思想,就不写具体的计算...
发表于 06-19 08:00 84次 阅读
机器视觉之ICP算法和RANSAC算法

基于机器视觉的自动插件系统

本系统搭建了基于单目视觉的SCARA机器人硬件平台,并使用圆形供料盘混合投放多种颜色的保险片,利用CCD摄像机获取保险片...
发表于 06-19 06:30 94次 阅读
基于机器视觉的自动插件系统

机器视觉中的光源照明技术及其图像处理

一、机器视觉光源照明技术的几个要素 1、方向:选择不同的光源,控制和调节照射到物体上的入射光的方向是机器视觉系统设计的最...
发表于 06-19 06:00 98次 阅读
机器视觉中的光源照明技术及其图像处理

物联赋能智能制造 移动创造价值

海康机器人华南区总经理陈少俊在会议上做了《物联赋能智能制造,移动创造价值》为主题的演讲。
的头像 高工机器人 发表于 06-18 09:25 302次 阅读
物联赋能智能制造 移动创造价值

机器视觉之于人工智能等同于视觉之于人类

机器视觉之于人工智能等同于视觉之于人类,本文系统介绍决定机器视觉的两大要素——视觉算法和芯片,重点介....
的头像 机器视觉 发表于 06-18 09:08 464次 阅读
机器视觉之于人工智能等同于视觉之于人类

以后不用学习拍照技术了实时在线AI构图模型VPN让你变身摄影大神

当我们看到好看的风景,有趣的小东西,可口的菜肴,可爱的小狗,我们喜欢掏出兜里的手机拍一张照。但是对着....
的头像 AI科技大本营 发表于 06-16 10:35 471次 阅读
以后不用学习拍照技术了实时在线AI构图模型VPN让你变身摄影大神

机器视觉的图像二值化详细分析

传统的机器视觉通常包括两个步骤——预处理和物体检测。而沟通二者的桥梁则是图像分割(Image Seg....
的头像 新机器视觉 发表于 06-16 09:22 296次 阅读
机器视觉的图像二值化详细分析

工业相机如何如何消除表面的干扰实现稳定检测

使用新开发的超高速相机和超高速部分亮灯照明,对对象工件进行拍摄。这是一种全新的拍摄方法,它将对多个方....
的头像 新机器视觉 发表于 06-16 09:08 238次 阅读
工业相机如何如何消除表面的干扰实现稳定检测

医疗保健的RFID解决方案

改善患者护理并降低成本在过去十年中,RFID已成为医疗保健系统和患者体验中不可或缺的一部分。
的头像 RFID头条 发表于 06-14 10:38 360次 阅读
医疗保健的RFID解决方案

大规模变革浪潮已开启 MWC上海展示中国领先AI实力

数据显示,2018年人工智能(AI)领域的全球融资高达200亿美元,这不仅是AI领域的历史最高水平,....
的头像 C114通信网 发表于 06-13 17:24 500次 阅读
大规模变革浪潮已开启 MWC上海展示中国领先AI实力

干货 | 单镜头视觉系统检测车辆的测距方法

以前提过单目测距的问题,检测的障碍物2-D框加上摄像头的姿态和路面假设。
的头像 新机器视觉 发表于 06-13 17:19 235次 阅读
干货 | 单镜头视觉系统检测车辆的测距方法

浅谈UWB室内无线定位技术

随着无线通信技术的发展和数据处理能力的提高,基于位置的服务成为最有前途的互联网业务之一。无论移动在室....
发表于 06-13 10:49 159次 阅读
浅谈UWB室内无线定位技术

计算机视觉的应用服务于机器学习 各个环节缺一不可相辅相成

要实现计算机视觉必须有图像处理的帮助,而图像处理倚仗与模式识别的有效运用,而模式识别是人工智能领域的....
的头像 新机器视觉 发表于 06-13 09:01 277次 阅读
计算机视觉的应用服务于机器学习 各个环节缺一不可相辅相成

3D视觉检测的未来 光度立体技术

利用3D表面定向,特别是它对反射光的影响,工业应用的光度立体产生对比度图像,突出了局部3D表面变化。
的头像 新机器视觉 发表于 06-13 08:56 244次 阅读
3D视觉检测的未来 光度立体技术

Labview基于机器视觉与运动控制的工业自动化

发表于 06-13 06:30 299次 阅读
Labview基于机器视觉与运动控制的工业自动化

基于OpenCV3.0的BM、SGBM和GC算法对比

基于OpenCV3.0,对BM、SGBM和GC算法进行了对比测试研究。由于SGBM算法视差效果好速度....
的头像 机器视觉 发表于 06-12 15:10 253次 阅读
基于OpenCV3.0的BM、SGBM和GC算法对比

智能机器人视觉传感器的技术和应用

关于机器人视觉传感器传感技术是现金机器人的三大要素(感知、决策和动作)之一,工业机器人根据完成的任务....
的头像 电机控制设计加油站 发表于 06-11 10:59 498次 阅读
智能机器人视觉传感器的技术和应用

AI更爱识别有钱人 准确率高出20%!

Facebook的研究表明,AI对物体并非无差异识别,计算机视觉系统能更加高效地识别更贵的家庭物体。
的头像 人工智能观察 发表于 06-11 10:12 393次 阅读
AI更爱识别有钱人 准确率高出20%!

汽车行业人工智能应用现状及展望

面对日益激烈的竞争,汽车行业希望借助人工智能技术降低成本,增强竞争力。本文从技术、场景、应用案例等角....
的头像 墨记 发表于 06-11 09:43 1488次 阅读
汽车行业人工智能应用现状及展望

卷积学习与图像识别的技术发展

自20世纪80年代兴起的神经网络热潮已经退去,神经网络再次成为常规科学。托马斯·库恩(Thomas ....
的头像 新机器视觉 发表于 06-11 09:08 224次 阅读
卷积学习与图像识别的技术发展

机器视觉中图像前置知识颜色模型的分类与应用

RGB颜色模型(也叫红、绿、蓝三原色模型或者加色混色模型):将红、绿、蓝3种不同颜色,根据亮度配比的....
的头像 新机器视觉 发表于 06-11 09:02 212次 阅读
机器视觉中图像前置知识颜色模型的分类与应用

智能制造浪潮下 机器视觉产业迎来春天

机器视觉在未来的智能工厂中发挥着关键作用,未来自动化生产线将能够自我调整,以最大限度地提高质量、产量....
的头像 新机器视觉 发表于 06-11 08:56 413次 阅读
智能制造浪潮下 机器视觉产业迎来春天

智能小车进行避障的详细资料说明如何让小车看到障碍物

本文档的主要内容详细介绍的是智能小车进行避障的详细资料说明机器视觉中最接近人眼的莫过于摄像头了,可图....
发表于 06-10 17:52 79次 阅读
智能小车进行避障的详细资料说明如何让小车看到障碍物

工业视觉控制器的工作原理

机器视觉在自动化测量系统中的应用日益普及。其原因是越来越名的信息需要从相机中提取,而不是从一个专用传....
发表于 06-10 17:15 152次 阅读
工业视觉控制器的工作原理

视觉导航定位系统的工作原理

机器人研究的核心就是:导航定位、路径规划、避障、多传感器融合。
的头像 电子发烧友网 发表于 06-10 14:17 293次 阅读
视觉导航定位系统的工作原理

图书生产缺陷控制居然因为它 得到了有效控制!

视觉检测技术综合了机械、电子、光学、计算机等方面的技术,涉及到计算机、图像处理、模式识别、人工智能、....
的头像 机器视觉自动化 发表于 06-10 09:06 343次 阅读
图书生产缺陷控制居然因为它 得到了有效控制!

机器人视觉系统组成及定位算法分析

1.机器人视觉 机器人研究的核心就是:导航定位、路径规划、避障、多传感器融合。定位技术有几种,不关心,只关心视觉的。视觉...
发表于 06-08 08:30 169次 阅读
机器人视觉系统组成及定位算法分析

计算机视觉必读:区分目标跟踪、网络压缩、图像分类、人脸识别

深度学习目前已成为发展最快、最令人兴奋的机器学习领域之一。本文以计算机视觉的重要概念为线索,介绍深度学习在计算机视觉任务...
发表于 06-08 08:00 157次 阅读
计算机视觉必读:区分目标跟踪、网络压缩、图像分类、人脸识别

关于机器视觉金属探头检测的案例

“ “十三五”规划的出台,明确把机器人产业作为我国工业发展的重点方向,推动机器换人,加快企业转型升级....
的头像 电子发烧友网 发表于 06-06 15:36 678次 阅读
关于机器视觉金属探头检测的案例

关于机器视觉系统的设计要点

机器视觉在中国的发展已有十余个年头。过去十年是机器视觉产业在中国市场发展最快的十年,经过一定时期的普....
的头像 电子发烧友网 发表于 06-06 15:33 2557次 阅读
关于机器视觉系统的设计要点

FANUC分拣机器人:能实时识别上百种材料,效率惊人!

你担心早晚有一日机器人会抢了你的工作吗?
的头像 机器人博览 发表于 06-05 17:27 776次 阅读
FANUC分拣机器人:能实时识别上百种材料,效率惊人!

MIT分拣机器人:手替眼判断更精确,效率惊人

你担心早晚有一日机器人会抢了你的工作吗?
的头像 机器人博览 发表于 06-05 17:27 791次 阅读
MIT分拣机器人:手替眼判断更精确,效率惊人

千方科技开盘涨停 阿里入股近36亿元

近日,北京千方科技股份有限公司(以下简称“千方科技”)开盘涨停,而该公司股票涨停于一则公告有关。
的头像 摄像头观察 发表于 06-05 16:45 1098次 阅读
千方科技开盘涨停 阿里入股近36亿元

一文看懂颜色模型和信号以及噪声

计算机视觉的主要目标是教会计算机如何去获取图片信息中的知识,例如人脸识别就是让计算机去自动获取与识别....
的头像 传感器技术 发表于 06-05 11:41 426次 阅读
一文看懂颜色模型和信号以及噪声

华为以近5000万美元收购vocord 此次收购或是替代方案下的产物

作为实力雄厚迅速向海外扩张的中国科技企业,华为成为美国重点打击对象,不过华为并没有因为打压而停止技术....
的头像 摄像头观察 发表于 06-05 09:00 702次 阅读
华为以近5000万美元收购vocord 此次收购或是替代方案下的产物

机器人视觉存在的问题及研究方向

到现在为止,机器人视觉系统已经经历了三代的发展,从第一代的按规定流程对图像进行处理并输出结果,到第二....
的头像 机器人博览 发表于 06-04 10:35 432次 阅读
机器人视觉存在的问题及研究方向

机器视觉工程师10个常见的问题

01  应该怎样选择相机?   选择相机却往往刻不容缓的的问题摆在机器视觉工程师面前,因此,选择相机了解以下几个方面问题: ...
发表于 06-04 09:05 167次 阅读
机器视觉工程师10个常见的问题

如何选择合适的机器视觉照明?牢记这八个小技巧

机器视觉系统中的照明系统是极其重要的一部分,它的好坏直接影响着后面的图像处理。在听了一位日本光源专家的讲座之前,我其实对...
发表于 06-04 08:30 139次 阅读
如何选择合适的机器视觉照明?牢记这八个小技巧

基于机器视觉的摄像机标定理论与各种方法分析

机器视觉的基本任务之一是从摄像机获取图像信息并计算三维空间中物体的几何信息,以由此重建和识别物体。而空间物体表面某点的三...
发表于 06-04 08:00 168次 阅读
基于机器视觉的摄像机标定理论与各种方法分析

AI视觉技术从实验室到落地应用,有哪些准入门槛?

大多数人对AI视觉芯片有些误解,认为做图像处理芯片的AI企业就掌握了全部的视觉技术,其实不然。
的头像 两个质子 发表于 06-03 11:50 606次 阅读
AI视觉技术从实验室到落地应用,有哪些准入门槛?

图像处理常用算法

在实际的图像分割中,往往只用到一阶和二阶导数,虽然,原理上,可以用更高阶的导数,但是,因为噪声的影响....
的头像 电子发烧友网工程师 发表于 06-03 09:09 382次 阅读
图像处理常用算法

全新HALCON版本即将发布 让我们来看看有哪些新特征?

最新的HALCON版本19.05于2019年5月底发布。下面,和您分析一下新版本Halcon中的一些....
的头像 电子发烧友网工程师 发表于 06-03 09:03 749次 阅读
全新HALCON版本即将发布 让我们来看看有哪些新特征?

AI能听懂你的情绪了 人机交互会变得更好吗?

慢慢地,简单的对话已经难不倒它。语音助手开始不局限于仅仅是对“文本”的理解,而是加入视觉、听觉等分析....
的头像 电子发烧友网工程师 发表于 06-02 10:22 723次 阅读
AI能听懂你的情绪了 人机交互会变得更好吗?

MVTec发布HALCON新版本 支持ARM平台下深度学习应用程序部署

作为行业领先的现代机器视觉技术供应商,MVTec Software GmbH公司宣布将于近日发布其标....
的头像 电子发烧友网工程师 发表于 06-02 09:47 508次 阅读
MVTec发布HALCON新版本 支持ARM平台下深度学习应用程序部署

机器视觉技术有一大进步谷歌实现了对移动镜头下移动人物的深度预测

人类的视觉神经是一套神奇的系统。作为三维生物的视觉系统,我们可以轻易地把三维空间的二维投影(照片/视....
的头像 电子发烧友网工程师 发表于 06-01 11:35 499次 阅读
机器视觉技术有一大进步谷歌实现了对移动镜头下移动人物的深度预测

相机标定的逻辑和学习资料详细概述

相机标定可以说是计算机视觉/机器视觉的基础,但是初学者不易上手,本文将给读者整理一遍相机标定的逻辑,....
的头像 电子发烧友网工程师 发表于 06-01 09:54 391次 阅读
相机标定的逻辑和学习资料详细概述

机器视觉系统设计5要素

机器视觉在中国的发展已有十余个年头。过去十年是机器视觉产业在中国市场发展最快的十年,经过一定时期的普....
的头像 工业机器人 发表于 05-30 17:42 352次 阅读
机器视觉系统设计5要素

机器视觉系统设计5要素

机器视觉在中国的发展已有十余个年头。过去十年是机器视觉产业在中国市场发展最快的十年,经过一定时期的普....
的头像 工业机器人 发表于 05-30 17:41 406次 阅读
机器视觉系统设计5要素

智能机器视觉赋能零售行业

顾客在收银台买单时,先再屏幕面前刷脸验证会员身份,人脸信息会自动传入收银系统匹配对应的会员信息,店员....
的头像 毒舌科技 发表于 05-30 17:03 448次 阅读
智能机器视觉赋能零售行业

机器视觉赋能零售 刷脸支付或成下一个千亿级风口

顾客在收银台买单时,先再屏幕面前刷脸验证会员身份,人脸信息会自动传入收银系统匹配对应的会员信息,店员....
的头像 毒舌科技 发表于 05-30 17:03 409次 阅读
机器视觉赋能零售 刷脸支付或成下一个千亿级风口

Magik Eye发布简单快捷的3D传感技术 为大众带来不一样的改革

据麦姆斯咨询报道,3D深度传感解决方案开发商Magik Eye近日在2019年嵌入式视觉峰会上展示了....
的头像 电子发烧友网工程师 发表于 05-30 09:32 473次 阅读
Magik Eye发布简单快捷的3D传感技术 为大众带来不一样的改革

科技助力美好生活 华捷艾米亮相2019北京文博会

近日,为期四天的2019年第十四届中国北京国际文化创意产业博览会(简称文博会)在北京国际展览中心隆重....
的头像 电子发烧友网工程师 发表于 05-30 08:39 851次 阅读
科技助力美好生活 华捷艾米亮相2019北京文博会

Vision控件和函数模板及图像处理步骤的详细资料说明

本文档的主要内容详细介绍的是Vision控件和函数模板及图像处理步骤的详细资料说明。Vision 控....
发表于 05-29 08:00 31次 阅读
Vision控件和函数模板及图像处理步骤的详细资料说明

机器视觉来替代人工视觉 提高生产自动化程序

机器视觉系统的特点是提高生产的柔性和自动化程度。在一些不适合于人工作业的危险工作环境或人工视觉难以满....
的头像 电子发烧友网工程师 发表于 05-28 09:31 513次 阅读
机器视觉来替代人工视觉 提高生产自动化程序

九五至尊娱乐官网