基于双目立体视觉的视障辅助系统设计_王涛.pdf

|21电子电路设计与方案0 引言20 世纪 80 年代美国麻省理工学院的 Marr1 发明了一个基于双眼颜色匹配原理的视觉设计概念，将二个有视差的平面图进行处理后可以形成有深度的立体图像，并以此进行了三维重建2。与透镜板三维图像、投射式显示器、全息照相科技等其他三维重建技术比较，双目立体视觉能够模仿人体眼睛来处理待测的障碍物，更加直观简单，使用前景范围也更加广泛。美国波古顿汽车有限公司开发研制的采用立体可视导航技术的仿生型四脚摄像机 Big Dog3，其人工智能手段有助于认识周边情况，并通过收集不同车辆的位置数据实现移动和避障。美国华盛顿学院和微软集团共同开发的宽基线立体视觉科技，使“探索者”号能够在火星上实现更精准的定向和导航。哈尔滨工业大学的高庆吉4 教授等人研制的异构双目视觉科技，使自动化摄像机能够同时捕获多种有效目标，从而完成了对足球摄像机的完全主动导航。中国科学院自动化研究所研发了一种自主移动机器人，通过对环境的影像拍摄和立体匹配，可以获取相应距离和高度数据，从而为自己的活动提供指引。南京航空航天大学的张凤静5等通过双目立体视觉计算了汽车的车距，并通过汽车分别在前后镜头抓拍的画面上的位置计算得到了汽车与相机之间的距离位置。20 世纪 70 年代 Paul6等人制造出了一套触觉的视觉替代装置，它包含：可以自动聚焦的摄像头、作用在背面的机械激发电磁阀和能够将数据信息转换为相应电信号的数字转换阵列通过增强的集成电路连接到电极。测试数据表明，测试仪可以感觉到给出的最简单地显示图像，识别单色线的移动位置，甚至通过转动聚焦方法（例如人眼）和锁定长线段的移动位置来自主对焦。20 世纪 90 年代 Kurt7等设计出根据指尖的四十九点电刺激替代系统，并做了指尖的电触觉显示试验，结果表明指尖拥有除舌头外最佳的感觉。20 世纪 90 年代 Paul8等人基于舌头的 49 点电触觉阵列上模式识别的早期试验。结论表明，舌头的电触摸效果比所有模式中的指尖电触摸都要好，不仅舌头的操作电压为 515V（只有 3的指尖电压），而且电流只需要 1.612mA。同时，验证了通过舌头用点刺激代替盲人的感觉技术的有效性。20 世纪初，名为 BrainPort9的可以通过舌头的电刺激触觉的新技术出现了。它由邮票形状，数码相机和传感器形状的电子刺激场组成，并带有控制器的控制器，可调节变焦和镜头对比度。像素刺激的灰度中的黑白像素，且灰色值能够自主调节。这种转置技术已经进入了临床实践中。在 2006 年，日本正在研究基于前额的触觉替代技术1012。这个装置由一个特别微小的摄像头和一个拥有512个电极的阵列组成，系统每 33ms 抓取一次照相机的图像，将其转化成 256 个色阶的灰阶图像，然后再利用高斯函数的拉普拉斯滤波的方法把图像压缩，最后再将其二值化并处理成黑白底片成像。同时期帅立国13等提出这种采用水喷射的触觉图文表示信息技术。2008年，开发基于射流式刺激的图文显示装置1416。2009 年，中国的东南大学帅立国1718等发表一种穿戴式盲教设备。2008 年，柴新禹19等申报采用电激发的触觉视觉替代控制系统发明专利。推出了 256 个点通过对手指的电刺激的触觉替代系统20。图像收集单元将收集的文本和图形信号传送到图像处理单元；图像处理单元则将收集的图像经过简化、增强、解码等技术处理，转换为电信号传送给刺激器；刺激器通过刺激信息的控制，形成了多路激励脉冲作用于手指上。该操作系统文字识别效率受限，需要更进一步地改善。综上所述，本系统的成功研制，将能够做到部分甚至完全替代导盲犬的任务，为更多申请不到导盲犬的视障人士提供服务，帮助视障人士更好地感知周围的世界，并且电子设备不会存在导盲犬的一些生理问题，更加方便视障人士的生活。1 系统设计方案本文提出的基于双目立体视觉的视障辅助系统如图 1基于双目立体视觉的视障辅助系统设计王涛，王学（河北工程大学 数理科学与工程学院，河北邯郸，056038）基金项目：国家自然基金资助项目（62175059）；河北省自然科学基金重点资助项目（F2018402285）。摘要：随着立体视觉匹配技术、电触觉技术的发展，基于双目立体视觉的视障辅助系统为视障辅助技术研究提供了新的思路与方法。为了能达到更好的辅助效果，提出了一种基于双目立体视觉技术的视障辅助（电触觉）系统，首先采集双目相机的左右视图，采用张正友标定法对双目相机进行立体标定与校正，经过双目图像立体匹配后获得亚像素级视差图像，利用串口通讯技术，将上位机的视差图像转化为电信号，经过信号放大电路、逐行扫描驱动电路、增压电路、电刺激点电级等电路，调节为适宜皮肤刺激的阵列电信号，从而使盲人或视力障碍人士获得一种类似视觉的触觉体验。关键词：图像处理；双目立体视觉；立体匹配；感觉替代；电触觉；电刺激DOI:10.16589/11-3571/tn.2023.05.01322|电子制作 2023 年 3 月电子电路设计与方案所示。系统由一对双目近红外宽带摄像头、子系统一双目立体视觉成像系统、子系统二视觉触觉视觉替代系统以及电刺激模块组成。使用左右双目摄像头采集双目图像进行标定与校正，并预置标定矩阵。使用时，使用双目摄像头采集双目图像进行立体匹配，获得的视差图像经过压缩编码后，通过串口通信发送给所述子系统二视觉触觉替代系统，该视觉触觉替代系统通过解码子系统已发送的图像信息，在驱动电路的加持下，通过电刺激模块作用于人体皮肤，达到一种类似视觉的触觉体验。本系统采用模块化设计，方便模块更换与维护，降低成本；轻量化模块低压驱动设计易于穿戴。为了具备可穿戴能力，子系统一使用了树莓派平台，子系统二使用了 Arduino 平台。双目近红外宽带能够提供一定的夜视能力，增加了适用场景。具有无侵入性、佩戴方便、使用简单、舒适安全等特点。图 1 系统结构图 1.1 双目立体视觉成像系统子系统一双目立体视觉成像系统基于树莓派 4B+实现如图 2 所示；传感器采用双目近红外宽带摄像头；对于双目摄像头：根据对极几何原理，为了提高传感器的有效范围，综合人的额头宽度数据，我采用了基线距离为 120mm 的双目摄像头；同时为了增加夜视能力，采用了 850nm 红外宽带摄像头，视场角 55，焦距 4.5mm。图 2 双目立体视觉系统针对双目近红外宽带摄像头模块使用张正友标定法21，对双目近红外宽带摄像头模块进行标定，从而分别获得左右摄像头的标定参数；对双目图像进行畸变矫正与极线校正，分别得到径向畸变矩阵、切向畸变矩阵和内参矩阵。将上述标定参数、径向畸变矩阵、切向畸变矩阵和内参矩阵作为所述双目立体视觉成像系统的预置参数，参与成像系统的工作。本文使用 Matlab 的工具箱进行双目近红外宽带摄像头的标定与校正工作，根据参考文献 22 中提出的标定图像的采集数量在大于 13 张时，系统标定误差趋于稳定。本文在标定时，为了降低双目摄像头在各视距范围内的误差，在距离摄像头 0.5m、1m、1.5m、2m、2.5m、3m 的距离分别采集 20 张左右摄像头的图像进行标定，选用的标定板精度为 0.01mm，标定过程如图 3 所示。双目相机标定的全局平均误差降低至 0.1pixel。图 3 标定过程使用双目近红外宽带摄像头模块对周围环境进行图像采集，并将采集到的数字图像传输给所述双目立体视觉成像系统；双目立体视觉成像系统对获得的数字图像进行数字图像信息的预校正和预处理，采用双目立体匹配算法计算目标的深度信息以获得视差图像，并对视差图像进行适当的优化和滤波处理，同时算法采用高效的编码方式，将获得的深度信息通过串口通信技术发送给所述触觉视觉替代系统；基于双目立体视觉的视障辅助系统，包括第四代低电压双倍数据率同步动态随机存取存储器（LPDDR4 SDRAM）、64 位四核高级精简指令集中央处理器（quad-core 64-bit ARM CPU）、第三代通用序列总线（USB 3.0）、数字模拟转换器、微型闪速存储卡（TF 卡）和通用输入输出端口（GPIO），所述双目近红外宽带摄像头模块采集到的双目图像信息通过第三代通用序列总线传输并保存至第四代低电压双倍数据率同步动态随机存取存储器；同时从微型闪速存储卡中将预先内置的标定参数、径向畸变矩阵、切向畸变矩阵和内参矩阵加载到第四代低电压双倍数据率同步动态随机存取存储器；64 位四核高级精简指令集中央处理器读取存放在第四代低电压双倍数据率同步动态随机存取存储器中的双目图像信息和上述预置参数进行视差计算、代价聚合和视差优化，将处理后的视差图像信息保存在第四代低电压双倍数据率同步动态随机存取存储器中，对视差图像信息进行二值图像转换和图像压缩编码，使用通用输入输出端口连接所述视觉触觉替代系统，通过串口通信程序发送给所述的视觉触觉替代系统。双目图像处理程序、双目立体匹配程序和图像压|23电子电路设计与方案缩编码传输程序保存在微型闪速存储卡中。二值图像转换与压缩编码。为了提高传输速率，提高通信线路的有效数据位利用率，因为一个 unsigned char 类型数据能够编码 8 位数据，所以发送端与接收端约定使用unsigned char 类型数据进行位图格式编码。初始化一个全为 1 的矩阵，使用库函数，与原来的 binary 二值图进行按位与操作，得到一个位图。将该位图 resize 为 32*16 的分辨率，并切割为 8*8 的子位图，通过无符号字符类型编码，将子位图按行发送给子系统二视觉触觉替代系统。通信方式是基于树莓派的GPIO引脚与Arduino的引脚进行I2C通信。CD4148WTPD1CD4148WTPD21KR1100R210KR3100KR4AO3160Q1VCCGNDelecDotU111elecDotU211GNDVCCAO3160Q2100KR510KR6100R71KR8CD4148WTPD3CD4148WTPD4CD4148WTPD5CD4148WTPD61KR9100R1010KR11100KR12AO3160Q3VCCGNDelecDotU311elecDotU411GNDVCCAO3160Q4100KR1310KR14100R151KR16CD4148WTPD7CD4148WTPD8CD4148WTPD9CD4148WTPD101KR17100R1810KR19100KR20AO3160Q5VCCGNDelecDotU511elecDotU611GNDVCCAO3160Q6100KR2110KR22100R231KR24CD4148WTPD11CD4148WTPD12CD4148WTPD13CD4148WTPD141KR25100R2610KR27100KR28AO3160Q7VCCGNDelecDotU711elecDotU811GNDVCCAO3160Q8100KR2910KR30100R311KR32CD4148WTPD15CD4148WTPD16CD4148WTPD17CD4148WTPD181KR33100R3410KR35100KR36AO3160Q9VCCGNDelecDotU911elecDotU1011GNDVCCAO3160Q10100KR3710KR38100R391KR40CD4148WTPD19CD4148WTPD20CD4148WTPD21CD4148WTPD221KR41100R4210KR43100KR44AO3160Q11VCCGNDelecDotU1111elecDotU1211GNDVCCAO3160Q12100KR4510KR46100R471KR48CD4148WTPD23CD4148WTPD24CD4148WTPD25CD4148WTPD261KR49100R5010KR51100KR52AO3160Q13VCCGNDelecDotU1311elecDotU1411GNDVCCAO3160Q14100KR5310KR54100R551KR56CD4148WTPD27CD4148WTPD28CD4148WTPD29CD4148WTPD301