A Sim2Real Deep Learning Approach for theTransformation of Images from Multiple Vehicle-Mounted Cam

  • Post author:
  • Post category:其他


IPM变换建立image到BEV平面的映射关系

但是IPM变换的前提假设是世界是一个平坦的平面,但是3D物体是有高度的,或者当路面出现起伏的时候就会违反这一假设,导致出现目标物体的严重形变

所以IPM变换一般只是应用于lane detection或者是free space检测,在这些场景下,地面平整性假设是令人信服的

在本文中,我们提出了一种获取 BEV 图像的方法,该方法不受 IPM 的平坦度假设引入的误差的影响

多个视角图像如果沿着channel维度拼接在一起,那在经过CNN

一.处理遮挡问题

引入额外的一类表示遮挡,在上图里面表示灰色,从车上的几个相机中发出射线,一直到相机视野的边界

  • 一些类别总是会被遮挡,比如building,truc
  • 一些类别从不会被遮挡,比如road
  • cars会被遮挡,除了主车后面更高的trauck和bus
  • 部分被遮挡的objects全部可见
  • objects只有当在所有相机的视野中全都看不到,才会被标记未被遮挡

二.从图像坐标系到路面BEV的变换

矩阵P并不可逆,但是地面平整性假设使得PM整体可逆

三.网络结构



版权声明:本文为bestrivern原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。