无人驾驶过程中，环境感知信息主要有这几部分：
其一：行驶路径上的感知，对于结构化道路需要感知的是行车线，就是我们所说的车道线以及道路的边缘、道路隔离物以及恶劣路况的识别；对非结构道路而言，需要感知的内容会更加复杂。
其二：周边物体感知，就是可能影响车辆通行性、安全性的静态物体和动态物体的识别，包括车辆，行人以及交通标志的识别，包括红绿灯识别和限速牌识别。
对于环境感知所需要的传感器，我们把它分成三类：
• 感知周围物体的传感器，包括激光雷达、摄像头和毫米波雷达这三类；
• 实现无人驾驶汽车定位的传感器，就是 GPS 、IMU 和 Encoder；
• 其他传感器，指的是感知天气情况及温、湿度的传感器。
其中，激光雷达、毫米波雷达和摄像头分别有各自的优缺点。摄像头的优点是成本低廉，支持基于深度学习的类型识别，技术相对比较成熟。摄像头的劣势在于获取准确三维信息非常难（单目摄像头几乎不可能，现在已有部件商提出双目或三目摄像头的方案），同时受环境光限制比较大。毫米波雷达的优点在与测距、测速精度高，耐候性好，适用于ADAS产品的应用，价格相对激光雷达低许多。缺点在于无法完成障碍物的形态识别。激光雷达的优点在于其探测距离较远，而且能够准确获取物体的三维信息；另外它的稳定性相当高，但激光雷达对速度不敏感，且目前成本较高，产品最终形态未确定。
就三种传感器应用特点来讲，摄像头和激光雷达摄像头都可用于进行车道线检测。对于车牌识别以及道路两边限速牌、红绿灯的识别，主要还是用摄像头来完成。如果对障碍物的识别，摄像头可以通过深度学习把障碍物进行细致分类，激光雷达只能分一些大类，但能完成对物体距离的准确定位，毫米波雷达则完成障碍物运动速度、方位等识别。
摄像头在无人驾驶车辆中的应用
1、车道线检测：第一步，需要对获取到的图片预处理，拿到原始图像后，先通过处理变成一张灰度图，然后做图像增强；第二步，对车道线进行特征提取，首先把经过图像增强后的图片进行二值化（将图像上的像素点的灰度值设置为 0 或 255，也就是将整个图像呈现出明显的黑白效果），然后做边缘提取；第三步，直线拟合。车道线检测难点在于，对于某些车道线模糊或车道线被泥土覆盖的情况、对于黑暗环境或雨雪天气或者在光线不是特别好的情况下，它对摄像头识别和提取都会造成一定的难度。
毫米波雷达在无人驾驶车辆中的应用
1、障碍物测距：最基本的探测技术是使用FMCW连续线性调频波去探测前方物体的距离，毫米波雷达发射的是连续波，其原理在于：振荡器会产生一个频率随时间逐渐增加的信号，这个信号遇到障碍物之后，会反弹回来，其时延是2倍距离/光速。返回来的波形和发出的波形之间有个频率差，这个频率差和时延是呈线性关系的：物体越远，返回的波收到的时间就越晚，那么它跟入射波的频率差值就越大。将这两个频率做一个减法，就可以得到二者频率的差频（差拍频率），通过判断差拍频率的高低就可以判断障碍物的距离。
2、障碍物测速：毫米波雷达有很明显的多普勒效应，通过检测其多普勒频移可将目标的速度提取出来。
3、障碍物测角度：角度的探测是通过多个接收天线接收到信号的时延来实现。举个简单的例子，假设有2根天线，接收从某个方向发出的电磁波，这个电磁波到达2根天线的时间是有差值的，或者说是相位差，通过这个相位差可以评估信号的角度。
另外，这里需要引入毫米波雷达的分辨率，其定义是“雷达可以区分的两个物体的最近的距离”，比如，两个物体靠得很近，那么雷达可能会将其列为一个物体，如果分得开一些，雷达会看到两个物体。分辨率的计算公式也很简单，就是光速/2倍的雷达带宽，所以对于24GHz和77GHz来说，可以直接算出其分辨率。前者是0.6m，后者约为0.2m。
激光雷达在无人驾驶车辆中的应用
1、路沿检测，也包括车道线检测，分为三个步骤：拿到原始点云，地面点检测、提取路沿点，通过路沿点的直线拟合，可以把路沿检测出来。
2、障碍物识别，对静态物体和动态物体的识别：首先由激光雷达获取三维点云数据后对障碍物进行聚类，如图紫色包围框，就是识别在道路上的障碍物，然后将道路上面的障碍物提取三维物体信息。获取到新物体之后，会把这个物体放到训练集里，然后用 SVM 分类器把物体识别出来。
3、定位以及地图的创建。利用激光雷达进行辅助定位。定位理论有两种：基于已知地图的定位方法以及基于未知地图的定位方法。基于已知地图定位方法，就是事先获取无人驾驶车的工作环境地图（高精度地图），然后根据高精度地图结合激光雷达及其它传感器通过无人驾驶定位算法获得准确的位置估计。
高精地图可分为基础层、道路信息层、周围环境信息层和其他信息层。比如基础层，有车道的宽度、坡度、倾斜角、航向、高程、车道线信息、人行道和隔离带等等。之后还有信息层，相当于告诉每一个道路上限速的标记、红绿灯标记，还有一个就是环境信息层，相当于周围建筑物的三维模型。其他信息层，比如说天气信息、施工信息等等。
