【SLAM】高翔十四讲 —— 第五讲 相机与图像

本讲主要介绍了相机模型和图像处理的基础知识，包括针孔模型、畸变模型、相机内参和外参、双目相机模型、RGB-D相机模型以及图像的存储和表达。以下是详细总结：相机模型：针孔模型：描述三维空间坐标点映射到二维图像平面的过程，是最简单的相机模型。畸变模型：由于透镜的存在，光线投影到成像平面会产生畸变，包括径向畸变和切向畸变。相机内参：描述相机坐标系到像素坐标系的映射参数，包括焦距、主点坐标等。相机外参：描述世界坐标系到相机坐标系的变换，包括旋转矩阵和平移向量。投影过程：相机坐标系到物理成像平面坐标系：通过三角形相似关系，将三维空间点投影到成像平面。物理成像平面坐标系到像素坐标系：通过缩放和平移，将成像平面坐标转换为像素坐标。世界坐标系到像素坐标系：结合相机内参和外参，将世界坐标系中的点投影到像素坐标系。畸变校正：径向畸变：由透镜形状引起，越靠近图像边缘越明显。切向畸变：由相机组装时透镜与成像面无法严格平行引起。去畸变处理：通过畸变参数校正图像畸变，常见做法是对整张图像去畸变。双目相机模型：成像原理：通过左右两个相机获取同一场景的两幅图像，利用视差计算深度。深度计算：深度与基线、焦距和视差有关，视差越大，距离越近。RGB-D相机模型：红外结构光：通过发射和接收结构光图案计算距离。飞行时间（ToF）：通过测量光束飞行时间确定距离。优缺点：可以获取彩色图和深度图，但易受红外光干扰，成本和功耗较高。图像处理：图像表示：灰度图、深度图和RGB图的存储方式和像素表示。OpenCV中的图像存储：图像在程序中以二维数组形式存储，注意下标顺序和越界问题。通过本讲的学习，可以理解相机如何观测外部世界，掌握相机模型的基本原理和图像处理的基础知识，为后续的SLAM学习打下基础。