相机标定原理学习2020-05-19 17:36:25
一.总体原理：摄像机标定(Camera calibration)简单来说是从世界坐标系换到图像坐标系的过程，也就是求最终的投影矩阵的过程。[1]基本的坐标系：世界坐标系；相机坐标系；成像平面坐标系；像素坐标系[2]一般来说，标定的过程分为两个部分：第一步是从世界坐标系转换为相机坐标系，这一步是三维点到三维点的转换，包括R，t（相机外参）等参数；第二部是从相机坐标系转为成像平面坐标系（像素坐标系），这一步是三维点到二维点的转换，包括K（相机内参）等参数；投影矩阵 ： P=K [
新项目是3D重建，最近都在查资料看论文，关于生成3D点云，特征检测，点云匹配，曲面重建等等。有篇知乎写得不错，讲了实现3D重建的相关体系和方法。不过我也是从那里面得到了启发，方法和里面也不太相同，因为里面主要是多幅2D图像三维重建和单目三维重建，他们都没有深度信息而是通过SFM等一些算法计算出景深。而我使用的是RGBD传感器如kinect，xtion。所以我关注与3D特征检测匹配等。大家可以看看微软的KinectFusion和PCL的kinfu以及MIT的Kintinuous。关于PCL，相信能
一、特征提取Feature Extraction：· SIFT [1] [Demo program][SIFT Library] [VLFeat]· PCA-SIFT [2] [Project]· &nbs
上一篇讲了利用随即一致性来减少错误匹配的情况，这一篇讲一下使用最小二乘多项式平滑方法来减少姿态的抖动问题。因为我们的设备是手持单目，相机在移动的过程中，会产生细微的抖动。虽然EKF或者G2O(通用图优化)会帮我们最小化错误，但是当我们得到正确的最接近真实的姿态后，我们会发现这些姿态是存在细微抖动的。下图为未平滑的相机姿态（Matlab）：我们看到有大量的抖动在里面。体现在图像上则是AR物体会有小幅度的波动。这个波动其实很小，如果AR物体比较小的话，这个波动是不明显的（肉眼几乎察觉不到）。但是当我
这一节应该是本项目（Feature Tracking and Synchronous Scene Generation with a Single Camera）的最后一节了，实现了两种选取跟踪点和恢复跟踪的方法，顺便把AR物体换成了AR小游戏。首先讲讲跟踪点的选取。之前的文章中我们选取ORB作为特征点检测的办法，然后手动选取N个ORB角点去利用LK光流法跟踪。这样的方法是事先定义好3D点的位置，比如正方形的四个角点（-1，-1，0），（1，-1，0），（1，1，0），（-1，1，0），然后在2
这段时间把项目的剩余部分全部完成了，包括角点检测改进和恢复追踪。这一节先继续讲利用OpenGL画AR物体。上一节中我们利用SolvePnP得到了相机的姿态（rotation和translation），利用姿态信息我们可以通过加载model_view_matrix来控制opengl里的相机。首先我试了用cmake重新编译with_opengl版的opencv，但是失败了（后来有了成功编译with_openni的经验后，回来再试with_opengl成功了，但是项目都写完了改起来太麻烦，以后有机会会
用了ORB那么久，今天第一次将256bit的描述子打印出来，直观看到了match的汉明距离。上代码：#include <iostream>
#include <bitset>
#include <opencv2/core/core.hpp>
#include <opencv2/highgui/highgui.hpp>
#include <opencv2/imgproc/imgproc.
上一节我们使用张正友相机标定法获得了相机内参，这一节我们使用 PnP (Perspective-n-Point)算法估计相机初始姿态并更新之。推荐3篇我学习的博客：【姿态估计】Pose estimation algorithm 之 Robust Planar Pose (RPP)algorithm，POSIT算法的原理--opencv 3D姿态估计，三维姿态：关于solvePnP与cvPOSIT。//////////////////////////////////////////////////
上一节《关于OpenCV的那些事——跟踪点选取方式和特征点跟踪恢复》讲了两种跟踪和恢复的方法，这一篇主要讲第一个优化，使用random sample consensus收敛相机姿态。下一篇讲使用最小二乘多项式平滑消除姿态抖动。我们知道在计算相机姿态的时候，opencv中提供了两种函数：solvePnP, solvePnPRansac。 第二个函数即是利用ransac的思想计算更加精确的姿态。 鉴于之前章节《关于OpenCV的那些事——相机姿态更新》里讲到的相机姿态更新至少使用4组2D/3D点对，
这一节我们首先介绍下计算机视觉领域中常见的三个坐标系：图像坐标系，相机坐标系，世界坐标系。以及他们之间的关系。然后介绍如何使用张正友相机标定法标定相机。图像坐标系：理想的图像坐标系原点O1和真实的O0有一定的偏差，由此我们建立了等式（1）和（2），可以用矩阵形式（3）表示。相机坐标系（C）和世界坐标系（W）：通过相机与图像的投影关系，我们得到了等式（4）和等式（5），可以用矩阵形式（6）表示。我们又知道相机坐标系和世界坐标的关系可以用等式（7）表示：由等式（3），等式（6）和等式（7）我们可以推