Оценка положения камеры от гомографии или с помощью функции solvePnP()

Я пытаюсь создать статическую сцену дополненной реальности над фотографией с 4 определенными соответствиями между копланарными точками на плоскости и изображением.

Я также измерил положение камеры iphone относительно центра бумаги формата А4. Таким образом, для этого снимка положение было (0, 14, 42,5), измеренное в см. Также мой iPhone был слегка разбит на стол (5-10 градусов)

Используя эти данные, я настроил SCNCamera, чтобы получить желаемую перспективу синей плоскости на третьем изображении:

Это даст мне ссылку на сравнение моего результата с.

Чтобы построить AR с помощью SceneKit, мне нужно:

H - гомография; K - внутренняя матрица; [R | t] - Внешняя матрица

Я попробовал два подхода, чтобы найти матрицу преобразования для камеры: using solvePnP из OpenCV и ручной расчет из гомографии на основе 4 компланарных точек.

Ручной подход:

Этот шаг выполняется успешно, так как UV-координаты мирового происхождения выглядят правильно.

Чтобы получить внутреннюю матрицу iPhone 6, я использовал это приложение, которое дало мне следующий результат из 100 изображений 640 * 480 Разрешение:

Предполагая, что входное изображение имеет соотношение сторон 4: 3, я могу масштабировать вышеуказанную матрицу в зависимости от разрешения

Я не уверен, но это похоже на потенциальную проблему. Я использовал cv:: calibrationMatrixValues для проверки fovx для вычисленной внутренней матрицы, и результат был ~ 50 °, а он должен быть близок к 60 °.

Поскольку я измерил приблизительное положение и ориентацию для этого конкретного изображения, я знаю матрицу преобразования, которая даст ожидаемый результат, и это совсем другое:

Я также немного conserned около 2-3 элемента матрицы опорного вращения, которая является -9,1, в то время как она должна быть близка к нулю вместо этого, так как существует очень небольшое вращение.

Подход OpenCV:

В OpenCV есть функция solvePnP, поэтому я попытался использовать ее вместо того, чтобы изобретать колесо.

Некоторые другие вещи, которые я также пробовал:

Я действительно застрял в этой проблеме, поэтому любая помощь будет очень оценена.

Ответы

Ответ 1

На самом деле я был в шаге от рабочего решения с OpenCV.

Моя проблема со вторым подходом заключалась в том, что я забыл преобразовать выходные данные из решения solvePnP обратно в систему координат SpriteKit.

Обратите внимание, что входные данные (точки изображения и мира) действительно были правильно преобразованы в систему координат OpenCV (convertObjectPoints: и convertImagePoints:withSize: методов)

Итак, вот исправленный метод findCameraPose с напечатанными комментариями и промежуточными результатами:

+ (CameraPose)findCameraPose: (NSArray<NSValue *> *) objectPoints imagePoints: (NSArray<NSValue *> *) imagePoints size: (CGSize) size {

    vector<Point3f> cvObjectPoints = [self convertObjectPoints:objectPoints];
    vector<Point2f> cvImagePoints = [self convertImagePoints:imagePoints withSize: size];

    std::cout << "object points: " << cvObjectPoints << std::endl;
    std::cout << "image points: " << cvImagePoints << std::endl;

    cv::Mat distCoeffs(4,1,cv::DataType<double>::type, 0.0);
    cv::Mat rvec(3,1,cv::DataType<double>::type);
    cv::Mat tvec(3,1,cv::DataType<double>::type);
    cv::Mat cameraMatrix = [self intrinsicMatrixWithImageSize: size];

    cv::solvePnP(cvObjectPoints, cvImagePoints, cameraMatrix, distCoeffs, rvec, tvec);

    std::cout << "rvec: " << rvec << std::endl;
    std::cout << "tvec: " << tvec << std::endl;

    std::vector<cv::Point2f> projectedPoints;
    cvObjectPoints.push_back(Point3f(0.0, 0.0, 0.0));
    cv::projectPoints(cvObjectPoints, rvec, tvec, cameraMatrix, distCoeffs, projectedPoints);

    for(unsigned int i = 0; i < projectedPoints.size(); ++i) {
        std::cout << "Image point: " << cvImagePoints[i] << " Projected to " << projectedPoints[i] << std::endl;
    }


    cv::Mat RotX(3, 3, cv::DataType<double>::type);
    cv::setIdentity(RotX);
    RotX.at<double>(4) = -1; //cos(180) = -1
    RotX.at<double>(8) = -1;

    cv::Mat R;
    cv::Rodrigues(rvec, R);

    R = R.t();  // rotation of inverse
    Mat rvecConverted;
    Rodrigues(R, rvecConverted); //
    std::cout << "rvec in world coords:\n" << rvecConverted << std::endl;
    rvecConverted = RotX * rvecConverted;
    std::cout << "rvec scenekit :\n" << rvecConverted << std::endl;

    Mat tvecConverted = -R * tvec;
    std::cout << "tvec in world coords:\n" << tvecConverted << std::endl;
    tvecConverted = RotX * tvecConverted;
    std::cout << "tvec scenekit :\n" << tvecConverted << std::endl;

    SCNVector4 rotationVector = SCNVector4Make(rvecConverted.at<double>(0), rvecConverted.at<double>(1), rvecConverted.at<double>(2), norm(rvecConverted));
    SCNVector3 translationVector = SCNVector3Make(tvecConverted.at<double>(0), tvecConverted.at<double>(1), tvecConverted.at<double>(2));

    return CameraPose{rotationVector, translationVector};
}

Заметки:

Матрица RotX означает поворот на 180 градусов вокруг оси x, который преобразует любой вектор из системы координат OpenCV в SpriteKit.
Метод Родрига преобразует вектор вращения в матрицу вращения (3x3) и наоборот

Ответ 2

Привет @alexburtnik Я использовал ваш код здесь, но он, кажется, не работает должным образом, и когда я рисую с помощью SceneKit, объект плавает по всей поверхности моего маркера, как если бы он находился над плоскостью маркера, но это не так, когда я двигаюсь в более высокий угол к нему. Посмотрите, что я имею в виду здесь. Линии вокруг телефона сделаны с использованием рисования openCV, поэтому отслеживание хорошо.

Я использую маркеры Aruco для генерации rvec и tvec вместо solvePnP.

Я не могу найти, что я делаю неправильно... любая помощь приветствуется. Извините за публикацию в качестве ответа, но я не могу отформатировать код в комментариях :(

Mat rvec(3, 1, DataType<double>::type);
Mat tvec(3, 1, DataType<double>::type);

...
aruco::estimatePoseBoard(corners, markerIds, gridBoard, self.camMatrix, self.distCoeffs, rvec, tvec);
[self updateCameraProjection:payload withRotation:rvec andTranslation:tvec];
...

-(void) updateCameraProjection:(ArucoPayload *)payload withRotation:(Mat)rvec andTranslation:(Mat)tvec {

    cv::Mat RotX(3, 3, cv::DataType<double>::type);
    cv::setIdentity(RotX);
    RotX.at<double>(4) = -1;
    RotX.at<double>(8) = -1;

    cv::Mat R;
    cv::Rodrigues(rvec, R);

    R = R.t();
    Mat rvecConverted;
    Rodrigues(R, rvecConverted); 
    rvecConverted = RotX * rvecConverted;

    Mat tvecConverted = -R * tvec;
    tvecConverted = RotX * tvecConverted;

    payload.rotationVector = SCNVector4Make(rvecConverted.at<double>(0), rvecConverted.at<double>(1), rvecConverted.at<double>(2), norm(rvecConverted));
    payload.translationVector = SCNVector3Make(tvecConverted.at<double>(0), tvecConverted.at<double>(1), tvecConverted.at<double>(2));
}