IOS отказывает проекцию камеры

Я пытаюсь оценить позицию своего устройства, связанную с QR-кодом в пространстве. Я использую ARKit и концепцию Vision, представленные в iOS11, но ответ на этот вопрос, вероятно, не зависит от них.

С концепцией Vision я могу получить прямоугольник, который ограничивает QR-код в кадре камеры. Я хотел бы сопоставить этот прямоугольник с переводом и вращением устройства, необходимым для преобразования QR-кода из стандартного положения.

Например, если я наблюдаю за кадром:

*            *

    B
          C
  A
       D


*            *

while, если бы я был на расстоянии 1 м от QR-кода, сосредоточился на нем, и если бы QR-код имел сторону 10 см, я бы увидел:

*            *


    A0  B0

    D0  C0


*            *

что изменилось для моего устройства между этими двумя кадрами? Я понимаю, что точный результат может быть невозможен, потому что, возможно, наблюдаемый QR-код немного не плоский, и мы пытаемся оценить аффинное преобразование на то, что не совсем прекрасно.

Я думаю, что sceneView.pointOfView?.camera?.projectionTransform более полезен, чем sceneView.pointOfView?.camera?.projectionTransform?.camera.projectionMatrix, поскольку в дальнейшем уже учитывается преобразование, выводимое из ARKit, которое меня не интересует для этой проблемы.

Как заполнить

func get transform(
  qrCodeRectangle: VNBarcodeObservation,
  cameraTransform: SCNMatrix4) {
  // qrCodeRectangle.topLeft etc is the position in [0, 1] * [0, 1] of A0

  // expected real world position of the QR code in a referential coordinate system
  let a0 = SCNVector3(x: -0.05, y: 0.05, z: 1)
  let b0 = SCNVector3(x: 0.05, y: 0.05, z: 1)
  let c0 = SCNVector3(x: 0.05, y: -0.05, z: 1)
  let d0 = SCNVector3(x: -0.05, y: -0.05, z: 1)

  let A0, B0, C0, D0 = ?? // CGPoints representing position in
                          // camera frame for camera in 0, 0, 0 facing Z+

  // then get transform from 0, 0, 0 to current position/rotation that sees
  // a0, b0, c0, d0 through the camera as qrCodeRectangle 
}

==== ==== Редактировать

После нескольких попыток, я закончил работу с оценкой поцелуя камеры, используя проекцию openCV и перспективный решатель, solvePnP Это дает мне поворот и перевод, который должен представлять собой представление камеры в ссылочном коде QR. Однако при использовании этих значений и размещении объектов, соответствующих обратному преобразованию, где QR-код должен находиться в пространстве камеры, я получаю неточные сдвинутые значения, и я не могу заставить вращение работать:

// some flavor of pseudo code below
func renderer(_ sender: SCNSceneRenderer, updateAtTime time: TimeInterval) {
  guard let currentFrame = sceneView.session.currentFrame, let pov = sceneView.pointOfView else { return }
  let intrisics = currentFrame.camera.intrinsics
  let QRCornerCoordinatesInQRRef = [(-0.05, -0.05, 0), (0.05, -0.05, 0), (-0.05, 0.05, 0), (0.05, 0.05, 0)]

  // uses VNDetectBarcodesRequest to find a QR code and returns a bounding rectangle
  guard let qr = findQRCode(in: currentFrame) else { return }

  let imageSize = CGSize(
    width: CVPixelBufferGetWidth(currentFrame.capturedImage),
    height: CVPixelBufferGetHeight(currentFrame.capturedImage)
  )

  let observations = [
    qr.bottomLeft,
    qr.bottomRight,
    qr.topLeft,
    qr.topRight,
  ].map({ (imageSize.height * (1 - $0.y), imageSize.width * $0.x) })
  // image and SceneKit coordinated are not the same
  // replacing this by:
  // (imageSize.height * (1.35 - $0.y), imageSize.width * ($0.x - 0.2))
  // weirdly fixes an issue, see below

  let rotation, translation = openCV.solvePnP(QRCornerCoordinatesInQRRef, observations, intrisics)
  // calls openCV solvePnP and get the results

  let positionInCameraRef = -rotation.inverted * translation
  let node = SCNNode(geometry: someGeometry)
  pov.addChildNode(node)
  node.position = translation
  node.orientation = rotation.asQuaternion
}

Вот результат:

где A, B, C, D - углы QR-кода в том порядке, в котором они переданы программе.

Прогнозируемое происхождение остается на месте, когда телефон вращается, но он сдвинулся с места, где он должен быть. Удивительно, но если я сдвигу значения наблюдений, я могу исправить это:

  // (imageSize.height * (1 - $0.y), imageSize.width * $0.x)
  // replaced by:
  (imageSize.height * (1.35 - $0.y), imageSize.width * ($0.x - 0.2))

и теперь предсказанное происхождение остается устойчивым. Однако я не понимаю, откуда взялись значения сдвига.

Наконец, я попытался получить ориентацию, фиксированную относительно ссылочного кода QR:

    var n = SCNNode(geometry: redGeometry)
    node.addChildNode(n)
    n.position = SCNVector3(0.1, 0, 0)
    n = SCNNode(geometry: blueGeometry)
    node.addChildNode(n)
    n.position = SCNVector3(0, 0.1, 0)
    n = SCNNode(geometry: greenGeometry)
    node.addChildNode(n)
    n.position = SCNVector3(0, 0, 0.1)

Ориентация прекрасна, когда я смотрю на QR-код прямо, но затем он сдвигается на что-то похожее на поворот телефона:

Выдающиеся вопросы, которые у меня есть:

• Как решить поворот?
• где значения сдвига позиции берутся из?
• Какое простое отношение делает вращение, перевод, QRCornerCoordinatesInQRRef, наблюдения, интриги проверяют? Является ли это O ~ K ^ -1 * (R_3x2 | T) Q? Потому что если так, что на несколько порядков.

Если это полезно, вот несколько числовых значений:

Intrisics matrix
Mat 3x3
1090.318, 0.000, 618.661
0.000, 1090.318, 359.616
0.000, 0.000, 1.000

imageSize
1280.0, 720.0
screenSize
414.0, 736.0

==== Edit2 ====

Я заметил, что вращение отлично работает, когда телефон остается горизонтально параллельным QR-коду (т.е. матрица вращения [[a, 0, b], [0, 1, 0], [c, 0, d]]), независимо от фактической ориентации QR-кода:

Другое вращение не работает.

Ответы

var bottomLeft: CGPoint
var bottomRight: CGPoint
var topLeft: CGPoint
var topRight: CGPoint