Данные глубины данных Microsoft Kinect SDK для координат реального мира

Я использую Microsoft Kinect SDK, чтобы получить информацию о глубине и цвете от Kinect, а затем преобразовать эту информацию в облако точек. Мне нужна информация о глубине в координатах реального мира с центром камеры в качестве источника.

Я видел ряд функций преобразования, но они, по-видимому, для драйверов OpenNI и других производителей. Я читал, что информация о глубине, поступающая от Kinect, уже находится в миллиметрах и содержится в 11 бит... или что-то в этом роде.

Как преобразовать эту информацию о битах в координаты реального мира, которые я могу использовать?

Ответы

Ответ 1

Это поддерживается в библиотеке Kinect для Windows с использованием класса Microsoft.Research.Kinect.Nui.SkeletonEngine и следующего метода:

public Vector DepthImageToSkeleton (
    float depthX,
    float depthY,
    short depthValue
)

Этот метод отобразит изображение глубины, созданное Kinect, в одно векторное масштабируемое, основанное на измерениях реального мира.

Оттуда (когда я создал сетку в прошлом), после перечисления байтового массива в растровом изображении, созданного изображением глубины Kinect, вы создаете новый список векторных точек, аналогичный следующему:

        var width = image.Image.Width;
        var height = image.Image.Height;
        var greyIndex = 0;

        var points = new List<Vector>();

        for (var y = 0; y < height; y++)
        {
            for (var x = 0; x < width; x++)
            {
                short depth;
                switch (image.Type)
                {
                    case ImageType.DepthAndPlayerIndex:
                        depth = (short)((image.Image.Bits[greyIndex] >> 3) | (image.Image.Bits[greyIndex + 1] << 5));
                        if (depth <= maximumDepth)
                        {
                            points.Add(nui.SkeletonEngine.DepthImageToSkeleton(((float)x / image.Image.Width), ((float)y / image.Image.Height), (short)(depth << 3)));
                        }
                        break;
                    case ImageType.Depth: // depth comes back mirrored
                        depth = (short)((image.Image.Bits[greyIndex] | image.Image.Bits[greyIndex + 1] << 8));
                        if (depth <= maximumDepth)
                        {
                            points.Add(nui.SkeletonEngine.DepthImageToSkeleton(((float)(width - x - 1) / image.Image.Width), ((float)y / image.Image.Height), (short)(depth << 3)));
                        }
                        break;
                }

                greyIndex += 2;
            }
        }

Таким образом, конечным результатом этого является список векторов, хранящихся в миллиметрах, и если вы хотите, чтобы сантиметры умножали на 100 (и т.д.).