Распознавание изображений с четким, но изменяющимся углом изображения

Ответ 1

Я придумал следующую программу для сегментирования регионов и, надеюсь, найти интересующую вас модель, используя сопоставление шаблонов. Я добавил несколько комментариев и рисунков, чтобы объяснить поток и некоторые результирующие изображения. Надеюсь, что это поможет.

im = imread('sample.png');
gr = rgb2gray(im);
bw = im2bw(gr, graythresh(gr));

bwsm = imresize(bw, .5);

dism = bwdist(bwsm);
dismnorm = dism/max(dism(:));
figure, imshow(dismnorm, []), title('distance transformed')

eq = histeq(dismnorm);
eqcl = imclose(eq, ones(5));
figure, imshow(eqcl, []), title('histogram equalized and closed')

eqclbw = eqcl < .2; % .2 worked for samples given
eqclbwcl = imclose(eqclbw, ones(5));
figure, imshow(eqclbwcl, []), title('binarized and closed')

filled = imfill(eqclbwcl, 'holes');
figure, imshow(filled, []), title('holes filled')

% -------------------------------------------------
% template
tmpl = zeros(16);
tmpl(3:4, 2:6) = 1;tmpl(11:15, 13:14) = 1;
tmpl(3:10, 7:14) = 1;

st = regionprops(tmpl, 'orientation');
tmplAngle = st.Orientation;
% -------------------------------------------------     

lbl = bwlabel(filled);
stats = regionprops(lbl, 'BoundingBox', 'Area', 'Orientation');
figure, imshow(label2rgb(lbl), []), title('labeled')

% here I just take the largest contour for convenience. should consider aspect ratio and any
% other features that can be used to uniquely identify the shape
[mx, id] = max([stats.Area]);
mxbb = stats(id).BoundingBox;

% resize and rotate the template
tmplre = imresize(tmpl, [mxbb(4) mxbb(3)]);
tmplrerot = imrotate(tmplre, stats(id).Orientation-tmplAngle);

xcr = xcorr2(double(filled), double(tmplrerot));
figure, imshow(xcr, []), title('template matching')

Измененное изображение:

сегментированные:

Соответствие шаблонов:

Ответ 2

Учитывая низкое качество изображения (низкое разрешение + бинаризация), я бы предпочел сопоставление шаблонов, потому что он основан на простой глобальной мере сходства и не пытается выполнить какое-либо извлечение признаков (в ваших выборках нет надежных функций).

Но вам нужно будет применить сопоставление шаблонов с вращением. Один из способов - прекомпретировать вращающиеся экземпляры шаблона, выполнить сопоставления для каждого угла и сохранить лучшее.

В сравнении можно интегрировать информацию глубины (если это помогает).

Ответ 3

Это очень похоже на проблему распознавания набросанных вручную символов, которые мы решаем в нашей лаборатории, в том смысле, что целевой шаблон является двоичным, с низким разрешением и способным к умеренной деформации.

Основываясь на нашем опыте, я не думаю, что SURF - это правильный путь, как указано в другом месте. Это предполагает, что непрерывное двумерное изображение не является бинарным и сломается в вашем случае. Совпадение шаблонов не подходит для этого типа двоичного изображения: ваши пиксели должны быть слегка смещены, чтобы возвращать низкий результат совпадения, поскольку в значениях пикселей отсутствует локальная пространственная согласованность, чтобы уменьшить незначительные несоосности окна.

Наш подход заключается в том, чтобы попытаться "преобразовать" двоичное изображение в непрерывное или "полутоновое" изображение. Например, см. Ниже:

Эти преобразования выполняются путем запуска 1-го производного реберного детектора, например. сверните шаблон 3x3 [0 0 0; 1 0 -1; 0 0 0] и транспонировать по изображению I, чтобы получить dI/dx и dI/dy. В любом пикселе мы можем получить ориентацию ребра atan2 (dI/dy, dI/dx) из этих двух полей. Мы рассматриваем эту информацию как известно на эскизных пикселях (белые пиксели в вашей проблеме) и неизвестны в черных пикселях. Затем мы используем предположение о гладкости Лапласа для экстраполяции значений для чёрных пикселей из белых. Подробности приведены в этой статье:

http://personal.ee.surrey.ac.uk/Personal/J.Collomosse/pubs/Hu-CVIU-2013.pdf

Если это серьезная проблема, вы можете попробовать использовать дистанционное преобразование вместо этого, удобно в Matlab, используя bwdist, но он не даст точных результатов.

Теперь у нас есть "непрерывное" изображение (в соответствии с правым столбцом изображений выше). Шаблоны оттенков серого кодируют локальную структуру изображения и гораздо более подходят для дескрипторов на основе градиента, таких как SURF и сопоставление шаблонов.

Моей догадкой было бы сначала попробовать совпадение с шаблонами, но поскольку это аффинно чувствительно, я бы пошел по пути и снова использовал подход HOG/Bag of Visual words, как и в нашей предыдущей статье, чтобы соответствовать этим шаблонам.

Мы нашли этот конвейер, чтобы дать современные результаты в распознавании формы на основе эскиза, и мой аспирант успешно использовал в последующей работе для сопоставления иероглифов, поэтому я думаю, что он мог бы неплохо выстрелить в работу типа шаблона вы позируете в своих примерах.

Ответ 4

Я бы:

• Изображение сегмента

  на Z координаты (расстояние от камеры /LASER ), где Z скользящая координата превышает порог, существует граница между объектом и фоном (если соседнее значение Z большое или вне диапазона) или другой объект (если соседнее значение Z отличается) или само (если соседнее значение Z отличается, но может быть связано с собой). Это даст вам набор объектов

• align to viewer

  вычислить граничные точки каждого объекта (большинство внешних ребер), определить направление с помощью atan2 повернуть назад к лицу камеры перпендикулярно.

  Ваше изображение выглядит как маркер маркера, поэтому в этом случае достаточно поворота вокруг оси Y. Также вы можете масштабировать размер объекта до предопределенного расстояния (если цель всегда одного размера)

  Вам нужно знать FOV вашей системы фотоаппарата и для этого откалибровать ось Z.

• теперь попытайтесь идентифицировать объект

  здесь используйте то, что у вас есть, и также можете добавлять фильтры, такие как пропускаемые объекты с несоответствующим размеру или соотношению сторон... вы можете использовать DFT/DCT или сравнить гистограммы нормализованного/выравниваемого изображения и т.д.....

[PS]

для функций не рекомендуется использовать образ BW-Bit, потому что вы теряете слишком много информации. Вместо этого используйте серию или цвет (обычно достаточно шкалы серого). Я обычно добавляю несколько упрощенных гистограмм небольшой площади (с несколькими разными радиусами) вокруг интересующей точки, которая инвариантна относительно вращения.

Ответ 5

Я не думаю, что SURF - это правильный подход к использованию здесь. SURF предназначен для работы с регулярными изображениями 2D-интенсивности, но то, что вы здесь, представляет собой 3D-облако точек. Существует алгоритм регистрации точечных облаков под названием Iterative Closed Point (ICP). На MATLAB File Exchange существует несколько реализаций, таких как этот.

Edit Теперь панель инструментов Computer Vision System Toolbox (начиная с версии R2015b) включает функции обработки облаков точек. См. этот пример для регистрации облачных точек и сшивания.

Ответ 6

Посмотрите на соответствие лог-полярному шаблону, это инвариант вращения и масштаба: http://etd.lsu.edu/docs/available/etd-07072005-113808/unrestricted/Thunuguntla_thesis.pdf