Добавить 2D или 3D Face Filters, такие как MSQRD/SnapChat с помощью API Google Vision для iOS
Вот некоторые исследования, которые я сделал до сих пор:
- Я использовал API Google Vision для обнаружения различных ориентиров лица.
Здесь ссылка: https://developers.google.com/vision/introduction
1) https://deepar.ai/contact/
2) https://www.luxand.com/
Возможно, есть возможность увидеть этот вопрос как дубликат.
Реализация фильтра лица, например, MSQRD/SnapChat
Но нить почти 1,6 лет без правильных ответов на нее.
Я прочитал эту статью:
https://dzone.com/articles/mimic-snapchat-filters-programmatically-1
В нем описаны все основные шаги для достижения желаемых результатов. Но они советуют использовать свой собственный SDK.
В соответствии с моим исследованием не существует достаточно хорошего материала, который помогает полностью заполнить желаемые результаты, такие как фильтры MSQRD для лица.
Еще один репозиторий Github, у которого есть такая же реализация, но он не дает много информации об этом.
https://github.com/rootkit/LiveFaceMask
Теперь мой вопрос:
Если у нас есть ориентиры лица с использованием API Google Vision (или даже с использованием DiLib), как я могу добавить на него 2d или 3d модели. В каком формате это необходимо сделать так, чтобы это требовало некоторых координат X, Y с вершинами расчет.
ПРИМЕЧАНИЕ. Я прошел через Googles "GooglyEyesDemo", который добавляет Предварительный просмотр слоя над глазами. Это в основном добавляет взгляд на лицо. Так что я не хотите добавлять над ним одномерные слои предварительного просмотра UIView. Образ прилагается для справки:
https://developers.google.com/vision/ios/face-tracker-tutorial
Создание моделей: я также хочу знать, как создавать модели для живых фильтры, такие как MSQRD. Я приветствую любые рекомендации по программному обеспечению или формату. Надеюсь, что проведенное мной исследование поможет другим и другим людям опыт помогает мне достичь желаемых результатов. Сообщите мне, если требуется более подробная информация. **
Изображение прикреплено для дополнительной справки: ![Я хочу этот результат]()
Спасибо
Гарри
Ответы
Ответ 1
Класс Canvas используется в Android для рисования таких 3D/2D-моделей или может использоваться базовая графика для IOS. Что вы можете сделать, так это обнаружить компоненты лица, взять их точки расположения и нарисовать поверх них изображения. Подумайте об этом
Ответ 2
Вам нужно либо предсказать координаты x, y, z (ознакомьтесь с этой демонстрацией), либо использовать предсказания x, y, но затем найти параметры универсальной 3d-модели и камеры, которые дадут ближайшую проекцию текущего x, y.