Вот некоторые исследования, которые я сделал до сих пор: - Я использовал API Google Vision для обнаружения различных ориентиров лица. Здесь ссылка: https://developers.google.com/vision/introduction
Здесь ссылка на Пример кода, чтобы получить ориентиры лица. Он использует тот же API Google Vision. Здесь ссылка: https://github.com/googlesamples/ios-vision
Я просмотрел различные блоги в Интернете, в которых говорится, что MSQRD основан на облачном видении Google. Здесь ссылка на него: https://medium.com/@AlexioCassani/how-to-create-a-msqrd-like-app-with-google-cloud-vision-802b578b30a0
Для Android здесь ссылка: https://www.raywenderlich.com/158580/augmented-reality-android-googles-face-api
Существует несколько платных SDK, которые полностью заполняют цель. Но они высоко оценены. Так не может себе это позволить. Например:
Возможно, есть возможность увидеть этот вопрос как дубликат. Реализация фильтра лица, например, MSQRD/SnapChat
Но нить почти 1,6 лет без правильных ответов на нее.
Я прочитал эту статью: https://dzone.com/articles/mimic-snapchat-filters-programmatically-1
В нем описаны все основные шаги для достижения желаемых результатов. Но они советуют использовать свой собственный SDK.
В соответствии с моим исследованием не существует достаточно хорошего материала, который помогает полностью заполнить желаемые результаты, такие как фильтры MSQRD для лица.
Еще один репозиторий Github, у которого есть такая же реализация, но он не дает много информации об этом. https://github.com/rootkit/LiveFaceMask
Теперь мой вопрос:
Если у нас есть ориентиры лица с использованием API Google Vision (или даже с использованием DiLib), как я могу добавить на него 2d или 3d модели. В каком формате это необходимо сделать так, чтобы это требовало некоторых координат X, Y с вершинами расчет.
ПРИМЕЧАНИЕ. Я прошел через Googles "GooglyEyesDemo", который добавляет Предварительный просмотр слоя над глазами. Это в основном добавляет взгляд на лицо. Так что я не хотите добавлять над ним одномерные слои предварительного просмотра UIView. Образ прилагается для справки:
https://developers.google.com/vision/ios/face-tracker-tutorial
Создание моделей: я также хочу знать, как создавать модели для живых фильтры, такие как MSQRD. Я приветствую любые рекомендации по программному обеспечению или формату. Надеюсь, что проведенное мной исследование поможет другим и другим людям опыт помогает мне достичь желаемых результатов. Сообщите мне, если требуется более подробная информация. **
Изображение прикреплено для дополнительной справки: 
Спасибо Гарри
Класс Canvas используется в Android для рисования таких 3D/2D-моделей или может использоваться базовая графика для IOS. Что вы можете сделать, так это обнаружить компоненты лица, взять их точки расположения и нарисовать поверх них изображения. Подумайте об этом
Вам нужно либо предсказать координаты x, y, z (ознакомьтесь с этой демонстрацией), либо использовать предсказания x, y, но затем найти параметры универсальной 3d-модели и камеры, которые дадут ближайшую проекцию текущего x, y.