Ответ 1
Маска, представленная в git, равна 100x98 px, попробуйте использовать изображение с большим разрешением в качестве маски, из-за чего есть артефакты, также помните, что PNG несжатый, а hevc/heif сжимается, поэтому вы можете 'действительно сравнивать их.
Изменить
Поскольку лучшая маска не решит вашу проблему, вам придется придерживаться png, артефакты - это известная проблема сжатия блоков, как описано в этой статье http://blog.biamp.com/understanding-video-compression-artifacts/
Есть возможное решение для этого, но я не видел документацию от Apple, как это можно реализовать, более подробную информацию в этой ссылке http://www.uta.edu/faculty/krrao/dip/Courses/EE5359/Proposal%20HarshalShah-Interim-deblockingfilter.pdf