Ответ 1
setCustomAnimations(int, int, int, int) позволяет напрямую указывать ваши ресурсы анимации. Если вы используете setTransitionStyle(int), с другой стороны, вам нужно будет указать их с помощью FragmentAnimation style и setTransition(int).
Стоит отметить, что библиотека совместимости игнорирует setTransitionStyle(int), поэтому, если вы ее используете, у вас есть использовать setCustomAnimations(int, int, int, int).
Для получения дополнительной информации об этом, посмотрите отличную запись о состояниях фрагментов и анимации фрагментов