Ответ 1
Вы правы, mencoder использует ffmpeg. Mencoder на самом деле является универсальным интерфейсом для ряда различных кодеков или библиотек кодеков, таких как ffmpeg. Таким образом, помимо ffmpeg, mencoder может быть скомпилирован с поддержкой x264, xvid, lame mp3 и других других, которые я не использовал. Дело в том, что если у вас есть правильный бинарный файл mplayer/mencoder, вы получите поддержку для многих других кодеков, чем поддерживаемые ffmpeg (особенно те, у которых ограниченные лицензии). Кроме того, вы не теряете какую-либо функциональность ffmpeg, используя mencoder, поскольку вы можете передать все параметры, которые вы хотите, к соответствующему кодеку ffmpeg. Поэтому я рекомендую mencoder.
Что касается вашего побочного вопроса, вы объявляете, какой кодек будет использоваться mencoder через ключи командной строки ovc и oac. Попробуйте mencoder -ovc help и mencoder -oac help, чтобы узнать, какие видео и аудио кодеки поддерживаются двоичным файлом mencoder. Вы можете взять посмотреть здесь, чтобы узнать больше о видео/аудио кодеках. Он объясняет lavc (библиотека libavcodec ffmpeg), xvid и mp3lame.
Помимо этого, я также использовал x264 с mencoder, что очень полезно, и я рекомендую получить двоичный файл с поддержкой этого кодека.