H.264 через RTP - Определение SPS и PPS-фреймов

У меня есть исходный поток H.264 из IP-камеры, упакованной в RTP-кадры. Я хочу получить сырые данные H.264 в файл, чтобы преобразовать его с помощью ffmpeg.

Поэтому, когда я хочу записать данные в свой файл H.264, я обнаружил, что он должен выглядеть следующим образом:

00 00 01 [SPS] 
00 00 01 [PPS]
00 00 01 [NALByte]
[PAYLOAD RTP Frame 1]     // Payload always without the first 2 Bytes -> NAL
[PAYLOAD RTP Frame 2]
[... until PAYLOAD Frame with Mark Bit received]  // From here its a new Video Frame
00 00 01 [NAL BYTE]
[PAYLOAD RTP Frame 1]
....

Итак, я получаю SPS и PPS из Session Description Protocol из моего предыдущего сообщения RTSP. Кроме того, камера отправляет SPS и PPS в два отдельных сообщения перед началом видеопотока.

Итак, я фиксирую сообщения в следующем порядке:

1. Preceding RTSP Communication here ( including SDP with SPS and PPS )
2. RTP Frame with Payload: 67 42 80 28 DA 01 40 16 C4    // This is the SPS 
3. RTP Frame with Payload: 68 CE 3C 80                   // This is the PPS
4. RTP Frame with Payload: ...  // Video Data

Затем появляются некоторые фреймы с полезной нагрузкой и в какой-то момент RTP Frame с Marker Bit = 1. Это означает (если я правильно понял), что у меня есть полный видеокадр. Afer это я снова пишу последовательность префикса (00 00 01) и NAL из полезной нагрузки и продолжаю с той же процедурой.

Теперь моя камера отправляет меня после каждых 8 полных видеофрагментов SPS и PPS снова. (Опять же в двух кадрах RTP, как показано в примере выше). Я знаю, что особенно PPS может меняться между потоками, но это не проблема.

Теперь мои вопросы:

1. Нужно ли писать SPS/PPS каждый 8-й видеоканал?

Если мои SPS и my PPS не меняются, должно быть достаточно, чтобы они были написаны в самом начале моего файла и ничего больше?

2. Как отличить SPS/PPS от нормальных кадров RTP?

В моем С++-коде, который анализирует переданные данные, мне нужно сделать разницу между RTP-кадрами с нормальной полезной нагрузкой и теми, у которых есть SPS/PPS. Как я могу их отличить? Ладно, кадры SPS/PPS обычно меньше, но это не призыв к сохранению, на который можно положиться. Потому что, если я их игнорирую, мне нужно знать, какие данные я могу выбросить, или если мне нужно их написать, мне нужно поставить префикс 00 00 01 перед ними.? Или это фиксированное правило, что они происходят каждый 8-й видеоканал?

Ответы

nal_unit_type = frame[0] & 0x1f;

|  FU indicator |   FU header   |
+---------------+---------------+
|0|1|2|3|4|5|6|7|0|1|2|3|4|5|6|7|
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
|F|NRI|  Type   |S|E|R|  Type   |
+---------------+---------------+