У меня странная память "утечка" с AVAssetWriterInput appendSampleBuffer. Я пишу видео и аудио одновременно, поэтому у меня есть один AVAssetWriter с двумя входами, один для видео и один для аудио:
self.videoWriter = [[[AVAssetWriter alloc] initWithURL:[self.currentVideo currentVideoClipLocalURL]
fileType:AVFileTypeMPEG4
error:&error] autorelease];
...
self.videoWriterInput = [AVAssetWriterInput assetWriterInputWithMediaType:AVMediaTypeVideo
outputSettings:videoSettings];
self.videoWriterInput.expectsMediaDataInRealTime = YES;
[self.videoWriter addInput:self.videoWriterInput];
...
self.audioWriterInput = [AVAssetWriterInput assetWriterInputWithMediaType:AVMediaTypeAudio
outputSettings:audioSettings];
self.audioWriterInput.expectsMediaDataInRealTime = YES;
[self.videoWriter addInput:self.audioWriterInput];
Я начинаю писать, и все отлично работает на поверхности. Видео и аудио записываются и выровнены и т.д. Однако я поместил свой код через инструмент "Отчисления" и заметил следующее:
Аудиобайты сохраняются в памяти, как я докажу через секунду. Это нарастает в памяти. Звуковые байты освобождаются только после вызова [self.videoWriter endSessionAtSourceTime:...], который вы видите как резкое падение использования памяти. Вот мой код записи звука, который отправляется как блок в последовательную очередь:
@autoreleasepool
{
// The objects that will hold the audio data
CMSampleBufferRef sampleBuffer;
CMBlockBufferRef blockBuffer1;
CMBlockBufferRef blockBuffer2;
size_t nbytes = numSamples * asbd_.mBytesPerPacket;
OSStatus status = noErr;
status = CMBlockBufferCreateWithMemoryBlock(kCFAllocatorDefault,
data,
nbytes,
kCFAllocatorNull,
NULL,
0,
nbytes,
kCMBlockBufferAssureMemoryNowFlag,
&blockBuffer1);
if (status != noErr)
{
NLog(@"CMBlockBufferCreateWithMemoryBlock error at buffer 1");
return;
}
status = CMBlockBufferCreateContiguous(kCFAllocatorDefault,
blockBuffer1,
kCFAllocatorDefault,
NULL,
0,
nbytes,
kCMBlockBufferAssureMemoryNowFlag | kCMBlockBufferAlwaysCopyDataFlag,
&blockBuffer2);
if (status != noErr)
{
NSLog(@"CMBlockBufferCreateWithMemoryBlock error at buffer 2");
CFRelease(blockBuffer1);
return;
}
// Finally, create the CMSampleBufferRef
status = CMAudioSampleBufferCreateWithPacketDescriptions(kCFAllocatorDefault,
blockBuffer2,
YES, // Yes data is ready
NULL, // No callback needed to make data ready
NULL,
audioFormatDescription_,
1,
timestamp,
NULL,
&sampleBuffer);
if (status != noErr)
{
NSLog(@"CMAudioSampleBufferCreateWithPacketDescriptions error.");
CFRelease(blockBuffer1);
CFRelease(blockBuffer2);
return;
}
if ([self.audioWriterInput isReadyForMoreMediaData])
{
if (![self.audioWriterInput appendSampleBuffer:sampleBuffer])
{
NSLog(@"Couldn't append audio sample buffer: %d", numAudioCallbacks_);
}
} else {
NSLog(@"AudioWriterInput isn't ready for more data.");
}
// One release per create
CFRelease(blockBuffer1);
CFRelease(blockBuffer2);
CFRelease(sampleBuffer);
}
Как вы можете видеть, я выпускаю каждый буфер один раз для каждого создания. Я проследил "утечку" до строки, где добавлены звуковые буферы:
[self.audioWriterInput appendSampleBuffer:sampleBuffer]
Я доказал это сам, комментируя эту строку, после чего я получаю следующий "свободный от утечек" график Allocations (хотя, конечно, записанное видео теперь не имеет звука):
Я пробовал еще одну вещь, которая заключается в том, чтобы добавить строку appendSamplebuffer и вместо этого дважды выпускать blockBuffer2:
CFRelease(blockBuffer1);
CFRelease(blockBuffer2);
CFRelease(blockBuffer2); // Double release to test the hypothesis that appendSamplebuffer is retaining this
CFRelease(sampleBuffer);
При этом не вызывают двойное освобождение, что указывает на то, что blockBuffer2 сохранить счет в этой точке равно 2. Это привело к тому же графу "без утечек", за исключением того, что когда Я вызвал [self.videoWriter endSessionAtSourceTime:...], я получил крах из двойного выпуска (указав, что self.videoWriter пытается выпустить все его указатели на blockBuffer2, которые были переданы в).
Если вместо этого я попробую следующее:
CFRelease(blockBuffer1);
CFRelease(blockBuffer2);
CMSampleBufferInvalidate(sampleBuffer); // Invalidate sample buffer
CFRelease(sampleBuffer);
затем [self.audioWriterInput appendSampleBuffer:sampleBuffer] и вызов для добавления видеокадров начинает сбой для каждого вызова после этого.
Итак, мой вывод состоит в том, что AVAssetWriter или AVAssetWriterInput сохраняет blockBuffer2, пока видео не закончит запись. Очевидно, что это может вызвать проблемы с реальной памятью, если видео записывается достаточно долго. Я что-то делаю неправильно?
Редактирование: звуковые байты, которые я получаю, представляют собой формат PCM, тогда как формат видео, который я пишу, - MPEG4, а аудиоформат для этого видео - MPEG4AAC. Возможно ли, что видеозаписывающее устройство выполняет формат PCM → AAC на лету, и почему он получает буферизацию?
Поскольку вы ждали месяц ответа, я дам вам менее идеальный, но работоспособный ответ.
Вы можете использовать функции ExtendedAudioFile для записи отдельного файла. Затем вы можете просто воспроизвести видео и аудио вместе с AVComposition. Я думаю, что вы можете использовать AVFoundation для объединения caf и видео вместе без перекодирования, если вам нужно, чтобы они были составлены в конце записи.
Это приведет вас в бегство, и вы сможете решить проблему утечки памяти в свободное время.