Ответ 1
Начиная с iOS 5.0, теперь есть более быстрый способ захвата данных из OpenGL ES. Это не совсем очевидно, но оказывается, что поддержка кеша текстур, добавленная в iOS 5.0, не просто работает для быстрой загрузки кадров камеры в OpenGL ES, но ее можно использовать в обратном порядке, чтобы получить быстрый доступ к необработанным пикселям в текстуре ES OpenGL.
Вы можете воспользоваться этим, чтобы захватить пиксели для рендеринга OpenGL ES, используя объект framebuffer (FBO) с прикрепленной текстурой, причем эта текстура была предоставлена из кеша текстуры. После того, как вы сделаете свою сцену в этом FBO, пиксели BGRA для этой сцены будут содержаться в вашем CVPixelBufferRef, поэтому их не нужно будет тянуть с помощью glReadPixels().
Это намного, намного быстрее, чем использование glReadPixels() в моих тестах. Я обнаружил, что на моем iPhone 4 glReadPixels() было узким местом при чтении видеокадров 720p для кодирования на диск. Это ограничило кодировку тем, что произошло более чем на 8-9 FPS. Замена этого на чтение быстрых текстурных кешей позволяет мне кодировать видео 720p с частотой 20 FPS, а узкое место переместилось из показания пикселя в обработку OpenGL ES и фактические части кодирования фильма в конвейере. На iPhone 4S это позволяет записывать 1080p видео с полным 30 FPS.
Моя реализация может быть найдена в классе GPUImageMovieWriter в моей открытой исходной структуре GPUImage, но она была вдохновлена статья Денниса Мухлестяна по этому вопросу и образец приложения Apple ChromaKey (который был доступен только на WWDC 2011).
Я начинаю с настройки моего AVAssetWriter, добавления ввода и настройки ввода буфера пикселей. Для настройки ввода буфера пикселей используется следующий код:
NSDictionary *sourcePixelBufferAttributesDictionary = [NSDictionary dictionaryWithObjectsAndKeys: [NSNumber numberWithInt:kCVPixelFormatType_32BGRA], kCVPixelBufferPixelFormatTypeKey,
[NSNumber numberWithInt:videoSize.width], kCVPixelBufferWidthKey,
[NSNumber numberWithInt:videoSize.height], kCVPixelBufferHeightKey,
nil];
assetWriterPixelBufferInput = [AVAssetWriterInputPixelBufferAdaptor assetWriterInputPixelBufferAdaptorWithAssetWriterInput:assetWriterVideoInput sourcePixelBufferAttributes:sourcePixelBufferAttributesDictionary];
Как только я это сделаю, я настрою FBO, чтобы я передавал свои видеофрагменты, используя следующий код:
if ([GPUImageOpenGLESContext supportsFastTextureUpload])
{
CVReturn err = CVOpenGLESTextureCacheCreate(kCFAllocatorDefault, NULL, (__bridge void *)[[GPUImageOpenGLESContext sharedImageProcessingOpenGLESContext] context], NULL, &coreVideoTextureCache);
if (err)
{
NSAssert(NO, @"Error at CVOpenGLESTextureCacheCreate %d");
}
CVPixelBufferPoolCreatePixelBuffer (NULL, [assetWriterPixelBufferInput pixelBufferPool], &renderTarget);
CVOpenGLESTextureRef renderTexture;
CVOpenGLESTextureCacheCreateTextureFromImage (kCFAllocatorDefault, coreVideoTextureCache, renderTarget,
NULL, // texture attributes
GL_TEXTURE_2D,
GL_RGBA, // opengl format
(int)videoSize.width,
(int)videoSize.height,
GL_BGRA, // native iOS format
GL_UNSIGNED_BYTE,
0,
&renderTexture);
glBindTexture(CVOpenGLESTextureGetTarget(renderTexture), CVOpenGLESTextureGetName(renderTexture));
glTexParameterf(GL_TEXTURE_2D, GL_TEXTURE_WRAP_S, GL_CLAMP_TO_EDGE);
glTexParameterf(GL_TEXTURE_2D, GL_TEXTURE_WRAP_T, GL_CLAMP_TO_EDGE);
glFramebufferTexture2D(GL_FRAMEBUFFER, GL_COLOR_ATTACHMENT0, GL_TEXTURE_2D, CVOpenGLESTextureGetName(renderTexture), 0);
}
Это вытаскивает буфер пикселя из пула, связанного с вводом записи ресурса, создает и связывает текстуру с ним и использует эту текстуру в качестве цели для моего FBO.
Как только я предоставил фрейм, я блокирую базовый адрес буфера пикселей:
CVPixelBufferLockBaseAddress(pixel_buffer, 0);
а затем просто загрузите его в свой файл записи ресурса:
CMTime currentTime = CMTimeMakeWithSeconds([[NSDate date] timeIntervalSinceDate:startTime],120);
if(![assetWriterPixelBufferInput appendPixelBuffer:pixel_buffer withPresentationTime:currentTime])
{
NSLog(@"Problem appending pixel buffer at time: %lld", currentTime.value);
}
else
{
// NSLog(@"Recorded pixel buffer at time: %lld", currentTime.value);
}
CVPixelBufferUnlockBaseAddress(pixel_buffer, 0);
if (![GPUImageOpenGLESContext supportsFastTextureUpload])
{
CVPixelBufferRelease(pixel_buffer);
}
Обратите внимание, что я ни разу не читаю ничего вручную. Кроме того, текстуры изначально основаны на формате BGRA, а именно то, что AVAssetWriters оптимизировано для использования при кодировании видео, поэтому здесь нет необходимости делать какие-либо цвета. Необработанные пиксели BGRA просто подаются в кодировщик, чтобы сделать фильм.
Помимо использования этого в AVAssetWriter, у меня есть код в этом ответе, который я использовал для извлечения необработанных пикселей. На практике также наблюдается значительное ускорение по сравнению с использованием glReadPixels(), хотя меньше, чем я вижу, с пулом пикселей пикселей, который я использую с AVAssetWriter.
Позор, который нигде не зарегистрирован нигде, потому что он обеспечивает огромный прирост производительности захвата видео.