Cuadros por segundo

Velocidad de fotogramas (expresada en fotogramas por segundo o FPS) es la frecuencia (velocidad) a la que se capturan o muestran imágenes consecutivas (fotogramas). El término se aplica igualmente a cámaras de cine y video, gráficos por computadora y sistemas de captura de movimiento. La velocidad de fotogramas también puede llamarse frecuencia de fotogramas , y se expresará en hercios. La velocidad de cuadro en las especificaciones de la cámara electrónica puede referirse a la velocidad máxima posible, donde, en la práctica, otras configuraciones (como el tiempo de exposición) pueden reducir la frecuencia a un número más bajo.

Visión humana

La sensibilidad temporal y la resolución de la visión humana varían según el tipo y las características del estímulo visual, y difieren entre individuos. El sistema visual humano puede procesar de 10 a 12 imágenes por segundo y percibirlas individualmente, mientras que las tasas más altas se perciben como movimiento. La mayoría de los participantes en los estudios perciben la luz modulada (como la pantalla de una computadora) como estable cuando la frecuencia es superior a 50 Hz. Esta percepción de la luz modulada como constante se conoce como umbral de fusión de parpadeo. Sin embargo, cuando la luz modulada no es uniforme y contiene una imagen, el umbral de fusión del parpadeo puede ser mucho mayor, de cientos de hercios. Con respecto al reconocimiento de imágenes, se ha descubierto que las personas reconocen una imagen específica en una serie ininterrumpida de imágenes diferentes, cada una de las cuales dura tan solo 13 milisegundos. La persistencia de la visión a veces explica estímulos visuales muy cortos de un solo milisegundo que tienen una duración percibida de entre 100 ms y 400 ms. Los estímulos múltiples que son muy cortos a veces se perciben como un solo estímulo, como un destello de luz verde de 10 ms seguido inmediatamente por un destello de luz rojo de 10 ms percibido como un solo destello de luz amarilla.

Cine y vídeo

Películas mudas

Las primeras películas mudas establecían velocidades de fotogramas entre 16 y 24 fotogramas por segundo (fps), pero dado que las cámaras se accionaban a mano, la velocidad a menudo cambiaba durante la escena para adaptarse al estado de ánimo. Los proyeccionistas también podrían cambiar la velocidad de fotogramas en el teatro ajustando un reóstato que controla el voltaje que alimenta el mecanismo de transporte de películas en el proyector. Las compañías cinematográficas a menudo tenían la intención de que los cines mostraran sus películas mudas a velocidades de cuadro más altas de las que se filmaron. Estas velocidades de cuadro fueron suficientes para la sensación de movimiento, pero se percibió como un movimiento entrecortado. Para minimizar el parpadeo percibido, los proyectores emplearon obturadores de dos y tres hojas, por lo que cada fotograma se mostraba dos o tres veces, lo que aumentaba la tasa de parpadeo a 48 o 72 hercios y reducía la fatiga visual. Thomas Edison dijo que 46 fotogramas por segundo era el mínimo necesario para que el ojo percibiera el movimiento: "Cualquier cosa menos fatigará el ojo". A mediados y finales de la década de 1920, la velocidad de fotogramas de las películas mudas aumentó entre 20 y 26 FPS.

Películas sonoras

Cuando se introdujo la película sonora en 1926, ya no se toleraron las variaciones en la velocidad de la película, ya que el oído humano es más sensible que el ojo a los cambios de frecuencia. Muchos cines habían proyectado películas mudas de 22 a 26 FPS, razón por la cual la industria eligió 24 FPS para películas sonoras como compromiso. De 1927 a 1930, cuando varios estudios actualizaron el equipo, la velocidad de 24 FPS se convirtió en el estándar para películas sonoras de 35 mm. A 24 FPS, la película viaja a través del proyector a una velocidad de 456 milímetros (18,0 pulgadas) por segundo. Esto permitió que los obturadores simples de dos hojas dieran una serie de imágenes proyectadas a 48 por segundo, satisfaciendo la recomendación de Edison. Muchos proyectores de películas de 35 mm modernos utilizan obturadores de tres palas para generar 72 imágenes por segundo: cada cuadro se proyecta en la pantalla tres veces.

Animación

Esta caricatura animada de un caballo galopante se muestra en 12 dibujos por segundo, y el movimiento rápido está en el borde de ser objetablemente tonto.

En la animación dibujada, los personajes en movimiento a menudo se filman "de dos en dos", es decir, se muestra un dibujo por cada dos fotogramas de la película (que suele funcionar a 24 fotogramas por segundo), lo que significa que son solo 12 dibujos por segundo. Aunque la tasa de actualización de la imagen es baja, la fluidez es satisfactoria para la mayoría de los sujetos. Sin embargo, cuando se requiere que un personaje realice un movimiento rápido, normalmente es necesario volver a animar "en unos", como "dos" son demasiado lentos para transmitir el movimiento adecuadamente. Una combinación de las dos técnicas mantiene el ojo engañado sin costos de producción innecesarios.

Animación para la mayoría de los "dibujos animados de los sábados por la mañana" se produjo de la manera más económica posible y se filmó con mayor frecuencia en "tres" o incluso "cuatros", es decir, tres o cuatro fotogramas por dibujo. Esto se traduce en solo 8 o 6 dibujos por segundo respectivamente. El anime también se suele dibujar en grupos de tres o dos.

Estándares de vídeo modernos

Debido a la frecuencia de red de las redes eléctricas, la transmisión de televisión analógica se desarrolló con frecuencias de cuadro de 50 Hz (la mayor parte del mundo) o 60 Hz (Canadá, EE. UU., Japón, Corea del Sur). La frecuencia de la red eléctrica era extremadamente estable y, por lo tanto, era lógico utilizarla para la sincronización.

La introducción de la tecnología de televisión en color obligó a reducir la frecuencia de 60 FPS en un 0,1 % para evitar el 'desplazamiento de puntos', un artefacto de visualización que aparecía en las pantallas en blanco y negro heredadas, apareciendo en pantallas altamente -superficies saturadas de color. Se descubrió que al reducir la velocidad de fotogramas en un 0,1 %, se minimizaba el efecto indeseable.

A partir de 2021, los estándares de transmisión de video en Norteamérica, Japón y Corea del Sur aún se basan en 60 / 1,001 ≈ 59,94 imágenes por segundo. Normalmente se utilizan dos tamaños de imágenes: 1920×1080 ("1080i/p") y 1280×720 ("720p"). De manera confusa, los formatos entrelazados se establecen habitualmente a la mitad de su velocidad de imagen, 29,97/25 FPS y doble la altura de su imagen, pero estas declaraciones son puramente personalizadas; en cada formato se producen 60 imágenes por segundo. Una resolución de 1080i produce 59,94 o 50 imágenes de 1920 × 540, cada una aplastada a la mitad de su altura en el proceso fotográfico y estirada hacia atrás para llenar la pantalla durante la reproducción en un televisor. El formato 720p produce imágenes 59,94/50 o 29,97/25 1280×720p, no comprimidas, por lo que no es necesario expandir ni comprimir la imagen. Esta confusión era generalizada en la industria en los primeros días del software de video digital, con mucho software escrito incorrectamente, los desarrolladores creían que solo se esperaban 29,97 imágenes por segundo, lo cual era incorrecto. Si bien era cierto que cada elemento de la imagen se sondeaba y enviaba solo 29,97 veces por segundo, la ubicación del píxel inmediatamente debajo de ese elemento se sondeaba 1/60 de segundo más tarde, como parte de una imagen completamente separada para el siguiente fotograma de 1/60 de segundo..

La película, a su velocidad nativa de 24 FPS, no se podía mostrar sin el proceso desplegable necesario, lo que a menudo generaba "vibración": para convertir 24 fotogramas por segundo en 60 fotogramas por segundo, se repiten todos los fotogramas impares, jugando dos veces, mientras que cada fotograma par se triplica. Esto crea un movimiento desigual, que parece estroboscópico. Otras conversiones tienen una duplicación de fotogramas desigual similar. Los estándares de video más nuevos admiten 120, 240 o 300 fotogramas por segundo, por lo que los fotogramas se pueden muestrear uniformemente para velocidades de fotogramas estándar, como películas de 24, 48 y 60 FPS o videos de 25, 30, 50 o 60 FPS. Por supuesto, estas velocidades de fotogramas más altas también pueden mostrarse a sus velocidades nativas.

La velocidad de fotogramas en las especificaciones de las cámaras electrónicas puede referirse a la velocidad máxima posible, donde, en la práctica, otras configuraciones (como el tiempo de exposición) pueden reducir la frecuencia a un número más bajo.

Conversión ascendente de velocidad de fotogramas

La conversión ascendente de velocidad de fotogramas es el proceso de aumentar la resolución temporal de una secuencia de vídeo mediante la síntesis de uno o más fotogramas intermedios entre dos fotogramas consecutivos. Una velocidad de fotogramas baja provoca aliasing, produce artefactos de movimiento abruptos y degrada la calidad del video. En consecuencia, la resolución temporal es un factor importante que afecta la calidad del video. Los algoritmos para FRC se usan ampliamente en aplicaciones, incluida la mejora de la calidad visual, la compresión de video y la generación de video en cámara lenta.

Video de baja velocidad de marco

Video con 4 veces mayor tasa de marco

Métodos

La mayoría de los métodos FRC se pueden clasificar en flujo óptico o métodos basados en kernel y basados en alucinaciones de píxeles.

FRC basado en flujo

Los métodos basados en flujo combinan linealmente los flujos ópticos predichos entre dos marcos de entrada para aproximar los flujos desde el marco intermedio de destino hasta los marcos de entrada. También proponen inversión de flujo (proyección) para una deformación de imagen más precisa. Además, existen algoritmos que otorgan diferentes pesos a los vectores de flujo superpuestos según la profundidad del objeto de la escena a través de una capa de proyección de flujo.

FRC basado en Pixel Hallucination

Los métodos basados en alucinaciones de píxeles utilizan una convolución deformable en el generador de cuadros centrales al reemplazar los flujos ópticos con vectores compensados. Hay algoritmos que también interpolan tramas intermedias con la ayuda de convolución deformable en el dominio de características. Sin embargo, dado que estos métodos alucinan directamente los píxeles a diferencia de los métodos FRC basados en flujo, los fotogramas predichos tienden a ser borrosos cuando hay objetos que se mueven rápidamente.

Instrumentos

AviSynth MSU Filtro de conversión de tasa de marco

La MSU de AviSynth El filtro de conversión de la tasa de marco es una herramienta de código abierto destinada a la conversión de la tasa de vídeo. Aumenta la tasa de marco por un factor entero. Permite, por ejemplo, convertir un video con 15 fps en un video con 30 fps.

Adobe Premiere Pro

Adobe Premiere Pro es un programa de software de edición de vídeo comercial que le permite reducir el ritmo de su vídeo mediante el flujo óptico y los efectos de remapping del tiempo a las imágenes de disparos convencionales para crear un mejor aspecto y un movimiento más lento.

Vegas Pro

Vegas Pro también es un programa de software de edición de vídeo comercial. Hay un método para hacer vídeo de movimiento lento también. Para realizarlo es necesario elegir la magnitud del movimiento en su vídeo y porcentajes de velocidad de reproducción.

Topaz Video Enhance AI

Topaz Video Enhance AI tiene el modelo Chronos AI que utiliza el aprendizaje profundo para aumentar la tasa de video frame sin artefactos. Este algoritmo genera nuevos marcos que a menudo son indistinguibles de marcos capturados en la cámara.

Advanced Frame Rate Converter (AFRC)

La principal ventaja del algoritmo de AFRC es el uso de varias técnicas de mejora de calidad tales como enmascaramiento de artefactos adaptables, procesamiento de rayas negras y seguimiento de oclusión:

• técnica de enmascaramiento de artefactos adaptables permite hacer los artefactos menos perceptibles para los ojos, aumentando así la calidad integral del vídeo procesado;
• El procesamiento de rayas negras permite evitar los artefactos que aparecen comúnmente en marcos interpolados en caso de rayas negras presentadas cerca de los bordes del marco;
• seguimiento de oclusión realiza una restauración de alta calidad de los marcos interpolados cerca de los bordes en caso de presencia de movimiento con dirección a / desde el borde del marco.