DF Weekly: Los objetivos han cambiado nuevamente al evaluar la calidad de imagen de la consola

Cada semana, me gusta elegir un tema específico para discutir de la última edición de DF Direct Weekly, y ciertamente hay una gran cantidad de riquezas para elegir en otro gran episodio. Nos sentamos a filmar nuestro programa número 141 la mañana después de The Game Awards y, a pesar de la habitual minimización de las expectativas por parte de Geoff Keighley, los ‘oídos mundiales’ llegaron con fuerza y ​​rapidez. Sin embargo, para este blog, en realidad es una pregunta de un seguidor la que suscita este artículo. Julian Sniter, partidario de DF, nos preguntó si las tecnologías mejoradas como FSR de AMD y TSR de Epic nos están haciendo más difícil ‘contar píxeles’ y determinar resoluciones locales. La respuesta es sí, pero la respuesta más detallada es que las tecnologías de mejora han evolucionado al menos dos veces desde que comenzamos a realizar pruebas de calidad de imagen, y ahora es más difícil que nunca.

Han pasado un par de años desde que me propuse la misión personal de restar importancia, si no de eliminar por completo, a la revelación de la resolución de renderizado nativa de cualquier juego. En la era de Xbox 360 y PlayStation 3, la resolución objetivo solía ser 720p y la ampliación desde abajo podía tener un impacto significativo en la calidad de imagen de cualquier juego determinado. Sin embargo, al pasar a la era de PS4 Pro/Xbox One X, el objetivo de resolución de salida pasó a 4K nativo y entraron en juego una gran cantidad de tecnologías de mejora interesantes: la más popular es la renderización de tablero de ajedrez (como se ve en películas como Horizon Zero Dawn, Days Gone y muchos otros) y supermuestreo/jittering temporal (Marvel’s Spider-Man y For Honor son dos grandes ejemplos). A menudo nos referimos a esta última tecnología como TAAU, una combinación de mejora de escala y suavizado temporal.

Con algunos valores atípicos obvios (Los Vengadores usaron CBR en PS5, TAAU en Xbox), la dirección de viaje de los desarrolladores fue favorecer a TAAU y, en ese punto, el argumento para eliminar el número de píxeles de una vez por todas parecía inexpugnable. Los artefactos de mejora identificables parecieron desaparecer en su mayoría a favor de la claridad: cuanto mayor era la resolución interna, menos borrosa era la imagen. Y cuantos más píxeles aumente, menor será el retorno. Hay muchos ejemplos excelentes de resoluciones ‘nativas’ de 1440p que podrían pasar de manera convincente por una imagen 4K, o al menos, aún se ven geniales en una pantalla 4K. Trabajamos con algunas personas increíblemente talentosas y produjimos algunos ejemplos interesantes de un ‘índice de claridad’ que funcionó comparando la mejora de TAAU con la renderización de resolución nativa entre 1080p y 2160p, y eliminó efectivamente el recuento de píxeles por completo en favor de una comparación de calidad basada en lo que el el ojo humano realmente ve.

• 0:00:48 Noticias 01: The Game Awards – Senua’s Saga: Hellblade 2
• 0:08:51 sobredosis
• 0:17:48 No hay descanso para los malvados, Monster Hunter Wilds
• 0:26:58 Marvel’s Blade, no enciendes fuego
• 0:39:13 Mito Negro: Wukong, Persona 3 Reload, Metaphor Refantazio, Skull and Bones
• 0:51:58 Noticias 02: ¡Avatar: Fronteras de Pandora lanzado!
• 1:01:58 Partidario P1: ¿Cómo se cuentan los píxeles de los juegos con muestreo ascendente?
• 1:09:06 Partidario P2: ¿Los juegos modernos evitan la jugabilidad basada en la física debido a limitaciones de procesamiento o diseño del juego?
• 1:12:19 Partidario P3: ¿La adición del trazado de ruta a los lobbys de Call of Duty sugiere una implementación más amplia más adelante?
• 1:16:07 Partidario P4: ¿Deberían los fabricantes de consolas lanzar parches de jailbreak para consolas más antiguas?
• 1:19:38 Partidario P5: ¿Deberían los fabricantes de GPU introducir funciones de Special K en sus controladores?
• 1:24:25 Partidario P6: ¿Puedes contar los píxeles de The Game Awards?

TAAU era una tecnología fantástica para su época y todavía se mantiene bien hoy en día: Insomniac todavía usa su propia versión, ITGI. Identificar cuál es realmente la resolución nativa tiene interés académico, pero cuando cada fotograma presenta detalles inyectados de varios fotogramas anteriores, 1440p, o lo que sea, se vuelve mucho más. Otro gran ejemplo es el escalador de Infinity Ward en Call of Duty. Hace un par de años, en el estudio polaco del equipo, pude ver el renderizado en resolución nativa versus el resultado final en la versión de Vanguard para PS4 y me sorprendió la diferencia. Y las herramientas prototipo basadas en repeticiones de Warzone nos permitieron una vez más cuantificar mediante programación la calidad de imagen mejorada en Xbox One X frente a PlayStation 4 Pro.

Y, sin embargo, un par de años después, Digital Foundry sigue contando píxeles a la antigua usanza. Y para responder a la pregunta del partidario Julian Sniter, sí, es mucho más difícil de lo que solía ser. Los juegos con anti-aliasing deficiente, MSAA o incluso FXAA podrían ser relativamente fáciles de contar. Usted encuentra un borde y señala los píxeles «reales» dentro de los píxeles de «salida» de la imagen final y la proporción que encuentra define la representación de resolución nativa. TAAU hace las cosas mucho más difíciles porque esas ventajas se volvieron cada vez más difíciles de encontrar. No solo eso, podrías estar viendo dos recuentos de píxeles: la resolución interna y cualquier resolución de salida que el juego esté intentando resolver.

Aun así, el ‘índice de claridad’ parecía un buen reemplazo, pero las dudas comenzaron a surgir tan pronto como analizamos el DLSS de Nvidia. Remedy’s Control presenta una forma bastante básica de TAA que tiene mucho ruido, pero el DLSS de Nvidia, incluso en una resolución de renderizado más baja, tiene un menor grado de ruido y posiblemente una imagen más agradable en general. Un índice de claridad aquí no funciona al comparar diferentes métodos de mejora de escala y, más que eso, reveló que el ruido y los artefactos esencialmente generaban niveles de detalle «falsos positivos». Esto demostró que un reemplazo para el conteo de píxeles se basaría exactamente en las mismas técnicas de mejora utilizadas entre versiones, algo que no siempre fue así. Y si no existiera ninguna versión para PC que generara datos reales de 1080p y 2160p, estaríamos estancados de todos modos.

El FSR 2 de AMD complicó aún más las cosas. En teoría, es un escalador significativamente superior a TAAU, lo que explica por qué tantos desarrolladores han abandonado técnicas más antiguas en favor de él (Cyberpunk 2077 y The Witcher 3 son dos buenos ejemplos). Sin embargo, al intentar reconstruir una imagen nativa a partir de una resolución mucho más baja, FSR 2 crea su propia gama de artefactos: imágenes fantasma, destellos y más. En este punto, hemos llegado a la conclusión de que no existe una forma programática de expresar la calidad de la imagen. El fracaso de FSR 2 en particular simplemente le dice a un algoritmo que busca medir la claridad que hay más detalles, y tal vez los haya, pero son detalles no deseados. En este punto, un desglose subjetivo de la calidad de la imagen y, sí, el recuento de píxeles es la mejor manera de explicar la calidad de la imagen, especialmente en una era en la que las consolas 4K utilizan FSR 2 para mejorar desde cualquier nivel tan bajo como 720p. La imagen puede verse pobre y la resolución base ayuda a explicar por qué.

¿Existe algún camino a seguir para eliminar definitivamente el número de píxeles? Recientemente nos señalaron un modelo de aprendizaje automático utilizado por Netflix y otros para juzgar la calidad de la codificación de video. Le proporcionas el mismo contenido con varias codificaciones y cada ejecución recibe una puntuación entre 0 y 1. Uno de nuestros seguidores trabajó mucho al intentar utilizar este modelo para comparar DLSS y FSR 2. Y al principio, los resultados parecían interesantes. . DLSS siempre obtuvo una puntuación más alta que FSR 2, lo que pensamos que sería el caso teniendo en cuenta que el escalador superior de Nvidia tiende a ofrecer niveles de calidad significativamente más altos que FSR 2. Pero cuanto más contenido probamos, menos convencidos estábamos de los resultados.

Resulta que usar un modelo basado en video simplemente no era una buena opción. Sin embargo, la forma en que se armó este modelo de codificador fue intrigante: esencialmente, el modelo se entrenó mostrando a las personas varias comparaciones de videos y se les pidió que calificaran cuál pensaban que se veía mejor. Es probable que se hicieran miles de comparaciones como ésta y a partir de ahí el modelo tomó forma. Entonces, ¿tal vez se podría hacer algo similar comparando las diversas técnicas de ampliación disponibles en la actualidad? Quizás en el futuro, la IA resuelva el problema del conteo de píxeles de una vez por todas, pero por ahora, volvemos al punto de partida. Se trata de un análisis subjetivo mejor informado al determinar la resolución base a la antigua usanza. El recuento de píxeles en sí no significa mucho, pero definitivamente ayuda a explicar algunos de los peores ejemplos de calidad de imagen que hemos visto en los últimos tiempos.