Foveon: El inteligente sensor de imagen que no ha logrado triunfar.

A principios de los años 2000, Sigma, una empresa conocida en la comunidad fotográfica como fabricante de lentes, lanzó un nuevo tipo de sensor de cámara llamado Foveon X3. Esta tecnología de sensor fue patentada por primera vez en 1999 por una empresa llamada Foveon, Inc. (posteriormente adquirida en 2008 por Sigma) y presentaba una innovadora tecnología de percepción de colores: una pila de 3 capas de diodos fotosensibles. En teoría, esta tecnología prometía superar a los sensores CMOS en precisión de color, ruido en condiciones de poca luz y nitidez de imagen. Este artículo explicará por qué, a pesar de ser una idea ingeniosa, la tecnología Foveon nunca ha tenido éxito en la industria fotográfica.

De regreso a lo básico: cómo tu cámara captura los colores.

El silicio es ampliamente conocido como un material semiconductor y se utiliza como tal en muchos circuitos electrónicos. Sin embargo, para los fotógrafos, el principal interés en el silicio es que es un material fotosensible.

Para ser más específico, el silicio absorbe luz para cualquier longitud de onda comprendida entre 400 nm y 1100 nm. La buena noticia es que este rango cubre el espectro de luz visible (aproximadamente de 400 nm a 750 nm) e incluso un poco del espectro infrarrojo cercano. La mala noticia es que el silicio por sí solo no discrimina entre el color de la luz y solo acumula cualquier fotón en el rango de 400-1100 nm.

Un primer paso para mejorar la calidad de imagen es agregar un filtro para eliminar la luz infrarroja (entre 750nm y 1100nm) antes de que llegue al sensor. El sistema resultante constituye un sensor de cámara monocromática (que proporciona imágenes en blanco y negro).

A partir de ahí, la forma más común de recolectar información de color es mediante el uso de una matriz de filtros de color (CFA). Por lo general, este filtro se organiza siguiendo un patrón Bayer (llamado así por un ingeniero de Kodak) con filtros rojo, verde, verde y azul.

Gracias a estos tres filtros, se puede recuperar la información de color en la imagen. Sin embargo, el proceso se realiza a expensas de la resolución de la imagen. Para un píxel “rojo” dado, es necesario hacer una interpolación para encontrar la información faltante de verde y azul. Existen muchos algoritmos de interpolación, pero el proceso siempre resulta en alguna forma de artefacto de color y suavizado de la imagen.

Los matrices de filtro de color, además de ser imprecisos, también absorben muchos fotones en el proceso de recolectar información de color. La absorción varía según la elección del filtro y el contenido de la imagen, pero generalmente se admite que el flujo de luz se divide por un factor de 3 antes de llegar al sensor. Eso equivale a 1.5 paradas de luz.

La Ingeniosa Idea Detrás de la Tecnología Foveon

Sucede que, dependiendo de su color, un fotón dado viaja una distancia específica en el silicio antes de ser absorbido. Esta “distancia de viaje” está relacionada con la energía del fotón, la cual depende de su longitud de onda. Los fotones de longitud de onda corta (luz azul, luz ultravioleta, etc.) son más energéticos que los de longitud de onda más larga (luz roja, luz infrarroja, etc.) y, por lo tanto, son absorbidos después de un viaje más corto en el silicio.

Dado que la profundidad de absorción en el silicio proporciona una estimación de la longitud de onda del fotón, la medida de la profundidad de absorción proporciona teóricamente la información de color. La idea inteligente de los sensores Foveon es utilizar “filtros de profundidad” en lugar de filtros de color uno al lado del otro.

En papel, al menos, eliminar cualquier filtro de color debería aumentar el flujo de luz que incide en el sensor y eliminar los inconvenientes asociados con los filtros de color.

Cuando los sensores Foveon llegaron al mercado por primera vez en 2002 en la cámara réflex digital Sigma SD9, la mayoría de las cámaras digitales estaban lejos de tener una resolución de 10MPx. La Canon EOS-1D tenía 4.2MPx y la Nikon D100 tenía 6MPx. Dado que los arreglos de filtro de color requieren interpolación digital, para un número determinado de píxeles, el arreglo de filtro de color ofrecía una mejora masiva en nitidez.

Sigma intentó comercializar esta diferencia en calidad de imagen al afirmar que la cámara SD9 tenía una imagen de salida de 3.43MP pero “10.3 millones de píxeles efectivos”, lo que significa que sus píxeles funcionaban 3 veces mejor. Varios trabajos académicos han encontrado de hecho que los sensores Foveon ofrecen una mayor resolución percibida gracias a la falta de interpolación y de artefactos de color alrededor de bordes afilados. Desde esta perspectiva, los sensores Foveon proporcionan un beneficio claro y medible al usuario.

Un último punto afirmado por Sigma es que los sensores Foveon superan a los sensores de filtros de color en cuanto a precisión de color. La afirmación se explica por la falta de interpolación de información de color. De hecho, para un píxel Foveon dado, los datos de rojo, verde y azul se registran en el mismo lugar, a diferencia de una matriz de filtro de color.

Al menos en teoría, el sensor Foveon lo tiene todo: mejor flujo de luz significa mejor rendimiento con poca luz, mejor precisión del color y mejor nitidez de la imagen. Pero las especificaciones en papel nunca cuentan toda la historia…

¿Qué salió mal con la brillante idea de Foveon?

La verdadera pregunta de ahí en adelante es realmente esta: dado que la idea detrás de los sensores Foveon es bastante inteligente, ¿por qué no estamos todos usando sensores Foveon?

Resolución

Alguno del interés en la tecnología Foveon desapareció con la evolución de los sensores CMOS ya que el aumento dramático en la densidad de píxeles ha reducido uno de los principales puntos de venta de los sensores Foveon. Claro, no es realmente una comparación justa ya que el recuento de píxeles sólo contribuye a una fracción de la calidad de imagen final (junto con el objetivo, la cantidad de luz disponible, etc). Dado que incluso los teléfonos inteligentes pueden ofrecer imágenes de al menos 20MPx, Foveon es menos atractivo que en la década de 2000.

Color

La ventaja de color del sensor Foveon es teóricamente indiscutible pero solo ofrece poco beneficio práctico. Fuera de los monitores calibrados y los entornos de laboratorio, la diferencia en la precisión del color es lo suficientemente pequeña como para pasar desapercibida para la mayoría de los fotógrafos casuales. Ciertamente es más sutil que el efecto de los errores de balance de blancos o los filtros creativos de Instagram.

Ruido

Aquí está potencialmente el punto más debatible de todos. En teoría, los sensores Foveon deberían recolectar aproximadamente 3 veces más luz, lo que se traduciría en una mejora de 1.7 veces en la relación señal-ruido. Es decir, asumiendo que el ruido de disparo sea dominante. Sin embargo, resulta que en comparaciones prácticas, el rendimiento en condiciones de poca luz de los sensores Foveon queda corto. Incluso el Gerente General de Foveon, Shri Ramaswami, lo admitió en una entrevista en 2014.

“Una de las limitaciones del enfoque de Foveon es que el ruido en la imagen es mayor que en los sensores convencionales”, dijo. “Esto probablemente se debe en parte a las ineficiencias dentro de la arquitectura del sensor en sí misma, tal vez parte de la luz se pierde en las estructuras internas que separan las capas, y también en parte al procesamiento que debe hacerse para producir colores puros a partir de las señales bastante mixtas que realmente captura el chip”.

Los sensores CMOS y los sensores Foveon comparten un problema similar de diseño: parte de la luz se filtra de un píxel al siguiente. En los sensores CMOS, este problema de crosstalk se resuelve utilizando estructuras verticales de aislamiento entre los fotodiodos.

En los sensores Foveon, sin embargo, no es posible aplicar el mismo truco (de lo contrario, solo obtendrías la información del color azul). Por lo tanto, los sensores Foveon tienden a sufrir fugas de fotones de una capa de fotodiodos a la siguiente.

Procesamiento de imágenes: El problema oculto detrás de los sensores inusuales.

Una desventaja que es común en todos los sistemas de color “inusuales” (ya sea Fuji X-Trans, filtros RGBW o Foveon) es que el procesamiento de imágenes también se ve afectado por la elección. Aunque los filtros Bayer quizás no sean la mejor manera de capturar colores, han estado presentes durante varias décadas y son absolutamente dominantes en el mercado de los sensores. Como consecuencia, el incentivo es grande para los investigadores y empresas de procesamiento de imágenes ajustar todos los algoritmos para este tipo de sensor.

“Eliminar ruido, por ejemplo, se suele realizar con ciertas suposiciones sobre las estadísticas relacionadas con los fotones recogidos que no pueden aplicarse directamente a los sensores Foveon. Lamentablemente, debido a la baja cantidad de sensores Foveon utilizados, la mayoría de las empresas de procesamiento de imágenes no tienen ningún incentivo para admitir archivos Foveon, sin mencionar el desarrollo de tuberías de procesamiento de imágenes dedicadas a dichos sensores.”

La tendencia solo empeora con los algoritmos basados en el aprendizaje automático. Francamente, los algoritmos de aprendizaje automático solo son tan buenos como los datos utilizados para entrenarlos (tanto en términos de cantidad como de calidad). Dado que hay mil veces más imágenes disponibles de las matrices de filtro de Bayer que de Foveon, los sensores anteriores se beneficiarán de mejores algoritmos que los últimos.

Otras consideraciones de marketing

Por último, debemos abordar el elefante en la habitación. El equipo de fotografía no siempre se vende por razones técnicas. Precios, marketing, ecosistemas de lentes, imagen de marca: hay muchos factores en el éxito de una tecnología.

Sigma ha intentado proporcionar un sensor diferente a cualquier otro, pero la compañía tuvo que luchar dos batallas al mismo tiempo. La primera fue probar la calidad de imagen de los sensores Foveon. La segunda fue demostrar que, como fabricante de cámaras, sus cámaras eran superiores a las de Canon o Nikon.

Foveon podría haber sido el arma secreta de Sigma en la competitiva industria de cámaras. Pero, la diferencia de rendimiento entre los sensores tradicionales y los sensores Foveon no es clara. No lo suficientemente clara, al menos, como para atraer a nuevos fotógrafos a la marca Sigma.

¿Volverá siquiera el Sensor Foveon?

Sigma ha comenzado a desarrollar un sensor Foveon de formato completo, y el proyecto se encuentra en una etapa inicial de prototipo según el comunicado más reciente de Sigma. Parece probable que el proyecto pueda quedarse atascado en la fase de prototipo y nunca llegar al mercado. En el mejor de los casos, según este calendario, parece poco realista esperar un sensor producido en masa antes de 2024.

Como empresa, Sigma tiene una buena y merecida reputación en la fabricación de lentes y le gustaría ampliar su negocio hacia cámaras y sensores. Sin embargo, una cámara es mucho más que solo un sensor. El verdadero desafío para Sigma podría ser la falta de procesamiento de imágenes de alta calidad. Incluso Sigma tuvo que crear un complemento para Adobe Photoshop para poder abrir los archivos Foveon.

Si bien no es imposible que Sigma lance una nueva cámara con un sensor Foveon de fotograma completo, aún queda mucho por recorrer en la venta de la tecnología fuera de la comunidad Foveon existente, y mucho menos convertirla en un estándar de la industria.

Sobre el autor: Timothee Cognard es un experto óptico y fotógrafo con sede en París, Francia.