Новый адаптивный сенсор от NHK: локальное управление пикселями и оптимизация кадра

На прошедшей выставке IBC большинство дискуссий и стендов традиционно были посвящены нейросетям и облачным сервисам. Однако фундаментальные физические технологии съемки продолжают развиваться. Пока медиаиндустрия обсуждает риски применения генерируемого контента, разработчики железа ищут пути более эффективной связи физического мира с серверными мощностями. Я внимательно изучил технические материалы конференции и хочу разобрать один из самых перспективных проектов — адаптивную к сцене матрицу, созданную инженерами NHK совместно с Университетом Сидзуока.

Сегодня матрицы достигли такой плотности фотодиодов, что их разрешение зачастую упирается не в детализацию изображения, а в пределы физической оптики. Режиссерам и операторам больше не нужно микроскопическое разрешение, проявляющее каждую пору на коже актера. Главный запрос индустрии сместился в сторону расширения динамического диапазона, снижения уровня шумов и повышения светочувствительности. Именно эти задачи решает концепт сенсора с локальной перенастройкой параметров.

Индикаторы сенсоров: принципы работы трехрежимного прототипа NHK

Разработкой уникального датчика руководит Кохей Томиока из вещательной корпорации NHK при поддержке исследователей из Университета Сидзуока. В основе технологии лежит концепция гибкой группировки пикселей (точнее, фотодиодов или фотосайтов). В отличие от классических матриц, где весь сенсор работает по единому алгоритму, новая разработка позволяет переключать отдельные участки кадра в один из трех специализированных режимов:

• Приоритет проработки светов: предотвращение выбивания ярких участков кадра;
• Приоритет чувствительности в тенях: эффективное снижение шума при слабом освещении;
• Высокоскоростной режим: адаптация под съемку динамичных сцен с высокой частотой кадров.

Масштабирование управления: от 64×64 к блокам 4×4

Этот проект развивается уже не первый год. Если в 2024 году исследователи демонстрировали тестовый 1-мегапиксельный сенсор с блоками управления 64 на 64 фотодиода, то свежий прототип представляет собой полнофункциональную камеру с существенно более точечной регулировкой. Теперь управление осуществляется блоками размером всего 4 на 4 фотосайта (по 16 элементов в блоке).

На базе этой технологии создана экспериментальная камера с разрешением около 4K, способная вести съемку на скорости до 240 кадров в секунду (в зависимости от выбранного разрешения). Переключение режимов происходит непосредственно на аппаратном уровне матрицы. Для этого система локально изменяет время выдержки или применяет пиксель-биннинг (объединение соседних фотодиодов). Итоговый сигнал требует последующей математической обработки, но результат оправдывает сложность: оператор получает кадр с оптимальным балансом шума и динамического диапазона по всей площади.

Трёхматричная архитектура и вещательные стандарты

Выбор NHK в качестве главного разработчика объясняется спецификой телевизионного вещания. Прототип построен на базе трёхматричной системы (3-chip) с сенсорами оптического формата 1,25 дюйма. Размер каждого фотосайта составляет всего 2,5 микрометра. Для сравнения: на классической Super-35mm матрице с аналогичным разрешением 4K размер пикселя превышает 5 микрометров.

В сегменте репортажной и студийной видеосъемки использование небольших сенсоров имеет практический смысл. Чтобы получить высокий зум на 8K-камерах с крупными матрицами, приходится использовать огромные и тяжелые объективы. Локальная перенастройка параметров на матрицах формата 1,25 дюйма позволяет существенно повысить качество картинки без необходимости перехода на громоздкую оптику.

Оптимизация параметров: компромиссы физики кремния и цифровая обработка

Индустрия знает немало примеров нестандартных структур матриц. В прошлые годы инженеры экспериментировали с альтернативными цветовыми фильтрами (добавляя голубые, желтые или прозрачные фотодиоды вместо схемы Байера) или совмещали на одном кристалле крупные чувствительные пиксели с мелкими элементами для светов. Однако многие из этих решений упирались в физические ограничения.

История альтернативных матриц и предел Байера

Физика кремниевых полупроводников всегда налагает жесткие рамки. Параметры четкости, цветопередачи, чувствительности, уровня шума и динамического диапазона всегда находятся в состоянии компромисса. Увеличение площади кристалла повышает характеристики, но при фиксированном размере матрицы инженерам приходится выстраивать баланс, жертвуя одними показателями ради других.

Большинство прошлых экспериментов так и не смогли потеснить классический фильтр Брайса Байера из массового производства. Однако новый подход NHK выделяется тем, что сочетает гибкую аппаратную перегруппировку фотодиодов прямо на кристалле с мощной алгоритмической обработкой данных.

Алгоритмы, чувствительность и энергоэффективность на площадке

Современное видеооборудование давно перешагнуло этап, когда камера просто фиксировала падающий свет. Сегодня матрица проектируется с учетом математических алгоритмов постабработки. Вычислительные методы шумоподавления и восстановления деталей работают в неразрывной связи с архитектурой сенсора.

Повышение чувствительности сенсоров дает колоссальный практический эффект на съемочной площадке. Прирост чувствительности всего на одну ступень (1 stop) позволяет вдвое сократить бюджет на осветительное оборудование и энергопотребление. В условиях реального производства это означает ускорение работы, уменьшение массы сетапа и существенную экономию ресурсов. И хотя нейросети забирают на себя все больше задач, фундаментальное улучшение забора света на уровне физического сенсора остается ключевым фактором развития видеотехники.

Источник: www.provideocoalition.com