Ремастеринг «Тома и Джерри» в 4K: как я потратил два года на идеальную очистку и апскейлинг

Два года назад я выложил свой первый подробный разбор по апскейлингу классического мультсериала «Том и Джерри» до формата 2K. Этот материал вызвал большой отклик, однако среди отзывов было немало обоснованной критики от специалистов по видеообработке. Картинка действительно избавилась от случайного мерцания и мелких дефектов плёнки, но расплачиваться за это пришлось проявлением так называемого «эффекта зловещей долины» и ощутимой нейросетевой замыленностью кадра.

Я понял, что легендарная анимация прошлых лет заслуживает куда более внимательного подхода. В итоге работа растянулась ещё на два года, включив пять очередных итераций, сотни часов экспериментов и списание в утиль гигантского объёма готовых рендеров. В этой публикации я пошагово расскажу о том, как устроен грамотный процесс перевода старого плёночного материала в честный 4K с сохранением структуры рисунка.

Первоклассные исходники: в чём главная проблема оцифровки плёнки

Первый год работы над второй версией ремастера я потратил на шлифовку тех исходников, которые казались мне качественными. Я постоянно менял алгоритмы апскейлинга, находил новые решения, но в какой-то момент решил углубиться в матчасть. Выяснилось, что использованные материалы были хороши лишь относительно.

Оригинальные серии 1940–1960-х годов снимались на классическую киноплёнку. В современных студиях их реставрируют традиционными методами: физически очищают ленту, промывают в специальных составах для устранения царапин, выполняют высокоточное сканирование и обрабатывают оцифрованный кадр в специализированном софте. Главная проблема заключается в том, где именно публикуются эти реставрации. Обычно их выпускают на DVD в скромном 480p или на Blu-ray в 720p–1080p.

Почему простой апскейл Blu-ray приводит к артефактам

Когда я заполучил Blu-ray исходники, то сначала попытался обработать их привычными методами апскейла, но результат оказался плачевным. На изображении проявились хаотичные паразитные шумы и шевеления, из-за чего смотреть видео стало практически невозможно: отдельные зоны оставались чисто вычищенными, а соседние пестрели артефактами.

Причина такого поведения кроется в самой природе киноленты. На любой оцифрованной плёнке присутствует естественная зернистость. В индустрии профессиональной реставрации это зерно берегут, так как оно не только передаёт дух эпохи, но и содержит микроскопическую детализацию кадра. Нейросетевые апскейлеры не умеют корректно взаимодействовать с естественным зерном. Попытка поднять разрешение видео с плёночным шумом приводит к тому, что алгоритм принимает зерно за полезные детали, начинает усиленно повышать его резкость и превращает картинку в месиво из «ползающих муравьев». Чтобы нейросетевой апскейл сработал должным образом, исходник необходимо предварительно полностью очистить от шума.

Подготовка единой русской аудиодорожки

Параллельно с видеорядом требовалось решить фундаментальную проблему с аудиосопровождением. Полного официального дубляжа для всех 163 классических серий «Тома и Джерри» не существует в природе — дублировать успели лишь около двух десятков эпизодов. В 1990-х и 2000-х годах мультфильм выходил во множестве одноголосых и многоголосых переводов. Ранее мне уже удалось собрать единую аудиодорожку, объединившую более 20 различных озвучек с переводом всех надписей и табличек.

Главная техническая сложность заключалась в разном качестве звукового материала. Перезаписи на бытовые носители и многократное сжатие сильно урезали частотный диапазон, включая фоновую музыку. Чтобы сохранить оригинальную музыкальную партитуру в идеальном качестве и наложить на неё только голоса дикторов, я применил нейросетевой инструмент Ultimate Vocal Remover (UVR). С его помощью удалось отделить голоса от фонограмм, после чего последовала кропотливая ручная сведение и ручная подгонка каждого отрезка в редакторе Audacity. В текущей итерации ремастера оставалось лишь ювелирно синхронизировать эти готовые мастер-дорожки с новыми Blu-ray исходниками.

Удаление зернистости и шума: SCUNet против NeatVideo

Для качественной денойз-обработки я протестировал два основных метода. Первый путь — применение готовых нейросетевых денойзеров. Я запустил нейросеть SCUNet и прогнал через неё все 163 серии. Процесс занял около двух недель непрерывной работы видеокарты, так как на обработку одной 7-минутной серии уходило до 2 часов. Результат оказался неудовлетворительным: примерно в 100 сериях из 163 шум был убран неравномерно. Картинка получилась гибридной — местами идеально гладкой, а местами покрытой зерном, что абсолютно неприемлемо.

Второй путь — использование профессионального плагина NeatVideo для покадровой ручной очистки шума по частотным профилям. Этот инструмент требует индивидуальной настройки более чем 30 параметров под каждый видеофрагмент. Суммарно на освоение NeatVideo и поиск оптимальных пресетов у меня ушло свыше 100 часов экспериментальной работы. Однако именно этот софт позволил убрать цветной и яркостный шум даже с сильно повреждённых участков плёнки, сохранив при этом до 80–90% реальной чёткости рисунка. На финальный рендер с помощью NeatVideo потребовалось около 50 часов чистейшего машинного времени.

Создание собственной нейросети для борьбы с полосами

При обработке массива видеоматериала я столкнулся с нестандартным дефектом. В двух сериях на плёнке присутствовали выраженные горизонтальные полосы помех, которые не поддавались ни традиционным алгоритмам NeatVideo, ни готовым нейросетевым денойзерам.

Не желая оставлять брак в итоговом релизе, я занялся созданием и обучением собственной узкоспециализированной нейросети. Я разработал алгоритм симуляции подобного разложения плёночного кадра и подготовил датасет для обучения. Спустя два месяца экспериментов мне удалось получить рабочую модель. Она слегка мылит и даёт едва заметную нестабильность кадра, но полностью устраняет полосы, с которыми не справился ни один сторонний инструмент.

Реставрация и нейросетевой outpainting постеров

Чтобы отвлечься от монотонной видеообработки, я решил отреставрировать графический сопроводительный материал. До 71-й серии (до 1952 года) к каждому выпуску «Тома и Джерри» создавались уникальные рисованные театральные постеры. За прошедшие десятилетия бумажные оригиналы обветшали, покрылись трещинами и исказились по цвету, а доступные в сети сканы часто пережимались в низком качестве.

Используя растровый редактор GIMP, я вручную восстановил детализацию, устранил дефекты бумаги и скорректировал гамму постеров. Для оставшихся 90 серий, где полноценных плакатов не существовало, в качестве основы использовались титры из начала эпизодов. Посколку заставки имели квадратное соотношение сторон 4:3, я применил нейросетевой outpainting для расширения границ изображения до вертикального формата постера, после чего вручную устранил мелкие артефакты генерации. В итоге коллекция пополнилась 163 отреставрированными плакатами.

Проблема «клип-шоу» и ручной перемонтаж фрагментов

Шесть эпизодов классического мультсериала представляют собой так называемые «клип-шоу» — серии, собранные студией из фрагментов ранее вышедших выпусков. В оригинальных выпусках эти фрагменты монтировались из прокатных копий разной степени износа, из-за чего качество картинки внутри одной серии могло резко скакать от кадра к кадру.

Я принял решение полностью пересобрать все шесть клип-шоу с нуля. Для этого я находил соответствующие сцены в уже отреставрированных и очищенных от шума исходниках оригинальных серий и монтировал их кадр в кадр. В процессе выяснилось, что оригинальные монтажёры студии при сборке компиляций вырезали по 1–2 кадра из привычных сцен, а в серии №149 и вовсе перерисовали отдельные CEL-слои с анимацией персонажей поверх новых фонов. На синхронизацию и поиск нужных дублей ушло ещё порядка 10 часов ручной работы.

Устранение Halo-эффекта и финальный апскейлинг

После полной очистки видеоряда от зернистости и пересборки проблемных серий настала очередь финишного апскейлинга. Примерно в 80 эпизодах на границах контрастных объектов присутствовал артефакт Halo (оконтуривание/светящиеся ореолы). Его удалось минимизировать прогоном через специализированную специализированную дегало-модель.

Для основного увеличения разрешения до 4K я протестировал около 40 различных моделей апскейлинга с ресурса OpenModelDB. Популярный Topaz Video AI показал отличные результаты на видео с живыми актёрами, но для 2D-анимации он подходит слабо. Оптимальным выбором стала нейросеть ModerSpanimation. Она аккуратно подтягивает чёткость контуров, не искажает исходную палитру, не генерирует фальшивое зерно и бережно относится к тонким линиям рисунка. Рендеринг всех серий в 4K занял ещё две недели непрерывной работы оборудования.

Оптимизация и сжатие: 10-битный NVENC HEVC

Рендеринг в несжатый 4K сформировал массив данных объёмом свыше 200 ГБ. Для бытовой медиатеки такой вес неудобен, поэтому потребовался этап финального кодирования. Я применил аппаратный кодировщик NVENC на видеокарте RTX 4060 Ti в связке с процессором Ryzen 5600. Параметры кодирования FFmpeg включали профиль main10, пресет p7, режим vbr, параметр cq 28 и 10-битный формат пикселей p010le.

Переход от стандартного 8-битного цвета к 10-битному пространству стал ключевым фактором эффективной оптимизации. В 2D-анимации с большими плашками однородных заливок 10-битное кодирование устраняет бандинг и градиентные ступенчатости при существенно меньшем битрейте. В результате 4K-версия ремастера заняла 56 ГБ, тогда как старая 2K-версия весила 60 ГБ. Увеличение разрешения на 125% привело не к росту размера файла, а к его сокращению на 6.67% при полном отсутствии видимых потерь в качестве.

Итоги и временные затраты

Проект по созданию полноценного 4K-ремастера «Тома и Джерри» занял два года экспериментальной и технической работы. Потери времени на разбор ошибок и неудачные итерации оказались гигантскими, но итоговый результат максимально приближен к идеалу.

• Время работы GPU (рендер и нейросети): 1000–1700 часов
• Исследования, тесты ИИ и поиск исходников: 400–800 часов
• Настройка и рендер в NeatVideo: 100–150 часов
• Реставрация и сведение аудиодорожек: 100+ часов
• Финальное кодирование видео: 100–200 часов
• Обработка и outpainting 163 постеров: 50+ часов

Ремастеринг подобного масштаба требует комплексного подхода: бессмысленно применять нейросетевые апскейлеры «в лоб» без предварительной глубокой очистки материала от плёночных шумов, устранения оптических артефактов и правильной настройки финального кодировщика.

Источник: habr.com