Как нейросеть реставрирует старые фото — и чего она не может

«Нейросеть восстановила фото» звучит как магия, но внутри — понятная механика. Расскажем честно, как это работает, что ИИ умеет блестяще, где он догадывается — и покажем на собственном опыте, как модель пыталась «приукрасить» человека и как мы её от этого отучили.

Начнём с примера — лицо, которое знает каждый. Книжная репродукция портрета Льва Толстого: печать съела резкость, на бороде — белёсое пятно. После реставрации пятно ушло, а морщины на лбу, тяжёлые веки и усталый взгляд остались ровно там, где были, — человек узнаваем мгновенно. Ниже разберём, как нейросеть это делает, и почему «сохранить возраст» — самое сложное в этой задаче:

Как это устроено на пальцах

Модель для реставрации училась на миллионах пар «повреждённое фото → целое фото». Она не хранит ваши снимки и не ищет похожие в интернете — она выучила закономерности: как выглядит трещина и чем она отличается от ветки дерева, как устроено человеческое лицо, какой была фактура ткани и света на снимках разных эпох.

Поэтому, когда нейросеть видит залом через щёку, она не «стирает» его, как ластиком, — она перерисовывает этот участок так, как он, скорее всего, выглядел: с учётом соседних пикселей, анатомии и тысяч похожих лиц, виденных при обучении.

Этому негативу больше ста лет, эмульсия осыпалась целым озером. Для нейросети это задача из трёх частей: убрать разрушения, восстановить фон под ними и не тронуть само лицо.

Чего нейросеть не может

Говорим прямо, потому что это важно понимать до загрузки дорогого снимка:

— Если информации нет — она придумывает. Полностью утраченное лицо модель достроит правдоподобно, но это будет реконструкция, а не «проявление» оригинала. Повреждения вокруг лица лечатся отлично; повреждения вместо лица — уже творчество.

— Цвета при колоризации — обоснованная гипотеза. Тон кожи и света модель передаёт точно, а цвет платья выбирает по вероятности. Какого цвета оно было на самом деле, не знает никто — честный сервис вам об этом скажет.

— Крошечные лица на групповых снимках восстанавливаются хуже крупных портретов: на пять пикселей лица закономерности не натянешь.

Главный подвох: модель хочет всех приукрасить

Об этом почти никто не пишет, а мы расскажем, потому что сами с этим боролись. Нейросети учатся на современных фотографиях в том числе — а современная фотография отретуширована. Поэтому модель «по привычке» разглаживает кожу, убирает морщины и омолаживает людей лет на десять-пятнадцать.

Слева — первая версия: кожа «фарфоровая», морщины стёрты, женщина помолодела на десять лет. Справа — после того, как мы переписали инструкции модели: настоящий возраст, тени под глазами, живая фактура кожи. Для семейного фото это принципиально: вы хотите увидеть бабушку такой, какой её помните, — а не её отретушированную незнакомку.

Интересно, что перегнуть можно в обе стороны. Когда мы потребовали «сохранять все морщины», модель начала их дорисовывать там, где их не было:

Слева модель состарила молодого офицера и зачем-то дорисовала плюмаж на кивер. Справа — финальная версия: возраст как на исходнике, ничего лишнего. Сейчас наши модели работают по сбалансированному правилу: морщины сохраняются только там, где они есть на оригинале, — никого не молодить и не старить.

Как это контролировать — чек-лист

1. Сравнивайте «до/после» перед скачиванием — у нас для этого ползунок сравнения прямо в студии.

2. Подсказывайте модели факты. В студии есть поле «детали»: цвет глаз, одежды, «это молодой человек», «у него борода» — модель следует таким указаниям.

3. Пользуйтесь повтором. Неудачная трактовка — бесплатный повтор с другим вариантом: у нейросети всегда есть несколько правдоподобных прочтений.

Попробовать всё это можно без риска: в студии «Родные лица» новым пользователям — 1 000 токенов в подарок, хватает на полноценную первую реставрацию. А полный список задач — от удаления трещин до оживления фото — на странице возможностей.