Давно известно, что стоп-моушен — это тяжелый труд. В среднем аниматор, работающий со сложной сценой, может снимать от трех с половиной до пяти секунд анимации в неделю, — говорит Стив Эмерсон, супервайзер по визуальным эффектам студии Laika. Компания известна своими стоп-моушен фильмами, такими как "Потерянное звено" (англ. Missing Link).

Каждая сцена такого фильма — это куклы и еще раз куклы, но прежде чем они попадают на съемочную площадку, аниматоры Laika используют программное обеспечение, чтобы определить, как будет выглядеть кадр, а затем печатают лица кукол в формате 3D. Для фильма "Потерянное звено" компания Laika создала 106 000 различных лиц, включающих состояния кожи, положение бровей, зубов и языка.

Изображение © Laika Studios.

Каждое лицо разделено на две части, что дает аниматорам возможность комбинировать эти детали, добиваясь еще более широкого спектра выражений с меньшим количеством компонентов лица. Но это также означает, что все персонажи фильмов Laika имеют очевидный артефакт, который необходимо убрать в конечном итоге — швы между частями лица.

Перед началом съёмок фильма, чтобы ускорить процесс ретуширования растущей библиотеки форм лиц, команда начала изучать доступные решения, основанные на машинном обучении в надежде на значительную экономию времени. Попутно было сделано несколько наблюдений, о перспективах использования искусственного интеллекта в стоп-моушен.

Лишнее убрать, нужное оставить

В подробном изложении своего подхода к решению этой проблемы, специалисты Laika приводят общую схему работы, в которой задействуется искусственный интеллект (ИИ).

Изображение © Laika Studios.

Сначала, для каждого полученного при съёмке кадра выделяется зона интереса (Rough crop) с которой предстоит работать ИИ.

На основе готового кадра подготавливаются данные (Landmark model) — наиболее важные точки на лице куклы, которые подскажут искусственному интеллекту, что икать на снимках далее. На основе этих данных, через связывание точек, формируются фигуры (Active shape models, ASMs) — позволяющие ИИ понять как кадр от кадра изменяется положение частей лица, которые надо или не надо ретушировать.

- Активные модели формы (ASM) — это статистические модели формы объектов, которые итеративно деформируются, чтобы соответствовать примеру объекта на новом изображении, впервые разработанные Тимом Кутсом и Крисом Тейлором в 1995 году.

Далее, наступает этап определения ориентиров на лице (Landmark predictions) и фигур (Shape predictions). Всё это задачи из сферы компьютерного зрения, которые давно и надежно освоены современными информационными технологиями.

Полученная информация позволяет ИИ отретушировать кадр только там, где нужно, не повреждая важные части лица куклы.

Слишком идеально

Аниматоры Laika была заинтересованы в том, чтобы умерить стремление ИИ к совершенству. Им нужно было решение, которое могло бы выделить линии, которые художник хотел бы убрать, сохранив при этом дефекты, созданные руками человека, которые добавляют аутентичности. Поэтому, когда дело дошло до машинного обучения, компания хотела быть уверена, что последнее слово останется за аниматорами.

Изображение © Laika Studios.

Полученный результат превзошёл все ожидания — когда исчезли артефакты, куклы стали небывало гладкими, как будто у них никогда и не было швов. Но именно это и лишило образы персонажей жизни. Они стали неумолимо напоминать 3D модели — потому, что стали слишком совершенны.

Фильм, однако, получил премию «Золотой глобус» за лучший анимационный полнометражный фильм, став первым «некомпьютерным» анимационным фильмом, победившим в этой категории. Хотя, на сколько этот фильм на самом деле оказался «некомпьютерным», судить зрителю.

Так или иначе, помните, что этот шаг в будущее уже сделан и теперь стоп-моушен аниматоры в своей работе могут использовать еще и технологии, пришедшие из сферы компьютерного зрения, распознавания лиц и искусственного интеллекта.