Система DeepFaceDrawing, используя базу лиц реальных людей, способна создать на основе эскиза любой портрет. Причем эскиз может быть самым грубым и схематичным: на нем могут отсутствовать такие детали как цвет кожи, глаза и губы, веки и другие характерные особенности лица. Для DeepFaceDrawing эскиз - это приблизительная основа для синтеза изображения: алгоритм сравнивает линии наброска с базой данных и создает портрет на основе линий.
Система состоит из трех основных модулей: CE (Component Embedding, компонент вложения), FM (Feature Mapping, сопоставление деталей) и IS (Image Synthesis, синтез изображения). Модуль CE изучает пять объектов исходного эскиза - глаза, нос, рот и другие детали наброска. Модули FM и IS образуют другую подсеть и с ее помощью преобразуют каждый отдельный компонент в реалистичное изображение.
Но фантазия пользователя может повлиять на "творчество" искусственного интеллекта: если автор по своему желанию добавит дополнительные детали, например волосы, или подкорректируют форму лица, то изображение изменится. Но пока разрешение изображений ограничено - оно не больше 512×512 пикселей.
Интересный факт: база данных реальных лиц в основном состоит из женщин и мужчин южноамериканского и кавказского происхождения. Неясно, случайно ли китайские ученые ограничились людьми именно с этими корнями или это был их сознательный выбор в силу того, что другие данные не были интегрированы в систему.
Авторы нового алгоритма утверждают, что их инструмент прост в использовании - им могут пользоваться даже те, кто совсем не художник.
