Нейронные сети и современное искусство: наш опыт с Artlife 2020

В этой серии статей мы поделимся своим опытом разработки 40 картин с дополненной реальностью с использованием нейронных сетей для проекта ARTLIFE 2020.

Нейронные сети и современное искусство: наш опыт с Artlife 2020.

В этой серии статей мы поделимся своим опытом разработки 40 картин с дополненной реальностью для проекта ARTLIFE 2020.

Некоторое время мы продвигаем сочетание технологий машинного обучения и 3D в искусстве, и мы хотим использовать все возможности, которые открываются с помощью нейронных сетей в нашем процессе. Этот пакет позволяет использовать новые конвейеры, оптимизировать время разработки и создавать новые формы и стили с помощью компьютера, которые человек никогда бы не создал.

В последнее время возросла популярность искусственного интеллекта. Эта технология внедряется повсеместно, и искусство не исключение.

Алгоритмы машинного обучения (ML) помогают решать как рутинные вычислительные задачи (распознавание образов, быстрая обработка больших наборов данных и т.д.), Так и нетривиальные творческие задачи (генеративные модели глубокого обучения, которые позволяют создавать новые формы и изображения из простого текста описание или эскиз), что значительно снижает «боязнь чистого листа». В сочетании с творческим подходом художника можно добиться очень интересных результатов. Многие художники, работая с нейросетями, находят собственные оригинальные решения и обретают собственный узнаваемый стиль.

Всем интересующимся отсылаем к книге «Генеративное глубокое обучение”)

Представьте: вы находите в своем архиве старое семейное фото с людьми, которых давно не было, и прямо на ваших глазах они начинают оживать… Они смотрят на вас, улыбаются, моргают, поворачивают головы — создается полное ощущение, что я здесь, рядом с тобой, живая. Чудо? Это чудо стало возможным…

Как Deep Nostalgia оживляет фотографии

Сервис работает по принципу нейронной сети. Его алгоритм основан на технологии распознавания лиц и компьютерной анимации. После того, как нейросеть распознает фотографию на лице, она применяет к нему готовые «драйверы» анимации в виде фиксированной последовательности движений и жестов.

«>

Это позволяет получать короткие и чрезвычайно реалистичные видеоролики, в которых люди на фотографии могут моргать, поворачивать головы, улыбаться и т.д. Увидеть как это работает:

Помимо прочего, сервис выполняет процедуру улучшения качества загружаемых в него фотографий. Поскольку исторические фотографии обычно имеют низкое разрешение, небольшой размер, артефакты в виде шума и т.д., этот шаг чрезвычайно важен для получения высококачественной анимации.

Надо сказать, что нейросеть справляется с этой задачей ровно более чем за пять. Сравните исходное фото, которое я загрузил в Deep Nostalgia, и обработанное нейронной сетью:

И вот результат в лице реанимированного Петра Аркадьевича. Очаровательно, не правда ли?

Живопись оживает: как искусственный интеллект и нейронные сети воплощают в жизнь портреты картин и фотографии известных людей

Сальвадор «Франкенштейн» Дали

Ранее музей Дали во Флориде «возродил» художника Сальвадора Дали. Мероприятие было приурочено к 115-летию испанца, 11 мая 2019 года. Организаторы использовали технологию DeepFake, которая обрабатывает сложные изображения и использует интерактивные системы. Артистка не уходила с экрана, но активно руководила и общалась с посетителями.

Музей Дали сотрудничал с организацией Goodby Silverstein & Partners из Сан-Франциско, чтобы воплотить этот проект в жизнь. Изображение было создано из интервью, цитат, архивных материалов, трехмерных моделей и искусственного интеллекта, специализирующегося на жестах. В общей сложности для работы потребовалось более 6000 кадров художника и 1000 часов машинного обучения. GS&P использовала эти материалы для обучения алгоритма, что позволило им «изучить» лицо и тело Дали.

Макет художника доработали настоящие актеры, внешне похожие на мастера. Голос Дали исполнил артист с характерным испанским акцентом. Все это создало «фальшивку высокого уровня», сопровождавшую посетителей музея на выставку «Жизни Дали». «Художник» рассказывал истории своей жизни, цитировал себя, открывал дверь и «создавал» образы. Интерактивная система также реагировала на действия посетителей, отвечала на простые вопросы и создавала селфи.

проект: мы ничего не программируем сами, мы просто используем чужой код для развлечения, развлечения и просто потому, что можем.

Прокрутите код до конца — после него будет строка с прогрессом выполнения:

Покажи, насколько готово твое фото. Каждые 10% ноутбук дает промежуточный результат. Увидеть, как изменилась картина, можно на следующем этапе расчетов:

Последнее изображение с именем Step 999 будет окончательным результатом алгоритма.

RBC Trends выяснило, как технологии продлят «цифровую жизнь» человека

Сложности «оживления»

Исследователь Карл Оман из Оксфордского института Интернета опубликовал статью о потенциальных проблемах, которые могут создать службы «воскрешения». Первая проблема, которую он видит, — это необходимость обновления программного обеспечения. По словам Омана, компании не смогут хранить чат-ботов умерших вечно.

Кроме того, отмечает исследователь, поведение самих алгоритмов нельзя назвать предсказуемым. Поведение чат-бота может со временем измениться.

Генеральный директор Everdays Марк Альхермизи оптимистично смотрит на технологии, которые могут поддержать близких после смерти человека, но он также видит проблему в непредсказуемости чат-ботов. Everdays не только организует похороны и мемориалы умершим, но также создает цифровые мемориалы, где близкие могут поделиться соболезнованиями и вспомнить умерших.

Альхермизи говорит, что, хотя технологии создания цифровых копий все еще недостаточно хороши, в будущем чат-бот сможет убедительно имитировать человека, а это может представлять опасность для психики близких.

Юристы видят другую проблему: если чат-боты и голограммы станут обычным явлением, человечеству придется разработать новые законы, чтобы управлять ими. Кроме того, создание цифровой копии человека, по их мнению, является нарушением права на неприкосновенность частной жизни, но сейчас это никак не регулируется законом.