Нейросеть для рисования картин

Нейронные сети и современное искусство: наш опыт с Artlife 2020.

В этой серии статей мы расскажем о нашем опыте разработки 40 картин в дополненной реальности для проекта ARTLIFE 2020.

Мы уже довольно давно пропагандируем связку ML и 3D-технологии в искусстве и хотим использовать все возможности, открывающиеся с нейронными сетями в нашем процессе. Эта связка позволяет использовать новые пайплайны, оптимизировать время на разработку и создавать с помощью компьютера новые формы и стили, то что человек бы никогда сам не создал.

В последнее время, популярность искусственного интеллекта возрастает. Эту технологию внедряют повсеместно и искусство не стало исключением.

Алгоритмы машинного обучения (ML) помогают решать как рутинные вычислительные задачи (распознавание образов, быстрая обработка больших массивов данных и пр.), так и нетривиальные творческие задачи (генеративные модели глубокого обучения, позволяющие по простому текстовому описанию или скетчу создавать новые формы и образы), значительно снижая “страх белого листа”. В комбинации с творческим подходом художника можно получать очень интересные результаты. Многие художники, работая с нейронными сетями находят свои оригинальные решения и обретают свой узнаваемые почерк.

Всех заинтересованных отсылаем к книге “Генеративное глубокое обучение”)

The Relationship Between Art and AI

Art is how we’ll imagine new ways to use AI that could help us survive, even evolve.

В свою очередь, для нехудожников, нейронные сети ускоряют процесс получения необходимых навыков и знаний, что сокращает путь от новичка до эксперта. Это большой шаг навстречу демократизации творчества, но об этом отдельно.

В Photoshop уже достаточно давно есть инструменты, ускоряющие работу — это дорисовывание фона за выделенным объектом, стилизация фотографий под традиционные методы (карандаш, масло и т.д.) Пинтерест, где мы ищем вдохновение, предлагает интересный именно нам контент с помощью рекомендательных алгоритмов. Blender 3D сокращает время рендеринга благодаря denoise системе. В Substance есть инструмент, который создает текстурные карты из фотографий.

В нашей недавней статье мы подробно рассмотрели классификацию нейронных сетей для работы с 3D-данными и описали все, что уже успели попробовать. Здесь прилагаем обновленную схему.

Обзор нейронных сетей для работы с 3D-данными

В этой обзорной статье мы поделимся нашими наработками, знаниями и экспериментами в области нейронных сетей и работы с…

В этой статье хочется поделиться впечатлением от работы с такими инструментами на проекте Artlife 2020, рассказать плюсы, минусы и все рассмотренные варианты на конкретных картинах.

Style Transfer

Укрощение тигра

Первая картина, на которой я опробовала все чудеса StyleTransfer’а — Laura Gulshani “Valentino Green Dress”.

С первого взгляда, я почувствовала в этой женщине укротительницу тигров, такую прямую, спокойную и сильную. За ее спиной должен был появиться тигр.

Сначала я начала все рисовать вручную, но сразу же поняла, что это займет много времени, нужно было не просто нарисовать тигра, а сделать его в технике оригинальной картины. Поэтому я авторизовалась в Runway ML. Это программа, в которой собраны самые популярные алгоритмы машинного обучения. С их помощью можно работать с изображениями, видео и даже обучать сетку практически с нуля на своих примерах. Огромный плюс в том, что в Runway ML можно работать без знания кода, все сделано очень интуитивно и упрощенно, для ускорения процессов. Там я подобрала подходящую мне нейронную сеть StyleTransfer. Для работы в ней нужно два изображения: картинка оригинал, которую будем стилизовать и картинка-референс, с которой будем брать стиль. Референс по стилю у меня уже был (Руссо), осталось найти то, к чему применять этот стиль. По запросу “тигр” я очень быстро нашла подходящий ракурс и уже через 2 минуты получила стилизованное изображение. Конечно, я доработала его в фотошопе, чтобы тигр полностью соответствовал образу в моей голове, это тоже заняло совсем немного времени.

Сам Runway ML оставил у меня неоднозначное впечатление. Вроде и функционал обученных нейронок большой и вариативность у результата есть (можно подстроить/настроить свет и цвета), но открывается не всегда с первого раза и обрабатывает дольше, чем веб-генератор Deep Dream Generator, которым я решила пользоваться в следующих примерах, он представляет из себя тот же Style Transfer, только ничего не нужно скачивать. В обоих случаях можно получить сгенерированное изображение бесплатно, однако попытки ограничены. (Что можно решить сменой почтового ящика).

Вдохновленная таким результатом, я решила использовать метод нейронных сетей и для улыбки женщины. Я сразу вспомнила о приложении EbSynth, с которым мы работали в прошлом году. Это программа из категории Style transfer и с ее помощью мы оживляли несколько нарисованных людей на картинах. Там можно стилизовать длинные ролики поработав только над несколькими референсными кадрами, где значительно меняется картинка.

На вход он просит видео, которое будет стилизовано (я сняла себя) и референс для стилизации — лицо женщины.

На итоговом видео было похоже, что я испачкалась сажей, поэтому я просто удалила результат и дотянула улыбку в фотошопе. Подмена провалилась. Ручной способ оказался быстрее и качественней.

Здесь и дальше результат вы можете посмотреть в приложении Artlife 2020.

Artbreeder : превращение в человека

В следующей картине стояла более интересная задача. Нужно было поменять стиль изображения героев: сделать Белоснежку реалистичной, а девушек и мужчину мультяшными.

Для этих целей есть прекрасный сайт Artbreeder.com, который я рекомендую всем для первого знакомства с нейронными сетями. Его можно использовать для создания концептов, персонажей, для генерации новых форм и образов.

Кстати нашумевший пример “оживления персонажей” вы наверняка уже видели.

“Бас Утервайк, художник из Амстердама, использует нейросеть Artbreeder (она объединяет два изображения в одно, компьютерной графики и 3D-анимации) для создания чрезвычайно реалистичных фотографий исторических фигур и памятников, таких как художник Винсент Ван Гог, Джордж Вашингтон, королева Елизавета I и герои знаменитых произведений искусства.” Больше примеров в этой статье.

Чтобы начать работать с лицом, его необходимо вырезать (в кадр должен входить только портрет). Также, для более быстрого просчета изображения, рекомендуется сделать разрешение кратным четырем: 512, 1024. Крупнее не стоит, так как просчет будет слишком долгим и чаще всего результат все равно сожмется. Если необходимо хорошее разрешение, лучше использовать нейронку Let’s enhance, о которой мы писали в том году).

После загрузки референсного изображения открывается масса возможностей. Здесь можно не только сделать из персонажа человека, но и настроить возраст, индивидуальные черты лица, рост, вес, национальность, настроение и многое другое.

Таким образом я получила подходящую мне Белоснежку, а вот в обратную сторону в этом случае провернуть не удалось. Девушек и мужчину было быстрее нарисовать самой из-за сложных поз и неоднозначной рисовки.

В этом случае можно было бы использовать стайл трансфер, однако, чтобы подобрать правильные параметры, потребовалось бы много времени на эксперименты.

StyleGAN или Morphing Animation как у Refik Anadol

Мы очень сильно и очень давно хотели поработать с таким эффектом. Вот хороший материал на эту тему про настройки в Runway ML, а я расскажу о нашем опыте.

Такой эффект мог бы хорошо смотреться на картине с городом и мы стали искать варианты, реализации.

Первая проблема, возникшая сразу — датасет. Когда дело касается реалистичных природных и городских ландшафтов все проще, так как в интернете полно таких фотографий в разных ракурсах. Однако в случае с картинами все непросто, у художника сложно набрать от 100 изображений похожих по смыслу и визульно. Поэтому пришлось бы искать городские фотографии в подходящем мне ракурсе, прогонять их через StyleTransfer, и результат был бы не всегда хороший. Для стабильного результата нужно много тестов, а в этом есть некоторые ограничения. Только после всего описанного я бы получила анимацию. В общем такой метод мне не подошел и я просто анимировала домики по слоям в ручную.

Нейронки должны упрощать жизнь и ускорять работу, а не наоборот.

В следующих двух работах получилось применить StyleGAN и это было интересно)

На картине Agnes Grochulska “Lucy” хотелось видеть эффект галлюцинаций, первый концепт — совместить стили с картинами великих художников в StyleTransfer и анимировать их через StyleGAN. Результаты получились пугающими и анимация не выглядела интересной без смены ракурсов.

Источник

Нейросеть превращает в пейзажи ваши наброски. Новинка от Nvidia превратит вас в художника

Кто из нас не пробовал рисовать «каля-маля» в детстве? У большинства творческие потуги в живописи, к сожалению, так и остались на этом уровне, а как порой хочется создать что-то действительно впечатляющее.

Возможно, именно для таких людей компания Nvidia и создала новый сервис GauGAN, который превращает ваши наброски в настоящую картину.

Прототип нейросети-художника был показан еще в марте на конференции GPU Technology Conference 2019 в Калифорнии. А теперь она доступна абсолютно всем желающим совершенно бесплатно.

Конечно же, я не удержался и попробовал это чудо своими руками. Набросав линии буквально за минуту:

Я получил после обработки такой результат:

Впечатлены? Я тоже. И для создания этого рисунка у алгоритмов ушло не больше нескольких секунд!

Более того, для рисования доступны разнообразные «кисти». Можно помечать ими снег, воду, деревья, облака, море и многое другое. При этом умный GauGAN понимает, как должны взаимодействовать объекты. Например, деревья на берегу реки будут отражаться в воде совсем как в реальном мире.

Какое практическое применение (кроме искреннего детского счастья) планируют разработчики? По их мнению, сервис значительно упростит работу архитекторам и ландшафтным дизайнерам, позволяя создавать окружение за считанные минуты. Но я думаю, что спектр применения куда шире. Очевидно, что уникальные иллюстрации найдут применение в оформлении контента самых разных областей.

Напоследок еще пара примеров (листайте влево-вправо):

Источник

Новая нейросеть генерирует абстрактные картины за один клик

Разработчик из Ванкувера Ник Сараев недавно представил любопытный экспериментальный проект. Он создал сайт 1SecondPainting, который использует силу нейросетей, чтобы за один клик генерировать абстрактные картины.

Для этого Ник применил нейросеть StyleGAN2, настроенную и натренированную на 14305 реальных абстрактных картинах. По его словам специализированная Nvidia Tesla T4 выполняет работу всего за 0.173 секунды.

Попробовать сами можете по этой ссылке, а ниже несколько примеров. Так что теперь любой может обзавестись коллекцией абстрактных картин.

• 
• 
• 
• 
• 
• 
• 
• 

Больше интересных статей на Shazoo

• Игрок Red Dead Redemption 2 делает портреты персонажей с улыбками на лице
• Новое ИИ-приложение используют, чтобы заставлять персонажей World of Warcraft петь
• Глубокая ностальгия — при помощи нейросетей начали «оживлять» старые фотографии и мемы
• EA получила патент на технологию генерации виртуальных ландшафтов при помощи нейросетей
• Теперь Рикроллить можно в 4K и 60 FPS

31 Комментарий

Ну так они и в реальности генерируются за 0.173 секунды.

Я буду удивлен, когда нейросеть научится нормально упрощать и делать эстетично какие либо сюжетные вещи. Вот тогда можно будет говорить о том, что она что-то может. А пока это просто баловство.

@CLAWZ, Уже есть. Не недооценивайте эту технологию. Через 5-10 лет, мы будем жить совсем в другом мире.

@CLAWZ, баловство? Такое баловство, некоторые «художники», продают за миллионы долларов. Помимо этого, сделанны эти картины, машиной, достаточно добротно и интересно.

@BradScusate, Это просто бизнес и перекупка.

@CLAWZ, совсем недавно была новость: художественные тексты, поэтические тексты, ответы на произвольные человеческие вопросы и т.д. — все это УЖЕ выглядит очень убедительно

@RichardWagner666, извини, но эт разные вещи.

@CLAWZ, через 10 лет сядешь за комп, напишешь какого рода фильм хочешь посмотреть, с какими актерами — трац-бац и нейросеть сгенерирует тебе фильмец, а может быть и игру

@CLAWZ, на самом деле, любой сюжет любого художественного произведения, при внимательном рассмотрении, тоже будет состоять из каких-либо повторяющихся элементов, которые разным образом комбинированы и компонованы. Вы говорите о другом — нейросети могут генерировать, но они не могут «отбраковывать» и не мыслят в категориях «красиво», «приятнее», «удобнее» и т.п. НО на самом деле и это — дело времени

@RichardWagner666, ды ну, посмотрим. Пока все что она делает, это довольно слабо и ограничено.

Скачайте приложение Яндекс со встроенной Алисой и скажите «Алиса, нарисуй . »
Там таких картин на любую тематику будет. И тоже за мгновение всё происходит.

Алеее, вы сейчас отняли хлеб у всех будущих абстракционистов!
@Galactrix, А над маленьким диваном, что вообще уже никак?)

@beecool, на самом деле нет. В абстракционизме, как и в некоторых других жанрах к слову, самая главная часть работы для ценителей творчества не в том, как работа выглядит, а в том, кто, по какой причине, чем руководствуясь и о чём размышляя рисовал её.

Даже если нейросеть будет генерировать не абстракцию, а прекрасные пейзажи, великолепные комплексные картины на всю стену — она не обесценит труды художников, потому что среди ценителей труды художников ценятся именно за рукотворность, исключительность и мотивацию автора. Тот же черный квадрат ценится не потому что он красивый, а потому-что сам факт его рисования и демонстрации был неким вызовом обществу, событием, которое отпечаталось в памяти и истории. И когда ты смотришь на него, если ты ценитель творчества, то ты чувствуешь не красоту его форм, а мотивацию автора, своеобразный «бунт» в его голове.

Другими словами появление нейросетей, которые будут рисовать картины всех жанров, неотличимых от человеческой работы наоборот взвинтят ещё выше ценник на рукотворные работы, потому что их станет меньше 🙂

А вот дизайнерам придётся туго. Моушены ещё поживут какое-то время, так как там многое завязано на человеческом ходе мыслей при создании концепта, а вот сайты, интерьеры, графические, ретушеры всякие и.т.д. действительно могут остаться без работы в ближайшие лет 20.

Источник