Генератор персонажей аниме

Генератор персонажей аниме

При желании своего персонажа можно напечатать, например, на подушке.

Посетители июльского фестиваля Anime Expo могли на специальном стенде сгенерировать уникального персонажа в стиле аниме и тут же получить принт с ним. Спустя несколько месяцев команда, создавшая аниме-стенд, запустила его веб-версию.
Проект под названием Waifu Labs использует нейронные сети для генерации бесконечного количества героев в стиле аниме. Пользователь может управлять действиями ИИ, на протяжении нескольких шагов сообщая системе о своих предпочтениях.
Сперва генератор предлагает выбрать одного из 12 персонажей; при каждом обновлении страницы они меняются на новых. Затем пользователь выбирает предпочтительное цветовое решение персонажа, определяется со стилем образа и позой. 4 В результате всех манипуляций из стартового персонажа на первом кадре можно получить девушку со второго кадра. К сожалению, авторы Waifu Labs не раскрывают технические подробности работы своего генератора.

Поэкспериментировать с генератором можно .

Нашёл бесплатный онлайн генератор вайфу, аниме девушек на аватарку, а также красивых артов для смартфона или игры, созданный на основе нейронной сети — waifulabs.com.

Делюсь информацией о проекте и примерами вайфу, созданных по личным предпочтениям. Также рассказываю о альтернативных проектах, как полноценно функционирующих, так и находящихся в режиме бета-тестирования. Приятного просмотра!

Результат работы онлайн генератора вайфу

Информация о проекте:

Очередная нейронная сеть, призванная «создавать» аниме-девушек на любой вкус, цвет и форму, включая форму причёски, одежды, глаз, различных вариантов эмоций и поз. У вайфу-генератора Waifulabs есть несколько важных отличий от стандартных нейронных сетей, которые одновременно являются и плюсом, и минусом.

Плюсом является разрешение картинок (400 на 400 пикселей), позволяющее получать изображения в достаточном качестве, чтобы использовать их в качестве аватаров в социальных сетях или играх. Для тех, кому не хватает качества, могу посоветовать прогонять итоговые изображения через другие нейросети — непример, позволяющие увеличивать изображения с минимальными потерями, либо использовать для этого специализированный софт, включающий возможности нейронных сетей с проработанной управляемостью.

Как вариант, предложу воспользоваться Topaz Gigapixel AI (вот пример интро Witcher 2, увеличенное до 8к при помощи данного ПО). Здесь вы можете увеличить изображение хоть в 2, хоть в 8 раз, настраивая как усиление детализации, так и степень размытия, проработанность текстур.

На этом этапе также вылезут недочёты «вайфу генератора» — лица аниме девушек не слишком детальные, порой края объектов смазаны или чуть смещены. На небольших изображениях этого практически не видно, но если вы увеличите картинку в 4-6 раз, все «косяки» ощутимо вылезут наружу. В принципе, большая часть недочётов спокойно правится в Adobe Photoshop, но если вы не художник, это может стать ощутимой проблемой.

Поэтому увеличивать картинки без дополнительной постобработки я не рекомендую.

Возможности вайфу-генератора (нейронной сети, создающий аватарки аниме девушек) Waifulabs:

  • Создание базовой модели вайфу;
  • Выбор палитры для выбранной модели;
  • Добавление деталей;
  • Выбор позы для аватарки;
  • Сохранение конечного результата в формате .png, печать на подушке\на постере с доставкой на дом (сохранение — бесплатно, остальное за деньги);
  • Возврат к начальному меню.

При этом на каждом из этапов можно вернуться обратно, сбросить всё до начального этапа, либо обновить сетку с отображением персонажей. При обновлении меняются предлагаемые варианты, что позволяет перебирать картинку до того результата, который устроит именно вас. Либо вы можете сохранять все удачные варианты, чтобы после выбрать самый интересный. На каждом этапе предлагается по 16 вариантов аниме девушек, каждая из которых отличается от других. В зависимости от того, на каком этапе вы находитесь, отличия заключаться могут как в небольших деталях (поза, выражение лица, цвет), так и во всём вообще, начиная от одежды и заканчивая формой лица.

И это — один из самых весомых плюсов Waifulabs.

Подробнее о выборе вайфу.

Нейронная сеть генерирует изображения на каждом из этапов «создания идеальной вайфу», таким образом, вы можете остановиться ещё на этапе выбора базовой модели, включающей в себя черты лица, одежду, причёску и т.п. Это уже самодостаточное и уникальное изображение, но «генератор вайфу» предлагает больше возможностей по «улучшению» изображения. Как по мне, это большой плюс по сравнению с другими нейронными сетями, где полученное один раз изображение можно только пересоздать.

Таким образом, Waifulabs предлагает возможность не только создать себе «картинку с любимой вайфу» и сделать это уникально, но ещё и добавляет широкий спектр возможностей для настройки итоговых картинок в полуавтоматическом режиме.

К сожалению, по отдельности невозможно настроить цвет глаз, пропорции, что-то оперативно дорисовать или поменять, в этом заключается самый жирный минус Waifulabs. Другой — водяной знак в левой части картинки. Его можно убрать в фотошопе, либо вовсе не обращать на него внимания, но всё-таки это немного портит впечатление.

Примеры аватаров аниме девушек, создаваемых при помощи «вайфу-генератора»:

Арт, созданный с помощью генератора вайфу. Аниме девушек на аватарки хватит каждому!Каждая вайфу, созданная нейросетью, будет в чём-либо уникальна. Их можно использовать в качестве прототипов для своих артов, либо использовать где-либо ещё, например, в качестве аватарки для мобильных игр.Аватарка в аниме стиле — на мой взгляд, самое главное, для чего подобные изображения можно использовать.Результат работы онлайн генератора вайфу. Последний пример из подборки. Добавил, чтобы показать, что и позы, и цвета могут отличаться, а то предыдущие арты слишком похожи друг на друга.

Для публикации в социальных сетях авторы нейросети предлагают использовать хэштег #WaifuLabs, по нему можно также найти больше готовых изображений.

Альтернативы Waifulabs.com.

Существуют другие нейронные сети, специализирующиеся на создании аниме персонажей. Самая известная из них (Crypko) всё ещё находится в состоянии закрытого бета-теста. В 2018 году на время тестирование сделали открытым, а потом снова убрали из общего доступа. С тех пор алгоритм нейросети был заметно улучшен в сторону продуктивности и большего разрешения. На прогресс создания персонажей вы можете посмотреть в Twitter, например, в этом видео.

Примеры аниме персонажей, созданных при помощи Crypko:

Примеры персонажей, созданных при помощи CrypkoНейросеть Crypko может создавать вайфу любого пола, но что ещё важнее, обладает большим количеством настроек и даже может заимствовать внешность от уже созданных персонажей.

Коротко об отличиях Crypko от Waifulabs:

  • Есть возможность настройки отдельных параметров (цвет глаз, волос, длины причёски и т.д.);
  • Можно дорисовывать недостающие элементы, что позволяет нейросети увеличивать длину волос, менять форму причёски;
    Разрешение было увеличено, хотя об этом я достоверно утверждать не берусь.

Неизвестно, когда наступит полноценный релиз Crypko, будет ли он доступен для всех, либо использоваться только в форме коммерческого продукта. Поэтому всё, что я могу предложить вам сейчас — следить за новостями на официальной странице создателей нейросети в Twitter.

Авторы Crypko не в первый раз занимаются созданием аниме-аватаров. В августе 2017 года ими была запущена нейросеть MGM (Make Girls Moe), обученная на обширном аниме-сете. Многие принципы, использованные в Make Girls Moe, перекочевали «в старшую модель» нейросети, например, обширные возможности настройки.

Таким образом, «прототип» Crypko можно протестировать уже сейчас! Следует учесть, что во-первых, это вариант 2017-2018 года, не прошедший дополнительное улучшение (максимальное разрешение картинок — 128 и 256 пикселей), а во-вторых, в новой версии функциональность и возможности были сильно изменены.

Несмотря на ограничения, «Make Girls Moe» стала одной из самых популярных нейросетей в мире, например, к февралю 2018 года общее число посещений составило 1,5 миллиона, пиковая посещаемость превышала 230 000 показов за 1 день. Большая часть посетителей MGM приходят из США, Китая и России. На сегодняшний день данная нейронная сеть уже не столь популярна, например, согласно статистике pr-cy.ru, ежедневная посещаемость сайта составляет 12 800 человек, Alexa показывает прирост аудитории в 12 900 человек, что в общем и целом может говорить о падении интереса к MGM на фоне других проектов.

Поэтому страницу «Make Girls Moe» рекомендую посетить скорее для общего ознакомления. Результат, несмотря на обилие настроек (дорисовывать ничего нельзя, зато для выбора доступны десятки параметров), заметно уступает Waifulabs.

Описать разницу между «Make Girls Moe» и Waifulabs.com можно так: в первом стилистика ближе к рисовке аниме 90-х годов, во втором — более современная и вылизанная стилистика, привычная взгляду. Поэтому дело не только в разрешении, но и в том, что ошибок и угловатых лиц во втором варианте меньше. При этом выразительность порой лучше в первом, хотя это не точно.

Примеры вайфу, генерируемых нейросетью на сайте «Make Girls Moe», а также настроек редактора:

Пример работы нейросети «Make Girls Moe» с базовыми настройками «вайфу-генератора».Пример расширенных настроек генератора аниме вайфу «Make Girls Moe», а также изображения, полученного с указанными параметрами.

На мой взгляд, изображения отличаются сильнее, чем в «waifulabs», но небольшое разрешение и больший процент брака делают сферу применения данного «генератора аниме вайфу онлайн» весьма ограниченной; подобное действительно мало где используешь, разве что в качестве аватара для игры.

Другой альтернативой Waifulabs можно считать проект «This Waifu Does Not Exist» («Этой вайфу не существует»). Его создатель, Gwern, пошёл дальше всех остальных: нейросеть TWDNE создаёт не только персонажа, но и предысторию девушки каждые 15 секунд, либо с каждым обновлением страницы.

По стилистике TWDNE отличается большим разбросом, чем Waifulabs, то отправляя зрителя в начало девяностых, то выдавая вполне «новую компьютерную графику». Ошибок в текстурах и промахов при создании девушек намного больше, чем в самом главном «генераторе вайфу» этой статьи, но есть и преимущества, например, больший размер картинки и уникальные порядковые номера.

Размер изображения — 1024 на 1024 пикселя, что позволяет изначально получать качественный арт, без необходимости увеличивать размер картинки для большей детализации. Порядковый номер — на первый взгляд, не самая необходимая вещь, но если вы попытаетесь создать много вайфу на Waifulabs, то сразу столкнётесь с такой вещью, как необходимость каждый раз задавать имя вручную. Видимо, на сайте не предусмотрели, что пользователи будут скачивать вайфу различных итераций, тогда как Gwern это явно предусмотрел.

Примеры готовых изображений:

Пример аниме арта, созданного нейросетью TWDNEThis Waifu Does Not Exist — демонстрация возможностей нейросети для создания аниме вайфуПример работы нейросети This Waifu Does Not ExistИз других недочётов, о которых я не упоминал: больше шанс, что арт будет напоминать существующих аниме персонажей, например, я натыкался на вайфу, слишком похожую на Ремилию Скарлет. С waifulabs за все итерации 90% или 100% сходства с персонажами известных аниме не наблюдал, максимум — отдельные похожие элементы.

Также автор поделился своим методом обучения нейросети, в том числе описанием создания, настройки, полезных дополнений. Всё это можно прочитать на английском на сайте TWDNE.

Вот тут можно установить слайдеры (от «кошачьи уши» и «нижнее бельё» до «чёрный фон» и «Сузумия Харухи») по вкусу, а затем нажатием кнопочки сгенерировать себе иконку уникального аниме-персонажа: https://mattya.github.io/chainer-DCGAN/ (надеюсь, там сайт не упадёт — все ведь сейчас туда кинутся!).
Вот такую , или такую . По положению всей сотни слайдеров они не сильно отличаются — я там только поменял параметр «колдовская шляпа» и цвет волос и глаз на зелёный.
Это означает, что нейронная сетка не только разобралась с «морфологией японской визуальной сказки», но и может такие визуальные сказки генерить. Привет Проппу, в том числе его ненаписанным работам по визуальному нарративу. Привет также всем преподавателям художественного слова, краски и пляски. Привет и всем ученикам этих преподавателей.
Итак, генератор персонажа и фона к нему работает. Что дальше?
На следующем этапе нужно будет для вашей манги написать кратенький сюжет и задать число страниц. Можно сразу делать в цвете, всё одно не тушью рисунок. Это ведь просто обратная задача написания рассказа по видео, а такая задача уже потихоньку решается: Expressing an Image Stream with a Sequence of Natural Sentences, http://gitxiv.com/posts/BckBiSmntPd2aQ6o4/expressing-an-image-stream-with-a-sequence-of-natural. Там взяли картинки из блогов, натренировали на них сетку, а потом попросили сетку писать текст по произвольно подобранным картинкам.

Можно делать и сразу аниме, почему бы и видео не сгенерировать?!
Юмор там тоже будет «слайдером», визуальный юмор ведь отлично выучивается — см., например, из свеженького We Are Humor Beings: Understanding and Predicting Visual Humor, http://arxiv.org/abs/1512.04407
Конечно, на литературную премию это не потянет ещё лет пять, так и я дома на пианинке когда играю — явно не Рихтер. Технологиям этим всего пара-тройка месяцев, совершенствоваться-учиться эти технологии будут IMHO со скоростью человека (это у меня такая странная догадка, из общих соображений). То есть, если сегодня эти каля-маля и тексты как у семилетнего ребёнка, то в следующем году это будет как у восьмилетки, а через пять лет — как у отрока в 12 лет. Через десять лет это будет творчество 17-летнего, причём такого, который усидчиво рисовал (писал рассказы, плясал и т.д.) с пяти лет. Поконкурируйте с таким!
Это всё цветочки пока. Например, автоматически раскрасить старый фильм (подглядев цвета предметов и одежды в окружающем мире, https://youtu.be/_MJU8VK2PI4):
Это вот — http://tinyclouds.org/colorize/
Я боюсь, что большинство людей сегодня не понимают некоторых простых вещей об этих новых технологиях:
1. Чуйку человеческую моделировать оказалось легко, если не требовать дальше согласования выводов этой чуйки с законами физики, химии, экономики и т.д.. То есть гуманитария получить из нейронной сетки — это раз плюнуть. С логикой и научной картиной мира, добавленной к «гуманитарщине» пока сложности, это в полной мере будет чуть попозже, через десяток лет. Так что инженерия, химия и физика будут автоматизироваться медленнее, чем рисование картинок или подбор правильных шрифтов.
2. Машинное обучение оказалось не слишком капиталоёмким. Никаких миллиардов долларов на закупку оборудования не нужно, хотя суперкомпьютеры бы не помешали. Но и $1000 на GPU позволяет получать результаты. Алгоритмы всё более и более доступны (например, библиотека, на которой сделан генератор персонажей, свободно лежит тут: http://chainer.org/). Хотя профи в этой области уже дорогие, а новых людей учить-кормить нужно некоторое время и это тоже дорого. Но не дороже, чем в каких-нибудь блокчейнах. При этом приток новых кадров огромный, может даже побольше, чем в тех же блокчейнах. Я даже не могу себе представить, сколько любителей аниме и манги захотят освоить технологии машинного обучения после того, как увидят демонстрашку генерации персонажей и захотят «просто повторить», а затем «чуть-чуть улучшить».
3. Полученный вечером результат утром становится доступным через сеть всему миру, а вечером все, кому надо, его уже нагуглят. Структура хобби и структура занятости в сфере «гуманитарщиков» будет меняться быстрее, чем можно ожидать по темпам изменений последних пяти лет. Ах, и ещё нужно отметить, что контроль качества работы будет сильно «объективизирован» — это ж элементарно выучить, что разные целевые аудитории будут лайкать. Качество компьютерного state-of-the-art будет довольно быстро расти, а человеческого остаётся более-менее постоянным. Можно будет строить графики исчезновения потребности во всяких «оформителях» и «криэйторах» — оставаться-то на рынке будут только такие из них, у которых уровень профессионализма которых будет ниже потихоньку растущего звёздного, но выше быстро растущего компьютерного. Всё будет очень быстро, много быстрее, чем чем приходил интернет и мобильная телефония.
4. Потихоньку будет исчезать даже понятие «целевой аудитории», останутся отдельные люди — компьютерам ведь не нужно будет целиться в «среднюю температуру по больнице» целевой аудитории. Точно так же, как вы получите сегодня своего уникального аниме-персонажа, сгенерированного по первой ссылке, точно так же гуманитарная продукция будет генерироваться и отгружаться целевому вам любимому (или целевой вам любимой. Компьютер-гуманитарщик обязательно разберётся и в различиях пола-гендера, и в предпочтениях по цветовой гамме и даже сколько процентов слов заменять на их матерные эквиваленты, чтобы вам понравилось). Всё, что вы пишете, будет изучаться (попробуйте, кстати, свеженький сервис от IBM — психологические оценки ваших текстов: https://watson-pi-demo.mybluemix.net/ — пока тексты должны быть только на английском или испанском, но лиха беда начало! Зато в текстах вычислят и характеристики Personality, и Consumer needs, и Values. А вот тут твиты использовали, чтобы узнать реакцию зрителей на новый эпиздод «Звёздных войн». Реакция оказалась в целом положительная — http://habrahabr.ru/company/dca/blog/274027/, но нам-то нужны индивидуальные реакции! И они там вполне автоматически вычисляются). А всё изученное будет использовано, чтобы угодить лично вам, ибо компьютерная «гуманитарщина» будет стоить копейки — хоть художественная проза, хоть философские эссе, хоть аниме вкупе с мангой, хоть голые женщины или мужчины (самые разные параметры которых даже в порнофильмах вам аккуратненько подстроят под ваш вкус — включая эмоции. Вот, эмоции режиссёры уже могут накладывать после съемок: https://www.disneyresearch.com/publication/facedirector/. Дальше эти эмоции будут накладывать не режиссёры, а сами компьютеры — да ещё и в реальном времени, отслеживая вашу реакцию в ходе просмотра и подстраиваясь под ваш вкус).
UPDATE: вот ещё одна игрушка — сочинение стихов по картине, https://github.com/rossgoodwin/neuralsnap и ещё одна — обзор по переносу художественных стилей (Artificial Startup Style): https://medium.com/data-engineering/artificial-startup-style-437f6090b1f7#.15m84u1qq, и даже генерация политических речей для заданной партии — http://arxiv.org/abs/1601.03313


Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *