Pix2pix рисовать онлайн людей

Как известно, прогресс не стоит на месте. Наука движется вперед семимильными шагами. Если судить по изменениям, произошедшим в мире технологий за последние 50 лет, можно уверенно заявить, что в этом плане явно наблюдается экспотенциальный рост. Возможно даже, что технологическая сингулярность, наступление которой вновь активно обсуждали в 2012 году авторитетные ученые на посвященном этой теме Саммите, вскоре не будет казаться просто гипотезой. К слову, уже сейчас мы наблюдаем тенденции развития интеллектуальных компьютерных систем, выраженных в постепенном усложнении нейронных сетей, являющихся основой ИИ (искусственного интеллекта), в расширении спектра задач, выполняемых ими. Но, перейдем к конкретному примеру.

Не так давно американские программисты порадовали пользователей очередным успешным проектом в области ИИ обработчиком изображений под названием Pix2pix, позволяющим переделывать создаваемые вами наброски рисунков в реалистичные изображения, то есть рисовать онлайн людей. Систему нейросетей поместили на специальный сервер и обрамили ненавязчивым и удобным интерфейсом. Потому каждый пользователь может воспользоваться их возможностями в режиме онлайн. Подробнее о функционировании использовании данного сервиса ниже.

Форма редактирования Pix2pix и конечный результат

Несуразный рисунок Pix2pix сделала реалистичным

Как работает Pix2pix

В основе работы приложения обработки фото лица людей лежит так называемая система GAN (генеративно-состязательных сетей), использующая функцию потерь (loss function), призванную оценивать потери при расхождении параметров истинного изображения и предсказанного ИИ строения пикселей. В процессе обучения машина старается с каждой попыткой отгадывания транслируемого изображения минимизировать loss function. Такой алгоритм позволяет с каждым разом точнее и точнее отгадывать содержание объекта, предоставленного пользователем. Если говорить более простым языком, то функционирование генеративно-состязательных сетей можно примерно сравнить с принятием законопроекта в РФ, где закон после правовой его регулировки передается на чтение в Госдуму. Далее, в случае одобрения парламентским большинством, поступает в Совет Федерации, где еще раз рассматривается и затем подписывается либо отклоняется президентом. То же и здесь:

Генератору фоторедактора на вход поступает изображение (input image) оно является основным фактором, руководствуясь которым, генератор должен отдать максимально точную интерпретацию объекта на выход,

Тут в дело вступает дискриминатор, на рассмотрение которому передаются input image и изображение, построенное генератором. Дискриминатор, используя функцию потерь, о которой было упомянуто выше, определяет значение отклонения между полученной от пользователя картинкой и интерпретированным генератором изображением. Если говорить проще дискриминатор выносит решение о том, можно ли назвать сгенерированный объект подлинным или нет. В процессе этого происходит одновременное обучение генератора навыку минимизации функции потерь.

Таким образом, слаженная работа представленных выше нейронных сетей помогает  сервису самообучаться и постепенно генерировать наиболее близкие к истине изображения относительно транслируемых пользователями.

Схема работы генеративно-состязательной сети

Как рисовать людей с помощью Pix2pix

Для использования данного сервиса нужно:

  1. Перейти на официальный сайт по ссылке https://affinelayer.com/pixsrv/,
  2. На странице вы можете наблюдать четыре режима постройки изображений, каждый из них оснащен следующими инструментами:
    • Tool здесь расположена вкладка line, отвечающая за прорисовку контуров объекта и eraser, то есть ластик,
    • Под формой редактирования изображения находится клавиша отмены последнего действия Undo, кнопка очистки изображения Clear,  а также интересная вкладка Random, позволяющая сгенерировать случайную картинку,

    Панель инструментов сервиса Pix2pix

  3. Теперь, чтобы дать программе задачу сделать нарисованную вами картинку реалистичной, жмем на Process, после чего мы можем увидеть готовый результат.Кнопка Process сервиса Pix2pix
  4. Чтобы сохранить конечное изображение на ПК, нажимаем на кнопку Save.