Дайджест: чему научились нейросети за последние годы

Обработка фотографий

Как оказалось, у нейросетей лёгкая рука на ретушь фотографий: за последние пару лет вышло огромное количество различных приложений и сервисов, завязанных на фотомонтаже. Обусловлено это, судя по всему, не только относительной простотой алгоритмов, но и коммерческой выгодой: как правило, такие приложения пользуются большим спросом.

1. Prisma (iOS, Android)

Приложение, которое превращает ваши фотографии в картины известных художников. Кандинский, Ван Гог, или, например, Хокусай — нейросети позволяют получать такие картины, на которые у классиков ушли бы месяцы. Самое крутое здесь то, что конечный результат не выглядит, как фильтр фотошопа — но как настоящее полотно великого художника.

Примерно в одно время с Prisma вышло несколько подобных приложений, вроде Ostagram, Mlcvch или Deepart.io, но такого хайпа уже не произвели.

2. Pix2Pix (браузер)

А этот алгоритм, напротив, превращает наспех нацарапанные рисунки в фотореалистичные картины. Получается с переменным успехом, да и пока что можно рисовать только туфли, котят и фасады зданий, но это уже что-то.

3. Fabby (iOS, Android)

Fabby разрешает одну из самых глобальных проблем человечества: аккуратно вырезать фон с фотографии и заменить его на что-нибудь более яркое. Можно даже поставить на задний план какую-нибудь анимацию. Правда, зачастую мы получаем замыленные края, но человека нейросеть определяет с поразительной точностью.

4. FaceApp (iOS, Android)

Молодого — состарить, старого — омолодить, хмурого — заставить улыбаться, и всем сменить пол: именно такие задачи ставит перед собой приложение FaceApp и с успехом с ними справляется. Вообще-то, похожие программы уже давно заполонили магазины приложений для смартфонов, но только когда в игру вступили нейросети — результат получился по-настоящему убедительный.

5. Neural Enhance

Не так давно нейросети сделали первые шаги в улучшении качества изображения: теперь алгоритм может «додумать» изображение и увеличить разрешение, добавив пикселей. Пока что это только код, доступный всем желающим в интернете, но у этой технологии много перспектив, и даже Google работает над подобным проектом. Шах и мат, скептики, которые ставят под сомнение реализм C.S.I.: Miami.

6. Colorful Image Colorization

Ещё никогда Штирлица не было так просто раскрасить: нейросеть, созданная исследователями из Калифорнийского университета, способна вогнать в краску любое чёрно-белое изображение. Зарядив алгоритм огромным количеством картинок, которые программа использовала в качестве примера, они научили нейросеть раскрашивать фотографии по образу и подобию. В абсолютном большинстве случаев результат получился убедительный. Настолько убедительный, что в 30% случаев люди посчитали, что фотографии раскрашены человеком, а не машиной — создатели уверяют, что этот показатель гораздо выше, чем у всех подобных программ.

Слева черно-белая фотография, посередине — она же, раскрашенная нейросетью, справа оригинал

Этот алгоритм пока что недоступен широкой публике, но прямо сейчас вы можете попробовать отечественный аналог: Color Артемия Лебедева.

Творчество

Таланты нейросетей не ограничиваются лишь обработкой изображений. Отвечая на вечный вопрос персонажа Уилла Смита из известного фильма — да, робот может написать симфонию и сотворить шедевр.

1. Писатель-ИИ

Японский литературный конкурс имени Хоси Синъити в прошлом году пополнился новым талантливым участником: в финал вышел искусственный интеллект, разработанный Университетом Будущего Хакодате. Члены жюри были приятно удивлены тому, как машине удалось чётко структурировать формат книги. Звучит футуристично, но из 1450 участников у него было целых 10 виртуальных конкурентов: ИИ периодически пишут работы на этот конкурс, но такого результата удалось добиться впервые.

Да и вообще у нейросетей, как оказалось, большая тяга к прозе и поэзии: вот, например, искусственный интеллект Google в прошлом году выразил готовностьнаписать поэму, а ИИ Яндекса пытался подражать Егору Летову, в результате чего коллектив записал шуточный альбом «Нейронная оборона».

2. Google Magenta

Хотя и непосредственно в написании музыки нейросети тоже делают успехи. Первая мелодия, написанная искусственным интеллектом — это небольшая композиция от алгоритма, разработанного Google Magenta. Машина использовала пять нот, чтобы структурировать их на основе изученных ранее композиций.

Тут же подтянулись и другие нейросети, решив, что музицируют ничем не хуже Magenta: одна написала ноты на манер Скрябина, а вторая притворилась Бахом, и практически не уступила творениям великого композитора.

3. A neural parametric singing Synthesizer

Ноты написаны, текст придуман, осталось только спеть! Ну уж здесь-то машины дадут осечку: в конце концов, процесс исполнения, как правило, требует эмоциональной выкладки, а на такое не способны даже нейросети. Зато проанализировать тысячу песен и на их основе сымитировать что-то подобное — запросто. Насколько хорошо ИИ подражает Бруно Марс — оцените сами.

4. Sunspring

Команда лондонских кинематографистов пошла ещё дальше: они доверили нейросети написать сценарий короткометражного фильма. Диалоги и сюжет в целом местами оказались нелогичными, но создатели оставили всё как есть, вплоть до декораций — в конечном счете, в этом и есть главная мысль проекта. «Восстания машин» не получилось, но картинка безрадостного будущего нарисовалась отчётливо.

До этого нейросети уже пытались играть роль сценаристов: в прошлом году один разработчик заставил алгоритм изучать сюжеты всех серий сериала «Друзья», чтобы потом компьютер написал собственный эпизод. Получился бессвязный бред, но разработчик отметил, что характеры героев и некоторые их привычки алгоритм уловил отлично.

Моника: Ненавижу мужчин, ненавижу мужчин!Росс: Что ты собираешься делать?Моника: Счастливый Гендальф.Моника: Хорошо. Я поеду в Минск.Рэйчел: Ага, конечно.Отрывок из сценария

5. PFNN

Но на этом долгий путь нейросетей в Голливуд не закончился: разработчики из Ubisoft Montreal придумали алгоритм, который позволяет автоматически создавать реалистичные движения персонажей. Причём, движения будут генерироваться в зависимости от поверхностей, по которым перемещается та или иная модель. Такая технология позволит значительно сэкономить на анимации персонажей. В ближайшем будущем PFNN собираются встраивать в видеоигры, а затем приспособить и для кино.

Вдогонку совсем недавно была анонсирована технология GAN, которая также поможет игровым разработчикам и кинематографистам. Эта нейросеть может создавать более реалистичные 3D-объекты, причём делать это автоматически на основе реальных фотографий.

Анализ фотографий

Ещё одна отрасль, в которой активно применяются нейросети в последнее время — подробное изучение фотографий и получение разного рода данных. Важность такого технологического прорыва трудно переоценить, так как в ближайшем будущем это может сильно упростить работу правоохранительных органов.

1. FindFace (браузер)

Один из самых важных для будущего нейросетей сервисов FindFace помогает найти человека по фотографии. Большой резонанс алгоритм получил после истории разработчика, который нашёл двух девушек спустя шесть лет после того, как сделал этот случайный снимок.

Нейросеть анализирует множество данных на загруженном фото, вплоть до угла наклона бровей, а потом ищет совпадения среди фотографий в интернете, которые лежат в открытом доступе. Несмотря на паранойю, которое породило приложение, в будущем этот алгоритм может использоваться для поиска преступников, потерявшихся родственников, или, например для искусства: один фотограф создал проект, где сравнил людей в метро и их снимки в социальных сетях. Таким образом он хотел показать разницу между тем, как мы выглядим в реальности, и как мы выглядим на своих страничках в интернете.

2. CheckU

CheckU — это программа, которая с помощью нейросети проверяет подлинность документов. Как и в случае с FindFace, алгоритм выявляет параметры лица человека, а потом сравнивает их с фотографией в паспорте.

А на основе этой технологии был запущен ещё один сервис — «Симкомат». Основная цель «Симкомата» — автоматизация процесса выдачи симкарт. Задача алгоритма та же: проверить подлинность документов с помощью нейросети.

3. Automated Inference

Этот алгоритм, разработанный исследователями из Шанхайского университета, ставит перед собой даже более амбициозную задачу — с помощью нейросети вычислить потенциального преступника. За основу была взята знаменитая теория Чезаре Ломброзо о том, что всякого преступника можно выявить по одним лишь чертам лица.

Теория Ломброзо — одна из самых сомнительных и критикуемых работ учёного. Однако нейросеть на примере базы фотографий всё же вычислила закономерность между лицами законопослушных граждан и лицами правонарушителей. Затем программе представили фотографии, которые ещё не были загружены в базу данных, и заставили вычислить преступников. С точностью в 89,5% алгоритм угадал правильно. И хотя такой подход, несомненно, требует большой доработки, результат всё равно впечатляющий.

4. Faceless Person Recognition System

Исследователи из Института Макса Планка создали нейросеть, которая позволяет установить личность человека, даже если его лицо размыто или закрыто чёрным или белым квадратом. После анализа 13 тысяч фотографий максимальная степень точности алгоритма составила 86,7%.

Правда, если условия, в которых запечатлено фото, менялись, то точность падала до 28,8%, а в некоторых случаях — и до 13,7%. Сами учёные говорят, что этот результат всё равно в несколько раз превосходит результат любого человека.

Похожий алгоритм запустил и Facebook в 2015-ом году: нейросеть могла опознавать друзей пользователя, даже если на фотографии они стоят спиной к объективу.

Лингвистические алгоритмы

Обучать нейросети языку — задача не менее сложная, чем научить его законам физики или аналитическим алгоритмам: правила, исключения, времена, а ещё просторечия, которые порой не подчиняются никакой формальной логике. Тем не менее, машины делают определённые успехи.

1. Google Translator (браузер)

Разработчики из Google твёрдо уверены в том, что нейросеть можно научить чему угодно. Например, переводить слова с такой точностью, с какой это сделает живой переводчик.

Так, некоторые языковые пары Google Translator (английский+китайский, английский+испанский, английский+французский) теперь действуют при поддержке нейронных сетей, и качество перевода значительно увеличилось. Машина обучается в реальном времени и лишь немного уступает переводчику-человеку: это обусловлено необходимостью искать компромисс между точностью и вычислительной мощностью.

2. MetaMind

Стартап MetaMind — злейший враг любого студента: основная задача нейросети заключается в том, чтобы убирать воду из больших текстов. Алгоритм делает смысловую выжимку, оставляя только самые важные детали. Такие программы существовали и ранее, но показатели нейросети MetaMind заметно выше, чем у её предшественников.

3. Generating Sequences (браузер)

А писать нейросети научились ещё в 2014-ом году. Учёный из университета Торонто научил машину воспроизводить рукописный шрифт, да такой, что даст фору любому работнику здравоохранения. Как будто этого было мало, разработчик ещё добавил поддержку разных стилей письма. Правда, цифры у нейросети пока получаются неважно, но с текстом он справляется на «ура».

А другой программист Эрик Бернхардсон создал нейросеть, которая поставила под угрозу рабочие места дизайнеров: DeepFonts натренирована таким образом, что может самостоятельно придумывать новые шрифты.

4. LipNet

Помните суперкомпьютер из «Космической одиссеи», который умел читать по губам? Нейросеть Оксфордского университета LipNet теперь тоже так умеет, причём, делает это почти в два раза лучше обычных людей. До этого программы умели распознавать отдельные слова, но затруднялись читать по губам целые предложения. LipNet научилась работать с контекстом, и таким образом правильно расшифровывала до 93,4% сказанного.

У такой нейросети огромный потенциал: она может использоваться для разработки слуховых аппаратов нового поколения или, например, для расследования преступлений. Остаётся надеяться, что до сценарии «Космической одиссеи» дело не дойдёт.

5. Torch

Torch — это одна из самых популярных библиотек глубокого обучения, которая находится в открытом доступе. Один из пользователей решил научить её разговаривать. Он загрузил сэмпл собственного голоса, после чего заставил пройти три стадии: издать звук, более-менее похожий на речь, повторить отдельные слова и повторить всю фразу целиком. Порой алгоритм подбирался близко к цели, однако в большинстве случаев звук был довольно жутким.

Впрочем, это не значит, что данное направление развития искусственного интеллекта зашло в тупик: например, прямо сейчас Московский физико-технический институт при поддержке Сбербанка работают над проектом iPavlov — нейросетью, которая в будущем научится разговаривать с людьми. Такой алгоритм в перспективе должен будет частично или полностью заменить сотрудников call-центров.

Оптимизация сложных процессов

Практически любой компьютер обладает колоссальными вычислительными мощностями. Если кому и доверять работу с числами, то лучше сделать выбор в пользу компьютера — особенно если он умеет «думать» с помощью нейросетей. Неудивительно, что алгоритмы по поиску оптимальных решений тоже стали одним из приоритетных направлений развития ИИ.

1. Lalafo (iOS, Android, браузер)

Lalafo — это запустившийся в прошлом году сервис размещения объявлений. От прочих подобных приложений его отличает поддержка нейросети: вы делаете фотографию, а ИИ берёт на себе описание, классификацию и определение категории товара. Причём, нейросеть продолжает развиваться с каждым днём, как заявляют представители сервиса. Такой подход позволяет упростить процесс размещения объявлений и сократить его буквально до пары секунд.

2. DeepMind

Пресловутая нейросеть Deepmind от Google помогла частично компенсировать расходы на саму себя. Управляющая дата-центрами программа самостоятельно регулировала около 120 различных параметров — изменяла энергопотребление разных серверов, регулировала работу системы охлаждения и даже самостоятельно открывала и закрывала окна. Такое решение позволило сэкономить на счетах за электричество и увеличить энергоэффективность дата-центров в несколько раз.

3. Iceberg (браузер)

Создатели стартапа Iceberg уверяют, что в данный момент в хоккее используют очень ограниченную статистику. Поэтому они научили собственную нейросеть «подглядывать» за матчами и отслеживать около 500 параметров каждого игрока. Такая аналитика позволяет оптимизировать действия команды, комбинировать определённых игроков, определять слабые места соперника и многое другое. Известно, что на данный момент услугами сервиса пользуются не менее трёх команд: «Сочи», New York Islanders и юниоры австрийской академии RedBull.

4. LogistiX

А технология LogistiX позволила оптимизировать логистику склада. Нейросеть частично заменила местным работникам бригадира: проанализировала, в каких связках лучше всего ставить работников, позволила выявить источник проблем.

Несколько лет спустя проект пошёл дальше: на работников нацепили фитнес-браслеты, а их данные давали на обработку нейросети. Таким образом, у программы имелся «физический профиль» каждого сотрудника, и система позволила оптимизировать труд, не допуская перегрузки работников и увеличив производительность на 8-10%.

5. BB8

Nvidia занимается разработкой одного из самых перспективных беспилотных автомобилей на данных момент — разумеется, пилотируемого нейросетью. BB8 долго наблюдал за поведением настоящих водителей, после чего попробовал свои силы на дороге сам. На данный момент известно, что этой нейросети по плечу езда и в ночь, и в дождь, и по грунтовой дороге, хотя на автостраду автомобиль отправляется пока только в сопровождении «хозяина».

А вскоре, судя по всему, нейросети отправятся покорять и небеса: в этом году российская компания «Миллениум» объявила о разработке беспилотных дронов, работающих на базе нейронных сетей. Такие дроны могут принимать решения самостоятельно и даже действовать «сообща», обмениваясь информацией.

Прочее

1. Pic2Recipe: нейросеть, которая определяет рецепт блюда по фотографии;
2. Detecting Drinking-While-Tweeting Patterns: нейросеть, которая вычисляет твиты, написанные в пьяном состоянии;
3. Emoji2Video: нейросеть, которая ищет видео по Emoji;
4. Google Deepmind: нейросеть научили играть в классические игры на Atari. После этого подобные программы ещё обыграют чемпиона мира по игре в го и начнут учиться водить автомобиль в GTA V;
5. A.I. Experiments: Google обобщил принцип работы нейросетей и создал серию алгоритмов. Благодаря ним, любой пользователь сможет посмотреть, как происходит обучение нейронных сетей. Например, порисовать вместе с ними или попробовать создать мелодию

Итоги

Мы живём в эпоху, когда искусственный интеллект всё чаще перенимает на себя обязанности человека. Один из известных социальных философов нашего времени Джереми Рифкин предсказывает «закат рабочей силы». Это будущее, в котором роботы займут большинство рабочих мест, а люди займутся своими делами и заботой о близких. Вполне вероятно, что именно такой сценарий и ждёт нас в скором будущем, и это не научно-фантастическая сказка, а самая настоящая реальность.