Нейросеть научилась создавать портреты по текстовому описанию
Хотя нейросети не считаются полноценным искусственным интеллектом, они всё равно демонстрируют подчас удивительные результаты, которые приближают их к настоящему машинному разуму.
Разработчик Анимеш Карневар создал нейросеть T2F , которая генерирует портреты на основе текстового описания лица человека. Автор отметил, что создал проект из любопытства, чтобы узнать, как герои книг будут выглядеть в реальности. Исходники проекта доступны на GitHub.
Для разработки Карневар использовал набор данных Face2Text с 400 изображениями и текстовыми описаниями. Эти данные использовались для обучения нейросети. Сама же F2T базируется на архитектурах StackGAN и StackGAN++.
Нейросеть кодирует текстовое описание, после чего производится обработка изображения. На выходе получается чёткая картинка. И хотя результат пока «не дотягивает» до полноценного фото или даже рисунка, основа создана.
В перспективе подобные технологии могут найти применение в играх, кино и так далее, где достаточно будет ввести в систему текстовое описание внешности и затем скорректировать итоговое изображение, если что-то не понравится.
Отметим, что в прошлом году NVIDIA показала нейросеть, которая генерирует фотореалистичные портреты на основе лиц знаменитостей.