Нейросеть написала картину на основе песни «На заре»

Чтобы обучить нейросеть, была собрана коллекция картин художника-абстракциониста Василия Кандинского и музыкальных произведений, которыми он вдохновлялся. Кандинский развивал идею синтеза музыки и живописи и стремился воплотить в своих работах на основе музыкальных произведений экспрессию, впечатление, которое создает музыка.

Выборка была нужна для того, чтобы нейросеть смогла выявить закономерности между музыкальными произведениями и их воплощением в живописи. Обучение длилось несколько недель, затем алгоритму дали возможность написать свою картину на основе произведения, которое Кандинский не мог слышать. Специалисты выбрали песню группы «Альянс» «На заре». Процесс обучения и создания записали на видео и показали как перформанс «НейроКандинский» в Музее русского импрессионизма в Москве.

На презентации был клавишник «Альянса» и автор песни Олег Парастаев. Он рассказал, что результат ему понравился, но творческий процесс все же нужно оставить человеку.

Для подобных экспериментов используется генеративно-состязательная нейросеть (GAN). Алгоритм состоит из двух частей, одна из которых создает образы на основе предложенных данных, а другая оценивает их сходство с первоначальными данными.

На прошлой неделе специалисты из московского Центра искусственного интеллекта Samsung представили результат собственного эксперимента с такой нейросетью: они обучили алгоритм «оживлять» фотографии и портреты, но сумели сделать это на основе минимального количества данных. В результате эксперимента мимику получили портреты Моны Лизы и Достоевского.

По материалам: TJournal.