Создан алгоритм, способный превращать речь человека в приятное пение

ИИ для генерации пения

Нейронные сети шагают по планете. Так можно охарактеризовать ту интересную эпоху, в которую мы все с вами живем прямо сейчас. Нет, правда. Куда ни глянь, всюду ИИ-помощники, «умные» системы и все такое прочее. Что-то из этих технологий разрабатывается сугубо ради развлечения. Другое просто как забавный эксперимент. А третье находит реальное применение и даже способно облегчить и спасти жизни многих людей.

Новое творение ребят из китайской компании Tencent можно отнести, скорее, к экспериментальным разработкам. К примеру, их новый ИИ DurIAN_4S способен генерировать самое настоящее пение, причем системе для этого нужны лишь исходники речи, не более.

ИИ для генерации пения
Так, собственно, и работает алгоритм DurIAN_4S

Стоит отметить, что «алгоритм-музыкант» разрабатывался не с нуля. В его основе лежит нейронная сеть под названием DuarIAN, которая на основе текста создает видеоролики с говорящим диктором. По сути, у ребят уже была готова необходимая и цельная система, просто ее слегка модифицировали и научили распознавать образец речи, превращать его в пение, а также делать обратную операцию, генерируя уже речь из пения.

Для обучения алгоритма использовались десятки часов записей с множеством образцов пения и речи. В итоге, нейронка умеет выдавать не только реалистичный и приятный голос, но и похожий на исходный образец тембр. 

P. S. Если вас заинтересовала разработка специалистов из Tencent, то можете ознакомиться с результатами ее работы на официальном сайте.

Читайте нас в Telegram.


Источник: arxiv.org