Нейросеть Facebook спрогнозировала действия музыкантов по аудиотреку

24.06.2018 22:53 0

Нейросеть Facebook спрогнозировала действия музыкантов по аудиотреку

Программа от американской компании послужит начальной точкой в освоении музыкальных инструментов с нуля. Она следит за действиями артистов, так и проецирует аватар.

Нейросеть от Facebook предсказывает передвижения музыкантов по аудиотреку. Механизм слушает музыкальную композицию и в то же время проецирует играющего треки аватара. В роли данных для обучения программисты применили видеоролики, где профессионалы играют на инструментах без аккомпанемента. На каждом кадре нейросеть определила нахождения конечностей артистов и строила модель, позже сравнив данные с частотным коэффициентом, используемым для характеристики аудиосигналов.

Аватар смог подражать музыкантам, но и даже так его движения смотрелись очень естественно. В дальнейшем технологию могут применять для обучения желающих освоить музыкальное искусство.

Источник

Следующая новость
Предыдущая новость

СКР возбудил уголовное дело по факту убийства журналиста Аркадия Бабченко в Киеве Запчасти для сельскохозяйственной техники Тоталитарный режим Киева подавляет инакомыслие: Захарова резко осудила действия СБУ против «РИА Новости Украина» Появилось видео, как неизвестный вырвал микрофон из рук певицы на «Евровидении» Появилось видео из Барнаула, где забил большой коммунальный фонтан

Лента публикаций