Направи дарение на училище!

Екип от учени създаде ‘Audeo’ – система, която може да генерира музика, използвайки само визуалните движения на някой, който свири на пиано.

Всеки, който е бил на концерт, знае, че между изпълнителите и техните инструменти се случва нещо вълшебно. Те превръщат музиката от просто „ноти върху хартия“ в едно задоволително преживяване.

Екип на Университета във Вашингтон реши да провери дали изкуственият интелект може да пресъздаде тази наслада, използвайки само визуални реплики от изцяло мълчаливо видео на някой, който свири на пиано. Изследователите са използвали машинно обучение, за да създадат система, наречена Audeo, която пресъздава звук от безмълвни пиано изпълнения.
Когато групата тества музиката, която Audeo създава с приложения за разпознаване на музика, като SoundHound, приложенията правилно идентифицират парчето, което Audeo свири през около 86% от времето. За сравнение тези приложения идентифицираха песните през аудио записите от оригиналните видеоклипове в 93% от случаите.
Изследователите представиха Audeo на 8 декември на конференцията NeurIPS 2020.

„Създаването на музика по този начин, която звучи така, сякаш може да се свири на музикален спектакъл, преди се смяташе за невъзможно“, казва един от авторите Ели Шлизърман, асистент както по приложна математика, така и в катедрите по електротехника и компютърна техника. „Алгоритъмът трябва да разбере сигналите или характеристиките във видеокадрите, свързани с генерирането на музика, и трябва да си “представи“ звука, който се случва между видеокадрите. Изисква се система, която е едновременно прецизна и творческа. Фактът, че постигнахме музика, която звучеше доста добре, беше голяма изненада.“

Audeo използва поредица от стъпки, за да декодира случващото се във видеото и след това да го преобразува в музика. Първо, той трябва да открие кои клавиши са натиснати във всеки един видео кадър, за да създаде диаграма с течение на времето. След това трябва да преведе тази диаграма в нещо, което музикален синтезатор всъщност би разпознал като звук, който би издало пиано. После втората стъпка изчиства данните и добавя повече информация, като например колко силно се натиска всеки клавиш и колко продължително.

Разбери повече за БГ Наука:

***

„Ако се опитаме да синтезираме музика само от първата стъпка, ще открием, че качеството на музиката е незадоволително“, казва Шлизърман. „Втората стъпка е като начина, по който учителят преглежда музиката на студент композитор и му помага да я подобри.“

Изследователите обучават и тестват системата, като използват видеоклипове от YouTube на пианиста Пол Бартън. Обучението се състоеше от около 172 000 видео кадъра на Бартън, възпроизвеждащи музика от известни класически композитори, като Бах и Моцарт. След това тестваха Audeo с почти 19 000 кадъра на Бартън, свирейки различна музика от тези композитори и други, като Скот Джоплин.

След като Audeo генерира стенограма на музиката, е време да я предадете на синтезатор, който може да я превърне в звук. Всеки синтезатор ще накара музиката да звучи малко по-различно – това е подобно на промяната на настройката „инструмент“ на електрическа клавиатура. За това проучване изследователите са използвали два различни синтезатора.

„Fluidsynth издава звуци на синтезатор за пиано, които са ни познати. Те са донякъде механично звучащи, но доста точни“, казва Шлизърман. „Използвахме също PerfNet, нов ИИ синтезатор, който генерира по-богата и изразителна музика. Но генерира и повече шум.“
Audeo беше обучен и тестван само на пиано клипове на Пол Бартън. Необходими са бъдещи изследвания, за да се види колко добре би могъл да транскрибира музика за всеки музикант или пиано, каза Шлизърман.

„Целта на това проучване беше да се види дали изкуственият интелект може да генерира музика, която се изпълнява от пианист във видеозапис – макар че не целяхме да възпроизведем точно Пол Бартън, защото той е такъв виртуоз“, казва Шлизърман. „Надяваме се, че нашето проучване дава възможност за нови начини за взаимодействие с музиката. Например, едно бъдещо приложение е, че Audeo може да бъде разширено до виртуално пиано с камера, записваща само ръцете на човек. Също така, като поставите камера върху истинско пиано, Audeo може потенциално да помогне в нови начини за обучение на ученици как да свирят.“

Източник: sciencedaily.com
Превод: Радослав Тодоров

Вземете (Доживотен) абонамент и Подарете един на училище по избор!