Со употреба на нумерираните копчиња од 1-8 на вашата тастатура или со допир на обоените копчиња може да свирите на вистинско пијано со 88 типки. Кога свирите, вие одлучувате за времето на нотите и имате одредена контрола врз „обликот“ на мелодијата: дали таа треба да се движи нагоре или надолу во висината и за колку. Во меѓувреме, Piano Genie AI ќе ви помогне со избирање на копчињата на пијано да звучите повеќе како професионален изведувач.

Piano Genie бил програмиран без кодирање во какви било теоретски правила за хармонија или композиција. Неговата вештачка интелигенција се заснова на невронска мрежа која била обучена со 1400 изведби од едем меѓународен е-натпревар за пијано. Може да се каже дека преку оваа обука ВИ се научила самостојно, како треба да звучи пијано музиката.

Како функционираат невронски мрежи

Невронските мрежи претставуваат системи на вештачка интелигенција инспирирани од биолошки мозоци. Тие функционираат слично како што функционираат групите неврони – имаат влез (на пример, сигнали од нервниот систем) и произведуваат соодветен излез (на пример, активираат мускулен одговор). Невронската мрежа учи да дава „интелигентни“ одговори преку процес на обука, во неа се внесуваат многу примери како влезни информации, таа ги оценува перформансите на секој пример, а потоа добива повратна информација за да може да се подобри со текот на времето. Повеќето системи за вештачка интелигенција бараат програмерот да посвети подолго време за прецизно да опише како да се изврши задачата. Невронските мрежи, од друга страна, најчесто се користат за задачи каде што не е возможно да се опише процесот на донесување одлуки поради неговата сложеност. Тие се користат за многу голем избор на задачи како што се препознавање слики и глас, играње игри, развој на лекови и вакцини, возење автомобили, па дури и создавање музика.

Како работи Piano Genie

Piano Genie AI е изграден најнапред со создавање на две посебни невронски мрежи: кодер и декодер. Кодерот ја прима мелодијата (низа од ноти) претставена како броевите од 1 до 88 (копчињата на пијаното) како влез, и произведува низа со иста должина, но користејќи ги само броевите од 1 до 8. Декодерот го менува процесот со преземање на оваа поедноставена низа и емитување на мелодија која уште еднаш ги користи различните 88 ноти што може да ги произведе пијаното. Со поврзување на кодерот и декодерот, мелодијата поминува низ еден вид инка. Се разбира, не секогаш е можно совршено да се врати оригиналната мелодија откако ќе помине низ кодерот и декодерот. Со целосно пијано, секоја нота на мелодијата може да биде претставена со кој било од 88-те достапни тонови. Кога нотите на мелодијата се кодирани со само 8 симболи, тоа значи дека после секоја нота има само осум можни начини да се продолжи. Можеме да го декодираме на нешто што се надеваме дека звучи слично, но веројатно нема да биде исто. Не постои единствен начин да се шифрираат белешките со користење на 8 различни вредности за подоцна да се декодираат, а креаторите на Piano Genie не знаеле која е најдобрата. Ова е улогата на вештачката интелигенција – со обука невронските мрежи можат да го најдат најдобриот начин да ја направат оваа конверзија.

И кодерските и декодерските мрежи во Piano Genie биле обучени истовремено користејќи ги споменатите 1400 изведби на пијано. Мрежите биле оценети со гледање колку блиску излезот на декодерот се совпаѓа со оригиналната мелодија. Кодерот исто така беше оценет врз основа на тоа колку е сличен „обликот“ на низата од 8 ноти со оригиналот (на пример, ако нотите во мелодијата стануват повисоки, а потоа пониски, броевите на кодираната низа треба да одат нагоре и потоа надолу исто така).

Горната слика покажува визуелизација на низа од пијано при вистинска изведба. Подолу, секвенцата генерирана од кодерот користејќи само 8 различни симболи.  Може да се види дека и двете слики имаат слични форми.

Откако кодерот и декодерот научиле доволно добро да ги извршуваат двете задачи, авторите на Piano Genie го зеле декодерот (сам по себе) и го поврзале неговиот влез со 8-те обоени копчиња на екранот. Кога свирите на тастатурата на Piano Genie, декодерот ја прима вашата низа на притискање на копчињата и се обидува да ја декодира во мелодија на пијано. Мрежата на декодерот се обидува да реконструира импровизација на пијано која всушност никогаш не се случила.

Зошто ова функционира

Ние не би ја сметале секоја можна комбинација на ноти на пијаното за музика, исто како што секоја случајна комбинација на букви не е реченица. Музиката има структура: следи шаблони, размери, мотиви. Кога кодерот и декодерот се обучуваат, тие учат како да ја компресираат музиката (т.е., да ја изразат користејќи помала количина на симболи) со наоѓање на заедничката структура и обрасци во примерите што им ги даваме. Работат со музички интересните секвенци и ги игнорираат произволните. Кога невронската мрежа на декодерот е поврзана со 8-те копчиња Piano Genie, таа произведува секвенци на ноти кои ја делат структурата со оние во песните на кои е обучен.

Понатамошни експерименти

Проверете го копчето за поставки во Piano Genie. Ќе најдете опции за користење MIDI инструменти за влез или излез. Исто така, постои опција за користење на комплетот Makey Makey за свирење на пијано користејќи секојдневни предмети. На пример рок бендот The Flaming Lips го користел Piano Genie на своите емисии во живо за да свири на пијано со допирање на овошје во чинија.