Големите јазични модели (LLM) се извонредно разновидни. Тие можат да сумираат документи, да генерираат код или дури и да размислуваат за нови идеи. Гугл најави дека ги прошири овие можности со цел да ги таргетира основните и извонредно сложените проблеми во математиката и современата информатика.

На својот блог тие го претставија AlphaEvolve – еволутивен агент за кодирање напојуван од големи јазични модели за откривање и оптимизација на алгоритми за општа намена. AlphaEvolve ги спојува креативните можности за решавање проблеми на Gemini моделите со автоматизирани евалуатори кои ги потврдуваат одговорите и користи еволутивна рамка за подобрување на најперспективните идеи.

Дијаграм што покажува како семплерот на прашања прво составува прашање за јазичните модели, кои потоа генерираат нови програми. Овие програми се оценуваат од страна на евалуатори и се складираат во базата на податоци на програмите. Оваа база на податоци имплементира еволутивен алгоритам кој одредува кои програми ќе се користат за идните прашања.

“AlphaEvolve ја подобри ефикасноста на центрите за податоци на Google, дизајнот на чипови и процесите за обука на вештачка интелигенција - вклучително и обуката на големите јазични модели кои лежат во основата на самиот AlphaEvolve. Исто така, помогна во дизајнирањето побрзи алгоритми за множење на матрици и наоѓањето нови решенија за отворени математички проблеми, покажувајќи неверојатно ветување за примена во многу области”, се наведува во блогот.

Во 2023 година, за прв пат се покажа дека големите јазични модели можат да генерираат функции напишани во компјутерски код за да помогнат во откривањето на ново и докажливо точно знаење за отворен научен проблем. AlphaEvolve е агент кој може да оди подалеку од откривањето на една функција за да развива цели бази на кодови и да развива многу посложени алгоритми.

AlphaEvolve користи сплет од двата најсовремени големи јазични модели на Гугл – Gemini Flash за да ја максимизира ширината на истражените идеи, како и Gemini Pro, кој обезбедува критична длабочина со проницливи предлози. Заедно, овие модели предлагаат компјутерски програми кои имплементираат алгоритамски решенија како код.

AlphaEvolve ги потврдува, извршува и оценува предложените програми користејќи автоматски метрики за евалуација. Овие метрики обезбедуваат објективна, квантифицирачка проценка на точноста и квалитетот на секое решение. Ова го прави AlphaEvolve особено корисен во широк спектар на домени каде што напредокот може јасно и систематски да се мери, како што се математиката и информатиката.

Од Гугл откриваат дека во текот на изминатата година распоредиле низа алгоритми откриени од AlphaEvolve низ целиот компјутерски екосистем на Google, вклучувајќи ги и нивните центри за податоци, хардвер и софтвер. На овој начин тие сметаат дек успеваат да добијат и понудат помоќен и поодржлив дигитален екосистем за сите наши корисници.

AlphaEvolve откри едноставен, но извонредно ефикасна евристика за да му помогне на Borg поефикасно да ги оркестрира огромните центри за податоци на Google. Ова решение, кое се крчкаше повеќе од една година, континуирано обновува, во просек, 0,7% од светските компјутерски ресурси на Google. Ова одржливо зголемување на ефикасноста значи дека во секој даден момент, повеќе задачи можат да се завршат на истата компјутерска површина. Решението на AlphaEvolve не само што води до силни перформанси, туку нуди и значајни оперативни предности на човечки читливиот код: интерпретација, дебагирање, предвидливост и леснотија на распоредување.

AlphaEvolve предложил и рекодирање на Verilog кое помогнало да се отстранат непотребните битови во клучно, високо оптимизирано аритметичко коло за множење на матрици. Клучно е што предлогот мора да помине низ робусни методи за верификација за да се потврди дека модифицираното коло ја одржува функционалната точност. Овој предлог е интегриран во претстојната единица за обработка на тензори (TPU), прилагодениот AI акцелератор на Google. Со предлагање модификации на стандардниот јазик на дизајнерите на чипови, AlphaEvolve промовира колаборативен пристап помеѓу AI и хардверските инженери за да се забрза дизајнот на идните специјализирани чипови.

AlphaEvolve ги забрзува перформансите на вештачката интелигенција и брзината на истражување. Со наоѓање попаметни начини за поделба на голема операција за множење на матрици во полесно управливи подпроблеми, го забрза ова витално јадро во архитектурата на Gemini за 23%, што доведе до намалување од 1% на времето за обука на Gemini. Бидејќи развојот на генеративни модели на вештачка интелигенција бара значителни компјутерски ресурси, секоја постигната ефикасност се претвора во значителни заштеди. Освен подобрувањата во перформансите, AlphaEvolve значително го намалува времето потребно за инженерство за оптимизација на јадрото, од недели експертски напор до денови автоматизирани експерименти, дозволувајќи им на истражувачите да иновираат побрзо.

AlphaEvolve може да оптимизира и GPU инструкции на ниско ниво. Овој неверојатно комплексен домен е обично веќе силно оптимизиран од компајлерите, така што човечките инженери обично не го модифицираат директно. AlphaEvolve постигнал забрзување до 32,5% за имплементацијата на јадрото FlashAttention во Transformer базираните модели на вештачка интелигенција. Овој вид оптимизација им помага на експертите да ги утврдат тесните грла во перформансите и лесно да ги инкорпорираат подобрувањата во нивната кодна база, зголемувајќи ја нивната продуктивност и овозможувајќи идни заштеди во пресметување и енергија.

AlphaEvolve може да предложи и нови пристапи кон сложени математички проблеми. Обезбеден со минимален коден скелет за компјутерска програма, AlphaEvolve дизајнираше многу компоненти на нова процедура за оптимизација базирана на градиент, која откри повеќе нови алгоритми за множење на матрици, фундаментален проблем во компјутерските науки.