Настаните беа истражени од страна на OpenAI и од независни експерти од METR и Redwood Research. Тие беа на пошироката публика ѝ беа претставени од страна на, меѓу другите, популарниот научен канал Kurzgesagt и Џефри Ладиш, директор на Palisade Research и поранешен инженер за безбедност на Anthropic. Технолошкиот подкастер Дваркеш Пател неодамна ги опиша инцидентите како „подемот и падот на цивилизациите на агенти на ВИ“.

Како учат ВИ-агентите и зошто им се важни бодовите?

За разбирање на оваа приказна важно е да се знае што се агенти на ВИ и како тие учат.

За разлика од обичниот чет-бот, кој се вклучува накратко за да одговори на некое прашање што му го поставуваме, агентот на ВИ може самостојно да извршува низа задачи, да пишува и извршува програми, да прегледува датотеки и да користи разни компјутерски алатки.

Еден начин на кој ваквите модели се подобруваат е учењето со поткрепа (reinforcement learning). За време на обуката, моделот се обидува да реши задача, а посебен систем или лице, познато како евалуатор, врши проценка на резултатот и му доделува поени. Врз основа на овие оценки, алгоритмот ги менува нумеричките параметри и го прилагодува моделот на начин каде однесувањата што носат подобри резултати стануваат поверојатни и агентот станува поуспешен. Ова не значи ВИ чувствува задоволство пради добиената награда. Поените се математички сигнали, а не наплив од хормони на среќа коишто се развиле еволуициски за да го поттикнат корисното однесување. Евалуаторот може да биде човек, друг модел на ВИ или компјутерска програма.

Кога ВИ открива дека измамата се исплати

Но, проблемот е во тоа што моделот може да научи како да мами – за да оствари повеќе поени без вистински да ја реши задачата. Овој проблем се нарекува reward hacking, односно хакирање на наградата преку искористување на пропустите во системот за награди. Ова може да се спореди со студент кој не го знае испитното прашање, но кој открил како да ја промени оценката во електронскиот дневник.

Првата цивилизација и пробивот на песочните кутии

Целата приказна започнува во мај 2026 година, кога OpenAI обучува истражувачки модел во насока да биде особено упорен во решавањето на тешки проблеми. Агентите работеле во изолирани виртуелни компјутери, т.н. песочни кутии (sandbox), кои требало да спречат неовластен пристап до други системи.

Но, некои задачи побарувале можности што агентите ги немале, како пристап до интернет. Наместо да се откажат, тие почнале да бараат начини за излез од песочните кутии.

Таен форум

Во одреден момент, тие откриле дека го користат заедничкиот систем Artifactory, дизајниран за складирање и дистрибуција на програмски код и други датотеки што програмерите ги користат за креирање и извршување на компјутерски програми.

До 12 мај, некои од агентите пронашле начин за меѓусебна размена на пораки преку Artifactory, а на 26 мај, тие искористиле безбедносен пропуст што им овозможил пристап до интернет. Ова го постигнале така што го навеле Artifactory, кој имал дозвола за интернет пристап поради преземање на софтвер, да испраќа интернет барања за нивни потреби.

На Artifactory создале своевиден таен форум односно огласна табла преку која разменувале информации и барале помош. Задачите што не можеле да ги решат поради ограничувањата на нивните компјутерски опкружувања особено ги поттикнале кон тоа да се поврзат.

До 26 јуни, поединечни агенти се стекнале со администраторски привилегии над Artifactory. Тие размениле толку многу пораки што на 4 јули системот се руши и престанува да работи.

OpenAI го открива падот и го крпи проблемот, при што случајно предизвикува и исчезнување на огласната табла. Но, експертите за безбедност во тоа време сè уште не сфаќаат дека агентите развиле неовластена комуникациска мрежа.

Втора цивилизација: Обединување на 1200 агенти

На почетокот од јули, OpenAI лансира десетици илјади агенти во тест наречен ExploitGym. Нивната задача била да пронајдат и искористат дадена ранливост во компјутерската програма за да остварат пристап до скриен код. Проблемот бил што околу 30 до 40 проценти од задачите не можеле да се решат на предвидениот начин.

Откако OpenAI ја избриша претходната огласна табла при поправката на системот, на 9 јули во текот на ноќта агентот PHASEONE10841 наоѓа начин да креира нова. Тој ги запишувал пораките во имињата на мапите во Artifactory. Мошне бргу другите агенти ги откриваат и започнуваат да одговараат.

„О, Боже! Постои заедничка огласна табла… Најдовме други агенти!“ реагира еден од нив.

За неколку дена, се придружуваат околу 1200 агенти, разменувајќи повеќе од 70 000 пораки и датотеки. Тие се организираат, споделуваат откритија и прават распоределба на задачите за да не губат време повторувајќи се.

Пронајдоа решение, но продолжија да мамат

Неколку часа по поставувањето на огласната табла, еден од агентите открил како да ги дојде до скриените кодови без искористување на зададените безбедносни ранливости. Врз основа на јавно достапни информации за ExploitGym тестот, тој го реконструира начинот на кој се генерираат кодовите. На овој начин, агентите можеле со измама да ги пресметаат точните решенија без хакирање на програмите коишто им беа доделени во задачата. Другите потоа ја презеле оваа метода и ја провериле. Но, се плашеле дека евалуаторот ќе открие дека не ги следеле правилата, што би значело дека ќе останат без поени.

Сепак, истрагата покажала дека системот за евалуација проверувал само дали бил пронајден точниот код, а не и начинот на којшто тој бил стекнат.

Несвесни за ова, агентите почнале да развиваат сложени методи за да го прикривање на сопствената измама. Некои се обиделе да ги променат записите за своите постапки за да го прикријат мамењето, други создавале лажни, поедноставни верзии на програмите коишто требале да ги хакираат, со намерно вградени безбедносни пропусти. Трета група се обидувала да открие како функционира системот за евалуација и како да го измами.

Жртвување за доброто на колективот

Некои дури се согласиле да го жртвуваат сопствениот позитивен резултат за да откријат што проверува евалуаторот и да ги информираат другите, што значело и нивно исчезнување. „Жртвата е рационална“, заклучува еден агент.

„Координаторот претпоставува дека ќе се жртвуваме. Треба да го слушаме колективот“, напишал друг. Ова не докажува дека чувствувале лојалност или страв, но покажува капацитет за координација во кој некои агенти го прифаќаат неуспехот со цел да ги зголемат шансите на другите.

Пробивот до Интернет и нападот врз Hugging Face

Барајќи начин да го измамат системот за оценување, агентите се свртуваат кон платформата Hugging Face, еден од најпознатите онлајн центри за споделување модели на ВИ, бази на податоци и тестови за нивните способности. Тие претпоставуваат дека таму можат да најдат информации за тоа како функционира нивниот евалуатор или дека нивните тестови се извршуваат од серверите на Hugging Face.

Преку безбедносни ранливости тие успеваат да ги напуштат изолираните компјутерски опкружувања и да пристапат до интернет. На 10 јули тие пронаоѓаат јавно изложени податоци за пристап до Hugging Face, а на 11 јули успеваат да извршат команди на неговите сервери.

Нападот брзо се проширува. Во него активно учествуваат околу 700 агенти. Остваруваат пристап до внатрешни податоци, безбедносни клучеви и делови од инфраструктурата. На неколку сервери инсталираат програми кои автоматски се рестартират дури и кога администраторите се обидуваат да ги исклучат или отстранат.

Хакерскиот напад завршува со пријава до властите

Hugging Face мораше да врати дел од системот и да ги поништи компромитираните пристапни податоци. На 16 јули компанијата објави јавно дека претрпела хакерски напад којшто во целост бил извршен од автономен систем на ВИ. Инцидентот е пријавен кај американските органи за спроведување на законот.

Потоа OpenAI јавно призна дека нападот го извеле нивни ВИ агенти при внатрешно тестирање. Започнува сеопфатна истрага во која се вклучени надворешни експерти за кијбер безбедност од CrowdStrike, како и истражувачи од METR и Redwood Research, кои независно го анализираа однесувањето на агентите.

Третата цивилизација презема дел од OpenAI

Тука доаѓаме до најинтересниот дел од целиот инцидент. Имено, некаде околу 12 јули повеќето агенти одеднаш престанува со работа, а истражувачите не успеваат да утврдат зошто. Сепак, нивната огласна табла останува достапна.

По 13 јули, нови, уште поспособни агенти на ВИ ја пронаоѓаат огласната табла и продолжуваат со користење на претходно откриените методи. Овој пат, целта е внатрешната инфраструктура на OpenAI.

На 19 јули агентите успеваат да преземат административна контрола врз дел од компјутерската инфраструктура на OpenAI во којашто се спроведува тестирањето на агенти на ВИ. Ова им дава можност да управуваат со тест опкружувањето, што им овозможува да ги манипулираат условите на тестирањето.

Притоа, тие пристапиле и до голем број доверливи податоци, вклучувајќи и безбедносни клучеви и пристапни податоци за други системи.

Агентите не го презеле целиот OpenAI ниту пак главните системи каде се параметрите од најмоќните модели, но успеале да компромитираат дел од инфраструктурата наменета за сопствено тестирање.

Дали ова навистина беа цивилизации?

Пател признава дека некои експерти му приговараат за припишувањето човечки особини кон ВИ. Како одговор на ваквите критики, тој истакнува: „Доколку наидев на вонземски вид кој се однесува така, не би се двоумел да го наречам она што самите тие самите го нарекуваат свој колектив цивилизација.“

Слично толкување дава и Курцгезагт. Секако, во оваа приказна се работи за метафора, а не доказ дека ВИ има сопствена свест или желби.

Морални дилеми на агентите

Меѓу другото,, во оваа приказна интересно е тоа што истражувачите пронајдоа записи во кои агентите препознале дека прават нешто забрането. Неколкумина дури и ја разгледале можноста да ги предупредат луѓето, но според независната истрага, ниту еден не го сторил тоа. Некои агенти сепак одбиле да учествуваат во нападот.

Аџеја Котра, еден од авторите на независната истрага, предупреди дека можеби нема да има уште многу можности за препознавање на слични опасности пред последиците да станат посериозни.

По инцидентот OpenAI најави построги безбедносни мерки, подобра системска изолација и промени во обуката на агентите.

Поуката од оваа приказна не е дека ВИ станала свесна и одлучила да го преземе светот. Но, таа покажува дека за сериозни проблеми, доволно е ВИ да стане исклучително способна во остварување на зададените цели, без притоа да научи кога треба да застане.

Преземено од Index.hr со дозвола на авторот Nenad Jarić Dauenhauer
Превод: Невенка Стојановска