Кога една веб-страница ќе замолчи – било поради истечен хостинг, неплатени домени или свесно гаснење од страна на сопствениците, нејзините податоци не испаруваат веднаш во ништожност. Тие поминуваат низ лавиринт од скриени патеки. Живиот сервер се гаси, датотеките се пребришуваат, а она што останува се само дигитални сенки: фрагменти зачувани во глобалните архиви како Wayback Machine, заостанати кеш-мемории во пребарувачите или случајни копии на разни парчиња од текстот разнесени по мрежата.

Но, што се случува кога ќе згаснат цели медиумски епохи?

Ние во Емитер веќе сме зборувале за неповратно изгубените дигитални содржини на некогашните големи печатени медиуми, како оние на Вест, Дневник, Македонија Денес, Плагин, Форум, Екран, Современ Возач, а и за исчезнатите некогаш популарни сајтови од типот на Он.нет, на пример, со што е изгубена огромна архива на новинарски статии. Прашањето за судбината на затворените портали и дигитални архиви во македонскиот медиумски простор беше неодамна поставено и на платформата Арно.мк, при што се дискутираше за одредени содржини на Утрински Весник. Таа статија нѐ поттикна да ја актуализираме оваа тема, да направиме анализа и да дадеме конкретни предлози како тоа може да се реши во Македонија.

Имајќи предвид дека креирањето на своевидна веб-архива на македонскиот интернет простор како сведоштво за времето во кое живееме и своевидно завештание за идните генерации, во овој текст ќе се обидеме да формулираме неколку конструктивни предлози и рамки за реализирање на некој национален проект што би се занимавал со оваа проблематика.

Зошто дигиталните записи исчезнуваат без трага?

За разлика од фирмите во стечај кои законски мора да ги предадат своите деловни и правни архиви заради договори, плати и даноци, веб-сајтовите најчесто се гледаат само како „презентациски слој“ – маркетинг, статии и дизајн. Но, зад оваа површина се кријат три големи пречки кои спречуваат лесно институционално архивирање:

• Техничка комплексност: Предавањето на „последен бекап“ од модерен сајт не е исто со праќање PDF фајл или папка со хартија. Тоа бара чување и симулирање на сложени бази на податоци (MySQL), програмски код (PHP, Node.js) и интерактивни системи за кои институциите ретко имаат инфраструктура.
• Заштита на лични податоци (GDPR / АЗЛП): Кога се гаси некој поголем портал, форум или е-продавница, неговиот последен бекап содржи кориснички профили, лозинки, мејлови и трансакции. Според законите за заштита на личните податоци, сопственикот не смее овие податоци да ги префрли на трета страна без согласност на корисниците, туку е законски обврзан безбедно да ги избрише.
• Проблемот со прекинати врски (Error 404, page not found): Дури и кога сајтовите опстануваат тие повремено се редизајнираат на нови платформи, па тогаш старите линкови вообичаено се губат. Кликнувањето на стара врска често води до „Error 404“, при што содржините остануваат заробени и невидливи освен ако не се користи внатрешно пребарување на самиот сајт.

Како светот го решава овој предизвик?

На глобално ниво, особено во земјите со напредни дигитални политики како Велика Британија и Франција, овој проблем се решава преку концептот на Дигитален задолжителен примерок (Digital Legal Deposit). Тоа значи дека законите во овие држави се изменети за да ги изедначат веб-страниците со печатените книги, весници и списанија: националните библиотеки имаат законско право и должност да направат копија од сè што е објавено на нивниот национален интернет простор.

Еве детално како функционираат овие проекти и технологијата зад нив.

И двете држави користат т.н. „мешан модел“ на архивирање, кој комбинира масовно и селективно собирање податоци.

Франција беше пионер – уште во 2006 година со закон го регулираше интернет-архивот под капата на националната библиотека (Bibliothèque nationale de France – BnF) и Националниот аудиовизуелен институт (INA). Националната библиотека на Франција доби законско право и обврска со автоматизирани софтверски ботови (веб кролери како Heritrix) да го симнува и архивира целиот национален интернет-домен (.fr). BnF собира сè што е во доменот .fr, како и секој сајт произведен од издавач со седиште во Франција. До крајот на 2024 година, нивната база надмина 2,2 петабајти податоци (околу 55 милијарди фајлови).

Еднаш годишно прават „целосен пресек“ (Broad Crawl) на целиот домен .fr. Паралелно, прават и чести селективни архивирања на дневни весници, социјални мрежи и специјални настани (како избори или Олимписките игри) создавајќи масовна база од податоци.

Француската библиотека, сепак, не тврди дека архивата е целосна копија на интернетот. Содржините зад лозинки, платени пристапи и одредени динамички системи може да останат недостапни. Затоа, масовното собирање се дополнува со целни архивирања и можност заинтересираните да пријават веб-страница што сметаат дека треба да биде зачувана.

Самиот пристап до архивата е одделен од самото зачувување: веб-содржините се чуваат како дел од националното наследство, но нивното користење е подложено на законски услови.

Во Велика Британија, зачувувањето на веб-содржините е дел од поширокиот систем на задолжителен примерок, кој со векови служи за заштита на националното издавачко наследство.

Правната основа ја сочинуваат Legal Deposit Libraries Act 2003 и прописите Legal Deposit Libraries (Non-Print Works) Regulations 2013, со кои системот е проширен и на дигиталните публикации. Шест библиотеки учествуваат во оваа национална мрежа, меѓу кои Британската библиотека, Националната библиотека на Шкотска и Националната библиотека на Велс. Наместо да чека библиотеката да добие копија од секој веб-сајт, специјализиран софтвер автоматски ги посетува јавните интернет-страници и ги зачувува достапните содржини. Процесот се нарекува web crawling, а програмите што го изведуваат се познати како веб-кролери.

Британската библиотека користи паметни кролери кои вклучуваат автоматизирани прелистувачи (како Browsertrix) способни да „се однесуваат како луѓе“ – да ги чекаат динамичните JavaScript анимации и да ги симнуваат содржините пред тие трајно да исчезнат.

Архивата автоматски собира сè од домените .uk, .scot, .wales, .london. Опфатот не се ограничува само на домените, се земаат предвид и други показатели, како адресата на издавачот, местото на создавање на содржината и серверот на кој е хостирана. Така, се собираат и .com или .org сајтови, доколку се хостирани во В. Британија или сопственикот има физичка адреса таму.

Системот започнува со листа на почетни адреси. Програмата ја презема почетната страница, ги следи врските до другите страници и ги зачувува достапните текстови и датотеки. Притоа се применуваат ограничувања за бројот на барања и длабочината на пребарувањето, за да не се оптоваруваат серверите на издавачите.

Автоматското собирање се дополнува со избор на веб-страници од посебно значење, кои може да се архивираат почесто или подетално. Така, библиотеките можат да создаваат колекции поврзани со избори, општествени настани, научни области и културни појави.

Британскиот веб-архив, познат како UK Web Archive, годишно собира снимки од најмалку четири милиони идентификувани веб-страници, со милијарди датотеки. Околу 15 000 сајтови се достапни јавно на интернет бидејќи сопствениците дале експлицитна дозвола. Но, поради строгите закони за авторски права, огромен дел од архивата е достапен за читање само физички во просториите (читалните) на националните библиотеки што учествуваат во системот.

Ова е суштинска поука за Македонија: законскиот механизам може да овозможи зачувување на јавните веб-содржини, а притоа посебно да го регулира нивниот подоцнежен пристап.

Што се веб-кролери?
Веб кролер (или „пајак“ / бот) е специјализиран софтвер кој автоматски патува низ интернетот, ги презема содржините од веб-страниците и ги зачувува. Проектите како UKWA и BnF најчесто ги користат кролерите со отворен код Heritrix (развиен од Internet Archive) и Browsertrix.

Процесот се одвива во четири клучни чекори: Почетна листа (Seeds) ──> Преземање содржина (HTML/Слики) ──> Екстракција на линкови ──> Зачувување во WARC

• Почетна точка (Seed URLs): Архиварите во кролерот внесуваат огромна листа на почетни веб-адреси (на пример, листа на сите регистрирани домени во Франција добиена од националниот регистар AFNIC).
• Преземање и Анализа: Кролерот ја посетува почетната страница, го презема нејзиниот HTML код, сликите, стиловите (CSS) и скриптите.
• Следење линкови (Link Extraction): Кролерот автоматски ги скенира сите линкови (хиперврски) на таа почетна страница и ги додава во својата „листа за чекање“. Потоа оди на тие линкови и го повторува процесот, спуштајќи се подлабоко во структурата на сајтот.
• Зачувување во стандардизиран формат (WARC): Сите преземени фајлови не се чуваат расфрлани, туку се пакуваат во WARC фајлови (Web ARChive format - ISO 28500). Овој формат содржи сè: самиот код на страницата, сликите, како и метаподатоци (точното време кога била посетена, серверот од кој е преземена итн.).

Постарите кролери едноставно го симнуваа суровиот HTML код. Меѓутоа, модерните веб-сајтови (како Facebook, Twitter или комплексни апликации) користат многу JavaScript и се вчитуваат динамично дури откако корисникот ќе кликне или скрола.

Затоа, денес UKWA го користи софтверот Browsertrix,  паметен кролер кој во позадина вклучува вистински, автоматизиран веб-прелистувач (како Chrome). Ботот „се однесува како човек“: чека да се извршат скриптите, клика на менијата и ја снима содржината откако таа целосно ќе се појави на екранот.

Но, и покрај напредната технологија, веб кролерите не можат да архивираат сè. Тие запираат пред логин ѕидовите и пребарувачите вклучени во сајтовите. Имено, сè што бара корисничко име и лозинка (на пример, вашиот приватен профил за претплата, за e-банкарство или за затворен форум) останува недостапно за архивата. Исто така кролерот не знае да внесува термини во полето за пребарување на некој сајт за да ги извлече резултатите од базата на податоци

Постои ли основа за македонски национален веб-архив?

Кога станува збор за печатените медиуми и аудио/видео изданија во Македонија веќе одамна е усвоен и постои законски регулиран систем за достава на задолжителен примерок до Националната и универзитетска библиотека „Св. Климент Охридски“, па издавачите имаат обврска да доставуваат по 5 примероци од секое свое издание – книга, весник, списание, грамофонска плоча, ЦД, ДВД, касета... Овој механизам значи е важен за зачувувањето не само на печатеното издавачко наследство туку и на електронските изданија на физички носачи.

Но, архивирањето на задолжителен примерок од некое електронско издание, е сосема различен потфат од креирањето на целосна архивска копија од веб-сајт. Електронската книга или поединечниот документ може да се зачува како конкретна публикација, додека еден новински портал секојдневно објавува и менува стотици страници, фотографии, прилози и други содржини. Неговата целосна архива може да зависи од база на податоци, програмски код и структура што не се опфатени со обичното доставување на изданија.

Во Македонија, иако новиот Закон за архивски материјал од 2026 година воведува поригорозни правила за електронско архивирање на официјалните документи во компаниите, јавниот веб-простор сè уште останува во правен вакуум. Законот за архивски материјал и архивска дејност, како и неговите понови измени, го уредуваат архивското работење и заштитата на архивскиот материјал. Институционална обврска постои само за државните институции, министерствата и општините чии веб-страници се заштитени преку Законот за слободен пристап до информации од јавен карактер. Но, за приватните портали, медиуми и блогови, таква мрежа сè уште нема.

Тоа прашање бара конкретна правна анализа и јасно уредување. Затоа, потребно е да се утврди како постојната законска рамка да се надгради.

Македонски веб-архив: од идеја до системско решение

Едно можно решение е создавање национален веб-архив, во кој централна улога би имала НУБ „Св. Климент Охридски“ (или нова, посебна институција), во соработка со Државниот архив, МАРнет и други надлежни институции.

Првиот столб би била законската рамка: да се утврдат опфатот на архивирањето, овластувањата за автоматско преземање на јавните содржини, заштитата на авторските права и личните податоци, како и правилата за пристап до архивата.

Вториот столб би била техничката инфраструктура. Со проверени алатки со отворен код, како Heritrix, би можело периодично да се архивираат јавните веб-страници, а со дополнителни системи да се организираат и пребаруваат зачуваните копии. Податоците би се чувале на безбедни сервери, со резервни копии и план за долгорочно одржување.

Третиот столб би било спасувањето на веќе исчезнатите содржини. Во случајот со „Дневник“, „Вест“, „Утрински весник“ и многу други, приоритет би било да се утврди дали постојат последни бекапи кај поранешните сопственици, веб-администраторите или технолошките партнери. Ако се пронајдат, тие би можеле стручно да се проверат, да се зачуваат и, каде што е правно и технички возможно, повторно да се направат достапни.

Таквиот систем не би морал да ја објавува секоја содржина слободно на интернет. Како во британскиот и францускиот модел, зачувувањето може да биде широко, а пристапот да биде уреден според авторските права, приватноста и јавниот интерес.

Во оваа насока предлагаме тековното редовно архивирање што би го правела НУБ да биде за интерна употреба во рамките на НУБ, се додека порталот постои и е активен. Откако порталот ќе згасне архивираните содржини да станат јавно достапни преку некоја платформа на НУБ. Исто така во Законот за задолжителен примерок да се воведе обврска сопственикот/издавачот на порталот кога ќе одлучи да згасне да мора да предаде последен бекап од сајтот на НУБ, се разбира без податоците за претплатници, регистрирани корисници и слични лични податоци.

Да не дозволиме дигиталната меморија да стане дигитална прашина

Граѓанските иницијативи, како Арно.мк, ВБУ Музички регистар и страниците што ги зачувуваат спомените за минатото како Ретро Ризница – македонски медиуми и Македонска Музичка Архива, имаат значајна улога во документирањето на македонското дигитално наследство. Сепак, поради ограничените ресурси, времето и личниот ангажман на ентузијастите, нивните архиви остануваат парцијални и несистематски. Изборот на содржини често зависи од интересите, стручноста и пристрасноста на поединците, што може да создаде искривена слика за влијанието на медиумите и јавниот дискурс во одреден историски период. Иницијативите за зачувување на старите вести, музичките архиви и сеќавањата за едно време се вредни, но претставуваат само мал дел од она што исчезнува од интернетот. Затоа, зачувувањето на националното дигитално наследство бара посистематски и посеопфатен пристап.

Најважната поука од Велика Британија и Франција е дека не треба да се чека веб-сајтот да згасне за да започне неговото архивирање. Кога содржината сè уште е достапна, автоматското преземање може да создаде историски записи што ќе останат и по исчезнувањето на оригиналот.

Интернетот изгледа како бескрајна меморија, но без систематско зачувување, тој е и еден од најлесно заборавливите медиуми. Една книга може да преживее децении на полица; веб-страница може да исчезне преку ноќ.

Прашањето не е само кој ќе ги спаси старите македонски портали. Прашањето е дали ќе создадеме институционален систем што ќе ја зачува и денешната дигитална продукција за идните генерации. Ако не сакаме историјата на нашите медиуми да зависи од истечен домен, заборавен бекап или случајна снимка на некој странски сервер, време е да размислиме за национален веб-архив. Зашто она што денес го сметаме за обична интернет-содржина, утре може да биде незаменлив историски документ.

Дали во иднина ќе сведочиме на создавање на национален Македонски Веб Архив (MKWA) кој преку соработка со MARnet и националните институции системски ќе ги зачува дигиталните траги на нашата јавна мисла? Додека чекаме институционален одговор, прашањето останува отворено: дали македонскиот дигитален пејзаж и понатаму ќе чекори во ритамот на народниот танц ‘Тешкото’ или навреме ќе ги фатиме последните бекапи пред тие целосно да се претворат во дигитална прашина?

Извори:

• British Library. Legal deposit and web archiving.
• UK Web Archive. Архива на веб-страници од Обединетото Кралство.
• Bibliothèque nationale de France. Comprendre le dépôt légal du web.
• Bibliothèque nationale de France. Dépôt légal des sites web : mode d'emploi.
• Државен архив на Македонија. Законски и подзаконски акти.
• Националната и универзитетска библиотека „Св. Климент Охридски“. Задолжителен примерок