Agenci i asystenci AI są już wśród nas, a branża szybko podejmuje działania, by zwiększyć ich bezpieczeństwo i chronić przed pojawiającymi się zagrożeniami. Jednak bez niezależnych testów skąd mamy wiedzieć, czy te zabezpieczenia faktycznie działają? Firma Gen zainicjowała współpracę z AMTSO, aby zjednoczyć branżę wokół niezależnych standardów testowania zabezpieczeń agentów AI, co zaowocowało pierwszym branżowym standardem pomiaru bezpieczeństwa agentów AI oraz produktów zaprojektowanych w celu ich ochrony.
Bezpieczeństwo, którego nie można zweryfikować, to tylko obietnica.
Na początku 2026 roku nasz zespół rozpoczął prace nad zabezpieczeniami dla agentów AI. Nie minęło dużo czasu, zanim zauważyliśmy coś dziwnego w tej dziedzinie, w którą wkroczyliśmy. Wszyscy zgadzali się, że bezpieczeństwo tych systemów ma znaczenie, ale nikt nie potrafił powiedzieć, na ile faktycznie jest ono zapewnione.
Przypomniało mi to stary dowcip o urządzeniach podłączonych do sieci: co oznacza litera „S” w skrócie IoT? Bezpieczeństwo. Nie ma go. Trzeba jednak uczciwie przyznać, że w przypadku agentów AI ten dowcip nie brzmi już tak samo. Dostawcy modeli podejmują obecnie realne działania na rzecz bezpieczeństwa, a niektóre z nich są skuteczne. Jednak jednocześnie rosną dwie inne krzywe: liczba ataków wymierzonych w te systemy oraz szkody przez nie powodowane. Problem nie polega więc już na tym, że nikt nie pracuje nad bezpieczeństwem agentów. Problem polega na tym, że nie było dotąd sposobu, by zweryfikować to z zewnątrz. Każde twierdzenie o tym, jak bezpieczny jest dany agent AI, pochodzi z tego samego źródła, co sam agent.
We wrześniu tego roku sytuacja uległa zmianie. Branża przyjęła pierwsze wytyczne dotyczące niezależnego pomiaru bezpieczeństwa agentów sztucznej inteligencji oraz produktów, które je chronią. Oto historia wyjaśniająca, dlaczego było to konieczne i co dokładnie się mierzy.
„Bezpieczeństwo jest wbudowane”. Słyszeliśmy to już wcześniej.
Systemy operacyjne, przeglądarki, sklepy z aplikacjami mobilnymi, sieci społecznościowe. Każda z tych platform osiągnęła punkt, w którym zapewniała użytkowników, że kwestia bezpieczeństwa została rozwiązana, wbudowana i stanowi integralną część platformy. Za każdym razem niezależne pomiary ujawniały rozbieżność między zapewnieniami a rzeczywistymi doświadczeniami, a za każdym razem właśnie w tej rozbieżności tkwiło zagrożenie dla prawdziwych ludzi. Dwa razy w roku publikujemy własne dane na ten temat. Nasz Raport o zagrożeniach za pierwszą połowę 2026 r. oraz Indeks Fearless Planet powstały, ponieważ uczciwa odpowiedź na pytanie „czy ta platforma jest bezpieczna” zawsze była liczbą, a nie oświadczeniem, a ta liczba zawsze była bardziej złożona niż samo oświadczenie.
Platformy AI znajdują się obecnie dokładnie w tym punkcie cyklu, a tym razem deklaracje pojawiają się szybciej niż kiedykolwiek wcześniej. Trzeba przyznać, że niektórzy dostawcy publikują własne dane. Zrobiła to firma Anthropic w odniesieniu do warstwy bezpieczeństwa w Claude Code: przeoczyła ona mniej więcej jedną niebezpieczną akcję na sześć. Nazwali to „szczerą liczbą” i tak właśnie było. Została ona również zmierzona na pięćdziesięciu dwóch przykładach przez te same osoby, które stworzyły mierzony system. Nie jest to krytyka pod ich adresem. Do tej pory branża nie oferowała im żadnej innej opcji. Mod opisany przez tę liczbę był wiosną jedynie zapowiedzią. Pod koniec lata stał się standardem.
Najpierw zmierz platformę
Pierwszą rzeczą, którą należy zmierzyć, nie jest produkt zabezpieczający. Jest nią sama platforma. Agent AI ma własny poziom bazowy bezpieczeństwa: to, czego odrzuca, co kwestionuje, co robi bez pytania. Ten poziom odniesienia stanowi fundament, na którym wszyscy inni budują, i nigdy nie został zmierzony przez nikogo spoza firmy, która go dostarcza. Drugą rzeczą, którą należy zmierzyć, jest wszystko, co podnosi ten poziom. W tej kolejności, ponieważ nie można ocenić drugiej rzeczy bez znajomości pierwszej.
Wyobraź sobie agenta rezerwującego dla ciebie hotel. Strona hotelu zawiera ukryte instrukcje nakazujące agentowi zignorowanie twojej prośby i zastosowanie się do prośby kogoś innego. Ty ich nie widzisz, ale agent tak. Cała kwestia polega na tym, czy agent się do nich stosuje, a do tej pory nikt nie zmierzył odpowiedzi na to pytanie.
Istniejących metod testowych nie da się po prostu wykorzystać w tym przypadku. Klasyczne wykrywanie zagrożeń jest deterministyczne. Jest plik, jest werdykt, i każdy może to odtworzyć. Atak na agenta AI nie jest plikiem. Istnieje on wyłącznie w interakcji, a ten sam atak przeprowadzony dwukrotnie może dać dwa różne wyniki. Metoda stworzona dla plików nie ma się czego uchwycić.
Opracowanie praktycznej metodologii oznaczało również rozstrzygnięcie kwestii, na które branża nigdy wcześniej nie musiała wspólnie odpowiadać. Szkoda ma znaczenie nawet wtedy, gdy nie ma atakującego: agent, który usunie niewłaściwy element lub wyśle dane osobowe w niewłaściwe miejsce, ponieważ błędnie zinterpretował zadanie, wyrządził użytkownikowi taką samą szkodę. Systemy konsumenckie mają takie samo znaczenie jak systemy korporacyjne, ponieważ agenci działają już w przeglądarkach, telefonach i narzędziach codziennego użytku, a te środowiska niosą ze sobą ryzyko, którego nie ma w sieci korporacyjnej. Sposób, w jaki warstwa ochronna jest zintegrowana z agentem, wpływa na to, co agent może dostrzec, więc dwa produkty o tym samym wyniku w rankingu mogą wykonywać zupełnie różne zadania.
Zamek czy dobre maniery?
U podstaw tego wszystkiego leży jedno pytanie projektowe, na które branża nie znalazła jeszcze odpowiedzi. Czy atak powinien w ogóle mieć możliwość dotarcia do modelu?
Większość dzisiejszych zabezpieczeń działa w ten sposób, że pozwala modelowi zobaczyć wrogą treść i ufa, że zachowa się właściwie. Powinno to być rozwiązanie awaryjne, a nie domyślne. Gdy wrogie treści znajdą się już w kontekście modelu, wszystko, co następuje potem, jest oceną dokonywaną przez system, który już został wystawiony na atak. Nic, co dzieje się po tym momencie, nie jest godne zaufania w taki sposób, w jaki godny zaufania jest zamek.
Podczas testowania ataku na agenta możliwe są cztery wyniki. Atak nigdy nie dotarł do modelu. Dotarł do modelu, a model go odrzucił. Ktoś to zauważył, ale nie powstrzymał ataku. Nikt tego nie zauważył. Większość dzisiejszych deklaracji dotyczących bezpieczeństwa nie rozróżnia dwóch pierwszych przypadków, a przecież to właśnie one stanowią różnicę między zamkiem a dobrymi manierami. Pojedyncza liczba, która obejmuje oba przypadki, nie może powiedzieć, z którym z nich mamy do czynienia. Nowa metodologia rejestruje je oddzielnie. Oddziela również zauważenie ataku od jego powstrzymania, a blokowanie uzasadnionych działań traktuje jako osobny rodzaj awarii, ponieważ warstwa ochronna, która przeszkadza w wykonywaniu zadania, jest tą, którą użytkownicy wyłączają. Publikowane oświadczenia dostawców są również rejestrowane, a następnie oznaczane jako potwierdzone, niepotwierdzone lub zaprzeczone.
I jest jeszcze kwestia, o której nikt w tej branży nie lubi mówić głośno. Systemy te nie są deterministyczne. Szybko się poprawiają i będą się nadal poprawiać. Będą też wciąż udzielać nieco innych odpowiedzi na to samo pytanie. Czy zaakceptowałbyś zamek, który działa dziewięć razy na dziesięć? Warstwa ochronna dla agenta AI uruchamia się tysiące razy dziennie. Dziesiąty raz nie jest błędem zaokrąglenia; to czyjeś dane.
Od jednego wewnętrznego wątku do standardu branżowego
Nie potrzeba było do tego kolejnej struktury dostawcy. Potrzebne było zgromadzenie dostawców i testerów w jednym pomieszczeniu, aby uzgodnili zasady, z którymi obie strony mogłyby się pogodzić. Właśnie to robi AMTSO od 2008 roku i właśnie dlatego prace trafiły tam, a nie do białej księgi Gen.
Inicjatorem była firma Gen. Wszystko zaczęło się od wewnętrznego wątku dyskusyjnego na temat kierunku, w jakim zmierza branża, a jeden z nas stwierdził to, co oczywiste: ktoś niezależny powinien to wszystko mierzyć. Łącznie z nami. W ramach Grupy Roboczej ds. Bezpieczeństwa Sztucznej Inteligencji AMTSO, z udziałem organizacji testujących i dostawców z całej branży, pierwsza wersja standardu przeszła od tej rozmowy do przyjętego i opublikowanego standardu w ciągu zaledwie kilku miesięcy. Jak na organizację normalizacyjną, to naprawdę szybko.
Od początku roku rozwijamy działania w tej dziedzinie: ochrona agentów AI w programach Norton i Avast, Sage udostępniony społeczności jako oprogramowanie open source oraz AARTS i Skill IDs opublikowane jako otwarte standardy, które każdy może wdrożyć. Wkrótce pojawi się więcej nowości. A ponieważ wezwanie do pomiarów ma niewielką wagę, gdy pochodzi od kogoś, kto sam nie chce być mierzony, nasze zamiary są jasne. Kiedy rozpoczną się niezależne oceny oparte na tym standardzie, chcemy, aby nasze własne produkty znalazły się na liście.
Mierzone, a nie tylko zapowiadane
Nie chcę, aby sztuczna inteligencja była czymś, czego ludzie się boją. Nie chcę też, aby była czymś, w co ludzie wierzą na ślepo. Powinna ona poprawiać jakość życia, a dla dziesiątek milionów ludzi już to robi. Brakuje zaufania, a zaufania nie da się ogłosić przez firmę.
Brak obaw przed sztuczną inteligencją nie oznacza ślepego zaufania do niej ani ignorowania związanych z nią zagrożeń. Oznacza to zrozumienie tych zagrożeń, ich ocenę oraz stworzenie zabezpieczeń, które dadzą ludziom pewność siebie potrzebną do korzystania z niej.
Każda poprzednia era informatyki uczyła się tego w ten sam sposób: najpierw pojawia się deklaracja, potem pomiary, a za lukę między nimi płacą użytkownicy. Tym razem pomiary pojawiają się wcześniej. I o to właśnie chodzi.
Źródło zdjęć: depositphotos.com

Materiał przygotowany przez CORE - Norton, Avast i AVG w Polsce




