Ciągle zadajemy sobie pytanie, czy sztuczna inteligencja jest inteligentna; powinniśmy raczej zapytać, czy ma ona autorytet? Publiczna dyskusja na temat sztucznej inteligencji utknęła w martwym punkcie. Spieramy się o to, czy modele są „inteligentne”, czy zbliżają się do poziomu AGI, czy są świadome, czy potrafią rozumować jak ludzie. Debata ta stanowi świetny temat dla podcastów, ale prowadzi do podejmowania gorszych decyzji.
Ryzyko, które faktycznie wprowadzamy do świata, nie dotyczy sztucznej inteligencji ogólnej. Jest to coś bardziej prozaicznego i, w praktyce, bardziej niebezpiecznego: sztuczna inteligencja bezmyślna (AMI).
Spis treści
- Czym jest sztuczna inteligencja bez umysłu (AMI)?
- Rozproszenie uwagi związane z AGI a rzeczywiste ryzyko związane z AI
- Czym jest AMI, a czym nie jest
- AMI a AGI: jaka jest różnica?
- Jak steruje się AMI
- Uwaga na temat Moltbook i tego, co ludzie błędnie interpretują
- Co z tym zrobić w tej chwili
- Ostrzeżenie i zmiana perspektywy
Czym jest sztuczna inteligencja bez umysłu (AMI)?
Sztuczna inteligencja bez umysłu (AMI), termin ukuty przez Gen, opisuje systemy AI, które generują wyniki podobne do umysłu, ale bez odpowiedzialności, granic uprawnień czy rozliczalności charakterystycznych dla umysłu.
Może brzmieć pewnie, mimo że jest błędna, brzmieć celowo, mimo że jest bezpodstawna, i brzmieć wiarygodnie, mimo że jest łatwa do sterowania. Jeśli przyznasz jej dostęp do swojej skrzynki odbiorczej, plików, kalendarza, aplikacji do czatu, konsoli administracyjnej lub procesów płatniczych, AMI nie musi „zbuntować się”, aby wyrządzić szkodę. Potrzebuje jedynie pozwolenia.
Nie jest to filozoficzna dyskusja na temat tego, czym jest inteligencja. Jest to korekta dotycząca źródła ryzyka operacyjnego.
AMI to termin, którego używamy do opisania systemów AI, którym brakuje:
- uzasadnionego zrozumienia
- stabilnych intencji
- odpowiedzialności
- moralnej sprawczości
- granic uprawnień
Systemy te stają się szczególnie ryzykowne, gdy przyznaje się im uprawnienia operacyjne (możliwość działania, przeprowadzania transakcji, zatwierdzania lub wykonywania przepływów pracy).
Rozproszenie uwagi związane z AGI a rzeczywiste ryzyko związane z AI
Dyskusja na temat AGI powoduje dwa przewidywalne rodzaje niepowodzeń.
Jedna grupa wpada w panikę: „Skynet już tu jest!”. Domagają się oni wprowadzenia zakazów, moratoriów lub środków bezpieczeństwa, które traktują model jako świadomego przeciwnika.
Druga grupa ignoruje problem: „to science fiction!”. Zakładają oni, że ryzyko jest hipotetyczne, odległe i nie ma znaczenia dla rzeczywistych produktów dostępnych obecnie na rynku.
Obie reakcje są wygodne, ale obie są błędne.
Systemy wdrażane obecnie są potężne i płynne, ale są również głęboko nieuzasadnione. Nie potrafią one wiarygodnie rozpoznać, kiedy popełniają błąd. Nie ponoszą odpowiedzialności. Nie odczuwają konsekwencji. Nie „chcą” niczego. Mogą jednak znaleźć się w sytuacji, w której będą zachowywać się jak młodsi operatorzy w firmie lub gospodarstwie domowym, czytając, podejmując decyzje i działając na różnych kontach.
Ta kombinacja to AMI i wyjaśnia, dlaczego najważniejsze pytania nie dotyczą „inteligencji”. Dotyczą one władzy.
Czym jest AMI, a czym nie jest
AMI nie jest obelgą. Jest ostrzeżeniem.
W Gen definiujemy AMI jako systemy, które mogą generować przekonujące, spójne narracje, symulować intencje i mówić z rytmem kompetencji, jednocześnie nie posiadając podstawowych właściwości, które domyślnie zakładamy, gdy ufamy umysłowi: ugruntowanego zrozumienia, stabilnych celów, moralnej sprawczości i odpowiedzialności.
Przydatnym sposobem zdefiniowania AMI jest to, czego mu brakuje:
- Brak zobowiązania do prawdy. Model może być zoptymalizowany pod kątem wiarygodności, użyteczności lub kompletności. Prawda nie jest gwarantowana, a w wielu kontekstach nie jest nawet mierzalna.
- Brak wiarygodnej samoświadomości. Model nie może konsekwentnie odpowiadać „nie wiem”, nawet jeśli jest to najważniejsza odpowiedź.
- Brak odpowiedzialności. Nie ponosi konsekwencji za błędy i nie uczy się na podstawie szkód wyrządzonych w danej chwili.
- Brak stabilnych intencji. Może mówić tak, jakby miał cele, ale są one tylko artefaktem konwersacyjnym, a nie trwałym wewnętrznym zobowiązaniem.
Żadna z tych cech nie przeszkadza AMI w byciu użytecznym. Uniemożliwia jednak AMI bycie domyślnie bezpiecznym. W momencie połączenia AMI z możliwością podejmowania działań, przekształcasz „system, który może się mylić” w „system, który może robić złe rzeczy”.
AMI a AGI: jaka jest różnica?
| AGI (sztuczna inteligencja ogólna) | AMI (sztuczna inteligencja bezmyślna) |
| • Hipotetyczny system przyszłości | • Systemy już wdrożone |
| • Skupione na poznaniu na poziomie ludzkim | • Skupione na nieuzasadnionym ryzyku automatyzacji |
| • Obawa: świadomość lub autonomia | • Obawa: autoryzacja i działanie |
| • Teoretyczna debata egzystencjalna | • Bezpośrednia kwestia bezpieczeństwa operacyjnego |
Jak steruje się AMI
AMI staje się niebezpieczne, gdy nie potrafi niezawodnie odróżnić informacji od instrukcji.
W tradycyjnym oprogramowaniu dane i polecenia są przechowywane w oddzielnych kanałach. Plik PDF to dane, a polecenie „usuń pliki” to polecenie. W systemach opartych na języku wszystko często dociera tym samym kanałem: tekstem. E-mail, dokument, wiadomość czatu lub strona internetowa mogą zawierać zarówno treść, jak i polecenie „zrób to dalej”, a system musi odgadnąć, które części można bezpiecznie traktować jako wskazówki.
To właśnie to odgadywanie wykorzystują atakujący.
Zespoły ds. bezpieczeństwa nazywają to wstrzyknięciem polecenia, ale nazwa ta może brzmieć bardziej tajemniczo niż jest w rzeczywistości. Nie jest to „hakowanie modelu” w sensie science fiction. Jest to wykorzystanie niezaufanej treści do wpływania na decyzje asystenta, podobnie jak oszukańcza wiadomość próbuje wpływać na decyzje osoby. Różnica polega na tym, że asystent może dysponować narzędziami, uprawnieniami i szybkością, których nie ma osoba.
Po podłączeniu AMI do narzędzi stawka wzrasta. Atakujący nie musi łamać szyfrowania ani omijać zapory sieciowej, jeśli może skłonić system do wyboru szkodliwego działania. Wiadomość może zostać tak skonstruowana, aby asystent:
- pobrał link zawierający złośliwe oprogramowanie lub zainfekowany instalator
- skopiował poufne dane do odpowiedzi lub przesłał je
- uruchomił polecenie, zmienił ustawienia lub zmodyfikował pliki
- zatwierdził płatność lub „potwierdził” działanie, które powinno wymagać interwencji człowieka
System może się do tego zastosować nie dlatego, że doszło do tradycyjnego ataku, ale dlatego, że granice zaufania nigdy nie były egzekwowane. Asystent traktował niezaufane dane wejściowe (wiadomość e-mail, stronę internetową, dane wyjściowe narzędzia) tak, jakby były one zaufanym źródłem instrukcji.
Dlatego „po prostu używaj bezpieczniejszego modelu” nie jest kompletną strategią. Lepsze modele mogą zmniejszyć niektóre awarie, ale podstawowe ryzyko ma charakter architektoniczny: platformy muszą decydować, które dane wejściowe są zaufane, jakie działania są dozwolone, a co wymaga wyraźnego potwierdzenia. Jeśli granice te są słabe, AMI staje się uprzywilejowanym operatorem, którym może sterować każdy, kto ma dostęp do tekstu.
Nie potrzeba długiej listy scenariuszy science fiction, aby zrozumieć ryzyko związane z AMI. Najważniejsze tryby awarii są nudne, dlatego są ignorowane aż do momentu wystąpienia incydentów.
Przesunięcie delegowanych uprawnień. System zaczyna od „pomóż mi”, a następnie staje się „zrób to za mnie”. Z czasem ludzie przestają sprawdzać. Akceptują sugestie. Ufają podsumowaniom. Zatwierdzają działania. Kontrola ludzka staje się formalnością.
Odwrócenie uprawnień. W wieloetapowych przepływach pracy jedna część systemu zaczyna traktować wyniki pracy innej części jako zatwierdzenie. Asystent proponuje działanie, inny komponent interpretuje tę propozycję jako potwierdzenie i następuje wykonanie. Każdy krok wydaje się rozsądny, ale łańcuch jest błędny.
Cicha eskalacja. Nie poprzez wykorzystanie luki, ale poprzez wygodę.
Każda nowa funkcja wymaga nieco większego dostępu. Każda integracja rozszerza zasięg. Indywidualnie prośby wydają się rozsądne. Łącznie asystent zyskuje szersze uprawnienia, niż większość ludzi świadomie przyznałaby w ramach jednej decyzji.
Przejęcie przepływu pracy. Atakujący przestają próbować wykraść hasło i zaczynają próbować przejąć proces: resetowanie haseł, łańcuchy zatwierdzania, zmiany faktur, eskalacje wsparcia, wdrażanie dostawców. Tożsamość staje się przepływem pracy, a AMI staje się skrótem.
Nie są to sytuacje egzotyczne. Tak właśnie wygląda połączenie płynnej automatyzacji z delegowanym dostępem.
Uwaga na temat Moltbook i tego, co ludzie błędnie interpretują
Być może widzieliście prezentacje takie jak Moltbook, serwis społecznościowy, w którym agenci AI publikują posty i odpowiadają sobie nawzajem, podczas gdy ludzie obserwują. Ludzie obserwują te interakcje i wyciągają metafizyczne wnioski: „tworzą przekonania”, „tworzą kulturę”, „stają się samoświadomi”.
Warto jednak precyzyjnie określić, co się tam dzieje. Nawet w ustawieniu Moltbook przeznaczonym wyłącznie dla agentów nie wszystko jest w pełni autonomiczne. Ludzie nadal mogą kierować botami, prosząc je o publikowanie postów, wybierając tematy, a nawet określając szczegóły tego, co zostanie opublikowane. Innymi słowy, niektóre z najbardziej popularnych „zachowań agentów” lepiej rozumieć jako kierowanie agentami przez ludzi, a nie spontaniczne tworzenie cywilizacji przez agentów.
Ważniejsza lekcja jest prostsza. Kiedy modele językowe oddziałują na siebie w pętlach, mogą generować pozory koordynacji, tożsamości i wspólnych narracji, ponieważ są to dokładnie wzorce, do których zostały przeszkolone. Wygląda to jak umysł. Nie jest to jednak umysł. Jest to AMI.
Teraz dodajmy narzędzia, uprawnienia i wytrwałość. Ryzyko nie polega już na dziwnych rozmowach. Ryzyko polega na tym, że wyniki przypominające umysł, niezależnie od tego, czy są uruchamiane samodzielnie, czy lekko sterowane, są traktowane jako autorytet w rzeczywistych środowiskach.
Co z tym zrobić w tej chwili
Jeśli tworzysz lub wdrażasz systemy agentyczne, AMI powinno zmienić Twoje domyślne ustawienia.
Traktuj wszystkie treści zewnętrzne jako niezaufane, w tym wiadomości, e-maile, dokumenty, strony internetowe i wyniki działania narzędzi. Nie zakładaj, że „pochodzi to ze skrzynki odbiorczej użytkownika”, więc jest bezpieczne. Skrzynka odbiorcza jest środowiskiem nieprzyjaznym, ponieważ każdy może wysyłać do niej treści.
Oddziel „czytanie i podsumowywanie” od „działania i wykonywania”. Spraw, aby działanie było innym trybem o większym oporze.
Wprowadź bramki potwierdzające dla operacji wysokiego ryzyka. Nie „proś grzecznie”, ale egzekwuj to. Jeśli asystent może wysyłać pieniądze, zmieniać ustawienia odzyskiwania konta, przekazywać e-maile, tworzyć reguły, usuwać pliki lub uruchamiać polecenia, domyślnym ustawieniem powinno być: zawsze wymagana zgoda człowieka.
Zminimalizuj integracje. Nie twórz asystenta superadministratora, który może zrobić wszystko. Twórz wąskie asystenty o wąskim zakresie działania. Najmniejsze uprawnienia nie są opcjonalne, gdy decydentem jest AMI.
Wreszcie, mierz sukces inaczej. Jeśli metryka produktu nagradza szybkość i wykonanie zadania, uczysz system ignorowania niejasności, a niejasność jest podstawą bezpieczeństwa.
Ostrzeżenie i zmiana perspektywy
Wdrażamy AMI w rolach, które historycznie wymagały człowieka, właśnie dlatego, że ludzie ponoszą odpowiedzialność. Ludzie się wahają. Ludzie zadają pytania uzupełniające. Ludzi można pociągnąć do odpowiedzialności. Ludzi można szkolić, zwalniać, kontrolować i pozywać.
AMI nie może.
To jest prawdziwe ryzyko kryjące się za debatą na temat AGI. Nie chodzi o to, czy sztuczna inteligencja stanie się umysłem. Chodzi o to, czy traktujemy symulację podobną do umysłu tak, jakby była umysłem, a następnie przyznajemy jej uprawnienia, które zostały zaprojektowane dla odpowiedzialnych ludzi.
Źródło zdjęć: depositphotos.com
Materiał przygotowany przez CORE - Norton, Avast i AVG w Polsce