Terminator 2020

To, że autonomiczna broń wymknie się spod ludzkiej kontroli jest pewne. Pytanie, kiedy to się wydarzy i jak dramatyczne będzie miało dla ludzkości skutki. Konferencja dotycząca autonomicznych systemów uzbrojenia, która odbyła się pod koniec sierpnia w genewskiej siedzibie ONZ nie pozostawia złudzeń: albo armie zrezygnują z robotów i dronów, albo czeka nas scenariusz rodem z filmu „Terminator”. Za zakazem rozwoju takiej broni opowiadają się… również uczelnie wojskowe.

Najnowocześniejsze armie świata – amerykańska, rosyjska, izraelska, chińska – już od wielu lat testują urządzenia, które na polu bitwy mają zastapić żołnierzy. Choć są drogie, nie wymagają szkoleń. Choć na początku pracowano nad urządzeniami zdalnie sterowanymi przez ludzi, od przynajmniej pięciu lat testowane są systemy autonomiczne, wyposażone w procesory oraz sztuczną inteligencję. Systemy, które o ataku i jego formie decydują same wykonując podstawowy rozkaz – czyli zniszczenie sił przeciwnika. I choć nikt nie przyznaje się do tego głośno, maszynom jest doskonale obojętne czy atakują cele wojskowe, czy cywilne. Nie biorą jeńców i – jeśli nie muszą – nie rozróżniają żołnierzy od cywilów. Z równą łatwością niszczą koszary i obozy wojskowe, co szpitale i przedszkola. Na obecnym etapie nie można ich także cofnąć. W przypadku np. zawieszenia broni wysłane do ataku drony (lub samochody, łodzie podwodne) trzeba zniszczyć zanim osiągną cel.

Pierwszy odnotowany atak

Stąd dramatyczna i pełna emocji dyskusja na genewskiej konferencji zwieńczona petycją o całkowitym zakazie prac nad taką bronią. Szczególną uwagę zwracały opinie i wypowiedzi naukowców pracujących nad sztuczną inteligencją i zajmujących się robotyką. Przekonywali oni, że śmiercionośne narzędzie raz puszczone do ataku będzie zabijać i niszczyć do ostatniego człowieka po przeciwnej stronie. Błąd w oprogramowaniu, lub niewłaściwe samoprzeprogramowanie maszyny może spowodować, że szybko zacznie atakować także swoich twórców.

Już dzisiaj samobieżne roboty zabijające (killing robots w terminologii naukowców, lub slaughterbots – roboty rzeźnicy, w terminologii wojskowej) mogą wybierać ofiary stosując cały zestaw kryteriów – od umundurowania i twarzy konkretnej ofiary, po szersze, obejmujące np. całą grupę etniczą, lub określoną płeć i wiek. Prof. Stuart Russell z wydziału informatyki Uniwersytetu Kalifornijskiego w Berkeley, który pracował nad najbardziej zaawansowanymi robotami na świecie oraz współtworzył i rozwijał sztuczne inteligencje, przekonuje dzisiaj, że wszystkie projekty wojskowe związane z autonomiczną bronią należy natychmiast zakończyć. I pokazuje wyliczenia, z których wynika, że atak z użyciem LAW (lethal autonomous weapon) przeprowadzony przez jedną osobę, może z łatwością zabić więcej osób, niż średniej wielkości ładunek nuklearny. Przy czym w przeciwieństwie do ataku atomowego nie ma znaczenia poziom rozproszenia ludności i gęstość zabudowy atakowanego terenu.

Zwraca on również uwagę, że łatwiej i taniej jest wyprodukować taką broń, niż modne ostatnio autonomiczne pojazdy – samochody, pociągi, czy tramwaje, obecnie testowane w największych miastach świata. Po prostu LAW nie musi spełniać wyśrubowanych norm jakościowych.

Boty w służbie

Dyskusja o zakazie rozwijania broni autonomicznej nie jest pozbawiona podstaw.  Niektóre armie świata lat stosują ją na polach bitew już przynajmniej od dwóch lat. Przyjmuje się, że pierwszy atak takiej broni opisany opublikowanym później raportem nastąpił w kwietniu 2016 roku na Kaukazie, na pograniczu Armenii i Azerbejdżanu.

Autonomiczny dron izraelskiej produkcji Harop, o rozpiętości skrzydeł sięgającej trzy metry z zasięgiem lotu wynoszącym sześć godzin, rozpoznał pojazd przewożący żołnierzy ormiańskich, obniżył lot i zbombardował go ponad 20-kilogramową głowicą.

Podobny typ dronów codziennie lata nad Palestyną i Izraelem unicestwiając sprzęt i żołnierzy palestyńskich, w przypadku wykrycia dużego celu przeprowadza ataki kamikadze. W przypadku nie znalezienia przeciwnika samodzielnie wraca do jednostki-bazy.

Amerykańska armia idzie dalej, bo chce rozpocząć produkcję jednorazowych autonomicznych systemów na zamówienie, przy pomocy drukarek 3D. Projekt ów zakłada, że drony, czy też pojazdy, nie będą się komunikować z jednostką a wyłącznie miedzy sobą. Do tego mają z czasem być wyposażane w sztuczną inteligencję, co pozwoli na ich reagowanie na zmienne warunki pola walki.

Amerykańska DARPA (Agencja Zaawansowanych Projektów Badawczych w Obszarze Obronności) już od dwóch lat posiada interfejs mózg-komputer, który pozwala osobom sparaliżowanym siadać za sterami myśliwca F-35. Kolejnym krokiem ma być program badawczy N³, który pozwoli wojskowym widzieć (poprzez korę mózgową, nie obraz na monitorze) to, co widzą autonomiczne samoloty, czyli „odbierać myśli” niezależnych robotów. Niekoniecznie jednak sterować nimi.

Niespełna rok temu rosyjscy wojskowi chwalili się dwoma osiągnięciami w dziedzinie autonomicznych systemów pola walki. Pierwszy z nich to humanoidalny Iwan, który nie tylko potrafi jeździć autem, biegać i prowadzić rozmowę rozumiejąc, co się do niego mówi, ale przede wszystkim uczy się przez doświadczenie. Poza tym z daleka jest bardzo podobny do człowieka.

Na niedawnym podmoskiewskim Forum Wojskowo-Technicznym Armia 2018 Rosjanie zaprezentowali prototyp Igorka, samobieżnej maszyny do złudzenia przypominającej roboty z „Gwiezdnych Wojen”. Ważąca 4,5 tony kuloodporna maszyna ma pojawić się na rosyjskich poligonach i polach bitewnych już za dwa lata.

– Sztuczna inteligencja to przyszłość. Ktokolwiek obejmie w tym zakresie wiodąca rolę, będzie władcą świata – uważa Władimir Putin. – Jeśli drony jednego państwa zostaną zniszczone przez drony innego państwa, jedyną opcją tego pierwszego będzie poddanie się.

 Jaka jest przyszłość życia?

Najcięższe armaty przeciwko autonomicznej broni wytacza założony przed laty Instytut Przyszłości Życia (Future of Life Institute), bostońska organizacja badawczo-rozwojowa, która działa na rzecz ograniczenia zagrożeń egzystencjalnych stojących przed ludzkością, w szczególności ryzyka związanego z zaawansowaną sztuczną inteligencją. Jej założycielami byli kosmolog z Massachusetts Institute of Technology, Max Tegmark, fizyka UCSC, Anthony Aguirre oraz współzałożyciel Skype Jaan Tallinn.

W jego 14-osobowej (13 mężczyzn i jedna kobieta) Radzie Naukowej znaleźli się Elon Musk, Stephen Hawking (który jeszcze na dzień przed swoją śmiercią na początku 2018 r. przestrzegał przed mariażem sztucznej inteligencji i przemysłu obronnego), aktor Morgan Freeman, prof. Stuart Russell, oraz prof. Gheorghe Church, jeden z najbardziej znanych biologów syntetycznych.

To właśnie Future of Life Institute widać najlepiej na międzynarodowych i międzyrządowych konferencjach. Pod przygotowaną przed genewską konferencją petycją FLI o bezwarunkowym i natychmiastowym zakazie budowania, rozwijania i rozprzestrzeniania broni autonomicznej podpisało się ponad 300 organizacji, kilka tysięcy naukowców (również wojskowych) oraz przedstawiciele rządów 26 państw. FLI uważa, że dalszy rozwój takiej broni a nawet samej sztucznej inteligencji oznacza koniec rasy ludzkiej. I to koniec w perspektywie najwyżej dwóch dekad.

Jako przykład podają toczące się wciąż śledztwo w sprawie pierwszego w historii przypadku śmiertelnego potrącenia kobiety przez pojazd autonomiczny. Testowane w USA przez firmę Uber autonomiczne Volvo XC90 nie zatrzymało się przed rowerzystką. Samochód bez hamowania uderzył w kobietę przy prędkości ok 60 km/h, choć – jak wynika z ustaleń – „wiedział” że na jezdni jest człowiek.

Dzisiaj wiadomo już, że winę za zdarzenie ponosi  oprogramowanie sterujące. Oprogramowanie, które było efektem „uczenia się” samochodu. Pierwotna wersja programu sterującego, co sprawdzono przy pomocy testów, zatrzymałaby samochód przed rowerzystką. Wersja ewoluująca uznała, że człowiek jest przeszkodą. Co zrobiłby w takim razie pojazd uzbrojony?

Paweł Pietkun