Wykorzystanie sztucznej inteligencji (AI) w systemach bezpieczeństwa szkół, mające na celu wykrywanie broni, budzi poważne wątpliwości po incydencie, w którym 16-letni uczeń z Baltimore został zatrzymany przez uzbrojoną policję. Chłopak, Taki Allen, został skrępowany kajankami po tym, jak system AI błędnie zidentyfikował paczkę chipsów jako broń. Incydent ten wywołał obawy dotyczące skuteczności i potencjalnych nadużyć systemów opartych na sztucznej inteligencji, a także wezwania do przeglądu procedur bezpieczeństwa w szkołach.
Sytuacja miała miejsce po tym, jak system AI wykrył to, co wyglądało na broń, a obraz ten został zweryfikowany przez zespół recenzentów firmy Omnilert, dostawcy oprogramowania. Informacje te zostały następnie przekazane zespołowi ds. bezpieczeństwa w hrabstwie Baltimore, który podobno powinien był potwierdzić brak zagrożenia. Jednak z jakichś przyczyn ta informacja nie dotarła do osoby odpowiedzialnej, a dyrektor szkoły skontaktował się z zespołem ds. bezpieczeństwa, który ostatecznie wezwał policję.
Taki Allen, po treningu futbolowym, schował pustą paczkę po chipsach Doritos do kieszeni. Dwadzieścia minut później, według relacji chłopaka, na terenie szkoły pojawiło się osiem radiowozów policyjnych z uzbrojonymi funkcjonariuszami, którzy nakazali mu klęknąć, aresztowali i założyli kajanki. Policja z hrabstwa Baltimore potwierdziła zatrzymanie chłopaka kajankami, ale zaprzeczyła, aby został aresztowany. Według ich oświadczenia, incydent został pomyślnie zakończony po ustaleniu braku zagrożenia.
Dyrektor szkoły, Kate Smith, w liście do rodziców, wyjaśniła, że zespół ds. bezpieczeństwa szybko przeanalizował i anulował początkowe ostrzeżenie po potwierdzeniu braku broni. Wyraziła również ubolewanie z powodu wystąpienia sytuacji, podkreślając, że natychmiast powiadomiła oficera przydzielonego do szkoły oraz lokalną komendę policji o sprawie. Funkcjonariusze policji interweniowali na terenie szkoły, przeszukali ucznia i potwierdzili brak broni.
Mimo wyjaśnień ze strony szkoły i policji, incydent wzbudził poważne obawy i doprowadził do wezwań o dokładniejsze zbadanie procedur związanych z wykorzystaniem systemów AI do wykrywania broni. Członkowie lokalnej rady hrabstwa Baltimore wzywają do przeglądu procedur bezpieczeństwa i zasad wykorzystania sztucznej inteligencji w szkołach. Izzy Pakota, członek rady, zaapelował na Facebooku o dokładne przeanalizowanie sposobu działania systemów opartych na sztucznej inteligencji w placówkach edukacyjnych.
Firma Omnilert, dostawca systemu AI, wyraziła zaniepokojenie w związku z zaistniałą sytuacją i podkreśliła, że system działał zgodnie z przeznaczeniem. Zespół recenzentów potwierdził obraz, który początkowo został zidentyfikowany jako broń i przekazał go zespołowi ds. bezpieczeństwa w hrabstwie Baltimore. Firma podkreśla, że jej rola zakończyła się, gdy sytuacja została oznaczona jako rozwiązana w systemie. Zespół Omnilert wskazuje, że system działał zgodnie z przeznaczeniem, czyli priorytetowo traktując bezpieczeństwo i świadomość poprzez szybką weryfikację przez człowieka.
Wykorzystanie sztucznej inteligencji do wykrywania broni w szkołach, choć teoretycznie ma na celu zwiększenie bezpieczeństwa, rodzi pytania o realną skuteczność i ryzyko popełniania błędów. Firmy zajmujące się tworzeniem tego typu technologii często podkreślają, że wykrywanie broni w realnych warunkach jest procesem złożonym. W przeszłości firmy zajmujące się skanowaniem broni były już karcone za wprowadzanie w błąd konsumentów w kwestii skuteczności swoich produktów. W ubiegłym roku firma Evolv Technology została ukarana za twierdzenia, że jej skaner AI, używany w tysiącach szkół, szpitali i stadiów w USA, potrafi wykrywać wszystkie bronie, co okazało się fałszem.
Taki Allen, zaniepokojony doświadczeniem, przyznał, że teraz unika przebywania na zewnątrz po treningach futbolowych, ponieważ uważa to za niewystarczająco bezpieczne, szczególnie jeśli chodzi o jedzenie przekąsek lub picie. Chłopak wyraził przekonanie, że paczka po chipsach nie powinna być mylona z bronią.
Incydent z Takiem Allenem podkreśla konieczność dokładnej analizy i weryfikacji systemów opartych na sztucznej inteligencji, które mają wpływ na życie i bezpieczeństwo uczniów. Niezbędne jest także zapewnienie odpowiedniego szkolenia dla personelu odpowiedzialnego za korzystanie z tych technologii, oraz ustanowienie jasnych i przejrzystych procedur postępowania w przypadku wystąpienia błędów. Ostatecznym celem powinno być zapewnienie bezpieczeństwa w szkołach w sposób odpowiedzialny i z poszanowaniem praw i wolności uczniów. Uczestnictwo społeczności lokalnej, rodziców i uczniów w procesie wdrażania i oceny systemów bezpieczeństwa również wydaje się być kluczowym elementem budowania zaufania i zapewnienia, że technologie służą dobru wszystkich zainteresowanych stron.