Transformer optymalizujący opóźnienia i uwzględniający halucynacje (HALL-OPT) dla inteligencji brzegowej w czasie rzeczywistym

Dlaczego szybsza, bardziej wiarygodna AI ma znaczenie

Codzienne urządzenia stają się dyskretnie mądrzejsze — od czujników fabrycznych i monitorów szpitalnych po samochody i sprzęt domowy. Wiele z tych systemów opiera się na modelach językowych — tym samym typie AI, który napędza nowoczesne chatboty — aby odczytywać instrukcje, odpowiadać na pytania lub streszczać raporty. Jednak dwa problemy przeszkadzają: modele te są wolne i energochłonne, a czasem „halucynują”, generując przekonujące, lecz fałszywe stwierdzenia. Artykuł przedstawia HALL-OPT, przeprojektowanie modeli transformatorowych, którego celem jest uczynienie ich zarówno szybszymi, jak i bardziej niezawodnymi, tak aby mogły bezpiecznie działać na małych, niskoprądowych urządzeniach brzegowych zamiast w odległych centrach danych.

Wyzwanie inteligentnych urządzeń na brzegu

Większość wysoko wydajnych modeli językowych działa w chmurze, gdzie ma dostęp do znacznych zasobów obliczeniowych. Utrudnia to ich zastosowanie tam, gdzie szybkość decyzji jest kluczowa, a łączność sieciowa jest zawodna lub kosztowna — na przykład w pojazdach autonomicznych, robotach przemysłowych czy przyłóżkowych urządzeniach medycznych. Gdy takie systemy wysyłają dane do chmury i czekają na odpowiedź, opóźnienia rzędu kilkuset milisekund mogą być niedopuszczalne. Jednocześnie lżejsze modele mieszczące się na urządzeniach brzegowych często reagują szybciej, lecz częściej zmyślają fakty lub błędnie interpretują informacje. Badanie pokazuje, że rodzi się tu kompromis: niska liczba halucynacji zwykle idzie w parze z dużymi opóźnieniami, podczas gdy niskie opóźnienia często oznaczają więcej halucynacji, pozostawiając lukę dla wiarygodnej, działającej w czasie rzeczywistym inteligencji brzegowej.

Jednolity projekt zamiast oddzielnych poprawek

Istniejące badania zazwyczaj traktują niezawodność i wydajność jako dwa odrębne cele. Niektóre metody skupiają się na wychwytywaniu halucynacji, sprawdzając odpowiedzi względem zewnętrznych baz danych lub wykonując wielokrotne przebiegi modelu, co zwiększa czas i zużycie energii. Inne metody zmniejszają modele przez przycinanie, kwantyzację lub destylację wiedzy, czyniąc je szybszymi, ale czasami mniej dokładnymi i mniej wiarygodnymi. HALL-OPT wybiera inną drogę: wplata świadomość halucynacji bezpośrednio w wewnętrzne mechanizmy modelu i wykorzystuje te informacje do decydowania, co obliczać, a co pominąć. Zamiast dokładać dodatkowe sprawdzenia czy bezmyślnie redukować sieć, koordynuje niezawodność i prędkość w ramach jednej architektury dostosowanej do sprzętu brzegowego.

Jak system filtruje ryzykowne treści

Rdzeniem HALL-OPT jest moduł uwagi świadomy halucynacji, który obserwuje, jak model rozkłada fokus na słowa i jak bardzo jest pewny swoich przewidywań. Gdy uwaga jest rozproszona, pewność niska, lub znaczenie tokena kłóci się z kontekstem, token otrzymuje wyższą ocenę „ryzyka”. Podwójny detektor następnie oznacza te ryzykowne elementy jako potencjalne halucynacje. Model wykorzystuje te sygnały do sterowania dynamiczną fazą przycinania: tokeny o niskiej wartości i wysokim ryzyku są usuwane, podczas gdy ważne, wiarygodne tokeny są zachowywane. To zmniejsza liczbę elementów, które model musi przetwarzać na każdej warstwie, redukując ciężki, kwadratowy koszt mechanizmu uwagi bez utraty podstawowego sensu tekstu.

Zmieszczenie dużego modelu w małym, wydajnym

Aby zamknąć potężne zachowanie w mniejszym pakiecie, HALL-OPT stosuje destylację wiedzy, w której duży „nauczyciel” uczy kompaktowego „ucznia”. W odróżnieniu od standardowej destylacji, uczeń uczy się nie tylko dopasowywać odpowiedzi nauczyciela, ale także naśladować jego wyczucie, kiedy wyjścia mogą być błędne. Dodatkowe treningi skłaniają ucznia do unikania nadmiernej pewności prowadzącej do halucynacji. Wreszcie warstwa optymalizacji brzegowej przygotowuje model do arytmetyki niskiej precyzji, konwertując wagi na wartości 8-bitowe i przekształcając sposób obliczeń tak, aby odpowiadał rzeczywistym urządzeniom brzegowym, takim jak płytki NVIDIA Jetson czy TPU Coral od Google. Ta kombinacja zachowuje większość pierwotnej dokładności przy znacznym zmniejszeniu zużycia pamięci, energii i czasu odpowiedzi.

Rzeczywisty wpływ na szybkość, energię i bezpieczeństwo

Testy na dwóch wymagających benchmarkach — jednym dla odpowiadania na pytania z podstępnymi pytaniami bez odpowiedzi, a drugim dla streszczeń wiadomości — pokazują, że HALL-OPT wykrywa halucynacje z około 94% dokładnością i utrzymuje wydajność zadań bliską standardowemu modelowi BERT. Jednocześnie skraca opóźnienie inferencji o około dwie trzecie i zmniejsza zużycie energii o około 40% lub więcej przy uśrednionych, realistycznych obciążeniach. Na urządzeniach brzegowych często odpowiada w czasie krótszym niż 50 milisekund i zużywa znacząco mniej pamięci. Testy obciążeniowe na wielu platformach i w scenariuszach o charakterze przemysłowym, od inteligentnych fabryk po monitory medyczne, potwierdzają, że system utrzymuje przewidywalne czasy działania i korzystny wskaźnik „wniosków na wat”, co czyni go odpowiednim do ciągłego, działającego w czasie rzeczywistym zastosowania.

Co to oznacza dla codziennej AI

Dla czytelników niebędących specjalistami kluczowy przekaz jest taki: nie trzeba wybierać między szybką AI a wiarygodną AI na małych urządzeniach. Ucząc model rozpoznawania własnych słabych punktów i pozwalając, aby ta świadomość kierowała ilością obliczeń, HALL-OPT dostarcza odpowiedzi, które są jednocześnie szybkie i mniej podatne na fabrykowanie faktów. To czyni go obiecującym fundamentem dla przyszłych zastosowań brzegowych, gdzie błędne odpowiedzi lub wolne reakcje mogą mieć poważne konsekwencje — na przykład przy kierowaniu pojazdem, sterowaniu maszynami przemysłowymi lub wykrywaniu krytycznych zmian w stanie pacjenta.

Cytowanie: Algawiaz, D. Hallucination-aware learning and latency optimization transformer (HALL-OPT) for real-time edge intelligence. Sci Rep 16, 12245 (2026). https://doi.org/10.1038/s41598-026-42981-3

Słowa kluczowe: Sztuczna inteligencja na brzegu, wykrywanie halucynacji, modele transformatorowe, wnioskowanie w czasie rzeczywistym, energooszczędne obliczenia