Wielokanałowe, wielopunktowe, kompensujące ruch pojedynczego piksela obrazowanie obiektu sztywnego poruszającego się dowolnie w 2D

Wyraźniejsze obrazy przy mniejszej liczbie pikseli

Technologie obrazowania zwykle opierają się na dużych, złożonych układach kamer wypełnionych milionami maleńkich pikseli. Istnieje jednak inna metoda: użyć tylko jednego czujnika światła i polegać na sprytnych wzorach oraz obliczeniach. Artykuł pokazuje, jak tę ideę pojedynczego piksela można pójść dalej, umożliwiając śledzenie i wyraźne obrazowanie małych, szybko poruszających się obiektów, które obracają się, skręcają, a nawet częściowo wychodzą z pola widzenia — i to w czasie rzeczywistym.

Dlaczego jeden piksel może wystarczyć

W obrazowaniu jednym pikselem scena jest oświetlana lub filtrowana sekwencją struktur wzorcowych, a pojedynczy detektor mierzy tylko całkowitą jasność dla każdego wzoru. Poprzez matematyczne połączenie tych pomiarów można odtworzyć pełny obraz. Podejście to jest atrakcyjne tam, gdzie wydajne matryce detektorów są drogie lub niepraktyczne, na przykład w terahercach, promieniach X czy obrazowaniu pojedynczych fotonów. Dobrze współgra też z próbkowaniem „kompresowanym”, dzięki czemu potrzebnych jest znacznie mniej pomiarów niż w tradycyjnych aparatach. Jest jednak poważny problem: obiekt zwykle musi pozostać nieruchomy, podczas gdy wzory są nakładane kolejno. Jeśli się poruszy, pomiary przestają się zgadzać, co powoduje rozmycie i duchy na finalnym obrazie.

Wyzwanie poruszających się, obracających się celów

Wcześniejsze próby radzenia sobie z ruchem w obrazowaniu jednym pikselem koncentrowały się na prostych ruchach po linii prostej. Często polegały na wplataniu dodatkowych wzorów „lokalizujących” w sekwencję w celu oszacowania pozycji albo na obrazach poglądowych czy zewnętrznych kamerach do pomiaru ruchu. Sztuczki te albo zmniejszają efektywną liczbę klatek na sekundę, albo zakładają powtarzalny ruch, albo zawodzą, gdy obiekty jednocześnie przesuwają się i obracają. Ruch obrotowy jest szczególnie trudny: nawet niewielki błąd w oszacowanym kącie może przełożyć się na duże przesunięcia na krawędzi obiektu, rozmazując drobne detale. Istniejące schematy także łatwo tracą śledzenie, gdy obiekt przesunie się częściowo poza pole widzenia — to częste w rzeczywistych zadaniach śledzenia.

Nowy sposób śledzenia i „zamrażania” ruchu

Autorzy przedstawiają MC3-SPI (Multichannel Multicentroid Motion‑compensated Single‑Pixel Imaging) — metodę, która śledzi i obrazuję obiekty sztywne poddane dowolnemu ruchowi w płaszczyźnie 2D, włączając dowolne kombinacje przesunięcia i rotacji, bez rezygnacji z rozdzielczości czasowej. Kluczowy pomysł to zakodowanie kilku starannie dobranych wzorów Fouriera, które działają jak globalne miary rozciągnięte na pole widzenia. Analizując, jak przesuwa się faza sygnału od tych wzorów, system potrafi ustalić środek masy obiektu z precyzją około jednej trzeciej piksela. Ponieważ światło rozdzielane jest na kanały czerwony, zielony i niebieski, każdy kolor daje własny centroid; te trzy punkty łącznie określają pozycję obiektu i jego orientację dla każdej klatki pomiarowej. Mając te informacje, metoda wykonuje coś w rodzaju cofnięcia filmu: stosuje odwrotne translacje i rotacje do samych wzorów przed ich połączeniem w obraz — procedurę autorzy nazywają odwrotną transformatą kompensującą ruch.

Więcej do zobaczenia przy mniejszej liczbie pomiarów

W symulacjach i eksperymentach badacze pokazują, że wzory Fouriera są szczególnie dobrze przystosowane do tego typu korekcji ruchu, ponieważ pozostają niemal ortogonalne nawet po przesunięciach i obrotach, zachowując jakość rekonstrukcji przy niskich stopniach próbkowania. Dla porównania, inna popularna rodzina wzorów — Hadamarda — traci ortogonalność szybciej pod kompensacją ruchu i wymaga więcej pomiarów, by uzyskać podobną jakość obrazu. Korzystając ze zoptymalizowanego schematu Fouriera, zespół skutecznie śledzi i rekonstruuje kolorowe cele, takie jak litery „BIT”, postać rysunkowa czy zabawkowa rakieta, wszystkie poddane złożonym ruchom 2D. Nawet gdy obiekt ociera się o krawędź pola widzenia tak, że żadna pojedyncza klatka nie zawiera go w całości, MC3‑SPI potrafi odtworzyć jego prawdziwą trajektorię, wykorzystując nadmiarowe informacje centroids z trzech kanałów kolorów, i nadal z czasem zbudować ostry, pełnokolorowy obraz.

Od demonstracji w laboratorium do szybkich, praktycznych systemów

Główną zaletą podejścia jest szybkość. Określenie ruchu wymaga tylko sześciu wzorów lokalizacyjnych na klatkę, więc przy maksymalnej szybkości modulacji standardnego urządzenia z mikromirrorami system w zasadzie mógłby śledzić ruch tysiące razy na sekundę. Podstawowy krok rekonstrukcji — sumowanie wzorów skompensowanych ruchem — jest także wyjątkowo szybki, wielokrotnie szybszy niż algorytmy iteracyjne optymalizacji, a mimo to daje czytelne wyniki przy współczynnikach próbkowania nawet na poziomie 5%. Bardziej zaawansowane algorytmy można dodać później, gdy potrzebna będzie wyższa jakość obrazu i czas na przetwarzanie. Ponieważ MC3‑SPI działa z gotowymi komponentami i pasuje do standardowych zestawów do obrazowania jednym pikselem, można go łączyć z systemami hiperspektralnymi, trójwymiarowymi lub rozdzielającymi w czasie, co potencjalnie umożliwia szczegółowe obrazowanie szybkich, słabych lub trudno dostępnych celów w dziedzinach od mikroskopii po teledetekcję.

Co to oznacza dla przyszłości obrazowania

W istocie praca pokazuje, jak przekształcić prosty system z jednym pikselem w zwinny, świadomy ruchu aparat, który nadąża za zwinnymi, obracającymi się obiektami, nadal dostarczając ostrych obrazów. Poprzez mądre dobranie wzorów oświetleniowych, wykorzystanie kanałów kolorów do zdefiniowania wielu punktów odniesienia na obiekcie oraz kompensowanie jego ruchu w oprogramowaniu, autorzy przezwyciężają długo utrzymujące się napięcie między szybkością, rozdzielczością a czułością na ruch w obrazowaniu jednym pikselem. Otwiera to praktyczną ścieżkę ku kompaktowym, niedrogim systemom obrazowania, które nie tylko zamrażają świat, ale podążają za nim w czasie rzeczywistym.

Cytowanie: Shao, C., Cao, Y., Li, S. et al. Multichannel multicentroid motion-compensated single pixel imaging of a 2D arbitrarily moving rigid-body target. Commun Eng 5, 61 (2026). https://doi.org/10.1038/s44172-026-00619-2

Słowa kluczowe: obrazowanie jednym pikselem, śledzenie ruchu, obrazowanie obliczeniowe, wzory Fouriera, obrazowanie wysokiej prędkości