CNeuroMod-THINGS, gęsto próbkowany zbiór danych fMRI dla neuronauki wzrokowej

Dlaczego oglądanie obrazów może ujawnić, jak działa nasz umysł

Codziennie nasze oczy rejestrują tysiące obrazów — od filiżanek kawy i smartfonów po psy, drzewa i zatłoczone ulice. W tle mózg szybko rozpoznaje to, co widzimy, i często zapamiętuje to później. Projekt CNeuroMod-THINGS miał na celu uchwycenie tej ukrytej aktywności w niezwykłych szczegółach, tworząc jeden z najdokładniej zmierzonych zestawów danych o mózgu, zarejestrowanych podczas oglądania obrazów z prawdziwego świata. To źródło ma napędzać kolejne pokolenie badań nad mózgiem i sztuczną inteligencją.

Budowanie bogatej biblioteki odpowiedzi mózgowych

Zamiast skanować setki ochotników raz lub dwa, zespół wielokrotnie skanował zaledwie cztery mocno zaangażowane osoby. Każda z nich wracała na 33–36 sesji, co w ramach szerszego projektu CNeuroMod dało około 200 godzin obrazowania mózgu i dziesiątki godzin poświęconych wyłącznie obrazom. Podczas tych sesji uczestnicy oglądali do 4 320 odrębnych fotografii pochodzących z kolekcji obrazów THINGS, obejmującej 720 codziennych kategorii obiektów, takich jak narzędzia, zwierzęta, pojazdy i meble. Staranny dobór obrazów zapewnia, że reprezentowanych jest wiele zakątków naszego świata wizualnego, nie tylko kilka popularnych obiektów.

Gra pamięciowa wewnątrz skanera MRI

Aby utrzymać zaangażowanie uczestników i zbadać pamięć, badacze zamienili oglądanie obrazów w ciągłą grę rozpoznawczą. W każdej próbie na środku ekranu pojawiał się pojedynczy obraz, gdy osoba leżała w skanerze MRI. Przy użyciu niestandardowego kontrolera w stylu gry wideo uczestnicy zgłaszali, czy uważają, że obraz jest nowy, czy już widziany wcześniej, oraz jak bardzo są pewni tej oceny. Większość obrazów pokazywano trzy razy: raz przy pierwszym spotkaniu, ponownie kilka minut później w tej samej wizycie i jeszcze raz podczas późniejszej wizyty, często około tydzień później. Ten układ pozwolił zespołowi porównać pamięć krótkotrwałą i długotrwałą dla dokładnie tych samych obrazów, śledząc jednocześnie odpowiadające im zmiany w aktywności mózgu.

Rejestrowanie szczegółowych sygnałów związanych z widzeniem i pamięcią

Zbiór danych wykracza poza proste miary „włącz/wyłącz” aktywności mózgowej. Autorzy zastosowali zaawansowane metody analizy, by oszacować oddzielną odpowiedź dla każdej pojedynczej próby i każdego obrazu w każdym maleńkim trójwymiarowym pikselu skanu mózgu. Śledzili też, gdzie uczestnicy patrzyli, używając kamer śledzących wzrok, monitorowali oddech i tętno oraz mierzyli ruchy głowy. Kontrole jakości pokazują, że sygnały są zadziwiająco stabilne: uczestnicy odpowiadali niemal w każdej próbie, utrzymywali wzrok blisko środka ekranu i poruszali się bardzo mało. W kluczowych obszarach wzrokowych — regionach znanych z silnych reakcji na twarze, ciała czy sceny — ten sam obraz wywoływał wysoce spójne wzorce aktywności za każdym razem, gdy się pojawiał. Wzorce te były na tyle wyraźne, że po odwzorowaniu odpowiedzi na uproszczoną mapę dwuwymiarową obrazy o podobnym znaczeniu (na przykład zwierzęta czy pojazdy) miały tendencję do grupowania się razem.

Mapowanie, co interesuje poszczególne rejony mózgu

Aby lepiej zinterpretować te sygnały, trzech z czterech uczestników wykonało dodatkowe testy wzrokowe. W jednym z nich przesuwające się kształty przecinały teksturowane tło, aby ujawnić, która część pola widzenia jest „widoczna” dla danego regionu mózgu. W innym pokazywano krótkie bloki twarzy, miejsc, części ciała, postaci i ogólnych obiektów, by zlokalizować regiony preferujące określony typ obrazu. Łącząc te zadania lokalizacyjne z głównym eksperymentem, zespół mógł zadawać precyzyjne pytania, na przykład: czy pojedynczy woxel reaguje silniej, gdy pojawia się twarz, czy gdy widoczna jest cała scena? Odkryto, że regiony wybiórcze względem twarzy reagowały najsilniej za każdym razem, gdy pojawiała się dowolna twarz, podczas gdy region wybiórczy względem scen preferował obrazy z bogatym tłem, takie jak pokoje, ulice czy krajobrazy, nawet gdy nie było na nich ludzi. Te drobne preferencje ujawniały się na poziomie poszczególnych obrazów, a nawet pojedynczych woxeli.

Podstawa dla inteligentniejszych modeli widzenia

W swojej istocie CNeuroMod-THINGS to starannie wyselekcjonowane publiczne źródło danych, a nie jednorazowy wynik. Wszystkie dane mózgowe, śledzenie wzroku, odpowiedzi behawioralne, adnotacje obrazów i kod analityczny są udostępnione na otwartej licencji. Ponieważ ci sami czterej uczestnicy byli skanowani także w wielu innych zadaniach — oglądając filmy, grając w gry wideo, słuchając opowieści — badacze mogą teraz budować szczegółowe, specyficzne dla osoby modele łączące kontrolowane eksperymenty z bardziej naturalnymi doświadczeniami. Dla osób niebędących specjalistami wniosek jest taki, że mamy teraz wysokorozdzielczą „tablicę odwołań”, pokazującą, jak prawdziwy ludzki mózg reaguje na tysiące codziennych obrazów. To pomoże naukowcom testować hipotezy o percepcji wzrokowej i pamięci oraz kierować projektowaniem systemów widzenia sztucznej inteligencji, które postrzegają świat nieco bardziej jak my.

Cytowanie: St-Laurent, M., Pinsard, B., Contier, O. et al. CNeuroMod-THINGS, a densely-sampled fMRI dataset for visual neuroscience. Sci Data 13, 141 (2026). https://doi.org/10.1038/s41597-026-06591-y

Słowa kluczowe: fMRI, percepcja wzrokowa, rozpoznawanie obiektów, dane mózgowe, pamięć