W kierunku ulepszonego niehierarchicznego grupowania koreańskich obrazów XX wieku za pomocą cech multimodalnych

Dostrzeganie wzorców w koreańskiej sztuce nowoczesnej

Co by było, gdyby komputer mógł pomóc nam zrozumieć, jak bardzo malarze są podobni — albo zupełnie inni — tylko na podstawie swoich dzieł? To badanie wykorzystuje sztuczną inteligencję do analizy koreańskich obrazów XX wieku, ujawniając ukryte wzorce w kolorze, fakturze i stylu. Dla odwiedzających muzea, miłośników sztuki i ciekawych czytelników oferuje nowe spojrzenie na to, jak wyróżniają się poszczególni artyści i jak ich prace cichcem grupują się w rodziny stylistyczne, nad którymi nawet eksperci czasem dyskutują.

Budowanie starannie dobranej kolekcji dzieł

Aby dać komputerowi sensowne dane do nauki, badacze najpierw zebrali ukierunkowaną cyfrową kolekcję: 1 100 obrazów jedenastu głównych nowoczesnych i współczesnych koreańskich twórców, od pejzażystów tuszem po malarzy abstrakcyjnych i realistów. Każdy artysta wniósł po 100 prac, pochodzących głównie z Narodowego Muzeum Sztuki Nowoczesnej i Współczesnej (MMCA) oraz innych zaufanych instytucji i fundacji. Grupa obejmuje kluczowe postaci, takie jak pionierzy abstrakcji, realiści przedstawiający życie codzienne, innowatorzy w malarstwie tuszem oraz artyści łączący tradycję ludową z nowoczesną ekspresją. Ich obecność w przełomowych wystawach krajowych, w tym słynnej kolekcji Lee Kun-hee, pomogła zapewnić, że zbiór odzwierciedla rdzeń koreańskiej sztuki XX wieku, a nie przypadkowy zestaw obrazów.

Tłumaczenie obrazów na liczby

Komputery nie „widzą” sztuki tak jak ludzie, więc zespół przekształcił każdy obraz w zestaw cech liczbowych. Zarejestrowali podstawowe informacje o kolorze na dwa różne sposoby (RGB i HSV), zmierzyli drobne wzory faktury metodą współwystępowania poziomów szarości oraz dodali potężny semantyczny zarys z wstępnie wytrenowanego modelu wizualno‑językowego znanego jako CLIP. CLIP był pierwotnie trenowany na ogromnej liczbie par obraz‑tekst z internetu, więc niesie ze sobą szerokie, językowo świadome rozumienie wyglądu obrazów. Dla każdego obrazu te cztery strumienie — kolor, zróżnicowanie koloru, faktura i wrażenie semantyczne — zostały znormalizowane i następnie połączone w jeden, zrównoważony wektor cech, tworząc kompaktowy lecz bogaty odcisk palców wizualnego charakteru dzieła.

Pozwalając klastrom wyłonić się samodzielnie

Zamiast mówić komputerowi podczas treningu, który obraz należy do którego artysty, badacze zastosowali podejście nienadzorowane: poprosili algorytm, by sam pogrupował podobne obrazy. Najpierw technika zwana t‑SNE ściśnęła wielowymiarowe odciski do dwóch wymiarów, aby dało się zwizualizować ogólną strukturę. Następnie grupowanie K‑means podzieliło obrazy na wiele małych grup, które później zostały dopracowane w celu skupienia się na najbardziej znaczących klastrach. Dopiero po tym procesie zespół przypisał nazwiska artystów, używając prostej reguły większości w każdej grupie, aby sprawdzić, jak dobrze klastry pokrywają się z rzeczywistym autorstwem. Najlepsza wersja metody — równomiernie łącząca CLIP, kolor i fakturę — poprawnie dopasowywała obrazy do ich twórców w około 82% przypadków, przewyższając wersje opierające się na pojedynczych sygnałach, takich jak sam kolor czy sama faktura.

Co komputer dostrzegł w kolorze i pociągnięciach pędzla

Wyniki grupowania to nie były tylko liczby; tworzyły rozpoznawalne, wizualne opowieści. Gdy zespół naniósł klastry na wykres, większość artystów tworzyła zwarte, wyraźnie odseparowane wyspy punktów, z których każda wypełniona była reprezentatywnymi pracami dzielącymi oczywiste cechy: monochromatyczne pejzaże tuszem z delikatnym pociągnięciem pędzla, odważne geometryczne abstrakcje w barwach podstawowych czy spokojne martwe natury o stabilnej kompozycji i powtarzających się fakturach. U artystów, których twórczość opiera się na charakterystycznej palecie — jak jaskrawe pola koloru czy specyficzne harmonie tonalne — proste wskazówki kolorystyczne sprawdzały się już bardzo dobrze. U innych, jak malarze tuszem czy ekspresjoniści o dramatycznych pociągnięciach pędzla, kluczowe okazywały się informacje o fakturze i semantyce. Błędne klasyfikacje często pojawiały się tam, gdzie również eksperci mieliby wątpliwości: u malarzy abstrakcyjnych o podobnych kompozycjach lub u twórców dzielących płynne linie i pokrywające się wybory kolorystyczne. W takich przypadkach błędy zamieniały się w wskazówki o prawdziwych wizualnych pokrewieństwach między różnymi nazwiskami.

Od danych do głębszego rozumienia sztuki

Dla osób niebędących specjalistami kluczowy wniosek jest taki, że komputer, patrząc jedynie na cyfrowe obrazy, mógł odtworzyć wiele z tego, co historycy sztuki już wiedzą o autorstwie — a nawet zasugerować nieoczekiwane powiązania. Dzięki połączeniu koloru, faktury i wyuczonych wrażeń semantycznych, ramy badawcze oferują powtarzalny, obiektywny sposób grupowania i porównywania prac współczesnych koreańskich malarzy. Nie zastępuje to ludzkiego osądu ani bogatego kontekstu kulturowego, który wnoszą eksperci, lecz dostarcza ilościowej mapy, która może skierować wzrok ku klastrom, strefom przygranicznym i wizualnym „kuzynom”, wartym bliższego przyjrzenia się. W ten sposób uczenie maszynowe staje się nowym towarzyszem kuratorów i widzów, pomagając im poruszać się po dużych kolekcjach i odkrywać, jak wiele głosów koreańskiej sztuki nowoczesnej splata się w złożony, ale możliwy do analizy pejzaż wizualny.

Cytowanie: Baek, S., Park, SJ., Park, SE. et al. Toward enhanced unsupervised clustering of 20th century Korean paintings via multimodal features. npj Herit. Sci. 14, 76 (2026). https://doi.org/10.1038/s40494-026-02304-1

Słowa kluczowe: Koreańska sztuka nowoczesna, sztuczna inteligencja, analiza stylu malarskiego, grupowanie obrazów, cyfrowa historia sztuki