Augmentazione dei dati guidata dalla fedeltà per modelli linguistici multimodali sull’interpretazione del patrimonio architettonico

Perché gli edifici storici hanno bisogno di assistenti digitali intelligenti

In molte città storiche, gli ornati porticati di strada e le facciate consumate degli edifici stanno scomparendo o venendo ricostruiti radicalmente. Gli esperti corrono a documentare e proteggere questo patrimonio architettonico, ma il lavoro è lento e richiede una profonda conoscenza di stile, struttura e storia. Questo studio esplora come un nuovo tipo di intelligenza artificiale — modelli linguistici multimodali che possono osservare immagini e leggere testo — potrebbe aiutare, e quale tipo di dati di addestramento attentamente progettati è necessario affinché comprendano davvero gli edifici storici invece di limitarsi a indovinarne le caratteristiche.

Quando l’IA guarda gli edifici e sbaglia

Gli autori iniziano testando diversi sistemi IA all’avanguardia su fotografie di portici commerciali storici a Guangzhou, Cina. Questi edifici, noti come Qilou, mescolano influenze cinesi e occidentali e formanolunghe prospettive urbane continue. Gli specialisti hanno creato un benchmark di 50 immagini di facciate e migliaia di domande a scelta multipla su ciò che appare in ciascuna scena: quante piante occupa un balcone, se certi supporti decorativi sono di un tipo o di un altro, di quale materiale sono i telai delle finestre e come valutare i danni. Anche i migliori sistemi commerciali, inclusi alcuni dei modelli più grandi disponibili, interpretano regolarmente male queste immagini — collocando balconi al piano sbagliato, confondendo elementi architettonici chiave o definendo finestre moderne in alluminio “in legno” basandosi prevalentemente sul colore.

Scomporre come le persone leggono una facciata

Per comprendere questi fallimenti, i ricercatori mappano l’interpretazione del patrimonio in tre abilità simili a quelle umane. La prima è la percezione visiva: notare cosa è presente, come finestre, colonne e materiali di superficie. La seconda è il ragionamento spaziale: capire come le parti della facciata si allineano e si ripetono, includendo simmetria e ritmo verticale e orizzontale delle aperture. La terza è il ragionamento contestuale: decidere cosa implicano lo stato e la storia dell’edificio, per esempio se la pittura che si sfoglia segnala un deterioramento serio o solo un’usura lieve. I test mostrano che i sistemi IA odierni faticano in particolare con la seconda e la terza abilità — disposizione spaziale precisa e significato sfumato — perché raramente hanno visto esempi del patrimonio etichettati con cura durante l’addestramento.

Insegnare all’IA con immagini create ma fedeli

Raccogliere semplicemente più fotografie reali e annotazioni di esperti sarebbe estremamente costoso. Invece, il team costruisce un “amplificatore” di dati che crea immagini sintetiche convincenti di facciate insieme a coppie domanda–risposta corrispondenti. L’idea chiave è trattare separatamente due aspetti della facciata: lo scheletro spaziale (la disposizione esatta e le proporzioni di aperture e ornamenti) e il sapore semantico (materiali, stile storico e corrosione). Utilizzando un moderno motore di generazione di immagini, aggiungono un modulo specializzato che vincola la geometria seguendo mappe dei bordi tratte da edifici reali, e un altro che controlla i dettagli stilistici tramite adattatori leggeri addestrati su piccoli gruppi di stile coerenti. Mischiando layout e stili, il sistema produce oltre 1.400 nuove variazioni di facciata a partire da soli 208 originali, mantenendo al contempo l’aspetto e la sensazione saldamente ancorati all’architettura reale.

Verificare se il mondo sintetico corrisponde a quello reale

Gli autori si chiedono quindi: queste facciate artificiali si comportano come dati del patrimonio reali? Confrontano somiglianza strutturale, prossimità semantica in uno spazio di caratteristiche appreso e i giudizi di esperti umani. I punteggi quantitativi mostrano che il modulo focalizzato sulla struttura migliora notevolmente quanto la disposizione degli edifici sintetici corrisponda agli esempi reali, mentre il modulo focalizzato sullo stile aumenta la diversità senza allontanarsi dal carattere regionale autentico. I revisori esperti valutano le immagini aumentate come molto più plausibili e fedeli nello stile rispetto a quelle prodotte da un generatore standard e, cosa cruciale, ritengono che conservino dettagli sufficienti per rispondere in modo affidabile a domande su materiali, elementi e danni.

Modelli più piccoli sintonizzati che superano quelli generali più grandi

Armati di questo dataset ampliato, il team affina un modello open-source di dimensioni medie visione–linguaggio, quindi lo testa su benchmark misti di facciate cinesi ed europee. Nonostante abbia molti meno parametri interni rispetto ai principali sistemi commerciali, il modello sintonizzato li supera ora in quasi tutti i tipi di compito, specialmente nel rilevare la simmetria, contare e allineare elementi e distinguere i materiali. Le verifiche degli esperti sulle sue spiegazioni passo dopo passo mostrano uno spostamento dalle «allucinazioni» selvagge verso un ragionamento più ancorato e consapevole dell’edificio: il modello cita prove visive reali, applica regole architettoniche in modo più coerente e compie meno salti logici. L’analisi degli errori residui indica nuove frontiere — come rappresentare meglio le distorsioni prospettiche e codificare standard professionali su quando il degrado visibile richiede realmente un intervento.

Come questo aiuta a proteggere le vie storiche

Per il lettore non specialista, il messaggio più profondo è che più potenza di IA da sola non basta a salvaguardare il patrimonio architettonico. Ciò che conta almeno altrettanto è la fedeltà e la struttura dei dati che forniamo a questi sistemi. Generando facciate sintetiche che preservano con cura la geometria e il significato degli edifici reali, questo studio mostra come un modello compatto e disponibile liberamente possa diventare un partner più affidabile per gli esperti. Tali sistemi potrebbero in futuro analizzare interi quartieri, segnalare alterazioni a rischio e supportare decisioni di riparazione su larga scala, aiutando le città a mantenere vive le loro distintive strade storiche di fronte al rapido cambiamento.

Citazione: Huang, R., Lin, HC. & Zeng, W. Fidelity-driven data augmentation for multimodal large language model on architectural heritage interpretation. npj Herit. Sci. 14, 179 (2026). https://doi.org/10.1038/s40494-026-02446-2

Parole chiave: patrimonio architettonico, IA multimodale, aumento dei dati, facciate storiche, conservazione culturale