Оценка мультимодальных коммерческих и открытых больших языковых моделей для динамической астрономии: бенчмарк по классификации резонансного поведения

Почему это важно для наблюдателей и любителей данных

Астрономы тратят удивительно много времени на то, что выглядит очень приземлённо: они смотрят на графики и решают, какие из них «колеблются», какие «дрейфуют», а какие ведут себя хаотично. Эти паттерны показывают, захвачены ли астероиды в тонкие орбитальные танцы с планетами, что формирует эволюцию Солнечной системы на миллиарды лет. В этой статье ставится своевременный вопрос: смогут ли современные ИИ‑системы, понимающие и текст, и изображения, выполнять эти оценки с надёжностью, сравнимой с человеческими экспертами — без специального обучения?

Скрытые правила дорожного движения Солнечной системы

Многие астероиды не просто обегают Солнце в одиночку. Их траектории подталкиваются регулярными гравитационными рывками от планет — это явление называют орбитальным резонансом. Когда движение астероида согласовано с движением планеты в простом ритме, его орбита может оказаться захваченной, возбужденной или дестабилизированной. Астрономы диагностируют это, строя график величины, называемой «резонансный угол», по времени. Если точки на графике колеблются в пределах полосы, объект в резонансе; если они диагонально оборачиваются по всему вертикальному диапазону, он вне резонанса; если поведение переключается туда‑сюда, ситуация более неоднозначна или временная. Для очевидных случаев простые компьютерные правила работают хорошо — но в густонаселённых областях пространства, например в главном поясе астероидов, перекрывающиеся влияния дают грязные, шумные графики, которые тяжело классифицировать автоматически и которые традиционно требовали взглядов экспертов.

От специализированных алгоритмов к универсальному ИИ

До недавнего времени исследователи опирались на две основные стратегии. Классические модели машинного обучения, такие как деревья решений и нейронные сети, можно обучать распознавать конкретные виды резонанса, но для каждой новой задачи требуется свой размеченный набор данных, настройка и код. Детерминированные методы, основанные на тщательно продуманых правилах и частотном анализе, хорошо работают при чистом сигнале, но испытывают трудности, когда резонансы перекрываются или появляются лишь временно. Обе стратегии дают сбои именно там, где научный интерес наибольший: в пограничных случаях с временными захватами, «прилипанием» к резонансу и хаотическим движением. Напротив, современные большие языковые модели (LLM), которые умеют анализировать изображения, предлагают другое: zero-shot рассуждение. Вместо обучения на тысячах специализированных примеров им даётся инструкция на естественном языке и график, и их просят определить, какая категория лучше описывает поведение.

Построение честного теста для «глаз» ИИ

Чтобы проверить, насколько хорошо модели справляются на самом деле, авторы создали набор эталонных изображений, показывающих резонансные углы как для резонансов среднего движения, так и для сецулярных резонансов — двух ключевых классов орбитальных взаимодействий. Каждое изображение — это диаграмма рассеяния угла по времени, составленная из длинных численных симуляций, и каждое тщательно размечено экспертами как резонантное, нерезонантное, переходное или, в самых спорных краях, противоречивое. Были собраны четыре набора: небольшой «проверочный» набор (RB-TEST), пилотный набор из 50 изображений, сопоставимый с ранней работой (RB-PILOT), 50‑изображений с множеством неоднозначных случаев (RB-SMALL) и большой коллекция из 450 изображений, охватывающая все поведения (RB-FULL). Затем эти изображения подали на вход широкому кругу моделей: ведущим коммерческим системам, крупным open‑source моделям и небольшим открытым моделям, которые можно запускать на персональном компьютере. Крупные модели получали подробные пошаговые подсказки; для маленьких использовали более простые, лёгкие правила.

Как машины справились с задачей астрономов

В самых простых тестах многие модели — как коммерческие, так и открытые — классифицировали все изображения правильно. В среднем наборе RB-PILOT ведущие коммерческие системы сохраняли почти идеальные показатели, а лучшие open‑source модели были достаточно близки. Реальный вызов представлял RB-SMALL, где многие графики демонстрируют смеси поведений, которые даже эксперты обсуждают. Здесь лучшая коммерческая модель достигла примерно 94 процентов по комбинированной метрике точности и полноты, тогда как лучшая открытая модель — около 76 процентов. Больший набор RB-FULL подтвердил эту тенденцию: коммерческие модели и топовые open‑source системы добивались высокой точности, когда задачу упрощали до бинарного решения о наличии резонанса, при этом большинство ошибок приходилось на сложные переходные и «прилипающие» режимы. Примечательно, что некоторые небольшие модели, работающие локально, всё ещё показали практически полезную производительность, особенно для прямых двухклассовых разметок.

Что это значит для будущих небесных обзоров

Для неспециалиста вывод таков: универсальные ИИ‑системы теперь могут смотреть на те же шумные орбитальные графики, которые раньше требовали экспертной оценки, и делать выводы, которые во многих случаях соперничают или даже сравнимы с традиционными инструментами — без прямого обучения на этой задаче. Они не идеальны, особенно когда астероид лишь флиртует с резонансом, а не закрепляется в нём, но уже способны взять на себя большую часть утомительной визуальной проверки, необходимой для масштабных обзоров. Бенчмарк, опубликованный в этом исследовании, даёт астрономам стандартный, повторно используемый способ тестирования новых моделей и выбора подходящего компромисса между стоимостью, открытостью и точностью. По мере улучшения мультимодального ИИ он, вероятно, станет привычным партнёром в картографировании замысловатой гравитационной хореографии Солнечной системы.

Цитирование: Smirnov, E., Carruba, V. Evaluating multimodal commercial and open-source large language models for dynamical astronomy: a benchmark study of resonant behavior classification. Sci Rep 16, 10785 (2026). https://doi.org/10.1038/s41598-026-45926-y

Ключевые слова: орбитальные резонансы, мультимодальный ИИ, динамика астероидов, классификация временных рядов, open-source языковые модели