MetaCAM как ансамблевая система отображения активаций классов улучшает объяснимость моделей

Почему важно видеть, как принимаются решения ИИ

Современный искусственный интеллект может обнаруживать опухоли, распознавать лица и классифицировать фотографии с сверхчеловеческой точностью, но часто не в состоянии объяснить, почему он принял то или иное решение. Такое «черный ящик» вызывает беспокойство в ситуациях с высокой ставкой, например в медицине или системах автономного вождения, где требуется понимать, какие части изображения действительно повлияли на предсказание. В этой статье представлен MetaCAM — новый способ объединять множество существующих методов визуализации в единое, более ясное представление того, на что смотрит нейросеть при распознавании изображений, с целью сделать решения ИИ более прозрачными и заслуживающими доверия.

Как машины показывают, на что они «смотрят»

Сверточные нейронные сети, основа современных систем распознавания изображений, обрабатывают снимки через множество слоев и затем выдают метку, например «кот» или «опухоль». Карты активации классов (CAM) были созданы, чтобы заглянуть внутрь этих сетей. CAM накладывает тепловую карту на исходное изображение, выделяя области, которые внесли наибольший вклад в выбранное предсказание. За годы появилось много вариантов CAM, которые различаются по тому, как используют градиенты, карты признаков или искажение изображения для оценки важности. Однако их поведение непостоянно: метод, хорошо работающий для одного изображения, класса или модели, может давать плохие результаты для другого, и нет единого мнения о том, какой CAM является «лучшим».

Командный подход к более ясным тепловым картам

Авторы предлагают MetaCAM, рассматривающий разные методы CAM как членов комитета, а не соперников. Вместо того чтобы полагаться на одну карту, MetaCAM генерирует несколько карт для одного и того же изображения и целевого класса, используя разнообразные техники, включая методы на основе градиентов, методы, основанные на искажениях, и даже родственные инструменты, такие как FullGrad. Затем он ищет консенсус: пиксели, которые неоднократно выделяются разными методами, считаются более надёжными. Сохраняя только верхний процент пикселов, получивших наиболее сильное и согласованное внимание в ансамбле, MetaCAM создаёт уточнённую тепловую карту, меньше подверженную причудам или ошибкам какого‑либо отдельного метода.

Отбор только самых убедительных пикселей

Ключевое нововведение — «адаптивная порогация», которая определяет, сколько из наиболее активных пикселов следует сохранить. Вместо того чтобы всегда выделять, скажем, верхние 30 процентов пикселов, авторы систематически тестируют разные пороги и выбирают тот, который лучше всего соответствует тому, как меняются предсказания сети, когда эти пикселы мягко размываются. Они опираются на количественный тест Remove and Debias (ROAD), который измеряет, насколько падает уверенность модели при искажении её самых «важных» пикселов и насколько мало меняется при искажении наименее важных пикселов. Просматривая множество порогов, MetaCAM находит уровень, обеспечивающий наибольшее разделение между действительно ключевыми и в значительной степени нерелевантными областями; та же идея может также улучшать отдельные методы CAM по отдельности.

Выяснение, какие методы помогают — и какие неожиданно помогают

Чтобы понять, какие ингредиенты дают лучший MetaCAM, исследователи провели масштабные эксперименты, включавшие или выключавшие группы методов CAM в разных комбинациях. С использованием высокопроизводительных вычислений они оценили 64 таких комбинации на множестве изображений, классов и архитектур нейросетей. Затем они ввели сводную статистику, названную Кумулятивным Резидуальным Эффектом, которая показывает, насколько каждая группа, как правило, повышает или снижает производительность относительно медианного эксперимента. Удивительно, но даже «плохие» или шумные карты — например, CAM, часто выделяющий неправильный объект, или карта, созданная из случайного шума — иногда могут улучшать MetaCAM, потому что их присутствие заставляет консенсус сужаться вокруг пикселов, по которым согласны несколько методов, уменьшая ложные выделения в других местах.

Что это значит для более безопасного и прозрачного ИИ

На широком наборе тестовых изображений и моделей MetaCAM с адаптивной порогацией последовательно превосходил все отдельные методы визуализации по метрике ROAD. Практически это означает, что его тепловые карты точнее отмечают области, которые действительно управляют решением сети, одновременно фильтруя большую часть шума и вводящих в заблуждение выделений, характерных для карт одиночных методов. Для областей, таких как медицинская визуализация, автономные транспортные средства или биометрический скрининг — где понимание того, почему система ответила «да» или «нет», может быть так же важно, как и сам ответ — MetaCAM предлагает более стабильное, основанное на доказательствах окно в рассуждения ИИ, помогая экспертам оценить, сосредоточена ли модель на правильных признаках, прежде чем они доверят ей в реальной практике.

Цитирование: Dick, K., Kaczmarek, E., Miguel, O.X. et al. MetaCAM as an ensemble-based class activation mapping framework improves model explainability. Sci Rep 16, 10613 (2026). https://doi.org/10.1038/s41598-026-42879-0

Ключевые слова: объяснимая ИИ, карты активации классов, глубокое обучение, интерпретируемость моделей, ансамблевые методы