Разогрев по образцу мозга с помощью случайного шума для калибровки неопределённости

Почему более умному ИИ важно уметь признавать, когда он может ошибаться

Современные системы искусственного интеллекта умеют распознавать изображения, управлять автомобилями и вести разговор на естественном языке с впечатляющим мастерством. Тем не менее у них часто есть опасная слепая зона: они могут оказаться полностью неправы и при этом быть чрезвычайно уверенными в себе. Такое несоответствие между уверенностью и корректностью может приводить к ошибочным медицинским решениям, небезопасному поведению автономных автомобилей или к чатботам, которые убедительно придумывают факты. В работе «Разогрев по образцу мозга с помощью случайного шума для калибровки неопределённости» рассматривается удивительно простой, биологически вдохновлённый способ научить модели ИИ важной человеческой привычке: выражать неопределённость, когда они действительно не знают.

Когда уверенность и реальность расходятся

Авторы начинают с изучения того, как современные нейронные сети сообщают об уверенности. Классификатор, обученный на естественных изображениях, не только предсказывает, что он видит, но и выдает вероятность того, что ответ правильный. В идеале, если модель говорит, что она уверена на 80%, она должна быть права примерно в 80% случаев. На практике исследователи показывают, что по мере углубления сетей и при обучении на ограниченных данных их уверенность становится завышенной: они часто приписывают очень высокую степень уверенности ошибочным ответам. Эта проблема усугубляется, когда модель сталкивается с изображениями, которых не было в обучающей выборке — так называемыми вне-распределёнными данными — где она по-прежнему ведёт себя чрезмерно уверенно вместо того, чтобы признать неопределённость.

Разогрев, заимствованный у развивающегося мозга

Чтобы справиться с этим, исследование обращается к биологии. До рождения мозг животных уже активен: он генерирует спонтанные паттерны электрической активности задолго до появления осмысленных зрительных и слуховых сигналов. Нейроучёные полагают, что этот ранний «шум» помогает сформировать цепи так, чтобы они были готовы к реальному сенсорному опыту. Вдохновлённые этим, авторы предлагают фазу разогрева для искусственных сетей: перед тем как показать модели реальные изображения или метки, её кратко обучают на полностью случайных входных паттернах в сочетании со случайными, бессмысленными метками. На первый взгляд это кажется бессмысленным — сеть не может извлечь полезного из чистого шума. Однако в ходе этой короткой фазы её внутренние отклики стабилизируются в состояние, при котором выходные вероятности распределяются равномерно, соответствуя чистой случайности, а не избыточной уверенности.

Как случайный шум делает уверенность честной

С помощью упрощённых модельных систем и полноценных классификаторов изображений исследователи показывают, что этот разогрев делает «под капотом». В стандартной случайно инициализированной сети математические сигналы непосредственно перед финальным слоем принятия решения часто имеют большие колебания, которые функция softmax превращает в крайние вероятности, близкие к нулю или единице. Это означает, что не обученная модель уже ведёт себя так, словно она очень уверена, хотя на самом деле ничего не знает. Обучение на случайном шуме мягко масштабирует эти внутренние сигналы, сдвигая их в диапазон, где выходные вероятности сосредоточены около уровня шанса. Сами веса почти не меняются; вместо этого общий паттерн активности «предварительно калибруется», так что до начала реального обучения модель естественно выражает максимальную неопределённость по отношению к незнакомым входам.

Лучшее поведение на реальных и неизвестных данных

После завершения такого разогрева, те же сети обучаются на реальных наборах изображений стандартными методами. Во многих архитектурах — от простых прямых сетей до популярных моделей ResNet, DenseNet и визуальных трансформеров — сети, прошедшие обучение на шуме, сохраняют более тесное соответствие между уверенностью и фактической точностью в ходе обучения. Они показывают результат не хуже и иногда немного лучше, чем сети с обычной инициализацией на стандартных тестовых наборах, но их оценки уверенности становятся намного более надёжными. Критично, что при демонстрации действительно незнакомых изображений эти предварительно откалиброванные модели присваивают низкую уверенность, близкую к уровню шанса, вместо того чтобы уверенно неправильно их маркировать. Это простое свойство значительно улучшает их способность обнаруживать, что вход «неизвестен» — ключевое требование для безопасного развёртывания в реальных условиях.

Основания для более надёжного ИИ

Проще говоря, исследование показывает, что очень короткий, недорогой разогрев на случайном шуме может с самого начала научить нейронные сети определённой скромности. Вместо того чтобы начинать свою работу как самонадеянные угадыватели, модели стартуют в осторожном состоянии, признавая, что они не знают, и лишь по мере накопления реальных свидетельств повышают свою уверенность. Такой подход исключает дополнительные постобработки, работает для многих типов моделей и объёмов данных и перекликается с тем, как биологические мозги, по-видимому, подготавливают себя до рождения. При широком внедрении такой вдохновлённый мозгом разогрев может помочь системам ИИ стать не только точнее, но и более адекватно осознавать свои собственные ограничения — важный шаг к тому, чтобы они стали более безопасными и надёжными партнёрами в повседневных решениях.

Цитирование: Cheon, J., Paik, SB. Brain-inspired warm-up training with random noise for uncertainty calibration. Nat Mach Intell 8, 602–613 (2026). https://doi.org/10.1038/s42256-026-01215-x

Ключевые слова: калибровка неопределённости, нейронные сети, разогрев случайным шумом, обнаружение вне-распределённых данных, искусственный интеллект, вдохновлённый мозгом