Косметические контактные линзы с пространственно-цветовым кодированием для улучшенного отслеживания взгляда

Умнее линзы — умнее экраны

Каждый раз, когда вы читаете предложение, осматриваете улицу или бросаете взгляд на телефон, ваши глаза совершают крошечные сложные движения. Устройства, способные отслеживать эти движения, обещают более естественный виртуальный мир, управление без рук для людей с ограничениями и новые инструменты для врачей и психологов. Но современные трекеры взгляда часто не справляются в повседневных условиях, особенно на улице или когда веки и ресницы закрывают обзор. В этом исследовании предложено удивительно простое решение: специально напечатанные косметические контактные линзы, которые превращают сам глаз в чёткую, цветную мишень для камер, делая отслеживание взгляда точнее, надёжнее и пригодным для реального мира.

Почему так сложно следить за глазами

Современные трекеры взгляда обычно работают как высокотехнологичные камеры, наблюдающие тёмный зрачок и отражения на поверхности глаза. Теоретически эти признаки показывают, куда вы смотрите; на практике же они ненадёжны. Солнечный свет, комнатное освещение и отражения от окон или деревьев захламляют изображение. Веки и ресницы частично закрывают зрачок. Натуральные глаза различаются по цвету и контрасту от человека к человеку. В результате программное обеспечение часто не может надёжно обнаружить зрачок, особенно при использовании простых недорогих камер. Эта уязвимость — основное препятствие для повседневных приложений, от гарнитур виртуальной реальности до систем мониторинга водителя и клинических инструментов.

Декоративная линза с скрытой задачей

Исследователи поняли, что вместо того чтобы заставлять алгоритмы справляться со всеми особенностями необработанного глаза, можно мягко изменить то, что видит камера. Они взяли широко используемые косметические контактные линзы — недорогие линзы, которые люди носят для изменения цвета глаз — и напечатали на них точное кольцо цветных фигур вокруг радужной оболочки. Кольцо использует три базовых цвета света: на синей полосе размещены двенадцать ярких зелёных кружков, каждый разделённый крошечной красной точкой. Поскольку красный, зелёный и синий значительно отличаются по цвету, даже простая RGB-камера может легко их различать. Узоры расположены на краю зрительной зоны, поэтому они не закрывают зрение, но остаются видимыми для камер, даже когда те смотрят сбоку. Материал линзы тонкий, пропускающий кислород и удерживающий влагу; лабораторные испытания показали высокую выживаемость клеток и отсутствие протекания красителя, что указывает на безопасность и комфорт при длительном ношении.

Преобразование цветовых узоров в точный взгляд

Когда человек надевает такие узорчатые линзы, задача отслеживания взгляда превращается в геометрическую и цветовую проблему, а не в хрупкую задачу обнаружения зрачка. Простые операции обработки изображений сначала выделяют ярко-зелёные кружки на синем кольце, затем вычисляют центры этих кружков в каждом кадре. Поскольку размеры и расстояния между кружками известны, программное обеспечение строит отображение между их позициями на изображении и реальным направлением взгляда. В испытаниях на механической модели глаза это отображение давало угловую погрешность менее одного градуса, даже при калибровке по небольшому набору опорных точек. Красные точки выполняют другую роль: когда глаз двигается быстро и камера не успевает «заморозить» движение, эти точки растягиваются в красные полосы. Отслеживая скелет этих полос и комбинируя их с информацией из соседних неподвижных кадров, система восстанавливает пропущенные участки траектории глаза, обеспечивая непрерывное отслеживание даже при быстрых движениях.

Надёжное отслеживание у реальных людей в реальных условиях

Человеческие испытания показали, что подход работает не только в лаборатории. Добровольцы надевали специальные линзы и лёгкий головной трекер с двумя офф-осевыми камерами, наблюдающими глаза, и третьей камерой, записывающей сцену. При различном освещении — в помещении, у окон и на улице — признаки в виде зелёных кружков распознавались примерно в 93 процентах изображений, по сравнению с менее чем 55 процентами для традиционных методов по зрачку на необработанных глазах. Положение глаза можно было измерять с точностью и прецизионностью лучше одного градуса для разных людей с разными характеристиками глаз, и эта производительность сохранялась по крайней мере шесть часов непрерывного ношения. Система также могла обнаруживать и в значительной степени корректировать смещения камеры относительно глаза, используя трёхмерную компоновку кружков, сокращая большие ошибки, вызванные соскальзыванием, до всего нескольких градусов. Практические демонстрации включали выбор изображения с велосипедов на сетке, анализ того, как взгляд перемещается по строкам текста, и отслеживание движущегося маркера на улице при меняющихся сценах и солнечном свете.

Что это значит для повседневного взаимодействия глазами

Для неспециалиста главный вывод прост: добавив тщательно продуманный цветной узор на обычную контактную линзу, исследователи сделали глаз для камер значительно проще для чтения. Вместо борьбы с бледными природными признаками система фиксируется на ярких, аккуратно расположенных ориентирах, которые точно двигаются вместе с глазом. Это повышает надёжность, сохраняет точность в пределах малого угла, соответствующего остроте зрения, и работает в реальных условиях — от офисов до городских площадей. Такие улучшенные косметические линзы могут помочь вывести интерфейсы с управлением взглядом, более естественную виртуальную и дополненную реальность, а также усовершенствованные инструменты для изучения внимания и познания из специализированных лабораторий в повседневные устройства.

Цитирование: Zhu, H., Huang, H., Yang, H. et al. Spatial-chromatic encoding cosmetic contact lenses for enhanced natural eye tracking. Nat Commun 17, 2289 (2026). https://doi.org/10.1038/s41467-026-68918-y

Ключевые слова: отслеживание взгляда, умные контактные линзы, взаимодействие человек–компьютер, оценка направления взгляда, дополненная реальность