PoseShot: гибридная модель CNN–BiLSTM с трансформером для распознавания действий при штрафном броске через анализ позы

Более умная тренировка для классического броска

Для любого, кто когда‑либо становился на линию штрафных, разница между «свитчем» и промахом может казаться загадочной. В этом исследовании показано, как искусственный интеллект способен превратить эту загадку в понятную, объективную обратную связь. Тщательно считывая позу игрока во время штрафного, система исследователей, названная PoseShot, разбивает бросок на понятные этапы и показывает, какие движения отличают надёжную технику от неуверенной.

Разбиение штрафного на чёткие этапы

Вместо того чтобы рассматривать штрафной как единичное простое действие, PoseShot видит его как последовательность из пяти разных фаз: ведение, пауза, подъём, бросок и добивание. Команда собрала 75 видео, на которых игроки выполняют штрафные в разных залах, при разном освещении и под разными углами камеры, а затем промаркировала тысячи кадров этими названиями фаз. Такой детализированный подход позволяет системе задавать значительно более конкретные вопросы: задерживается ли игрок достаточно долго на фазе паузы? Плавен ли путь руки при подъёме? Повторяется ли добивание от броска к броску?

Чтение тела с помощью компьютерного зрения

Чтобы понять, что делает игрок, PoseShot сочетает два дополняющих друг друга представления одного и того же движения. Сначала она анализирует сырые видеокадры и использует тип нейронной сети, известный как сверточная сеть, чтобы уловить формы, положение конечностей и сигналы движения в каждом кадре. Затем видео пропускают через инструмент оценки позы, который отмечает 2D‑координаты суставов по всему телу. По этим точкам вычисляют восемь ключевых углов суставов, включая оба локтя, бёдра и колени. Эти углы образуют своего рода числовой отпечаток осанки игрока во времени, фиксируя, как энергия передаётся от ног через корпус к игровой руке.

Смешение двух потоков информации о движении

Ядром PoseShot является двухпутевая архитектура, которая обрабатывает изображение и позу бок о бок. Поток изображений проходит через несколько слоёв, которые постепенно конденсируют визуальные детали в компактные признаки. Поток позы подаёт последовательность углов суставов в специальную временную сеть, отслеживающую, как одна поза переходит в другую, как вперёд, так и назад во времени. Поверх обоих потоков система добавляет слои трансформера, которые действуют как механизмы внимания, выделяя самые информативные моменты и взаимосвязи в движении. Наконец, оба потока объединяются и отправляются в классификатор, который решает, кадр за кадром, в какой фазе штрафного находится игрок.

Превосходство над другими ИИ‑тренерами

Чтобы оценить эффективность PoseShot, исследователи сравнили её с рядом популярных моделей глубокого обучения — от классических сетей для изображений до современных архитектур на базе трансформеров. Используя сбалансированную метрику, которая учитывает как точные срабатывания, так и избегание ошибок, PoseShot набрала около 96 из 100, обойдя все конкурирующие методы в целом и особенно выделяясь на ключевой фазе броска. Система была особенно сильна в распознавании чётких движений, таких как пауза, бросок и добивание. Самыми трудными для различения оказались фазы ведения и подъёма, которые в реальной игре часто сливаются и отличаются скорее по тонкому таймингу и скорости, чем по явным изменениям позы.

От данных к практическим рекомендациям для тренера

Преобразуя высокоскоростное видео и измерения суставов в надёжные метки фаз, PoseShot предлагает тренерам больше, чем просто подборку моментов. Она предоставляет структурированный способ увидеть, где форма игрока даёт сбой, насколько последовательно он повторяет ключевые положения и какие части движения отделяют попадания от промахов. Хотя система по‑прежнему испытывает сложности с очень похожими движениями и в настоящее время лучше всего работает на мощных компьютерах, исследование указывает на будущее, в котором игроки любого уровня смогут получать мгновенные, объективные разборы своей техники. На практике это значит более целенаправленные тренировки, меньше вредных привычек и более ясный путь от линии штрафных до сетки корзины.

Цитирование: Hsu, WC., Lee, CC., Lee, YH. et al. PoseShot: hybrid CNN–BiLSTM transformer model for free throw action recognition via pose analysis. Sci Rep 16, 11478 (2026). https://doi.org/10.1038/s41598-026-41025-0

Ключевые слова: штрафной бросок в баскетболе, аналитика спорта, захват движения, глубокое обучение, распознавание действий