Mühendislik uygulamalı derslerinde kimlik ve eylem tanıma için derin öğrenme tabanlı görsel algoritmalar

Uygulamalı derslerde kim ne yapıyor gözlemlemek

Birçok mühendislik laboratuvarında öğrenciler kabloları bağlar, kod yazar ve telefonlarına bakmak için hareket ederler. Öğretmenler için kimin hangi görevi yaptığı bilinmesi güçtür; bilgisayarlar içinse bu yoğun sahneyi yorumlamak daha da zordur. Bu çalışma, insanlar kameradan yüzlerini çevirse veya pozisyon değiştirse bile gerçek bir öğretim laboratuvarında öğrenci kimliğini ve basit eylemleri güvenilir şekilde tanıyabilen bir yapay zekâ sistemi tanıtıyor.

Neden sıradan yüz kontrolleri yeterli değil

Güncel yüz tanıma, insanların sabit durup kameraya bakması halinde, örneğin bir derslikte veya güvenlik kapısında, iyi çalışır. Oysa uygulamalı mühendislik derslerinde öğrenciler masalara eğilir, başlarını çevirir ve ekipman arasında dolaşır. Bu koşullarda standart yüz tanıma, net ön yüz görüntülerine dayandığı için sıklıkla kişileri takip edemiyor. Tam vücut görünümüne odaklanan kişi yeniden tanımlama yöntemleri de benzer sorunlarla karşılaşıyor; öğrenciler eğildiğinde, döndüğünde veya odanın içinde hareket ettiğinde vücut şekli ve kıyafet görünümü çok değişiyor.

Yüzleri, vücutları ve hareketi harmanlamak

Yazarlar, hem yüz hem üst vücut görüntülerinden gelen bilgiyi birleştiren ve sınıf ilerledikçe bildiklerini güncelleyen bir çerçeve öneriyor. Ders öncesi her öğrenci okula net bir ön yüz fotoğrafı sağlar. Oturum başında öğrenciler laboratuvarda kameraya bakarak giriş yapar. Sistem yüzlerini kayıtlı fotoğraflarla eşleştirirken aynı zamanda her giriş yapan kişi için bir vücut görüntüsü kaydeder. Bu ilk yüz ve vücut özellikleri, dersin ilerleyen kısımlarında herkesi izlemek için başlangıç noktasını oluşturur.

Her öğrenci için yaşayan bir bellek oluşturmak

Uygulamalı ders başladıktan sonra sistem videoyu saniyede yaklaşık on ila on beş kare hızında analiz eder. Her kare için yüzleri ve vücutları tespit eder ve her birinin kompakt sayısal tanımlarını çıkarır. Mevcut karedeki bir yüz, dosyadaki yüzle eşleşiyorsa ancak vücut eşleşmesi zayıfsa sistem yüzün güvenilir olduğunu varsayar ve yeni vücut görünümünü dinamik vücut kütüphanesine ekler. Başka durumlarda, bir vücut iyi eşleşiyor ve kareler arasında konumu yalnızca hafif değişiyorsa fakat yüz kısa süreliğine kaybolmuşsa sistem bunu hızlı bir baş çevirme olarak değerlendirir ve yeni yüz görünümünü dinamik yüz kütüphanesine ekler. Zamanla her öğrenci, farklı açılar, ölçekler ve aydınlatma koşullarındaki çok sayıda yüz ve vücut örneğiyle temsil edilir; bu da sonraki karelerde tanımayı çok daha güvenilir hale getirir.

Bilgisayara basit eylemleri fark etmeyi öğretmek

Kimlerin odada olduğunu bilmeye ek olarak eğitmenler öğrencilerin ne yaptığını da önemser. Araştırmacılar, dizüstü bilgisayarda programlama, kablo bağlama veya telefon kullanma gibi birkaç temel laboratuvar etkinliğine odaklanan bir davranış tanıma bileşeni ekliyor. Ayrı bir araç insan vücutları üzerine çubuk figür benzeri iskeletler çizerek baş, gövde ve uzuvların düzenini yakalıyor. Ekip daha sonra bu iskelet tabanlı pozları ayırt etmek için hafif bir görüntü sınıflandırıcı eğitiyor. Bu model tam görüntüler yerine basitleştirilmiş konturları analiz ettiği için tipik sınıf kameralarıyla başa çıkacak hızda, saniyede yirmi kareden fazla işleyebiliyor.

Sistemi gerçek bir laboratuvarda test etmek

Çerçeve, altı öğrencinin kablo bağlama, motoru başlangıç konumuna sıfırlama ve hareket programı yazma gibi görevler üzerinde çalıştığı bir servo motor kontrol dersinde değerlendirildi. Yazarlar üç seçeneği karşılaştırdı: yalnızca yüz tanıma, yalnızca vücut tabanlı yeniden tanımlama ve onların birleştirilmiş dinamik yöntemi. Giriş süresi ve uygulama oturumu boyunca birleşik yaklaşım diğer ikisinden açıkça daha iyi performans gösterdi; her video karesinde hangi öğrencinin göründüğüne karar verirken daha yüksek kesinlik ve daha iyi genel skorlar elde etti. Eylem modülü için tanıma doğruluğu, nispeten küçük bir eğitim seti kullanılmasına rağmen programlama için yaklaşık üçte iki ile telefon kullanımında beşte dörtün üzerinde değişti.

Gelecek sınıflar için anlamı

Genel okuyucu için temel mesaj, çalışmanın farklı görsel ipuçlarını harmanlamanın ve bunları zaman içinde güncellemenin, yoğun bir öğretim laboratuvarında bilgisayarların kimlerin kim olduğunu takip etmesine ve birkaç basit davranışı tanımasına yardımcı olabileceğini göstermesidir. Sistem hâlâ yüzün güçlü yan görünümleri ve öğrencilerin tüm hareket çeşitleriyle zorlanıyor, ancak yazarlar bunu üç boyutlu yüz modelleri ve daha zengin eğitim verileri kullanarak iyileştirme yollarını özetliyor. Ayrıca yalnızca en gerekli özelliklerin saklanması ve orijinal görüntülerin şifrelenmesi gibi gizlilik korumalarının önemini vurguluyorlar. Bu fikirler bir araya geldiğinde bilgisayarların uygulamalı öğrenimi bölmeden öğretmenleri katılım ve etkinliği izleyerek sessizce desteklediği laboratuvar ortamlarına işaret ediyor.

Atıf: Ma, J., Wang, R. & Lan, W. Deep learning-based visual algorithms for identity and action recognition in engineering practical courses. Sci Rep 16, 15524 (2026). https://doi.org/10.1038/s41598-026-45964-6

Anahtar kelimeler: öğrenci izleme, yüz tanıma, eylem tanıma, mühendislik eğitimi, bilgisayarlı görme