Birleştirilmiş görünür ve termal görüntüler kullanılarak optimize edilmiş You Only Look Once ve Single Shot Multibox Detector kurulumlarına dayalı tarım çevresi izleme ve nesne tanımlama

Daha Güvenli Tarım Makineleri İçin Daha Akıllı Gözler

Günümüz traktörleri ve biçerdöverleri daha büyük, daha hızlı ve daha otomatik hale geliyor; bu da basit ama ciddi bir soruyu beraberinde getiriyor: toz, sis veya karanlık içinde gizlenmiş insanlara, hayvanlara veya diğer makinelere çarpmamalarını nasıl sağlarsınız? Bu makale, normal video ve ısı algılayan kameraları birleştirerek tarım ekipmanlarına bir tür “süper görüş” kazandıran pratik bir güvenlik sistemini tanımlıyor ve hangi yapay zeka düzeneklerinin tehlikeleri en doğru ve hızlı şekilde tespit edebildiğini karşılaştırıyor.

Neden Tarım İşleri Daha İyi Görüşe İhtiyaç Duyuyor

Tarım artık genellikle uzun saatler çalışan, sık sık gece veya kötü hava koşullarında faaliyet gösteren büyük ve güçlü makinelere dayanıyor. Temel bir video kamera operatörün bir traktör çevresini görmesine yardımcı olabilir, ancak sis, yağmur, parlak yansımalar veya karanlık gibi durumlarda sıradan görüntüler başarısız olur. Işık yerine ısıyı algılayan termal kameralar bu zorlu koşullarda iyi çalışır ve insan ile hayvan gibi sıcak bedenleri arka plandan öne çıkarır. Yazarlar, her iki tür görüntüyü birleştirmenin mevcut makinelere sonradan takılabilecek ve standart traktör kontrol panolarıyla entegre edilebilecek uygun maliyetli bir uyarı sistemi kurmanın en iyi yolu olduğunu savunuyor.

Çift ve Birleşik Sistemler Nasıl Çalışıyor

Ekip, bir traktör çatısına birleşik bir RGB (normal renk) ve termal kamera ünitesi monte etti ve her iki görüntü akışını da kabindeki düşük maliyetli bir işlem birimine besledi. Bu görüntülerde nesneleri algılamak için yapay zekayı kullanmanın iki ana yolunu incelediler. İlk “çift ağ” yaklaşımında bir sinir ağı yalnızca normal görüntüler üzerinde, ikinci ağ ise yalnızca termal görüntüler üzerinde eğitildi; elde edilen sonuçlar daha sonra birleştirildi. İkinci “birleşik” yaklaşımda ise iki görüntü dikkatlice hizalandı, üst üste kondu ve her ikisinden aynı anda öğrenen tek bir ağa verildi. Her iki tasarım da hızlı nesne algılama modelleri ailesi olan YOLOv8 ile ve küçük gömülü bilgisayarlar için uyarlanmış alternatif bir tasarım olan SSD ile uygulandı.

Makinanın Tarlayı Görmesini Kurma ve Eğitme

Bu ağlara neye bakacaklarını öğretmek için araştırmacılar kamu görüntü kütüphanelerinden ve kendi kamera kayıtlarından büyük bir veri seti derlediler. Görüntülerde insanlar, yabanî ve evcil hayvanlar, traktörler, biçerdöverler, kamyonlar, otobüsler ve diğer tarım makineleri hem görünür hem de termal görünümde yer aldı. Her nesne elle çizilmiş bir kutu ile çevrelendi ve etiketlendi; ardından görüntüler gerçek tarlalarda görülen çeşitliliği taklit etmek için döndürme, ters çevirme veya hafif bulanıklaştırma gibi artırma işlemlerine tabi tutuldu. Veriler, ağların bir bölümde öğrenmesi ve daha önce görmedikleri görüntüler üzerinde adil şekilde değerlendirilmeleri için eğitim, doğrulama ve test setlerine ayrıldı. Ayrıca yalnızca ham doğruluk değil, aynı zamanda her modelin gerektirdiği hesaplama işlemi sayısı ve saniyedeki kare (fps) sayısı da dikkatle ölçüldü; çünkü gerçek bir traktör sistemi sahada hızlı ve güvenilir çalışmak zorunda.

Hangi Dijital Gözler En İyi Performansı Gösterdi?

Binlerce test görüntüsü genelinde, tüm YOLOv8 düzenekleri özellikle büyük tarım makineleri ve sıcak bedene sahip hayvanları çok iyi algıladı. Hem RGB hem termal veriyi tek bir akışta alan birleşik model, ortalama hassasiyet (mean average precision) olarak yaklaşık 0,90 puana ulaştı; çift ağ yaklaşımı ise 0,88 seviyesindeydi. Başka bir deyişle, her iki görüş türünü tek bir ağ içinde birleştirmek performansta küçük ama gerçek bir artış sağladı ve sistemin işletimini daha karmaşık hale getirmedi. Termal görüntülemenin en büyük kazanımları kötü aydınlatma koşullarında insan ve hayvanlarda görüldü; öte yandan traktör gibi ayrıntılı şekiller için normal görüntüler daha iyi kaldı. Ekip YOLOv8 yerine sadeleştirilmiş SSD modelini kullandığında, SSD çok daha hızlı eğitilmiş olmasına rağmen çoğu sınıf için performans belirgin şekilde düştü. YOLOv8, özellikle en küçük “Nano” versiyonu, makul donanım üzerinde yaklaşık 27 fps civarında gerçek zamanlı hızları korurken daha yüksek doğruluk sundu.

Yapay Zeka Algılarını Basit Uyarılara Dönüştürmek

Sürücüyü video akışları ile bunaltmak yerine sistem, algılamaları ISOBUS gibi yaygın bir traktör iletişim standardını takip eden basit bir gösterge paneli görünümüne çeviriyor. Basit bir yeşil panelde simgeler makinenin önünde insan, hayvan veya araç olup olmadığını, ayrıca mesafe, yön ve sistemin güven düzeyini gösteriyor. Bu sadeleştirilmiş arayüz mevcut operatör terminallerinde çalıştırılmak üzere tasarlandı ve korunmuş kameralar, stabilize montajlar ile gelecekteki sürümler için toz ve sıcaklık kontrolü planlanarak sert tarım koşullarına uygun hale getirildi.

Günlük Tarım İçin Ne Anlama Geliyor

Uzman olmayan bir okuyucu için çıkarılacak sonuç şudur: traktörlere “iki tür göz” ve iyi seçilmiş bir yapay zeka beyni vermek, pahalı donanım gerektirmeden güvenliği önemli ölçüde artırabilir. Normal ve termal görüntüleri harmanlayan dikkatle ayarlanmış tek bir YOLOv8 ağı, test edilen seçenekler arasında doğruluk, hız ve sadelik açısından en iyi karışımı sunuyor ve SSD tasarımını açık şekilde geride bırakıyor. Sistem hâlâ tüm durumlarda insanları tanımada zaman zaman zorlanıyor—bunun bir kısmı eğitim verilerinde insan örneklerinin daha az olmasından kaynaklanıyor—ancak çalışma, kameraya dayalı pratik uyarı sistemlerinin tarım makineleri için hem uygulanabilir hem de sahaya yakın olduğunu gösteriyor. Daha dengeli veriler ve geliştirilmiş füzyon yöntemleriyle gelecek sürümler kazaları önlemeye, vahşi yaşamı korumaya ve geniş çaplı tarımı tarladaki herkes için daha güvenli hale getirmeye yardımcı olabilir.

Atıf: Tarasiuk, K., Mystkowski, A., Ostaszewski, M. et al. Agriculture surrounding monitoring and object identification based on optimized you only look once and single shot multibox detector setups using combined vision and thermal images. Sci Rep 16, 5129 (2026). https://doi.org/10.1038/s41598-026-36181-2

Anahtar kelimeler: tarımsal güvenlik, termal görüntüleme, bilgisayarlı görü, nesne algılama, YOLOv8