Nesne Tespit ve Takibi için Etiketli Yapay IHA Video Veriseti Yaratımı

Abstract

İnsansız hava araçlarından (İHA) elde edilen videolarda nesne tespit ve takibinin derin evrişimsel yapay sinir ağları (DEYSA) tarafından doğru bir şekilde yapılabilmesi için çeşitli nesnelere ya da araçlara ait referans optik akış, örtüşme ve bölütleme veri setine ihtiyaç duyulmaktadır. Gerçek hayat İHA video imgelerinde etiketlenmesinin ya da çıkartılmasının çok zor olmasından dolayı bahse konu referans bilgiler, literatürde yeterli miktarda bulunmamaktadır. Bu çalışmada referans optik akış, örtüşme ve bölütleme veri setleri, İHA bakış açısıyla yapay olarak ilk defa özgün bir şekilde üretilmiş ve literatürdeki boşluğun giderilmesi amaçlanmıştır. İHA’ların uçmakta zorlanacağı atmosfer şartları Unity motoru ile sanal senaryolar kurularak üretilmiştir. Referans veri setleri, her bir araç için Unity motoru tarafından otomatik üretilen üçgenlerin (örgü) homografi yöntemine tabi tutulmasıyla oluşturulmuştur. Bu yöntem ile 100 senaryodan oluşan 1920x1080 ve 250x250 boyutlu yapay veri setleri elde edilmiştir.

In order for object detection and tracking in videos obtained from unmanned aerial vehicles (UAVs) by deep convolutional neural networks (DCNN), extensive ground truth optical flow, occlusion and segmentation datasets, of various objects or vehicles, are required during the training and testing processes. The mentioned ground truth informations are not widely available in the literature due to the difficulty of labeling or extracting them from real-life recorded UAV video images. In this study, ground truth optical flow, occlusion and segmentation datasets were produced synthetically for the first time with the UAV point of view in a novel way, so as to fill the gap in literature. The ground truth datasets were created for each vehicle by subjecting the triangles (mesh) automatically generated by the Unity engine to the homography method. With this method, 1920x1080 and 250x250 sized synthetic datasets consisting of 100 scenarios were obtained.