Indoor surface type-based task assignment in heterogeneous multi-robot systems

Abstract

Yüzey tipini tanıma, hem iç mekan hem de dış mekan mobil robotları için çok önemlidir. Yüzey tipini bilmek, iç mekan mobil robotlarının daha güvenli hareket etmesine ve hareketlerini buna göre ayarlamasına yardımcı olabilir. Bununla birlikte benzer yüzeyler renk ve desen bakımından farklı görünebileceğinden yüzey özelliklerinin tanınması zordur. Örneğin halılar çeşitli tip ve renklerde olabilir. Bu tezde görüntü tabanlı yüzey sınıflandırmadaki zorlukları ele almak için ilk önce farklı iç ortamlarda çekilmiş 2081 yüzey görüntüsünden (halı, fayans ve ahşap) oluşan yeni ve benzersiz bir veri seti oluşturulmuştur. İkinci olarak, yüzey tipini tanımak için önceden eğitilmiş son teknoloji derin öğrenme modelleri InceptionV3, VGG16, VGG19, ResNet50, Xception, InceptionResnetV2 ve MobileNetV2 uygulanmıştır. Bununla birlikte yüzey sınıflandırması için hafifleştirilmiş MobileNetV2-Modified model önerilmiştir. Önerilen model, orijinal MobileNetV2 modelinden yaklaşık dört kat daha az total parametreye sahip olup eğitilmiş model ağırlıklarının boyutunu 42 MB'tan 11 MB'a düşürmektedir. Böylece önerilen model, sınırlı hesaplama kapasitesine sahip robotik sistemlerde ve gömülü sistemlerde kullanılabilir. Son olarak, en verimli ağı ayırt etmek için SGD, RMSProp, Adam, Adadelta, Adamax, Adagrad ve Nadam gibi 7 farklı optimizer uygulanır. Deneysel sonuçlar önerilen modelin %99,52 doğruluk ve kesinlik, duyarlılık ve F1 skorunda ortalama %99,66 skor elde ederek literatürdeki diğer tüm uygulanan yöntemlerden ve mevcut yaklaşımlardan daha iyi performans gösterdiğini kanıtlamaktadır. Bunun yanı sıra önerilen hafif model kullandığımız Kobuki robot üzerinde ofis, koridor ve ev gibi çeşitli iç ortamlardan oluşan 11 senaryoda gerçek zamanlı olarak test edilmiş ve %99,25 doğrulukla sonuçlanmıştır. Kobuki ve Burger robotlarının farklı yüzeylerde açısal sapma, istenilen noktaya ulaşma süresi ve istenilen noktaya ulaşma hassasiyeti açısından performans analizleri yapılmıştır. Açısal sapma, Atalet Ölçüm Birimi (IMU) sensörü kullanılarak ölçülmüştür. Robotlara zemin tipine göre görev atamak için Kobuki ve Burger robotlarının performanslarını Çok Kriterli Karar Verme Yöntemi kullanarak analiz edilmiştir. Performans analizine göre Kobuki robotunun halı ve fayans üzerinde daha iyi performans gösterdiği, Burger robotunun ise ahşap üzerinde daha iyi performans gösterdiği sonucuna varılmıştır. Ayrıca yüzey tipine göre çoklu robotlarla görev atama deneyleri yapılmıştır. Deneyler sırasında her iki robotun da görevi doğru ve performans analiz yöntemine uygun olarak tamamladığı gözlemlenmiştir.The ability to recognize the surface type is crucial for both indoor and outdoor mobile robots. Knowing the surface type can help indoor mobile robots move more safely and adjust their movement accordingly. However, recognizing surface characteristics is challenging since similar planes can appear substantially different; for instance, carpets come in various types and colors. To address this inherent uncertainty in vision-based surface classification, this study first generates a new, unique data set composed of 2081 surface images (carpet, tiles, and wood) captured in different indoor environments. Secondly, the pre-trained state-of-the-art deep learning models, namely InceptionV3, VGG16, VGG19, ResNet50, Xception, InceptionResnetV2, and MobileNetV2, were utilized to recognize the surface type. Additionally, a lightweight MobileNetV2-modified model was proposed for surface classification. The proposed model has approximately four times fewer total parameters than the original MobileNetV2 model, reducing the size of the trained model weights from 42 MB to 11 MB. Thus, the proposed model can be used in robotic systems with limited computational capacity and embedded systems. Finally, several optimizers, such as SGD, RMSProp, Adam, Adadelta, Adamax, Adagrad, and Nadam, are applied to distinguish the most e?icient network. Experimental results demonstrate that the proposed model outperforms all other applied methods and existing approaches in the literature by achieving 99.52\% accuracy and an average score of 99.66\% in precision, recall, and F1-score. Besides this, the proposed lightweight model was tested in real-time on a mobile robot in 11 scenarios consisting of various indoor environments such as o?ices, hallways, and homes, resulting in an accuracy of 99.25\%. The performance analysis of the Kobuki and Burger robots on different surfaces in terms of angular deviation, time of reaching to the desired point, and sensitivity of reaching the desired point was conducted. The angular deviation was measured by using Inertial Measurement Unit (IMU) sensor. In order to assign tasks to the robots according to the ground type, we evaluated the performances of the Kobuki and Burger robots by using Multi Criteria Decision Making Method. According to the performance analysis, it is concluded that the Kobuki robot has better performance on carpet and tile, while the Burger performs better on wood. In addition, task assignment experiments were carried out with multi robots according to the surface type. During the experiments, it was observed that both robots completed the task correctly and in accordance with the performance analysis method.