Η συμμετοχή στο διαδικτυακό συνέδριο XXIV ISPRS Congress 2022 έγινε με την παρουσίαση του άρθρου με τίτλο “Pose Estimation through Mask-R CNN and vSLAM in Large-Scale Outdoors Augmented Reality”.
Το άρθρο που παρουσιάστηκε αφορά την χρήση Βαθιάς Μάθησης (Deep Learning – DL) στην Επαυξημένη Πραγματικότητα για φορητές συσκευές (Mobile Augmented Reality – MAR) που επιτρέπει μια νέα μορφή μετάδοσης πληροφοριών. Στο πλαίσιο της εκτίμησης πόζας (6 Degrees of Freedom – DoF), τα ισχυρά δίκτυα Βαθιάς Μηχανικής Μάθησης θα μπορούσαν να παρέχουν μια άμεση λύση για συστήματα AR. Ωστόσο, η ταυτόχρονη λειτουργία τους απαιτεί σημαντικό αριθμό υπολογισμών ανά καρέ εικόνας και οδηγεί τόσο σε λανθασμένες ταξινομήσεις όσο και σε σφάλματα εντοπισμού. Προτείνεται μια υβριδική και ελαφριά λύση για την 3D παρακολούθηση αυθαίρετης γεωμετρίας για MAR σε εξωτερικούς χώρους. Οι πληροφορίες της πόζας κάμερας που λαμβάνονται από το ARCore SDK και τον αλγόριθμο vSLAM συνδυάζονται με τη σημασιολογική και γεωμετρική έξοδο ενός ανιχνευτή αντικειμένων Νευρωνικού Δικτύου Συνέλιξης CNN για τη βελτιστοποίηση της επίδοσης παρακολούθησης σε μεγάλης κλίμακας και μη ελεγχόμενα εξωτερικά περιβάλλοντα. Η μεθοδολογία περιλαμβάνει τρία βασικά βήματα: i) εκπαίδευση του μοντέλου Mask-R CNN για την εξαγωγή της κλάσης, του πλαισίου οριοθέτησης και των προβλέψεων μάσκας, ii) ανίχνευση σε πραγματικό χρόνο, τμηματοποίηση και εντοπισμό της περιοχής ενδιαφέροντος (ROI) σε καρέ κάμερας, και iii) υπολογισμός αντιστοιχιών 2D-3D για τη βελτίωση της εκτίμησης πόζας της 3D υπέρθεσης. Το σύνολο δεδομένων περιέχει 30 εικόνες του βράχου του Αγίου Μόδεστου – Μόδι στα Μετέωρα, στην Ελλάδα, όπου το ROI είναι μια περιοχή με χαρακτηριστικά γεωλογικά χαρακτηριστικά. Η συγκριτική αξιολόγηση μεταξύ του πρωτότυπου συστήματος και του αρχικού, καθώς και με τους ανιχνευτές CNN R-CNN και FAST-R δείχνει μεγαλύτερη ακρίβεια και σταθερή απεικόνιση σε απόσταση μισού χιλιομέτρου, ενώ ο χρόνος παρακολούθησης έχει μειωθεί κατά 42% σε συνεδρία AR μακρινού πεδίου.
Συγγραφείς του άρθρου είναι οι Αργυρώ Μαρία Μπούτση, Νίκος Μπάκαλος και Χαράλαμπος Ιωαννίδης, από την ομάδα του Εργαστηρίου Φωτογραμμετρίας (ΕΦ) του ΕΜΠ.
Το πλήρες άρθρο είναι διαθέσιμο εδώ.
