Γιατί το Egocentric Vision είνια κάτι που με απασχολεί

Υπάρχει μια ουσιαστική διαφορά ανάμεσα στο να βλέπεις κάποιον να κάνει κάτι και στο να βλέπεις τον κόσμο από τη δική του οπτική γωνία.

Στο κλασικό computer vision, η κάμερα συνήθως παρατηρεί τη σκηνή απ’ έξω. Ένας άνθρωπος μαγειρεύει, συναρμολογεί κάτι ή ανοίγει ένα συρτάρι.

Στο egocentric video η κάμερα κινείται μαζί με τον άνθρωπο.

Βλέπεις τα χέρια του, τα αντικείμενα με τα οποία αλληλεπιδρά, προς τα πού στρέφεται και ένα περιβάλλον που αλλάζει συνεχώς μαζί με τις κινήσεις του.

Αυτό είναι που με ενδιαφέρει περισσότερο.

Το egocentric vision δεν αφορά μόνο την αναγνώριση των ενεργειών ενός ανθρώπου. Μπορεί να διαδραματίσει σημαντικό ρόλο σε συστήματα που πρέπει να κατανοούν τι συμβαίνει γύρω τους και να προβλέπουν τι είναι πιθανό να συμβεί στη συνέχεια.

Σκέψου ένα ρομπότ που συνεργάζεται με έναν άνθρωπο και πρέπει να αντιληφθεί ποια θα είναι η επόμενη κίνηση του ανθρώπου. Ή σκέψου μια γραμμή παραγωγής, όπου ένα σύστημα παρακολουθεί μια διαδικασία, καταλαβαίνει σε ποιο στάδιο βρίσκεται ο εργαζόμενος και εντοπίζει αποκλίσεις ή λάθη. Το ίδιο ισχύει και σε ένα χειρουργείο, όπου η οπτική πρώτου προσώπου μπορεί να βοηθήσει στην κατανόηση των φάσεων μιας επέμβασης, των εργαλείων που χρησιμοποιούνται και του πλαισίου μέσα στο οποίο πραγματοποιείται κάθε ενέργεια.

Εκεί το ερώτημα δεν είναι πλέον μόνο:

«Τι κάνει ο άνθρωπος;»

αλλά:

«Τι έχει συμβεί μέχρι τώρα και τι είναι πιθανό να κάνει στη συνέχεια;»

Αυτό ονομάζεται action anticipation και είναι το ερευνητικό πεδίο που με απασχολεί περισσότερο.

Για να προβλέψει μια μελλοντική δράση, ένα μοντέλο πρέπει να αξιοποιήσει πληροφορίες από το παρελθόν: κινήσεις, αντικείμενα, πλαίσιο, αλληλεπιδράσεις και, ενδεχομένως, διαφορετικές τροπικότητες.

Τότε προκύπτουν ερωτήματα που βρίσκω πολύ πιο ενδιαφέροντα από ένα απλό πρόβλημα ταξινόμησης.

Πόσο από το παρελθόν πρέπει να θυμάται το μοντέλο; Ποιες πληροφορίες αξίζει πραγματικά να διατηρήσει; Πώς μπορεί να συνδυάσει εικόνα, κίνηση, ήχο και αντικείμενα, όταν όλα εξελίσσονται σε διαφορετικές χρονικές κλίμακες; Και πώς διασφαλίζουμε ότι ένα μοντέλο πρόβλεψης δεν χρησιμοποιεί, έστω και κατά λάθος, πληροφορίες από το μέλλον;

Φέτος ασχοληθήκαμε και με το EgoShift, εξετάζοντας τι συμβαίνει όταν ένα μοντέλο καλείται να λειτουργήσει για διαφορετικούς χρήστες, σε διαφορετικά περιβάλλοντα, και πρέπει να προσαρμοστεί σε έναν νέο τομέα. Παράλληλα, στο πλαίσιο του διδακτορικού μου, αναπτύσσω την ερευνητική υποδομή που χρειάζομαι για τέτοιου είδους πειράματα, με διαφορετικές οπτικές και πολυτροπικές αναπαραστάσεις, σωστή χρονική ευθυγράμμιση και αναπαραγώγιμη αξιολόγηση.

Όσο περισσότερο ασχολούμαι με το egocentric vision, τόσο περισσότερο πιστεύω ότι η πραγματική του αξία βρίσκεται σε ένα ευρύτερο ερώτημα:

πώς ένα ευφυές σύστημα παρατηρεί τον κόσμο μέσα στον χρόνο, θυμάται ό,τι έχει σημασία και χρησιμοποιεί το παρελθόν για να καταλάβει τι πιθανότατα έρχεται μετά.