Θεμελιώδης πίνακας (υπολογιστική όραση)

Στην υπολογιστική όραση, ο θεμελιώδης πίνακας $𝐅$ ^[1]^[2] είναι ένας πίνακας 3×3 που συσχετίζει αντίστοιχα σημεία σε στερεοφωνικές εικόνες. Στην επιπολική γεωμετρία, με ομοιογενείς συντεταγμένες εικόνας, x και x′, των αντίστοιχων σημείων σε ένα ζεύγος στερεοφωνικών εικόνων, ο Fx περιγράφει μια γραμμή (επιπολική γραμμή) στην οποία πρέπει να βρίσκεται το αντίστοιχο σημείο x′ στην άλλη εικόνα. Αυτό σημαίνει ότι, για όλα τα ζεύγη αντίστοιχων σημείων ισχύει

𝐱'^{⊤} 𝐅 𝐱 = 0 .

Καθώς είναι δεύτερης τάξης και προσδιορίζεται μόνο μέχρι την κλίμακα, ο θεμελιώδης πίνακας μπορεί να εκτιμηθεί δεδομένου ότι υπάρχουν τουλάχιστον επτά αντιστοιχίες σημείων. Οι επτά παράμετροί του αντιπροσωπεύουν τις μόνες γεωμετρικές πληροφορίες για τις κάμερες που μπορούν να ληφθούν μόνο μέσω των αντιστοιχιών σημείων.

Ο όρος «θεμελιώδης πίνακας» επινοήθηκε από τον ΚΤ Λουόνγκ (QT Luong)^[3] στη σημαντική διδακτορική του διατριβή. Μερικές φορές αναφέρεται επίσης ως «διεστιακός τανυστής». Ως τανυστής είναι ένας τανυστής δύο σημείων, δεδομένου ότι είναι μια διγραμμική μορφή που συσχετίζει σημεία σε διαφορετικά συστήματα συντεταγμένων.

Η παραπάνω σχέση που ορίζει τον θεμελιώδη πίνακα δημοσιεύθηκε το 1992 από τους Ολιβιέ Φοζεράς και Ρίτσαρντ Χάρτλεϊ. Αν και ο ουσιώδης πίνακας του H. Κρίστοφερ Λονγκέ-Χίγκινς ικανοποιεί μια παρόμοια σχέση, ο ουσιώδης πίνακας είναι ένα μετρικό αντικείμενο που αφορά βαθμονομημένες κάμερες, ενώ ο θεμελιώδης πίνακας περιγράφει την αντιστοιχία με πιο γενικούς και θεμελιώδεις όρους της προβολικής γεωμετρίας. Αυτό αποτυπώνεται μαθηματικά από τη σχέση μεταξύ ενός θεμελιώδους πίνακα $𝐅$ και του αντίστοιχου βασικού πίνακα $𝐄$ , η οποία είναι

𝐄 = (𝐊^{'})^{⊤} 𝐅 𝐊

$𝐊$ και $𝐊^{'}$ είναι η εγγενής βαθμονόμηση πίνακες των δύο εμπλεκόμενων εικόνων.

Εισαγωγή

Ο θεμελιώδης πίνακας είναι μια σχέση μεταξύ δύο οποιωνδήποτε εικόνων της ίδιας σκηνής που περιορίζει πού μπορεί να εμφανιστεί η προβολή σημείων από τη σκηνή και στις δύο εικόνες. Δεδομένης της προβολής ενός σημείου της σκηνής σε μια από τις εικόνες, το αντίστοιχο σημείο στην άλλη εικόνα περιορίζεται σε μια γραμμή, βοηθώντας την αναζήτηση και επιτρέποντας την ανίχνευση λανθασμένων αντιστοιχιών. Η σχέση μεταξύ των αντίστοιχων σημείων, που αντιπροσωπεύεται από τον θεμελιώδη πίνακα, ονομάζεται επιπολικός περιορισμός, περιορισμός αντιστοιχίας, περιορισμός διακριτής αντιστοιχίας ή σχέση πρόσπτωσης.

Θεώρημα προβολικής ανακατασκευής

Ο θεμελιώδης πίνακας μπορεί να προσδιοριστεί από ένα σύνολο αντιστοιχιών σημείων. Επιπλέον, αυτά τα αντίστοιχα σημεία της εικόνας μπορούν να τριγωνοποιηθούν σε σημεία του κόσμου με τη βοήθεια μητρών κάμερας που προκύπτουν απευθείας από αυτόν τον θεμελιώδη πίνακα. Η σκηνή που αποτελείται από αυτά τα κοσμικά σημεία βρίσκεται εντός ενός προβολικού μετασχηματισμού της πραγματικής σκηνής^[4].

Απόδειξη

Ας υποθέσουμε ότι η αντιστοιχία σημείων εικόνας $𝐱 \leftrightarrow 𝐱^{'}$ προκύπτει από το κοσμικό σημείο $X$ υπό τους πίνακες της κάμερας $(P, P^{'})$ ως εξής

\begin{matrix} 𝐱 & = P X \\ 𝐱^{'} & = P^{'} X \end{matrix}

Ας πούμε ότι μετατρέπουμε το χώρο με ένα γενικό πίνακα ομοιογραφίας $H_{4 \times 4}$ έτσι ώστε $X_{0} = H X$ .

Οι κάμερες στη συνέχεια μετασχηματίζονται ως εξής

\begin{matrix} P_{0} & = P H^{- 1} \\ {P_{0}}^{'} & = P^{'} H^{- 1} \end{matrix}

P_{0} X_{0} = P H^{- 1} H X = P X = 𝐱

και ομοίως με

{P_{0}}^{'}

εξακολουθούν να μας δίνουν τα ίδια σημεία εικόνας.

Παραγωγή του θεμελιώδους πίνακα με χρήση της συνθήκης συνεπιπεδότητας

Ο θεμελιώδης πίνακας μπορεί επίσης να προκύψει χρησιμοποιώντας τη συνθήκη συνεπιπεδότητας.^[5]

Για δορυφορικές εικόνες

Ο θεμελιώδης πίνακας εκφράζει την επιπολική γεωμετρία στις στερεοφωνικές εικόνες. Η επιπολική γεωμετρία στις εικόνες που λαμβάνονται με προοπτικές κάμερες εμφανίζεται ως ευθείες γραμμές. Ωστόσο, στις δορυφορικές εικόνες, η εικόνα σχηματίζεται κατά τη διάρκεια της κίνησης του αισθητήρα κατά μήκος της τροχιάς του (αισθητήρας ώθησης). Ως εκ τούτου, υπάρχουν πολλαπλά κέντρα προβολής για μια σκηνή εικόνας και η επιπολική γραμμή σχηματίζεται ως επιπολική καμπύλη. Εντούτοις, σε ειδικές συνθήκες, όπως μικρά πλακίδια εικόνας, οι δορυφορικές εικόνες θα μπορούσαν να διορθωθούν με τη χρήση του θεμελιώδους πίνακα.