Una conoscenza approfondita dei principi dell'imaging visivo 3D

L'imaging visivo 3D è uno dei metodi più importanti per la percezione delle informazioni dei robot industriali, che può essere suddiviso in metodi di imaging ottico e non ottico. Attualmente, i metodi ottici più utilizzati, tra cui: metodo del tempo di volo, metodo della luce strutturata, metodo di scansione laser, metodo della frangia Moire, metodo laser speckle, interferometria, fotogrammetria, metodo di tracciamento laser, forma dal movimento, forma dall'ombra, e altri ShapefromX. Questo articolo introduce diversi schemi tipici.

1. Imaging 3D del tempo di volo

Ogni pixel della fotocamera TOF (Time of Flight) utilizza la differenza di tempo nel volo della luce per ottenere la profondità dell'oggetto.

Nel metodo di misurazione TOF classico, il sistema di rilevamento avvia l'unità di rilevamento e ricezione in base al momento in cui viene emesso l'impulso ottico. Quando il rilevatore riceve l'eco ottico dal bersaglio, memorizza direttamente il tempo di andata e ritorno.

Noto anche come Direct TOF (DTOF), D-TOF è comunemente utilizzato nei sistemi a punto singolo, dove la tecnologia di scansione è spesso necessaria per ottenere immagini 3D su tutta l'area.

La tecnologia di imaging TOF 3D senza scansione è stata realizzata solo negli ultimi anni, perché è molto difficile implementare una temporizzazione elettronica inferiore al nanosecondo a livello di pixel.

L'alternativa al D-TOF con temporizzazione diretta è il TOF indiretto (I-TOF), in cui il tempo di andata e ritorno viene estrapolato indirettamente dalle misurazioni dell'intensità della luce con temporizzazione. I-TOF non richiede una tempistica precisa, ma impiega invece contatori di fotoni temporizzati o integratori di carica, che possono essere implementati a livello di pixel. I-TOF è l'attuale soluzione commercializzata per mixer elettronici e ottici basati su telecamere TOF.

L'imaging TOF può essere utilizzato per l'acquisizione di immagini 3D ad ampio campo visivo, a lunga distanza, a bassa precisione e a basso costo. Le sue caratteristiche sono: velocità di rilevamento elevata, ampio campo visivo, lunga distanza di lavoro, prezzo economico, ma bassa precisione, facile da interferire con la luce ambientale.

2. Eseguire la scansione per l'imaging 3D

I metodi di scansione dell'imaging 3D possono essere suddivisi in scansione a distanza, triangolazione attiva, metodo confocale a dispersione e così via. In effetti, il metodo confocale a dispersione è un metodo di scansione e misurazione, considerando che è attualmente ampiamente utilizzato nell'industria manifatturiera come quella dei telefoni cellulari e dei display a schermo piatto, viene qui presentato separatamente.

1. Scansione e misurazione

La misurazione della distanza di scansione consiste nell'utilizzare un raggio collimato per scansionare l'intera superficie del bersaglio attraverso la misurazione della distanza unidimensionale per ottenere la misurazione 3D. I metodi tipici di scansione sono:

1, metodo del tempo di volo a punto singolo, come la modulazione di frequenza dell'onda continua (FM-CW), la portata degli impulsi (LiDAR), ecc .;

2, interferometria a diffusione laser, come interferometri basati sui principi dell'interferenza multi-lunghezza d'onda, interferenza olografica, interferenza maculata di interferenza della luce bianca, ecc.

3, metodo confocale, come confocale a dispersione, autofocus, ecc.

Nel metodo 3D di scansione a punto singolo, il metodo del tempo di volo a punto singolo è adatto per la scansione a lunga distanza e la precisione della misurazione è bassa, generalmente nell'ordine dei millimetri. Altri metodi di scansione a punto singolo sono: interferometria laser a punto singolo, metodo confocale e metodo di triangolazione laser attiva a punto singolo, la precisione di misurazione è maggiore, ma il primo presenta requisiti ambientali elevati; Precisione di scansione della linea moderata, alta efficienza. Il metodo di triangolazione laser attivo e il metodo confocale a dispersione sono più adatti per eseguire misurazioni 3D all'estremità del braccio robotico.

2. Triangolazione attiva

Il metodo di triangolazione attiva si basa sul principio della triangolazione, utilizzando raggi collimati, uno o più raggi piani per scansionare la superficie target per completare la misurazione 3D.

Il fascio è solitamente ottenuto nei seguenti modi: collimazione laser, espansione angolare del fascio cilindrico o quadrico cilindrico, luce incoerente (come luce bianca, sorgente luminosa a LED) attraverso il foro, proiezione di fenditure (reticolo) o diffrazione di luce coerente.

La triangolazione attiva può essere divisa in tre tipi: scansione a punto singolo, scansione a linea singola e scansione a più linee. La maggior parte dei prodotti attualmente commercializzati per l'uso nei bracci robotici sono scanner a punto singolo e a linea singola.

Nel metodo di scansione multilinea è difficile identificare in modo affidabile il numero dei poli marginali. Per identificare con precisione i numeri delle strisce, viene solitamente adottata l'immagine alternata ad alta velocità di due serie di piani ottici verticali, che possono anche realizzare la scansione "FlyingTriangulation". Il processo di scansione e ricostruzione tridimensionale è mostrato nella figura seguente. Una vista 3D sparsa viene generata dall'imaging stroboscopico con proiezione multilinea e diverse sequenze di viste 3D vengono generate dalla scansione della proiezione di frange longitudinali e orizzontali. Quindi un modello di superficie 3D completo e compatto ad alta risoluzione viene generato mediante la corrispondenza delle immagini 3D.

3. Metodo confocale di dispersione

Il confocale a dispersione sembra essere in grado di scansionare e misurare oggetti opachi e trasparenti ruvidi e lisci, come specchi riflettenti, superfici di vetro trasparenti, ecc., ed è attualmente ampiamente popolare nel campo del rilevamento tridimensionale delle piastre di copertura dei telefoni cellulari.

Esistono tre tipi di scansione confocale dispersiva: scansione a raggio assoluto unidimensionale a punto singolo, scansione a matrice multipunto e scansione a linea continua. La figura seguente elenca rispettivamente due tipi di esempi di scansione a distanza assoluta e a linea continua. Tra questi, la scansione in linea continua è anche una scansione di array, ma l'array ha un reticolo più grande e più denso.

Nei prodotti commerciali, il sensore confocale spettrale a scansione più noto è il francese STILMPLS180, che adotta 180 punti array per formare una linea con una lunghezza massima della linea di 4,039 mm (punto di misurazione 23,5, spaziatura punto a punto di 22,5). Un altro prodotto è la finlandese FOCALSPECUULA. Viene adottata la tecnica del triangolo confocale di dispersione.

3. Imaging 3D con proiezione di luce strutturata

Proiezione di luce strutturata L'imaging 3D è attualmente il modo principale di percezione visiva 3D dei robot, il sistema di imaging di luce strutturata è composto da diversi proiettori e telecamere, le forme strutturali comunemente utilizzate sono: proiettore singolo-telecamera singola, proiettore singolo-doppia fotocamera, proiettore singolo-multiplo telecamera, telecamera singola - doppio proiettore e telecamera singola - proiettori multipli e altre forme strutturali tipiche.

Il principio di funzionamento di base dell'imaging 3D della proiezione di luce strutturata è che i proiettori proiettano specifici schemi di illuminazione di luce strutturata sugli oggetti target e le immagini modulate dal target vengono catturate dalla fotocamera, quindi le informazioni 3D dell'oggetto target vengono ottenute attraverso l'immagine elaborazione e modello visivo.

I proiettori comunemente utilizzati hanno principalmente i seguenti tipi: proiezione a cristalli liquidi (LCD), proiezione a modulazione di luce digitale (DLP: come dispositivi a microspecchi digitali (DMD)), proiezione diretta con pattern LED laser.

In base al numero di proiezioni di luce strutturata, l'imaging 3D della proiezione di luce strutturata può essere suddiviso in metodi 3D a proiezione singola e 3D a proiezione multipla.

1. Imaging a proiezione singola

La luce strutturata a proiezione singola è realizzata principalmente mediante codifica di multiplexing spaziale e codifica di multiplexing di frequenza. Le forme di codifica comuni sono la codifica a colori, l'indice di grigio, la codifica della forma geometrica e i punti casuali.

Attualmente, nell'applicazione del sistema occhio-mano del robot, per le occasioni in cui la precisione della misurazione 3D non è elevata, come la pallettizzazione, la depallettizzazione, la presa 3D, ecc., è più popolare proiettare punti pseudo-casuali per ottenere il risultato Informazioni 3D del bersaglio. Il principio dell'imaging 3D è mostrato nella figura seguente.

2. Immagini a proiezione multipla

Il metodo 3D multiproiezione è implementato principalmente mediante codifica time multiplexing. Le forme di codifica del modello comunemente usate sono: codifica binaria, codifica di sfasamento multifrequenza τ35 e codifica mista (come frange di sfasamento a dieci fasi di codice grigio).

Il principio di base dell'imaging 3D con proiezione di frange è mostrato nella figura seguente. I modelli di luce strutturata vengono generati da un computer o generati da uno speciale dispositivo ottico, che vengono proiettati sulla superficie dell'oggetto misurato attraverso un sistema di proiezione ottica, quindi vengono utilizzati dispositivi di acquisizione di immagini (come telecamere CCD o CMOS) per raccogliere la luce immagini di luce strutturata deformata modulata dalla superficie dell'oggetto. L'algoritmo di elaborazione delle immagini viene utilizzato per calcolare la relazione corrispondente tra ciascun pixel dell'immagine e il punto sul contorno dell'oggetto. Infine, attraverso il modello della struttura del sistema e la tecnologia di calibrazione, vengono calcolate le informazioni sul contorno tridimensionale dell'oggetto misurato.

Nelle applicazioni pratiche, viene spesso utilizzata la tecnologia di proiezione del codice Gray, della proiezione di frange con sfasamento sinusoidale o della tecnologia 3D di proiezione mista con sfasamento sinusoidale a dieci codici Gray.

3. Imaging di deflessione

Per superfici ruvide, la luce strutturata può essere proiettata direttamente sulla superficie dell'oggetto per la misurazione dell'immagine visiva. Tuttavia, per la misurazione 3D di superfici lisce a grande riflettanza e oggetti specchianti, la proiezione della luce strutturata non può essere proiettata direttamente sulla superficie misurata e la misurazione 3D richiede anche l'uso della tecnologia di deflessione dello specchio, come mostrato nella figura seguente.

In questo schema, le frange non vengono proiettate direttamente sul contorno misurato, ma vengono proiettate su uno schermo di diffusione, oppure viene utilizzato uno schermo LCD al posto dello schermo di diffusione per visualizzare direttamente le frange. La fotocamera ripercorre il percorso della luce attraverso la superficie luminosa, ottiene le informazioni sulla frangia modulate dal cambiamento di curvatura della superficie luminosa e quindi risolve il profilo 3D.

4. Imaging 3D con visione stereo

La stereovisione si riferisce letteralmente alla percezione della struttura tridimensionale con uno o entrambi gli occhi e generalmente si riferisce alla ricostruzione della struttura 3D o delle informazioni sulla profondità dell'oggetto target ottenendo due o più immagini da diversi punti di vista.

I segnali visivi della percezione della profondità possono essere suddivisi in segnali oculari e segnali binoculari (parallasse binoculare). Attualmente, il 3D stereoscopico può essere ottenuto attraverso la visione monoculare, la visione binoculare, la visione multioculare, l'imaging 3D in campo luminoso (occhio composto elettronico o telecamera a matrice).

1. Imaging visivo monoculare

I segnali di percezione della profondità monoculare di solito includono prospettiva, differenza di lunghezza focale, imaging multi-visione, copertura, ombra, parallasse di movimento, ecc. Nella visione robotica è anche possibile utilizzare lo specchio 1 e altre forme da X10 e altri metodi per ottenere.

2. Imaging della visione binoculare

Gli indizi visivi della percezione della profondità binoculare sono: posizione di convergenza degli occhi e parallasse binoculare. Nella visione artificiale, vengono utilizzate due telecamere per ottenere due immagini da due punti di vista sulla stessa scena target, quindi viene calcolata la parallasse dello stesso punto nelle due immagini visualizzate per ottenere le informazioni sulla profondità 3D della scena target. Il tipico processo di calcolo della stereovisione binoculare consiste nei seguenti quattro passaggi: correzione della distorsione dell'immagine, correzione della coppia di immagini stereo, registrazione dell'immagine e riproiezione della triangolazione calcolo della mappa di parallasse