En grundig forståelse af principperne for 3D visuel billeddannelse

3D vision imaging er en af ​​de vigtigste metoder til informationsopfattelse af industrirobotter, som kan opdeles i optiske og ikke-optiske billeddannelsesmetoder. På nuværende tidspunkt er de mest anvendte optiske metoder, herunder: time-of-flight metode, struktureret lys metode, laser scanning metode, Moire fringe metode, laser speckle metode, interferometri, fotogrammetri, laser tracking metode, form fra bevægelse, form fra skygge, og andre ShapefromX. Dette papir introducerer flere typiske skemaer.

1. Flyvetidspunkt 3D-billeddannelse

Hver pixel i time-of-flight-kameraet (TOF) bruger tidsforskellen i lysflyvningen til at opnå dybden af ​​objektet.

I den klassiske TOF-målemetode starter detektorsystemet detekterings- og modtageenheden til tidspunktet, hvornår den optiske impuls udsendes. Når detektoren modtager det optiske ekko fra målet, gemmer detektoren direkte tur-retur-tiden.

Også kendt som Direct TOF (DTOF), er D-TOF almindeligvis brugt i enkeltpunktsafstandssystemer, hvor scanningsteknologi ofte er påkrævet for at opnå 3D-billeddannelse i hele området.

Scanningsfri TOF 3D-billedteknologi er ikke blevet realiseret før de seneste år, fordi det er meget vanskeligt at implementere subnanosekund elektronisk timing på pixelniveau.

Alternativet til direkte timet D-TOF er indirekte TOF (I-TOF), hvor tiden tur/retur er indirekte ekstrapoleret fra tidsstyrede målinger af lysintensitet. I-TOF kræver ikke præcis timing, men anvender i stedet tidsstyrede fotontællere eller ladningsintegratorer, som kan implementeres på pixelniveau. I-TOF er den nuværende kommercialiserede løsning til elektroniske og optiske mixere baseret på TOF-kameraer.

TOF-billeddannelse kan bruges til stort synsfelt, lang afstand, lav præcision, billig 3D-billedoptagelse. Dens egenskaber er: hurtig registreringshastighed, stort synsfelt, lang arbejdsafstand, billig pris, men lav nøjagtighed, let at blive forstyrret af omgivende lys.

2. Scan efter 3D-billeddannelse

Scanning 3D-billeddannelsesmetoder kan opdeles i scanningsområde, aktiv triangulering, spredningskonfokalmetode og så videre. Faktisk er spredningskonfokalmetoden en scannings- og rækkeviddemetode, i betragtning af at den i øjeblikket er meget udbredt i fremstillingsindustrien, såsom mobiltelefoner og fladskærme, introduceres den separat her.

1. Scanning og rækkevidde

Scanningsafstandsmåling er at bruge en kollimeret stråle til at scanne hele måloverfladen gennem en-dimensionel afstandsmåling for at opnå 3D-måling. Typiske scanningsmetoder er:

1, single point time of flight-metode, såsom kontinuert bølgefrekvensmodulation (FM-CW), pulsområde (LiDAR) osv.;

2, laserspredningsinterferometri, såsom interferometre baseret på principperne om multi-bølgelængde interferens, holografisk interferens, hvidt lys interferens speckle interferens osv.

3, konfokal metode, såsom spredningskonfokal, selvfokusering osv.

I single point range scanning 3D metoden er single point time of flight metoden velegnet til langdistance scanning, og målenøjagtigheden er lav, generelt i størrelsesordenen millimeter. Andre enkeltpunktsscanningsmetoder er: enkeltpunkts laserinterferometri, konfokalmetode og enkeltpunkts laseraktiv trianguleringsmetode, målenøjagtigheden er højere, men førstnævnte har høje miljøkrav; Linjescanningsnøjagtighed moderat, høj effektivitet. Aktiv lasertrianguleringsmetode og spredningskonfokalmetode er mere egnede til at udføre 3D-måling for enden af ​​robotarmen.

2. Aktiv triangulering

Aktiv trianguleringsmetode er baseret på princippet om triangulering, ved hjælp af kollimerede stråler, en eller flere plane stråler til at scanne måloverfladen for at fuldføre 3D-måling.

Strålen opnås sædvanligvis på følgende måder: laserkollimation, cylindrisk eller kvadrisk cylindrisk vinkelstråleudvidelse, usammenhængende lys (såsom hvidt lys, LED-lyskilde) gennem hullet, spalte-(gitter)projektion eller kohærent lysdiffraktion.

Aktiv triangulering kan opdeles i tre typer: enkeltpunktsscanning, enkeltlinjescanning og multilinjescanning. De fleste af de produkter, der i øjeblikket kommercialiseres til brug ved enden af ​​robotarme, er enkeltpunkts- og enkeltlinjescannere.

I multi-line scanningsmetoden er det vanskeligt at identificere frynsepolnummeret pålideligt. For nøjagtigt at identificere stribenumre, er højhastigheds alternerende billeddannelse af to sæt vertikale optiske planer normalt vedtaget, som også kan realisere "FlyingTriangulation" scanning. Scanningen og den tredimensionelle rekonstruktionsproces er vist i den følgende figur. En sparsom 3D-visning genereres af multi-line projektion stroboskopisk billeddannelse, og adskillige 3D-visningssekvenser genereres ved langsgående og vandret kantprojektionsscanning. Derefter genereres en komplet og kompakt 3D overflademodel med høj opløsning ved 3D billedmatching.

3. Dispersion konfokal metode

Dispersion confocal ser ud til at være i stand til at scanne og måle ru og glatte uigennemsigtige og transparente objekter, såsom reflekterende spejle, transparente glasoverflader osv., og er i øjeblikket meget populær inden for tredimensionel detektering af mobiltelefondækplader.

Der er tre typer dispersiv konfokal scanning: enkeltpunkts en-dimensionel absolut rækkevidde scanning, multi-point array scanning og kontinuerlig linje scanning. Den følgende figur viser to typer eksempler på henholdsvis absolut afstand og kontinuerlig linjescanning. Blandt dem er kontinuerlig linjescanning også en array-scanning, men arrayet har mere og tættere gitter.

I kommercielle produkter er den mere velkendte scanningsspektrale konfokale sensor den franske STILMPLS180, som anvender 180 array-punkter for at danne en linje med en maksimal linjelængde på 4.039 mm (målepunkt 23.5pm, punkt-til-punkt-afstand på 22.5pm). Et andet produkt er Finlands FOCALSPECUULA. Teknikken til spredning konfokal trekant er vedtaget.

3. 3D-billeddannelse med struktureret lysprojektion

Struktureret lysprojektion 3D-billeddannelse er i øjeblikket hovedmetoden til robot 3D visuel perception, struktureret lysbilleddannelsessystem er sammensat af flere projektorer og kameraer, almindeligt anvendte strukturelle former er: enkelt projektor-enkelt kamera, enkelt projektor-dobbelt kamera, enkelt projektor-multiple kamera, enkelt kamera - dobbelt projektor og enkelt kamera - flere projektorer og andre typiske strukturelle former.

Det grundlæggende arbejdsprincip for 3D-billeddannelse af struktureret lysprojektion er, at projektorer projicerer specifikke strukturerede lysbelysningsmønstre til målobjekter, og billederne, der moduleres af målet, optages af kameraet, og derefter opnås 3D-informationen om målobjektet gennem billede bearbejdning og visuel model.

Almindeligt anvendte projektorer har hovedsageligt følgende typer: flydende krystalprojektion (LCD), digital lysmodulationsprojektion (DLP: såsom digitale mikrospejlenheder (DMD)), laser LED-mønster direkte projektion.

I henhold til antallet af struktureret lysprojektion kan 3D-billeddannelse af struktureret lysprojektion opdeles i enkeltprojektion 3D og multiple projektion 3D metoder.

1. Enkeltprojektionsbilleddannelse

Det strukturerede lys med enkelt projektion realiseres hovedsageligt ved rummultiplekseringskodning og frekvensmultiplekseringskodning. De almindelige kodningsformer er farvekodning, gråt indeks, geometrisk formkodning og tilfældige pletter.

På nuværende tidspunkt er det ved anvendelse af robot-hånd-øje-system, til de lejligheder, hvor 3D-målenøjagtigheden ikke er høj, såsom palletering, afpalletering, 3D-greb osv., mere populært at projicere pseudo-tilfældige pletter for at opnå 3D-information om målet. 3D-billeddannelsesprincippet er vist i følgende figur.

2. Multiple projektion billeddannelse

Multi-projektion 3D-metoden implementeres hovedsageligt ved tidsmultiplekseringskodning. De almindeligt anvendte mønsterkodningsformer er: binær kodning, multi-frekvens faseforskydningskodning τ35 og blandet kodning (såsom gråkode ti-faseforskydningskanter).

Det grundlæggende princip for frynseprojektion 3D-billeddannelse er vist i figuren nedenfor. Strukturerede lysmønstre genereres af en computer eller genereres af en speciel optisk enhed, som projiceres på overfladen af ​​det målte objekt gennem et optisk projektionssystem, og derefter bruges billedopsamlingsenheder (såsom CCD- eller CMOS-kameraer) til at indsamle deformerede strukturerede lysbilleder moduleret af objektets overflade. Billedbehandlingsalgoritmen bruges til at beregne det tilsvarende forhold mellem hver pixel i billedet og punktet på objektets omrids. Til sidst beregnes den tredimensionelle konturinformation for det målte objekt gennem systemstrukturmodellen og kalibreringsteknologien.

I praktiske applikationer bruges ofte gråkodeprojektion, sinusformet faseforskydningsfrynprojektion eller gråkode ti sinusformet faseforskydnings-3D-teknologi med blandet projektion.

3. Afbøjningsbilleddannelse

For ru overflade kan struktureret lys projiceres direkte på objektets overflade til visuel billedmåling. Til 3D-måling af glatte overflader med stor reflektans og spejlobjekter kan den strukturerede lysprojektion imidlertid ikke projiceres direkte på den målte overflade, og 3D-målingen kræver også brug af spejlafbøjningsteknologi, som vist i den følgende figur.

I dette skema projiceres frynserne ikke direkte på den målte kontur, men projiceres på en spredningsskærm, eller der bruges en LCD-skærm i stedet for spredningsskærmen til at vise frynserne direkte. Kameraet sporer lysbanen gennem den lyse overflade, opnår randinformationen moduleret af krumningsændringen af ​​den lyse overflade og løser derefter 3D-profilen.

4. Stereovision 3D-billeddannelse

Stereovision refererer bogstaveligt til opfattelsen af ​​tredimensionel struktur med et eller begge øjne og refererer generelt til rekonstruktionen af ​​3D-struktur eller dybdeinformation af målobjektet ved at opnå to eller flere billeder fra forskellige synspunkter.

Dybdeperception visuelle signaler kan opdeles i okularcues og Binocularcues (kikkertparallakse). På nuværende tidspunkt kan stereoskopisk 3D opnås gennem monokulært syn, binokulært syn, multiokulært syn, lysfelts 3D-billeddannelse (elektronisk sammensat øje eller array-kamera).

1. Monokulær visuel billeddannelse

Monokulære dybdeopfattelsessignaler inkluderer normalt perspektiv, brændviddeforskel, multi-vision billeddannelse, dækning, skygge, bevægelsesparallakse osv. I robotsyn kan også bruge spejl 1 og andre former fra X10 og andre metoder til at opnå.

2. Kikkertsynsbilleddannelse

De visuelle spor af binokulær dybdeopfattelse er: konvergensposition af øjne og binokulær parallakse. I maskinsyn bruges to kameraer til at opnå to visningsbilleder fra to synspunkter til den samme målscene, og derefter beregnes parallaksen af ​​det samme punkt i de to visningsbilleder for at opnå 3D-dybdeinformationen for målscenen. Den typiske binokulære stereovision-beregningsproces består af følgende fire trin: billedforvrængningskorrektion, stereobilledparkorrektion, billedregistrering og trianguleringsreprojektion parallaksekortberegning