3D машинно зрение

АвтоматизацияСп. Инженеринг ревю - брой 4/2017 • 23.06.2017

3D машинно зрение
3D машинно зрение
3D машинно зрение

Cред най-актуалните тенденции в сферата на машинното зрение са системите за 3D автоматизирана визуална инспекция. Тези технологии разполагат с усъвършенствани алгоритми и софтуерни инструменти, които могат да измерват и обработват визуална информация в три измерения.

Масово използваните системи за машинно зрение в индустриалното производство са двуизмерни. Те извличат визуални данни от заснетите 2D изображения, които обозначават точната позиция на даден обект в двуизмерна координатна система, например местоположението на даден продукт върху лентовия транспортьор в производствената линия.

Тази технология е достатъчно ефективна за приложения, в които типът и размерите на инспектираните изделия са известни, както и когато височината на обектите е фиксирана.

В сценарий, при който по един и същи конвейер се транспортират изделия с различна височина, които биват инспектирани от камерата за визуална инспекция, е възможно системата за машинно зрение да се затрудни и да допусне грешка. 3D системите, от друга страна, могат да екстраполират позицията на даден пиксел, не само по X и Y осите, но и по Z.

Възможности на технологията
3D машинното зрение може да бъде базирано на широк набор от техники, включително: стерео зрение, т. нар. точкови облаци, 3D триангулация и др. Стерео машинното зрение функционира на същия принцип като човешкия мозък, обработващ визуалната информация от двете очи. Разликата в изображенията, породена от различното местоположение на очите, се използва от мозъка при преценяването на разстояния и дава перспектива на зрението ни.

Триизмерното стерео машинно зрение използва две камери по сходен начин. Софтуерът разчита и двете изображения и може да сравни разликите между тях. Ако камерите са калибрирани така, че относителната позиция на всяка камера да е известна, то вертикалното положение (по оста Z) на даден обект може да бъде измерено.

По отношение на продължителността на изчислителните операции, 3D данните отнемат повече време за обработка от измерването на координати по осите X и Y. Но с мощните многоядрени процесори, които се интегрират във все повече индустриални компютърно-базирани системи, 3D машинното зрение вече не е ограничено от времето за обработка.

Това означава, че дори т. нар. real time системи (извършващи инспекция в реално време) могат да бъдат оборудвани с технология за триизмерна визуална инспекция.

Пасивни и активни техники за осветяване
Сред практическите ползи от технологията за 3D машинно зрение е възможността за внедряването й в системи за триизмерно направляване на роботи (3D robot guidance systems). Използвайки първоначалните данни за известни размери на даден продукт върху конвейерна лента, системата за 3D насочване на робота ще може да разпознава и варианти на продукта, дори когато типът и размерът им не са известни.

Използвайки високотехнологична система за триизмерна автоматизирана визуална инспекция, роботът може да получава не само данни по осите X, Y и Z, но и съответните ъгли на завъртане, наклон и рискаене на всеки пиксел в комбинираното изображение.

В приложения като роботизирано изваждане на произволни предмети от контейнер (robotic bin picking), проследяване на обекти и профилиране на продукти, са необходими усъвършенствани системи за машинно зрение, които разполагат с възможности за генериране на триизмерни визуални данни. За да се постигне тази функционалност, могат да бъдат прилагани както т. нар. пасивни, така и активни техники за осветяване на обекта.

Пасивните 3D технологии, например системите със стерео камери, обикновено се нуждаят само от обикновено осветление. Активните технологии, включително системите със структурирана лазерна светлина (structured laser light) и базираните на проектирани светлинни модели системи (projected pattern-based lighting systems), използват външни светлоизточници за осветяване на инспектирания обект.

Колкото по-малко отчетливи са характеристиките на даден обект, толкова по-неточна е системата за машинно зрение при използването на пасивно осветяване. Активното осветяване също може да стане причина за неточности в измерванията, особено когато е необходимо да се заснемат ръбове на обекти с неравна повърхност и несъвършена текстура.

Системи с пасивно осветяване и стерео камери
Сред най-популярните пасивни 3D технологии за машинно зрение са системите, базирани на техники за стерео инспекция. При тях две камери се използват за заснемане на две отделни изображения на дадена сцена или обект от два различни ъгъла. Местоположението и оптичните параметри на всяка камера е необходимо да бъдат калибрирани така, че да е възможно прилагането на триангулационни методи за определяне на съответствието между пикселите във всяко изображение.

Така относителната дълбочина на дадени точки в сцената може да бъде изчислена на база на следната зависимост: дълбочината на всяка точка е обратнопропорционална на разликата в разстоянието между съответните точки и камерите, които ги заснемат. Това отношение може да се използва за генериране на карта на несъответствията между двете изображения, която съдържа 3D визуална информация.

Тъй като за целта е необходимо изключително точно калибриране на позиционните и оптичните параметри на две отделни камери, в много приложения се използват двойки камери, които са предварително калибрирани. Стойностите на несъответствията, получени от двойките стерео изображения, са директно пропорционални на разстоянието, на което се намират камерите една от друга, и обратнопропорционални на разстоянието от обекта до двете камери.

Поради това при интегрираните стерео системи не може да се постигне подобряване на точността при регистриране на несъответствията чрез раздалечаване на камерите една от друга, а само чрез придвижване на системата от камери по-близо към инспектирания обект.

Системи със стерео движение на една камера
Макар в повечето роботизирани приложения за машинно зрение да се използват именно калибрирани системи с две камери, е възможно постигането на сходни резултати и посредством технологии с една камера. При т. нар. motion stereo системи една-единствена камера се монтира на робот и заснема изображения от две или повече точки в пространството.

Така базовата линия между тези точки може да бъде значително по-голяма в сравнение със системите с две камери и точността при регистриране на несъответствия да бъде повишена. Тези системи обаче изискват всякакви грешки при позиционирането на камерите да бъдат сведени до минимум, тъй като това може да повлияе негативно на точността на получените 3D данни.

Преди няколко години бе демонстрирано как може да се получи 3D информация чрез използването на една-единствена камера, монтирана на 7-осен робот. Компютърна система бе използвана за намиране на случайно разхвърляни части, които да бъдат взети и поставени на точното им местоположение в преса или металообработваща машина.

Тази техника се използва от много производители, като в софтуерните пакети към индустриалните системи за 3D машинно зрение все по-често се интегрират функции за самообучение, които автоматично придвижват робота и камерата през множество различни позиции за заснемане, докато измерва характеристиките на инспектираните обекти.

Данните могат да се използват, за да се осигури информация за местоположението и ориентацията, без да е необходимо да се разучават и използват предварително заредени CAD модели за данни на изделието.

Такива технологии за стерео движение могат да бъдат прилагани при мобилните роботи. За изчисляване местоположението на целевия обект се използва мобилен робот, оборудван с една камера. Лесният за използване интерфейс контролира действията на робота и визуализира записаната информация.

Системи за разпознаване на форма чрез анализ на светлосенки
Докато повечето пасивни системи за триизмерни изображения изискват само регулярно осветление, някои по-сложни методи, като технологиите за разпознаване на формата на обекта чрез анализ на светлосенките, налагат използването на контролирано осветление за извличане на 3D информация от 2D изображения.

За разлика от компютърната графика, където повърхностната геометрия на триизмерните изображения на многоъгълници се възпроизвежда чрез компютърно генерирано осветление и симулирана повърхностна отразяваща способност, техниката за разпознаване на форма чрез анализ на светлосенките има за цел да генерира повърхностната геометрия на даден обект въз основа на 2D карта, изобразяваща интензитета на отразената светлина в изображението.

Системи от камера и източник на структурирана светлина
При някои активни системи за триизмерно машинно зрение се използва собствен източник на осветяване, обикновено лазер. Този подход може да бъде особено полезен, когато трябва да бъдат инспектирани гладки безцветни обекти. Лазерният източник, използван в такива системи, често използва структурирана лазерна светлина или двуизмерна лазерна мрежа.

За генерирането на 3D изображение посредством структурирана светлина се използва камера за запис на проектирания кохерентен лазерен лъч, отразен от повърхността на обекта. Тъй като геометрията на позициите на камерата и лазера е известна, координатите на проектирания лазерен лъч могат да бъдат изчислени чрез триангулация.

Тъй като системата от камера и лазер се движи през зрителното поле на обекта, координатите X, Y и Z се измерват и използват за генериране на точков облак, който представлява външната повърхност на обекта. Този точков облак може да се проектира върху равнина, за да се получи дълбочинна 2D карта, в която стойностите на интензитета на светлината са заместени с данни за дълбочината на изображението.

Подобно на пасивните стерео-базирани системи, лазерът и камерата, използвани в структурните осветителни системи, могат да бъдат конфигурирани отделно или закупени като предварително калибрирана система. На пазара се предлагат унифицирани лазери, които да генерират необходимата структурирана лазерна светлина, достъпни във варианти с различни дължини на вълните и ширини на лазерния лъч.

Отразената лазерна светлина се заснема чрез CCD или CMOS-базирана камера. Въпреки че всяка такава камера може да се използва за заснемане на отразената лазерна светлина, често е необходимо да се избере модел с висок динамичен диапазон, тъй като светлината понякога варира значително по отношение на контраста. Поради тази причина в такива приложения често се използват камери с динамичен обхват.

В системи с една камера и един източник на структурирана лазерна светлина, ако някоя точка от обекта е затъмнена по отношение на светлоизточника или на камерата, ще бъде изобразен непълен профил на обекта.

В такива случаи е препоръчително да се използват множество източници на светлина и камери.
За да поддържат подобна функционалност, софтуерните пакети, използвани в съвременните системи за 3D машинно зрение, позволяват на разработчиците да конфигурират заснемането на 3D изображения чрез две лазерни линии и една камера.

В такава конфигурация софтуерът калибрира системата, генерира точков облак от всяка лазерна линия и обединява данните от изображението в едно комбинирано изображение.

Системи за визуализиране на текстура
Подобно на системите за 3D машинно зрение, базирани на структурирана светлина, системите за визуализация на текстура са подходящи за приложения, в които се инспектират негладки обекти с различни повърхностни особености. При инспекция върху обекта се проектират шаблони посредством лазерен или LED-базиран проектор, а отразената светлина се заснема от система със стерео камери.

Възможна е инспекцията на обекти с текстура, наподобяваща или изобразяваща кръстчета или хиксчета, точки, кръгове, квадрати, различни симетрични точкови матрици, множествени линии и матрици със случайни точки. При избора на генератор на шаблони се подбира този, който осигурява най-добро съответствие между характеристиките на двете стерео изображения, заснети от камерите.

Като вариация на техниката за осветяване със структурирана светлина се използват цифрови системи за вълнообразно изкривяване на вертикалните елементи на изображение (digital fringe projection systems). Te прожектират серия от фазово изместени синусоидални шарки върху обекта – задача, често изпълнявана посредством проектор за цифрова светлина (DLP).

Изкривените отразени шарки на проектирания модел, които са с различни фазови характеристики, се заснемат от камера. Алгоритъм за възстановяване и разгъване на фазата може да бъде използван за генериране на абсолютна фазова карта на обекта, която позволява конвертиране в триизмерен точков облак, представляващ повърхностната структура на обекта.

TOF (time of flight) техники
Т. нар. TOF (time of flight) техники са алтернативна на стерео машинното зрение технология, която може да бъде използвана за генериране на дълбочинни 3D изображения на обекти. TOF системите осветяват обектите с модулиран източник на светлина и след това измерват фазовото отместване между осветяването и отражението, за да определят разстоянието. Най-често обектът се осветява от светлоизточник с импулсен режим или с непрекъсната вълна.

След това се използват различни методи за определяне на фазовото отместване. При системите, базирани на импулсна техника, светлинните импулси, отразени от обектите, се улавят от CMOS с резолюция 1280 x 1024, а информацията за отстоянията се изчислява. Едновременно с това се заснема изображение на сцената, което позволява на системата да получи информация за разстоянието между точките и интензитета на отразената светлина.

Изборът на система за 3D машинно зрение зависи от изделията, които трябва да бъдат инспектирани. Лазерните TOF-базирани системи се използват най-често за локализиране на отдалечени обекти, докато системите за стерео заснемане на изображения могат да бъдат по-подходящи за изобразяване на обекти с висок контраст.

3D машинно зрение в производството
Много производствени приложения, включващи машинна обработка на детайли, полиране, монтаж и др., изискват дефинирането на типа и размера на обектите, с които се манипулира. При роботизираните системи за изваждане на детайли за машинна обработка от контейнери обикновено е необходима една заготовка на производствен цикъл.

Типът и размерът на частта са известни (обикновено от CAD модела). Макар в такива приложения типично да не е необходима бърза инспекция на детайлите, обикновено е нужна висока прецизност при определянето на пространствената ориентация на детайла, за да е възможно правилното му поставяне в машината.

В асемблиращите линии, където компонентите са добре дефинирани и подлежат на стриктен контрол, изискванията към системата за машинно зрение, чрез която се осъществява автоматизираната визуална инспекция, са свързани както с голяма прецизност, така и с висока скорост. За такива приложения 3D системите за машинно зрение са отлично решение.

В складовете и дистрибуционните центрове размерите на обектите, които се изваждат от палета (депалетизират) или се разтоварват от транспортни превозни средства, може да не са напълно известни. Системата за 3D машинно зрение трябва да е в състояние да предвиди целия диапазон от възможни размери на обектите, които ще се инспектират.

В много други сфери на производството типът и размерите на обектите (продукти, компоненти, детайли), с които се борави в едни и същи системи и приложения, се различават значително. Технологията за машинна инспекция в такива случаи трябва да може се справи с голямо разнообразие от форми и размери и понякога с огромен брой обекти.

В тези приложения по-често е необходима висока скорост на инспекция, за сметка на по-малка прецизност. Дали обектът се движи (обикновено на конвейерна лента) или е неподвижен е друг важен фактор при избора на система за машинно виждане. В зависимост от потребностите може да се заложи на персонализирано решение, адаптирано към параметрите на приложението или да се потърси по-универсална система, предлагаща повече гъвкавост.

ЕКСКЛУЗИВНО

Top