Краткое описание технологии трехмерной визуализации машинного зрения (i)

Обзор технологии трехмерного изображения

Трехмерная визуализация - это добавление глубокой информации на основе традиционных двумерных изображений, которые, в свою очередь, могут выполнять более точные задачи позиционирования, идентификации и обнаружения и в настоящее время широко используются в потребительской электронике, медицине и промышленности.

В зависимости от способа получения данных его можно разделить на контактные и бесконтактные. Контактный объект может быть разделен на два типа: неразрушающий и поврежденный в зависимости от наличия или отсутствия повреждения. В зависимости от того, как используется сигнал, его можно разделить на передачу и отражение. Отражение можно далее разделить на оптические и неоптические категории. Оптическая формула может быть разделена на два основных типа: активный и пассивный в зависимости от необходимости добавления искусственного источника света. Пассивное визуальное изображение зависит только от информации о световом излучении, получаемой камерой из целевой сцены, которая измеряется значением серого пикселя двумерного изображения.

Пассивное зрение часто используется в определенных условиях для трехмерных ситуаций визуализации, таких как интерьер, целевая сцена с небольшим динамическим диапазоном излучения и без затенения, поверхность сцены не гладкая, а текстура или геометрические характеристики ясны, легко найти точки совпадения через стереоскопическое соответствие. Активное стереозрение - это использование оптической модуляции (например, кодирующего структурного света, лазерной модуляции и т. Д.) для облучения целевой сцены, кодирования точек на поверхности целевой сцены, а затем декодирования полученных изображений сцены, чтобы надежно найти точки совпадения между изображениями, а затем решить трехмерную информацию о сцене с помощью триангуляции. Преимущество активного стереоскопического зрения заключается в сильной антиинтерференционной стойкости, невысоких требованиях к окружающей среде (например, устранение световых помех окружающей среды с помощью полосовой фильтрации), высокой точности, повторяемости и надежности трехмерных измерений, недостатком является то, что для сложных сцен легко возникают проблемы с затенением. В соответствии с принципом визуализации можно дополнительно подразделить, как показано на рисунке ниже:

Контактная форма из - за необходимости перемещения зонда или зонда с поверхностью испытуемого ограничена по размеру и может легко царапать испытуемый предмет с меньшей точностью. Трехкоординатная измерительная машина (CMM) - это трехмерная информация об объекте, измеренная с помощью зонда и дискретной точки на поверхности объекта. В настоящее время трехмерная визуализация в основном бесконтактна с использованием оптических принципов, более безопасна, эффективна и точна. Интуитивным примером является то, что в прошлом дорожные строители использовали металлические стержни, похожие на линейные, для измерения глубины при ремонте выбоин, и не было экономически эффективного решения, но применение трехмерной оптической визуализации изменило этот процесс.

В этой статье основное внимание уделяется основным трехмерным технологиям визуализации в области машинного зрения, включая время полета, структурный свет, лазерный треугольник, бинокулярное стереоскопическое зрение и технологию визуализации в оптическом поле, и, наконец, будет добавлено введение миллиметрового радиолокатора и лазерного радара, а также различных трехмерных схем визуализации для применения сцены и уровня точности.

метод времени полёта

Время полета (Time of Flight, ToF), излучающее инфракрасные световые сигналы с помощью светодиода (Light Emitting Diode, LED) или лазерного диода (Laser Diode, LD), измеряет расстояние между датчиком и объектом в зависимости от разницы во времени между передачей сигнала и возвращением. Камера ToF активно освещает объект, используя модулированные источники света, такие как лазеры, а затем захватывает отраженный свет датчиками, чувствительными к длине волны лазера, чтобы измерить расстояние. Датчик измеряет временную задержку ∆t между светом, излучаемым волосами камеры, и получением света от камеры. Задержка времени пропорциональна удвоенному расстоянию между камерой и объектом (туда и обратно); Таким образом, расстояние может быть оценено как глубина = c дельта t / 2, где c обозначает скорость света. Этот процесс аналогичен ультразвуку, который измеряет расстояние звуком, а не светом, а радар измеряет расстояние радиоволнами. По сравнению с ультразвуком камера времени полета (ToF) способна быстрее генерировать карты глубины высокого разрешения с высокой (глубокой) точностью (пространственное разрешение сопоставимо с камерой RGB) и может охватывать более широкий диапазон - в конце концов, скорость света намного больше скорости звука. В то время как радар обнаруживает больше расстояний, точность и разрешение времени полета (ToF) лучше, чем Yi.

В настоящее время существует множество различных методов измерения ∆T, два из которых наиболее часто используются: метод непрерывных волн (CW) и импульсный метод. Метод непрерывных волн (CW), иногда называемый непрямым временем полета (iToF), измеряет фазовые сдвиги между посылаемыми и принимаемыми световыми импульсами. Импульсный метод, который иногда называют прямым временем полета (dToF), измеряет время прохождения между излучаемыми и полученными световыми импульсами. Этот метод в основном похож на принцип 3D - лазерного датчика, за исключением того, что 3D - лазерный датчик сканируется по точкам, а камера ToF получает информацию о глубине всего изображения одновременно. Стоит отметить, что подавляющее большинство систем ToF с непрерывными волнами, которые уже внедрены и используются на рынке, используют CMOS - датчики, в то время как импульсные ToF - системы используют не CMOS - датчики (в частности, CCD). Одно из преимуществ использования датчиков изображений CW iToF: они производятся в больших количествах на основе традиционной полупроводниковой инфраструктуры и позволяют получать короткие изображения с высокой плотностью пикселей по доступным ценам. Выбор iToF или dToF Deep Imaging System зависит от потребностей приложения и среды использования. iToF предназначен для получения изображений малой дальности (0,5 м, 5 м и 10 м), требующих высокого пространственного разрешения. dToF лучше подходит для дистанционного изображения, которое не требует пространственного разрешения. Искусственный интеллект (ИИ) и дизайн оптических систем делают выбор между технологией iToF и технологией dToF менее четким. В интеллектуальных периферийных системах, способных воспринимать окружающую среду, датчики iToF и dToF интегрированы с RGB - изображениями и инерционными датчиками, которые повышают производительность и устраняют ложные тени с помощью ИИ.

Подобно тому, как мышь изменила компьютерное взаимодействие, а технология сенсорного экрана способствовала популяризации смартфонов и планшетов, технология времени полета (ToF) помогает достичь бесконтактного 3D - взаимодействия. В продвижении развития Индустрии 4.0 технология времени полета (ToF) имеет аналогичную полезность. От промышленного машинного зрения для контроля качества до объемного обнаружения для управления активами до навигационных технологий, которые продвигают автономное (оборудование) производство, обрабатывающая промышленность начала внедрять эти сенсорные технологии и постепенно переходит к системам с высоким разрешением, подходящим для суровых промышленных условий. В настоящее время мы окружены бесконечным потоком приложений, использующих технологию Flight Time (ToF), от безопасности кабины автомобиля до домашнего спортивного оборудования до игр и реалистичной 3D - удаленной совместной работы. Даже обнаружение запасов на складах, барабанах и больших емкостях для хранения широко используется. Одним из будущих применений технологии Flight Time (ToF) является использование в автономных транспортных средствах в качестве дополнения к радарам, LIDAR и другим датчикам глубины.

В настоящее время основными потребительскими камерами ToF Deep являются Kinect 2 от Microsoft, SR4000 от MESA и ToF Deep Camera от PMD Tech от Google Project Tango. Эти продукты получили больше применений в распознавании тела, распознавании жестов, моделировании окружающей среды, наиболее типичным из которых является Microsoft Kinect 2.

Изображения ToF могут использоваться для сбора 3D - изображений с большим полем зрения, на большие расстояния, с низкой точностью и низкой стоимостью, которые характеризуются: быстрой скоростью обнаружения, большим полем зрения, большим расстоянием работы, дешевой ценой, но низкой точностью, уязвимой для помех света окружающей среды. Для гладких объектов (отражающих свет в разных направлениях) или объектов с углами (с многократными отражениями) точность изображения времени полета может быть затронута.

Подобно обычной камере, передняя часть чипа ToF - камеры требует объектива, который собирает свет. Однако в отличие от обычных оптических объективов здесь требуется полосовой фильтр для обеспечения доступа только к свету с той же длиной волны что и к источнику облученного света.

Преимущества ToF: время полета, благодаря активному источнику света, облучающему измеренные объекты, по - прежнему нормально работает на Ji - конце без экологического освещения. По сравнению со стереокамерой или системой триангуляции, камера ToF имеет небольшой размер и легкий вес, почти такой же, как и обычная камера, и идеально подходит для некоторых случаев, когда требуется легкая, малообъемная камера. Принцип алгоритма времени полета относительно прост, поэтому камера ToF может быстро вычислять информацию о глубине в реальном времени, достигая от нескольких десятков до 100 fps. Биокулярные стереокамеры требуют сложных алгоритмов корреляции, которые обрабатываются медленнее. Расчеты глубины ToF не зависят от серости и характеристик поверхности объекта и могут быть очень точными для трехмерного обнаружения. В то время как бинокулярная стереокамера требует, чтобы цель имела хорошие характеристики изменения, иначе она не сможет вычислить глубину. Поскольку скорость света очень быстра, камера ToF требует сложной конструкции для обнаружения разницы во времени сигнала туда и обратно, изготовление относительно сложно, точность вычисления глубины камеры ToF не меняется с расстоянием и в основном стабилизируется на уровне cm во всем диапазоне измерений, что имеет большое значение для некоторых приложений с широким диапазоном движений. По сравнению со структурной фотокамерой, ToF - камера имеет более низкую точность в 10 - метровом диапазоне и более высокую точность на расстоянии 10 метров. Значительным преимуществом камеры ToF является то, что она работает на более широких расстояниях и может покрывать диапазон от 0,5 до 10 метров, а некоторые сцены с низкой точностью даже достигают нескольких сотен метров. В этой сцене обычные осветительные блоки используют инфракрасные светодиоды, а не лазеры, не нанося вреда глазам. Структурные фотокамеры имеют диапазон изображения от 2 до 3 метров, но с большей точностью. Таким образом, хотя камера ToF может работать на более коротких расстояниях, это не очень хороший вариант, когда требуется определенная точность.

Камера глубины TOF требует более высокой точности измерения времени, и излучающие импульсы должны быть очень короткими (пикосекундный уровень), что затрудняет достижение точности миллиметрового уровня даже с использованием самых точных электронных компонентов. Таким образом, в области ближних измерений, особенно в диапазоне 1 м, точность камеры глубины TOF по - прежнему имеет большой разрыв по сравнению с другими камерами глубины, что ограничивает ее применение в области близкой высокой точности. Камера ToF имеет определенные преимущества в дистанционном измерении расстояния, но она относительно дорогая и не имеет информации о цвете.

Точность камеры ToF в значительной степени зависит от расстояния, и, как правило, считается, что ее можно оценить с расстояния изображения 1%, поэтому, если объект находится на расстоянии 5 метров, камера ToF может достичь точности 5 см Точность бинокулярной стереокамеры составляет около 5 - 10% расстояния изображения, а структурная фотокамера является самой высокой точностью и может достигать 1 мм.

Расширение: относится ли оптическая РЛС к типу времени полета?

Оптический радар (Light Detection and Ranging, LiDAR), также известный как лазерный сканер времени полета (ToF Laser Scanner), иногда называемый лазерным радаром (Laser Radars), измеряет расстояние от объекта в зависимости от времени полета, излучая лазерные импульсы в окружающую среду под несколькими углами. Кроме того, оптический радар измеряет интенсивность отраженного света, чтобы отразить больше деталей измеренного объекта на батиметрической карте. Кроме того, 3D ToF можно рассматривать как технологию LiDAR без сканера.

БольнойVisionary-T мини3D - камера

3D - камера SICK Visionary - T Mini с технологией 3D Flight Time (TOF) обеспечивает компактный корпус и отличное качество данных для автоматизации робототехники, транспортных средств и логистики без точных и надежных данных 2D и 3D - измерения расстояния. Кроме того, даже при небольшом пространстве для установки визуальная система должна быть легко интегрирована в соответствующий дизайн машины. Серия 3D - камер SICK Visionary - T Mini сочетает в себе высокую производительность с компактным дизайном и высокой рентабельностью. Кроме того, 3D - визуальные датчики могут предоставлять подробные двумерные и трехмерные карты точек рассеяния с высокой плотностью пикселей для анализа данных. Автоматический режим работы упрощает интеграцию машин и обеспечивает более простую работу.

О мудрости Хао

Hao Ai Intelligent является профессиональным агентом SICK в области 3D - зрения в Китае.

HaoAi Intelligent фокусируется на предоставлении общего решения для 3D - машинного зрения, чтобы помочь улучшить уровень интеллектуального производства в Китае и модернизацию промышленности!

В настоящее время у нас есть группа высококвалифицированных инженеров по 3D - машинному зрению и инженеров по разработке алгоритмов, обладающих полной способностью оценивать проекты машинного зрения и базовыми возможностями разработки алгоритмов. Наше комплексное решение 3D Machine Vision успешно реализовано во многих областях, таких как силовые батареи, автомобильная промышленность, потребительская электроника, белая бытовая техника, проверка рельсовых путей и т. Д., Накоплен богатый опыт разработки приложений и программного обеспечения для проектов 3D Machine Vision!

Основные продукты HaoAi Intelligent: 3D машинное зрение в целом решение, включая конструкционную оптическую 3D - камеру, лазерную камеру сканирования, 3D - датчик лазерного контура SICK, камеру TOF, высокоточную 3D - измерительную систему, систему визуального наведения и позиционирования, неупорядоченную систему захвата и т. Д. Для достижения плоскости, разности высот, измерения положения, обнаружения дефектов выпуклости, обнаружения клеевых дорог, полировки роботов визуального наведения, сборку роботизированных деталей визуального наведения, беспорядочный захват деталей и другие функции.