Системы технического зрения в мехатронике и робототехнике

1.Система технического зрения в машиностроении и в приборостроение

Системами технического зрения (СТЗ) называют сенсорные устройства, обеспечивающие получение изображений рабочих сцен и объектов, их преобразование, обработку и интерпретацию с помощью ЭВМ, а также передачу результатов управляющему устройству робота. Среди различных систем очувствления роботов СТЗ обладают наибольшей информативной емкостью, обеспечивая по некоторым оценкам от 80 до 90% всей необходимой для успешного функционирования робота информации.

Техническое, или машинное, зрение реализует сложный процесс выделения, идентификации и преобразования видеоинформации, который содержит шесть основных этапов: 1) получение (восприятие) информации; 2) предварительная обработка; 3) сегментация; 4) описание; 5) распознавание и 6) интерпретация.

После восприятия информации в виде визуального изображения производится ее предварительная обработка для снижения посторонних помех, улучшения изображений отдельных элементов обьекта или сцены, а затем она подвергается сегментации, заключающейся в подразделении сцены на составляющие части или элементы для выделения на изображении интересующих объектов. Последующее описание массива информации представляет собой определение характерных параметров, необходимых для выделения требуемых объектов или элементов сцены и дальнейшего их распознавания посредством идентификации в соответствии с программным набором информации. И, наконец, посредством интерпретации окончательно устанавливается принадлежность "рассматриваемого" объекта к группе распознаваемых, установление его зрительного образа.

Визуальная информация в системах технического зрения воспринимается и преобразуется в электрические сигналы с помощью опто- электронных преобразователей, или видеодатчиков СТЗ, которые являются первичными преобразователями излучения в электрические сигналы и состоят из приемной оптической камеры, чувствительного элемента, устройств сканирования, считывания и усиления.

2.Техническая реализация систем технического зрения

Визуальная информация преобразуется в электрические сигналы с помощью видеодатчиков. После пространственной дискретизации и квантования по амплитуде эти сигналы дают цифровое изображение.

Основными устройствами, используемыми в техническом зрении роботов, являются телевизионные камеры на основе видиконов или твердотельными приборами с зарядовой связью (ПЗС).

Видикон представляет собой цилиндрическую трубку, содержащую с одного конца электронную пушку, а с другого – экран и мишень.

Электронный луч фокусируется и отклоняется с помощью напряжения, прикладываемого к катушкам. Отклоняющий контур обеспечивает сканирование луча по внутренней поверхности мишени для «считывания» изображения.

Частота сканирования, принятая в системах технического зрения, 30 раз в секунду. Полный объем сканирования (кадр) состоит из 525 линий, 480 из которых содержат информацию об изображении. Для повышения четкости изображения сканируют полукадры (262,5 линии) с удвоенной скоростью (60 раз в секунду).

Устройства ПЗС (прибор с зарядовой связью) подразделяются на два типа:

датчики линейного сканирования;

датчики с плоскостной структурой.

Основной частью ПЗС-датчиков является ряд кремниевых чувствительных элементов, называемых фотоячейками. Фотоны от отображаемого объекта проходят через входную прозрачную поликристаллическую кремниевую структуру и абсорбируются в кристаллах кремния, образуя пары «электрон-дырка». Полученные фотоэлектроны собираются на фотоячейках, при этом величина заряда на каждой фотоячейке пропорциональна соответствующей интенсивности светового потока. Типичный датчик линейного сканирования (рис. 24.2) состоит из ряда фоточувствительных элементов, из двух шин, используемых для передачи содержимого с фоточувствительных элементов в транспортные регистры, а также из выходной шины, служащей для передачи содержимого из транспортных регистров на усилитель. На выходе усилителя формируется сигнал напряжения, величина которого пропорциональна содержимому фотоячеек.

ПЗС-датчики с плоскостной структурой аналогичны датчикам линейного сканирования с тем отличием, что в них фотоячейки расположены в форме матрицы, а между рядами фотоячеек имеется комбинация переходных транспортных регистров (рис. 24.3).

Датчики линейного сканирования имеют от 256 до 2048 фотоэлементов. Датчики с плоскостной структурой имеют от 32×32 до 1024×1024 элемента и больше.

3. Стандарты и протоколы передачи видеоданных. Сжатие видеоданных.

С целью проведения аудио- и видеоконференций по телекоммуникационным сетям ITU-T разработала серию рекомендаций H.32x. Эта серия включает в себя ряд стандартов по обеспечению проведения видеоконференций.

1. H.320 — по сетям ISDN, по обычным проводным телефонным линиям, посредством модема.

2. H.321 — по сетям Ш-ЦСИО и ATM;для работы в сетях с сильно различающейся скоростью передачи данных.

3. H.322 — по сетям с коммутацией пакетов с гарантированной пропускной способностью;

4. H.323 — протокол пакетной передачи данных , позволяющий проводить двусторонние «точка-точка» и многосторонние «точка-много точек» связи.

Компоненты H. 323:

Терминал.

Шлюз.

Устройство управления доступом (Gatekeeper).

Блок управления многоточечными конференциями (MCU, MultipointConferenceUnit), который часто называют видеосервером.

Стандарт H. 323 состоит из четырех основных протоколов:

Н.225.0 – передача сигналов, используемых для установки телефонного звонка

Н.245- передача сигналов управления и обратной связи, поступающих во время звонка

RTP-передача данных в реальном масштабе времени(данные и синхронизация)

Т.120 – обмен данными,связанными со звонком

Для передачи потокового видео используются еще ряд сетевых протоколов:

RTSP - Протокол обеспечивает пересылку информации в виде пакетов между сервером и клиентом. При этом получатель может одновременно воспроизводить первый пакет данных, декодировать второй и получать третий.

IGMP используется для присоединения к сети или выхода из группы рассылки

RSVP обеспечивает резервирование необходимой ширины полосы в канале.

Сжатие изображений

Camera Link — последовательный протокол передачи данных, разработанный для задач компьютерного зрения, чтобы стандартизировать различные элементы промышленных и научных видеосистем, таких как камеры, кабели, программное обеспечение. Camera Linkсоздан на основе технологии Channel Link

GigE Vision — протокол передачи данных, разработанный ассоциацией AIA для стандартизации методов передачи изображения и управления промышленных видеокамер с сетевым интерфейсом Gigabit Ethernet. GigE Vision определяет правила нахождения видеокамеры в сети, правила передачи команд и правила передачи изображений Видеокамеры стандарта GigE передают видеоданные и управляются по протоколу UDP или TCP через Gigabit Ethernet. Правила передачи видеоданных и команд управления, в отличие от GigE Vision определяются производителем камеры.

SDI - Цифровой последовательный интерфейс — цифровой интерфейс передачи видеоданных, стандартизованный SMPTE (Общество инженеров кино и телевидения) HD-SDI для телевидения высокой четкости, предусматривает передачу видео данных со скоростью 1,485 Гбит/с;

Сжатие видео— уменьшение количества данных, используемых для представления видеопотока. Сжатие видео позволяет эффективно уменьшать поток, необходимый для передачи видео по каналам радиовещания, уменьшать пространство, необходимое для хранения данных на носителе. Недостатки: при использования сжатия с потерями появляются характерные, иногда отчётливо видные артефакты — например, блочность (разбиение изображения на блоки 8x8 пикселей), замыливание (потеря мелких деталей изображения) и т. д. Существуют и способы сжатия видео без потерь, но на сегодняшний день они уменьшают данные недостаточно.

Видео — это по существу трёхмерный массив цветных пикселей. Два измерения означают вертикальное и горизонтальное разрешение кадра, а третье измерение — это время. Кадр — это массив всех пикселей, видимых камерой в данный момент времени, или просто изображение.

Сжатие было бы невозможно, если бы каждый кадр был уникален и расположение пикселов было полностью случайным. Поэтому можно сжимать, во-первых, саму картинку. Во-вторых, можно сжимать похожие соседние кадры. В конечном счёте, алгоритмы сжатия картинок и видео схожи, если рассматривать видео как трёхмерное изображение со временем как третьей координатой.

Сжатие без потерь

Это означает, что при декомпрессии результат будет в точности (бит к биту) соответствовать оригиналу. Однако при сжатии без потерь невозможно достигнуть высоких коэффициентов сжатия на реальном (не искусственном) видео. По этой причине практически всё широко используемое видео является сжатым с потерями.

Сжатие видео и технология компенсации движения

Это одна из наиболее мощных технологий, позволяющая повысить степень сжатия. При любой современной системе сжатия видео последующие кадры в потоке используют похожесть областей в предыдущих кадрах для увеличения степени сжатия. Однако, из-за движения каких-либо объектов в кадре (или самой камеры) использование подобия соседних кадров было неполным. Технология компенсации движения позволяет находить похожие участки, даже если они сдвинуты относительно предыдущего кадра.

4.Физические линии связи для передачи видеоданных

По проводным линиям связи могут быть организованы аналоговые и цифровые каналы передачи данных. Кабельные линии связи имеют довольно сложную структуру. Кабель состоит из проводников, заключенных в несколько слоев изоляции. В компьютерных сетях используются три типа кабелей.

Витая пара — кабель связи, который представляет собой витую пару медных проводов (или несколько пар проводов), заключенных в экранированную оболочку. Пары проводов скручиваются между собой с целью уменьшения наводок. Витая пара является достаточно помехоустойчивой.

Существует два типа этого кабеля: неэкранированная витая пара UTP и экранированная витая пара STP. Кабель используется для передачи данных на скорости 10 Мбит/с и 100 Мбит/с. Витая пара обычно используется для связи на расстояние не более нескольких сот метров.

Коаксиальный кабель - это кабель с центральным медным проводом, который окружен слоем изолирующего материала для того, чтобы отделить центральный проводник от внешнего проводящего экрана. Внешний проводящий экран кабеля покрывается изоляцией. Коаксиальный кабель применяется, например, в локальных сетях с архитектурой Ethernet, построенных по топологии типа “общая шина”.

Оптоволоконный кабель– это оптическое волокно на кремниевой или пластмассовой основе, заключенное в материал с низким коэффициентом преломления света, который закрыт внешней оболочкой. Оптическое волокно передает сигналы только в одном направлении, поэтому кабель состоит из двух волокон. На передающем конце оптоволоконного кабеля требуется преобразование электрического сигнала в световой, а на приемном конце обратное преобразование.

Беспроводные (радиоканалы наземной и спутниковой связи) каналы передачи данных:

Радиорелейные каналы передачи данных

2.Спутниковые каналы передачи данных

3.Сотовые каналы передачи данных

4.Радиоканалы передачи данных WiMAX аналогичны Wi-Fi.

5.Радиоканалы передачи данных MMDS

6.Радиоканалы передачи данных для локальных сетей Стандартом беспроводной связи для локальных сетей является технология Wi-Fi.

7.Радиоканалы передачи данных Bluetooht это технология передачи данных на короткие расстояния (не более 10 м) .

5.Математические модели построения видиоизображений

Перспективная проекция получается путем перспективного преобразования и проецирования на некоторую плоскость наблюдения.

т.е.

(2.54)

Геометрический смысл этого преобразования виден. Каждая точка (например, С) переводится в точку путем центральной проекции, центр которой лежит на оси z в точке с координатами:

Из рассмотрения подобных треугольников ODH и видно, что

. (2.55)

Аналогично, из треугольников OCD и :

. (2.56)

При r=0 перспективное преобразование вырождается в аксонометрическое.

Очевидно, что проекцию из другой точки можно получить, выполнив предварительно аффинные преобразования, переводящие центр проекции в требуемое положение, или, что тоже самое, помещающее объект в нужное положение и под нужный ракурс. При этом координата h у всех точек останется равной 1, т.к. 4-й столбец матрицы аффинных преобразований . После этих преобразований выполняется центральное проецирование.

С другой стороны, при проецировании на плоскость z=0 информация о координате z теряется. Иногда это неудобно. В этом случае можно выполнить перспективное преобразование, например, матрицей:

а затем параллельное проецирование.

Видно, что полученное 3-х мерное изображение и проекция воспринимаются скошенными, что дает неверное визуальное представление об их глубине. Более реалистическая картина получится, если предварительно сместить куб влево по оси x и вниз по оси y.

Отметим еще одно интересное обстоятельство. Возьмем точку в бесконечности на оси z и выполним перспективное преобразование:

Поскольку параллельные линии исходного пространства "сходятся" в бесконечности, то в преобразованном пространстве линии, которые были параллельны оси z, будут сходиться в точке:

Эту точку называют точкой схода.

Аналогично, перспективное преобразование

(2.57)

будет приводить к точке схода .

Преобразование:

будет приводить к точке схода .

Алгоритмы выделения контуров и поверхностей.

Алгоритмы выделения контуров можно условно разбить на две группы: отслеживающие и сканирующие.

Отслеживающие алгоритмы Отслеживающие алгоритмы основаны на том, что на изображении отыскивается объект (первая встретившаяся точка объекта) и контур объекта отслеживается и векторизуется. Достоинством данных алгоритмов является их простота, к недостаткам можно отнести их последовательную реализацию и некоторую сложность при поиске и обработке внутренних контуров. Пример отслеживающего алгоритма - "алгоритм обхода контура", или "алгоритм жука", - приведен на рис. 4. "Жук" начинает движение с белой области по направлению к черной. Как только он попадает на черный элемент, он поворачивает налево и переходит к следующему элементу. Если этот элемент белый, то жук поворачивается направо, иначе - налево. Процедура повторяется до тех пор, пока жук не вернется в исходную точку. Координаты точек перехода с черного на белое и с белого на черное и описывают границу объекта.

Сканирующие алгоритмы. Сканирующие алгоритмы основаны на просмотре (сканировании) всего изображения и выделении контурных точек без отслеживания контура объекта.

Рассмотрим алгоритм, основанный на разработанной схеме хранения полосы изображения в памяти ЭВМ и нахождении контурных точек в процессе движения полосы по всему изображению. Для обработки информации в полосе различают два случая: выявление ситуации в полосе изображения и ее разрешение. В полосе одновременно хранятся две строки изображения (текущая и предыдущая). Анализируются xx-координаты черных серий обеих строк в порядке их возрастания (слева направо) и выявляются пять ситуаций, которые могут возникнуть.

Ситуация "начало" возникает в том случае, когда черная серия текущей строки полностью покрывается белой серией предыдущей строки (рис. 5аа).

Для ситуации "продолжение" характерно частичное перекрытие черных серий обеих строк (рис. 5бб).

Если две соседние черные серии текущей строки покрываются черной серией предыдущей строки, возникает ситуация "ветвление" (рис. 5вв).

Ситуация "слияние" выявляется в том случае, когда черная серия текущей строки касается двух соседних черных серий предыдущей строки (рис. 5гг).

Обрабатываемые строки представлены в виде массивов структур, куда входит координата xx начала/конца черной серии и адрес буфера, предназначенного для сбора и хранения информации по одной ветке (части контура), которая пересекает обрабатываемую строку. В буфере содержатся тип ветки (левая или правая в зависимости от расположения черной серии связной компоненты), ее внутренний номер, параметры отслеженной части контура (длина, площадь, габариты) и ее координатное описание, адрес буфера парной ветки, которая является частью того же контура, и некоторые другие параметры.

Ситуация "конец" возникает, когда белая серия текущей строки полностью покрывает черную серию предыдущей строки (рис. 5дд).

При выявлении ситуации "начало" из стека свободных буферов выбирают два (для левой и правой веток). Каждая пара веток имеет свой уникальный номер, который возрастает по мере появления новых веток.

При обнаружении ситуации "продолжение" в буферы, адреса которых выбираются из описания верхней строки, дописываются координаты новых точек и уточняются геометрические параметры. Одновременно производится полигональная аппроксимация веток. В случае заполнения буфера метрическое описание соответствующего участка контура записывается в выходной файл, а в буфере сохраняется адрес записанного участка, что дает возможность связать ссылками участки одного контура.

При выявлении ситуации "ветвление" точки ветвления обрабатываются по аналогии с ситуацией "начало".

Ситуация "слияние" возникает тогда, когда закончено отслеживание внутреннего контура и когда объединяются ветки одного контура. В первом случае происходит объединение информации обеих веток и запись в выходную структуру. Во втором случае ветка с меньшим номером "поглощает" ветку с большим номером и ее пару. Объединенная информация сохраняется в буфере ветки с меньшим номером, а в текущей строке адрес буфера парной ветки меняется на адрес буфера оставшейся ветки. В обоих случаях буферы "поглощенной" пары освобождаются.

Ситуация "конец" свидетельствует о том, что либо закончилось отслеживание внешнего контура, либо сливаются ветки одного контура. Обработка производится по аналогии с обработкой ситуации "слияние".

Фильтрация изображения

Реальные изображения наряду с полезной информацией содержат различные помехи. Источниками помех являются собственные шумы фотоприемных устройств, зернистость фотоматериалов, шумы каналов связи. Наконец, возможны геометрические искажения, изображение может быть расфокусировано. Пусть f (x,y) – некоторое изображение, х, у – координаты. Реальное растровое изображение имеет конечные размеры: A ≤ x ≤ B, C ≤ y ≤ D и состоит из отдельных пикселов, расположенных с некоторым шагом в узлах прямоугольной сетки. Линейное преобразование изображения можно описать выражением

(1)

Выражение (1), где интегрирование ведется по всей области определения x и y, характеризует преобразование всего изображения целиком  глобальную фильтрацию. Ядро преобразования в оптике именуют функцией рассеяния точки (ФРТ). Это изображение точечного источника на выходе оптической системы, которое уже является не точкой, а некоторым пятном. В соответствии с (1), все точки изображения f (x',y') превращаются в пятна, происходит суммирование (интегрирование) всех пятен. Не следует думать, что эта процедура обязательно приводит к расфокусировке изображения, наоборот, можно подобрать такую ФРТ, которая позволит сфокусировать расфокусированное изображение.

На практике глобальная фильтрация применяется редко. Чаще используют локальную фильтрацию, когда интегрирование и усреднение проводится не по всей области определения x и y, а по сравнительно небольшой окрестности каждой точки изображения. Функция рассеяния точки при этом имеет ограниченные размеры. Достоинством такого подхода является хорошее быстродействие. Линейное преобразование принимает вид:

(2)

При обработке растровых изображений, которые состоят из отдельных пикселов, интегрирование заменено суммированием. Проще всего реализовать ФРТ конечных размеров в виде прямоугольной матрицы форматом NN. N может быть равным 3, 5, 7 и т.д. Например, при N = 3

Суммирование ведется по окрестности D точки (i, j); a_kl  значения ФРТ в этой окрестности. Яркости пикселов f в этой точке и в её окрестности умножаются на коэффициенты a_kl, преобразованная яркость (i,j) го пиксела есть сумма этих произведений. Элементы матрицы удовлетворяют условию пространственной инвариантности, поэтому a₁₁= a₁₃=a₃₁= a₃₃, a₁₂ = a₂₁= a₂₃ = a₃₂. Только три элемента матрицы размером 3х3 независимы, в этом случае матрица инвариантна относительно поворотов, кратных 90˚. Опыт обработки изображений показывает, что отсутствие более строгой осевой симметрии ФРТ слабо сказывается на результатах. Иногда используют 8угольные матрицы, инвариантные относительно поворотов на 45˚.

Фильтрация согласно (2) осуществляется перемещением слева направо (или сверху вниз) маски на один пиксел. При каждом положении апертуры производятся упомянутые выше операции, а именно перемножение весовых множителей a_{k l}с соответствующими значениями яркостей исходного изображения и суммированием произведений. Полученное значение присваивается центральному (i,j) му пикселу. Обычно это значение делится на заранее заданное число K (нормирующий множитель). Маска содержит нечетное число строк и столбцов N, чтобы центральный элемент определялся однозначно.

6.Алгоритмы стереозрения

При необходимости получения глубины изображения используют стереоизображение. Стереоизображение включает два отдельных вида изображаемого объекта (рис.2), например, пространственной точки w.

Рисунок 2. Схема получения стереоизображения

Расстояние между центрами двух линз называется базовой линией. Требуется определить координаты (X, Y, Z) точки w, заданной точками ее изображения ( ) и ( ). Предполагается, что камеры идентичны и системы координат обеих камер полностью совпадают, отличаясь только расположением их начал.

Допустим, что первая камера совмещена с декартовой системой координат(рис.3).

Рисунок 3. Вид сверху на рис.2 при совмещении первой камеры с декартовой системой координат

Тогда точка w лежит на линии с координатами: (1)

где индексы у X и Z обозначают, что к началу декартовой системы координат передвинута первая камера, а вторая камера и точка w также переместятся в этой системе. При этом сохраняется относительное расположение элементов системы, показанное на рис.1. Если вместо этого к началу декартовой системы координат передвинута вторая камера, то точка w лежит на линии с координатами: (2)

Однако благодаря наличию расстояния между камерами и тому, что координаты Z точки w одинаковы в обеих системах координат камер, имеем: (3) и (4) где В –базовая линия.

Подставляя уравнения (3) и (4) в уравнения (1) и (2), получим:

(5)

и (6)

Вычитая уравнение (6) из уравнения (5) и решая его относительно Z, получим:

. (7)

Отсюда видно, что координата Z точки w легко вычисляется при известной разности между соответствующими координатами и изображения, а также значений базовой линии и фокусного расстояния.

7.Построение виртуальных моделей сцен и объектов

Задача реконструкции сцены является весьма типичной для создания системы навигации роботов. Обычно речь идет о том, что пространственные характеристики объектов определяются исходя из ряда изображений, на которых сцена видна с различных ракурсов. Из последовательности таких изображений можно извлечь пространственные характеристики объектов, рассматривая смещение соответствующих точек.

Частным, наиболее хорошо исследованным вопросом, является реконструкция поверхности трехмерной сцены по нескольким перспективным снимкам, полученным под разными ракурсами.

Идентификация и оценивание координат сопряженных точек (одни и те же точки поверхности на разных снимках).

Нормализация (выпрямление) изображений, используя найденные сопряженные точки.

Построение карты диспаратности, которая для каждой точки одного изображения ставит в соответствие точку на другом изображении.

Реконструкция точек поверхности на основе триангуляционной процедуры (восстановление пространственных координат).

При этом постоянно оцениваются внешние и внутренние геометрические параметры камеры.

Во многом модели и методы решения подобного рода задач зависят от характера наблюдаемой сцены, зависимости освещенности от ракурса наблюдения и т.д. Например, для гладких поверхностей хорошо работают методы аппроксимации участков анализируемых сцен с помощью плоскостей и проч.

Очевидно, что подобного рода методы требуют больших вычислительных мощностей, что не всегда доступно для бортовых систем, даже если речь идет о построении каркасных (проволочных) моделей.

8.Освещение объектов и сцен в системах технического зрения.

В системах технического зрения используются 4 основных схемы освещения:

метод рассеянного освещения (для объектов с гладкими поверхностями правильной формы) (1,а);

теневое освещение (1,б) дает черно-белое (дискретное) изображение;

метод структурного освещения (1, в) заключается в проецировании на рабочую поверхность световых точек, полос или решеток;

метод направленного освещения (1,г) используется в основном для обследования объекта (обнаружение трещин, впадин и пр.).

Рисунок 1. Четыре основные схемы освещения

Метод структурного освещения имеет два важных преимущества перед другими. Первое преимущество заключается в упрощении задачи нахождения объекта за счет подачи в рабочее пространство известного светового рисунка, по искажению которого определяется наличие объекта. Второе преимущество – возможность получения пространственных характеристик объекта по анализу формы искажений светового рисунка.

9.Методы и алгоритмы распознования изображений

Можно выделить три метода распознавания образов.

Метод перебора. В этом случае производится сравнение с базой данных, где для каждого вида объектов представлены всевозможные модификации отображения. Например, для оптического распознавания образов можно применить метод перебора вида объекта под различными углами, масштабами, смещениями, деформациями и т. д. Для букв нужно перебирать шрифт, свойства шрифта и т. д.

Второй подход - производится более глубокий анализ характеристик образа. В случае оптического распознавания это может быть определение различных геометрических характеристик – формируется упрощенный векторный аналог изображения и тогда легко можно анализировать с учетом поворотов объекта. Но этот метод не пригоден при изменении самого объекта или при низком качестве изображения.

Следующий метод - использование искусственных нейронных сетей (ИНС). Этот метод требует либо большого количества примеров задачи распознавания при обучении, либо специальной структуры нейронной сети, учитывающей специфику данной задачи. Тем не менее, его отличает более высокая эффективность и производительность. Основная проблема этого метода – снижение эффективности распознавания объектов, которые могут изменяться, например, животных, которые двигаются.

Для преодоления этого ограничения необходимо разделить процесс распознавания на 2 этапа. На первом этапе выполняется выделение частей изображения с признаками, которые изменяются незначительно (например тело животного) с помощью специально обученной нейронной сети. Нейронную сеть необходимо обучать так, чтобы она искала только неизменные признаки. На этом этапе выделяются все зоны на изображении, на которых может быть изображен необходимый объект.

Второй этап заключается в детальном анализе выборки, полученной после первого этапа. На этом этапе необходимо выполнить поиск второстепенных признаков как набора отдельных объектов на изображениях, полученных на первом этапе. После этого необходимо проанализировать взаимное положение отдельных признаков, их размеры и форму (у оленя голова не может находиться посреди тела, нога в колене сгибается только в одну сторону). Сначала анализируются основные признаки, затем второстепенные. По результатам этого этапа отбрасываются элементы выборки без объекта. Далее производится классификация объектов. При классификации выполняется анализ только признаков которые отличают классы.

Предложенный метод позволяет повысить эффективность распознавания изображений большого количества объектов с использованием комбинированного метода: первый этап – нейронная сеть, второй этап – глубокий анализ характеристик объекта. Также этот метод позволяет распознавать и классифицировать подобные объекты с один проход. Для каждого типа объекта необходимо задать специальный набор признаков, которые их отличают.

10.Корреляционный анализ в распозновании изображений

Взаимная корреляция.

При цифровой обработке сигналов или массивов данных достаточно часто стоит задача определения степени независимости одного процесса от другого или наоборот установления схожести двух процессов. Схожесть (или зависимость друг от друга) данных или процессов может быть выражена и измерена математически – мерой зависимости является корреляция.

Корреляцию двух сигналов можно определить по следующей формуле:

(1)

Положительная сумма указывает на схожесть процессов, чем она больше по модулю, тем процессы более зависимы друг от друга, отрицательная сумма указывает на отрицательную корреляцию, т.е. увеличение значений отсчетов одного процесса связано с уменьшением значений отсчетов другого (например, сигналы находятся в противофазе). Множитель 1/N служит для нормировки результата к размеру выборки (делает результат независимым от размера выборки).

На практике формула (1) в чистом виде не применяется, так как сигналы s1(k) и s2(k) могут быть сдвинуты друг относительно друга во времени и их фазовая связь обычно неизвестна, результат вычисления корреляции по формуле (1) может быть искажен этим сдвигом. Для объективной оценки корреляции используют функцию корреляции, аргументом которой является сдвиг на определенное число отсчетов одного сигнала относительно другого:

(2)

Функцию корреляции обычно вычисляют для нескольких значений n, после чего находят максимальное значение корреляции.

В начале алгоритма (рис. 2) производится подготовка двух массивов данных(пикселей) для оригинала и поля изображения путем заполнения элементов массивов единицами и нулями в соответствующих позициях.

Далее по формуле 1 происходит подсчет коэффициента корреляции (КК) для оригинала и каждой точки поля. Оригинал программно перемещается по полю и происходит подсчет коэффициента корреляции (совпадения) его пикселей и пикселей поля на которые он наложен в текущий момент. При одновременном наличии единиц происходит увеличение КК, который может иметь максимальное значение 1 при полном совпадении.

В конце происходит отбор максимального значения КК и осуществляется вывод информации: величина КК и соответствующая ему координата на поле.

11.Быстрые алгоритмы в задачах обработки видеоданных.

Алгоритмы компенсации движения отслеживают движение объектов в кадре

Уменьшение межкадровой разницы (увеличение ее степени сжатия )

Необходимость сохранения информации о движении в кадре

Существенно бОльшее время, необходимое для сжатия

Алгоритмы сжатия видео (MPEG-1,-2,-4, H.264)

Motion-JPEG

Motion-JPEG (или M-JPEG) является наиболее простым алгоритмом сжатия видеоданных. В нем каждый кадр сжимается независимо алгоритмом JPEG. Независимое сжатие отдельных кадров позволяет накладывать различные эффекты, не опасаясь, что взаимное влияние соседних кадров внесет дополнительные искажения в фильм.

Характеристики Motion-JPEG:

Поток, разрешение (сжатие): поток и разрешение произвольные, ! сжатие в 5—10 раз.

Плюсы: обеспечивает быстрый произвольный доступ. Легко редакти-I ровать поток. Низкая стоимость аппаратной реализации.

Минусы: сравнительно низкая степень сжатия.

Н.261

Стандарт Н.261 специфицирует кодирование и декодирование видеопотока для передачи по каналу рх64 Кбит, где р=1.. .30. В качестве канала может выступать, например, несколько телефонных линий.

Входной формат изображения - разрешения CIF или QCIF в формате YUV (CCIR 601), частота кадров от 30 fps и ниже. Используется уменьшение разрешения в 2 раза для компонент цветности.

В выходной поток записываются два типа кадров: INTRA - сжатые независимо (соответствуют I-кадрам) и INTER - сжатые со ссылкой на предыдущий кадр (соответствуют Р-кадрам

Характеристики Н.261:

Поток, разрешение: рх64 Кбит, р=1.. .30, CIF или QCIF. Плюсы: прост в аппаратной реализации. ; Минусы: невысокая степень сжатия. Ограничения на формат.

Н.263

Данный стандарт является расширением, дополнением и значительным усложнением Н.261. Он содержит "базовый" стандарт кодирования, практически не отличающийся по алгоритмам сжатия от Н.261, плюс множество опциональных его расширений.

Кратко перечислим наиболее важные отличия.

Возможность задания векторов смещения, указывающих за границы изображения. При этом граничные пикселы используются для предсказания пикселов вне изображения. Данный прием усложняет алгоритм декодирования, но позволяет значительно улучшить изображение при резкой смене плана сцены.

Возможность задания вектора смещения для каждого блока 8x8 в макроблоке, что в ряде случаев существенно увеличивает сжатие и снижает блочность изображения.

Появление В-кадров, которые позволяют увеличить степень сжатия, за счет усложнения и увеличения времени работы декодера.

Поддержка большого числа форматов входных видеоданных: sub-QCIF, QCIF, CIF, 4CIF, 16CIF и отдельно настраиваемых. Основное отличие от более универсальных форматов заключается в адаптации для нескольких фиксированных разрешений, что позволяет делать менее универсальные, но более быстрые процедуры обработки кадров. Построенный таким образом декодер работает несколько быстрее.

Компенсация движения с субпиксельной точностью. Возможность сдвинуть блок на полпиксела также увеличивает степень сжатия, но увеличивает время работы декодера.

Особый режим сжатия INTRA макроблоков со ссылкой на соседние макроблоки в обрабатываемом кадре, особый режим квантования и специальная таблица Хаффмана для улучшения сжатия I-кадров в ряде случаев.

Сглаживание границ блоков декодированного изображения для

уменьшения эффекта "блочности". Зачастую при резком движении в кадре при сжатии алгоритм оказывается вынужден повысить степень квантования блоков после ДКП, чтобы уложиться в отведенный на передачу битовый поток.

Различные режимы квантования и кодирования по Хаффману.

Характеристики Н.263:

Поток, разрешение: 0.04-20 Мбит/с, sub-QCIF, QCIF, CIF, 4CIF, I 16CIF и отдельно настраиваемые разрешения.

Характеристики MPEG-2:

Поток, разрешение: 3-15 Мбит/с, универсальный.

Плюсы: поддержка достаточно серьезных звуковых стандартов Dolby | Digital S.l, DTS, высокая универсальность, сравнительная простота аппа-i ратной реализации.

Минусы: недостаточная на сегодня степень сжатия, недостаточная I гибкость.

MPEG-4

MPEG-4 кардинально отличается от принимаемых ранее стандартов. Рассмотрим наиболее интересные и полезные нововведения.

Расчет трехмерных сцен и работа с синтетическими объектами.

В состав декодера MPEG-4 как составная часть входит блок визуализации трехмерных объектов (Animation Framework extension - AFX - то, что в просторечии называют данными для трехмерного движка).

Объектно-ориентированная работа с потоком данных. Теперь работа с потоком данных становится объектно-ориентированной. При этом данные могут быть живым видео, звуковыми данными, синтетическими объектами и т. д.

Активная зрительская позиция. Как было замечено выше, BIFS позволяет задавать реакцию объектов сцены на действия пользователя. Потенциально возможно удаление, добавление или перемещение объектов, ввод команд с клавиатуры..

Синтезатор лиц и фигур. В стандарт заложен интерфейс к модулю синтеза лиц и фигур.

Синтезатор звуков и речи. Помимо синтеза лиц в стандарт MPEG-4 также заложены алгоритмы синтеза звуков, и даже речи(!).

Улучшенные алгоритмы сжатия видео. В стандарте предусмотрены блоки, отвечающие за потоки 4.8-65 Кбит/с с прогрессивной разверткой и большие потоки с поддержкой чересстрочной развертки

Поддержка профилей на уровне стандарта. Если в фильме записано, что ему для проигрывания необходим такой-то профиль и декодер этот профиль поддерживает, то стандарт гарантирует, что фильм будет проигран правильно.

Характеристики MPEG-4:

Поток, разрешение: 0,0048-20 Мбит/с, поддерживаются все основ-| ные стандарты видеопотоков.

Плюсы: поддержка достаточно прогрессивных звуковых стандартов, | высокая степень универсальности, поддержка новых технологий (различные виды синтеза звука и изображения).

Минусы: высокая сложность реализации.

Описание алгоритма компрессии

Технология сжатия видео в MPEG распадается на две части: уменьшение избыточности видеоинформации во временном измерении, основанное на том, что соседние кадры, как правило, отличаются несильно, и сжатие отдельных изображений

Алгоритм сжатия отдельных кадров в MPEG похож на соответствующий алгоритм для статических изображений - JPEG. Если говорить коротко, то сам алгоритм сжатия представляет собой конвейер преобразований. Это дискретное косинусное преобразование исходной матрицы 8x8, квантование матрицы и вытягивание ее в вектор vll,vl2,v21,v31,v22, ..., v88 (зигзаг-сканирование), сжатие вектора групповым кодированием и, наконец, сжатие по алгоритму Хаффмана.

В целом весь конвейер преобразований можно представить так:

1. Подготовка макроблоков. Для каждого макроблока определяется, каким образом он будет сжат. В I-кадрах все макроблоки сжимаются независимо. В Р-кадрах блок либо сжимается независимо, либо представляет собой разность с одном из макроблоков в предыдущем опорном кадре, на который ссылается Р-кадр.

2. Перевод макроблока в цветовое пространство YUV. Получение нужного количества матриц 8x8.

3. Для Р- и В-блоков производится вычисление разности с соответствующим макроблоком в опорном кадре.

4. ДКП

5. Квантование.

6. Зигзаг-сканирование.

7. Групповое кодирование.

8. Кодирование Хаффмана.

При декодировании весь конвейер повторяется для обратных преобразований, начиная с конца.

12.Захват и сопровождение объектов в системах технического зрения

Захват подразумевает под собой получение изображения, или реконструирование сцены.

Идентификация и оценивание координат сопряженных точек (одни и те же точки поверхности на разных снимках).

Нормализация (выпрямление) изображений, используя найденные сопряженные точки.

Сопровождение (трекинг) движущихся объектов – это один из составляющих компонентов многих систем реального времени таких, как системы слежения, анализа видео и других. Входными данными любого алгоритма сопровождения является последовательность изображений (кадров видео) (1) с нарастающим объемом информации, которую необходимо обрабатывать и анализировать.

Задача сопровождения состоит в том, чтобы построить траектории движения целевых объектов на входной последовательности кадров. Допустим, что положение объекта на изображении с номером обозначается . Тогда траекторией движения объекта называется последовательность его положений , где s – номер первого кадра, на котором был обнаружен объект, l – количество кадров последовательности, где наблюдается объект. Заметим, что в зависимости от метода сопровождения положение объекта может определяться по- разному (координаты и размер сторон окаймляющего прямоугольника, координаты центра масс контура и т.п.).

Существует несколько категорий методов сопровождения объектов:

Методы сопровождения особых точек. В таких методах принимается, что положение объекта определяется расположением набора характерных точек. Один и тот же объект на последовательных кадрах представляется наборами соответствующих пар точек. Данная группа методов разделяется на две подгруппы: детерминистские методы (задача сводится к минимизации функции соответствия наборов точек) и вероятностные методы (используют подход, основанный на понятии пространства состояний).

Методы сопровождения компонент (применяются, если движение определяется обычным смещением, поворотом или аффинным преобразованием).

Методы сопровождения силуэта (на каждом кадре определяют область, в которой находится объект, с использованием модели его силуэта, построенной на основании предшествующих кадров).

Статистическая динамика

1.Примеры систем, работающих при случайных воздействиях

2.Случайная функция и ее вероятностное описание

Случайная функция. Функция, которая при каждом данном значении независимой переменной является случайной величиной , называется случайной функцией (СФ).

Стохастический процесс. Случайные функции, дл которых независимой Ψ переменной является время, называются стохастическими процессами.

Реализация случайной функции. Случайную функцию, зарегистрированную в той или иной форме по результатам опыта, называют реализацией случайной функции.

Система случайных величин. Системой n случайных величин называется совокупность случайных величин , рассматриваемых как единое целое. Каждая случайная величина представляет совокупность значений , в момент времени для реализации стохастического процесса . Случайная функция представлена графически как система случайных величин на рисунке1, на котором - реализации этих величин.

Рисунок 1- Система случайных величин для случайной функции .

Рассмотрим одно i-тое сечение системы случайных величин . Это означает, что случайная величина рассматривается как одномерная непрерывная случайная величина , т.е для значений , . Для общности далее будем рассматривать без нижнего индекса. Непрерывной случайной величиной называется такая величина, возможные значения которой непрерывно заполняют некоторый интервал (конечный или бесконечный) .

Интегральным законом распределения (ИЗР) случайной величины называется функция вида

т.е. вероятность того, что возможные значения случайной величины будут меньше некоторого текущего значения .

Рисунок 2 – Функция распределения (Интегральный закон распределения).

Функция полностью характеризует случайную величину с вероятностной точки зрения и имеет следующие свойства:

- неубывающая функция.

, - значения на краях интервала.

= - вероятность попадания в интервал.

- интервал значений.

Интегральный закон распределения имеет недостаток, заключающийся в том, что по нему трудно судить о характере распределения случайной величины в небольшой окрестности той или иной точки числовой оси.

Более наглядное распределение вероятностей случайной величины в интервале ее определения дает функция, называемая «плотность распределения вероятностей», или функция плотности, или дифференциальный закон распределения (ДЗР). Функция плотности изображена на рисунке 3.

Рисунок 3 – Функция плотности (Дифференциальный закон распределения).

Функция плотности определяется как производная от функции распределения, т.е.

Дифференциальный закон обладает следующими свойствами:

Законы распределения ИЗР и ДЗР являются полными характеристиками случайной величины .

3.Одномерные законы распределения, математическое ожидание и дисперсия случайной функции X (t )

В некоторых случаях можно ограничиться некоторыми числовыми характеристиками, которые непосредственно вычисляются через законы распределения (но не наоборот), и в сжатой форме выражают существенные свойства того или иного распределения. Математическое ожидание неслучайной функции случайной величины определяется как

.(1)

Начальным моментом k-ого порядка СВ X называется математическое ожидание неслучайной функции

.(2)

Из всех начальных моментов практически применяются только первые два.

Математическое ожидание (МО). МО это первый центральный момент

(3)

-некоторое среднее значение, около которого группируются возможные значения СВ X.

В соответствии с формулой (3) математическое ожидание есть вероятностное осреднение функции с весом .

Дисперсия.

Математическое ожидание является неоднозначной характеристикой случайной величины. Можно наблюдать случайные величины, имеющие одинаковое математическое ожидание, но степень разброса реализаций различна. Поэтому, вводится характеристика случайной величины называемая дисперсией.

Центральным моментом k-го порядка случайной величины называют интеграл вида

В подавляющем количестве случаев находит применение второй центральный момент , который характеризует возможные отклонения СВ, т.е. возможный разброс значений СВ относительно ее МО. Второй центральный момент обозначают и называют дисперсией, указывая тем самым, что характеризует возможное рассевание СВ X относительно . Таким образом,

или

4. Двумерные законы распределения и корреляционная функция случайного процесса.

Рассмотрим вероятностные характеристики случайной функции системы двух случайных величин и при произвольно выбранных аргументах и .

Интегральным законом распределения двух случайных величин и называется функция , которая выражает вероятность того, что случайные величины и будут принимать значения соответственно меньше некоторых неслучайных значений и , т.е.

Основные свойства двумерного интегрального закона распределения:

=1;

= ;

=0;

;

- функция неубывающая по своим аргументам.

Основные свойства двумерного дифференциального закона распределения:

= ;

;

= ;

= .

(2.2)

Если две случайные величины и независимы, то можем записать

= ; = .

Рассмотрим некоторые числовые характеристики системы двух случайных величин. Пусть имеется неслучайная функция системы двух случайных величин и .

Операцией математическое ожидание (МО) функции системы двух случайных величин и называется двухкратный интеграл вида

= .

Смешанный начальный момент k-го порядка – МО функции

= ,

где .

Смешанный центральный момент k-го порядка учитывает МО случайных величин и и записывается как

(2.3)

Отсюда (если , )

- дисперсия случайной величины .

Аналогично (если , )

- дисперсия случайной величины .

Пусть , ). Тогда

(2.4)

- корреляционный момент случайных величин и , который характеризует статистическую зависимость между ними.

Запишем числовые характеристики случайных величин и :

, ;

(2.5)

Корреляционный момент симметричный относительно случайных величин и

а дисперсию можно рассматривать как частный случай корреляционного момента, т.е. .

Две случайные величины и называют коррелированными, если

в противном случае, если

случайные величины называют некоррелированными.

Корреляционный момент (2.4) является характеристикой не только зависимости СВ, но и степени их разброса относительно МО. На практике получили широкое применение нормированные величины, которые называются коэффициентами корреляции

= ,

(2.6)

характеризующие зависимость случайных величин без учета их разброса.

Важное свойство корреляционного момента

)

и коэффициента корреляции

5.Стационарные и эргодические случайные процессы.

Рисунок 3 – Стационарный а) и нестационарный б) случайные сигналы.

Рисунок 4 – Вычисление корреляционной функции эргодического СП.

Рисунок 5 – График корреляционной функции стационарной случайной функции и взаимных корреляционных функций и :

а) корреляционная функция ;

б) взаимные корреляционные функции и .

Рисунок 6 – Графики взаимных корреляционных функций.

6 Спектральная плотность стационарного случайного процесса.

Во временном представлении случайного процесса (СП) в качестве его характеристики рассматривалась корреляционная функция (КФ).

Более наглядным с точки зрения распределения энергии является частотное представление.

Функция , определяемая зависимостью

называется спектральной плотностью (СПл) стационарного случайного процесса (СП). Тогда

Таким образом, КФ и СПл связаны парой преобразований Фурье – прямым и обратным.

Рассмотрим физический смысл спектральной плотности.

Обозначим через реализацию случайного процесса (СП), определенную на интервале [0,T]. Тогда

или

Последнюю зависимость перепишем в виде

Тогда, поскольку , получим

Введем замену . Тогда

Из последней формулы имеем

Выше введены в рассмотрение функции и .

Функцию называют спектральной функцией, или спектральной плотностью амплитуд (амплитудной спектральной плотностью). Амплитудная спектральная плотность определяет плотность амплитуд на участке спектра .

Спектральная плотность характеризует распределение мощности составляющих на интервале частот .

7. Статистический анализ (Анализ во временной области)

8.Статистический анализ одномерных (Анализ во временной области в пространстве состояний)

10.Формирующие фильтры

Важным элементом модема цифровой системы передачи является формирующий фильтр, который выполняет две важные функции. Главная из них – устранение межсимвольной интерференции на входе решающего устройства демодулятора. С целью максимизации отношения сигнал/шум в демодулированном сигнале формирующий фильтр разделяют на две части, устанавливаемые в модуляторе и демодуляторе. Вторая функция формирующего фильтра модулятора – ограничение спектра цифрового радиосигнала на выходе передатчика в границах полосы канала, что необходимо для устранения перекрестных помех в соседних каналах [15].

В цифровых системах передающая часть формирующего фильтра реализуется, как правило, в виде цифрового синтезатора модулирующего сигнала, выполненного по структурефильтра с конечной импульсной характеристикой(КИХ-фильтра), илицифрового трансверсального фильтра(ЦТФ). Используются также и более современные методы, когда основу фильтра составляет постоянное запоминающее устройство (ПЗУ), в котором хранятся значения весовых коэффициентов, и ЦАП, непосредственно формирующий передаваемый сигнал заданной формы. Цифровые фильтры позволяют точно синтезировать во временнóй области передаваемые символы из ансамбля элементарных сигналов, минимизируя тем самым как межсимвольную интерференцию, так и внеполосные излучения. Принципиальным достоинством цифровых фильтров является также возможность формировать импульсы с малым значением коэффициента расширения спектра , при котором спектр импульсов имеет достаточно крутой срез, а колебания импульсной реакции захватывают практически 10…20 тактовых интервалов. Формирование таких сигналов аналоговыми фильтрами на высоких частотах является практически неразрешимой задачей. Как вспомогательный элемент в трактах модулированных сигналов устанавливают аналоговые полосовые фильтры, назначение которых – дополнительное ослабление внеполосных излучений в передатчике и шумов за пределами рабочей полосы в приемнике.

Рис. 2.7. Структурная схема цифрового трансверсального фильтра

лассическая структура цифрового трансверсального фильтра – это регистр сдвига, к разрядам которого подключены резисторы сумматора токов (рис. 2.7). На вход регистра поступают прямоугольные импульсы передаваемых данных, а частота тактирования регистра обычно в 4…16 раз выше тактовой частоты данных. Тактовый интервал данных при этом разделяется на соответствующее число подинтервалов. Существует две разновидности ЦТФ: с прямым соответствием веса разряда значению квантованного дискрета сигнала и с наполнением (наращиванием) весов разрядов по мере передвижения символа данных.

В первом случае значение резистора сумматора в каждом разряде выбирается так, чтобы ток через него был пропорционален квантованному уровню сигнал. По регистру продвигается импульс длительностью в один такт частоты дискретизации, то есть в каждом такте регистра в пределах одного тактового интервала данных в работе участвует только один разряд.

В схеме с наращиванием весов разрядов импульс данных не укорачивается, поэтому по мере его продвижения по регистру токи разрядов суммируются и квантованному уровню сигнала пропорциональна сумма токов нескольких разрядов.

12.Фильтр Колмогорова-Винера

Если предположить, что критерий оптимальности определяется квадратической функцией от разности между желаемой величиной и выходом фильтра, а фильтр линеен и описывается уравнением свертки, то мы придем к задаче определения оптимального фильтра Колмогорова — Винера. Решение этой задачи сводится к минимизации функционала

(6.32)

Аналитический подход, при котором используется вариационное исчисление и корреляционная теория, приводит к уравнению типа Винера-Хопфа или к эквивалентной краевой задаче, которая решается методом факторизации. Сравнительная компактность окончательного результата, определяющего импульсную характеристику или соответствующую ей передаточную функцию оптимального фильтра, создает иллюзию простоты вычислений этих оптимальных характеристик. На самом деле это далеко не так. Большой объем вычислений падает на определение соответствующих корреляционных функций и спектральных плотностей по реализациям. Эти последние почему-то всегда считаются заданными, причем, как правило, в довольно простой форме. Нельзя ли миновать этот этап и определять оптимальные характеристики фильтра непосредственно по реализациям? Оказывается, это возможно, если использовать адаптивный подход.

Будем искать оптимальную импульсную характеристику в виде . Подставляя ее в (6.32), получаем

(6.33)

где, очевидно,

(6.34)

Теперь можно обычным способом осуществить минимизацию по . При этом мы получаем системулинейных уравнений относительно , коэффициенты и правые части которой выражены через текущие корреляционные функции. Непрерывное решение этой системы уравнений и определяет с течением времени оптимальное значение , а значит, и

(6.35)

Применение алгоритма адаптации, например,

(6.36)

позволяет значительно упростить устройство адаптации. Аналогичным образом можно рассмотреть с позиции адаптации очень интересный подход для решения подобных задач, который успешно развивался Р. Калманом.

13. Фильтр Калмана-Бюси

Дата добавления: 2018-06-01; просмотров: 4551; Мы поможем в написании вашей работы!

Поделиться с друзьями:

⇐ Предыдущая 1 2 345 6 7 8 9 Следующая ⇒

Мы поможем в написании ваших работ!