Методы удаления погодных эффектов, основанные на гистограммах.
Классификация погодных условий
Погодные условия различны по физическим свойствам и визуальным эффектам, которые они привносят на изображение. Основываясь на этих отличиях, погодные условия можно условно разделить на статичные (дымка, туман, мгла) и динамичные (дождь, снег, град). В случае статичных условий отдельные частицы слишком малы (1-10 мкм), чтобы быть видимыми для камеры. Следовательно, объемные модели рассеивания, такие как модель затухания и модель поглощения света в воздухе частицами, могут использоваться для адекватного описания эффектов статичной погоды.
С другой стороны, частицы, составляющие динамическую погоду, такую как дождь, снег и град, значительно больше (0.1-10 мм), и отдельные частицы видны на изображении.
Классификация методов подавления погодных эффектов
В действительности существует не так много методов, предложенных для улучшения качества видеонаблюдения в условиях плохой погоды. На рисунке 1 представлены основные категории таких методов. К прочим отнесены комплексные подходы решения проблемы и математические методы, не подходящие ни к одной из основных категорий.
Рисунок 1 – Классификация методов подавления погодных эффектов
Методы удаления погодных эффектов, основанные на физических моделях
Narasimhan и Nayar’s в своей работе [1] представили основанную на физических свойствах модель, описывающую проявления плохих погодных условий на видео. Более подробно рассмотрена модель дождя.
|
|
|
Визуальные эффекты, добавляемые дождем, очень сложные. Дождь состоит из множества отдельных капель, падающих с большой скоростью. Каждая капля ведет себя как прозрачная сфера, отражающая и преломляющая свет от окружающих её предметов. Группа таких падающих капель составляет сложный, изменяющийся во времени сигнал на изображениях и видео. Итак, влияние дождя – это комбинация динамических характеристик самого дождя и фотометрии окружающей среды. Kshitiz Garg и Shree K. Nayar разработали корреляционную модель, которая охватывает динамику дождя, и физическую модель размытия, объясняющую фотометрию дождя. Основываясь на этих моделях, ими были разработаны эффективные алгоритмы детектирования и удаления дождя с видео. Эффективность алгоритмов подтверждается экспериментами на видео со сложными сценами с двигающимися объектами и изменяющимися во времени текстурами.
Описание алгоритма детектирования дождя на видео, приведено на рисунке 2.
Рисунок 2 – Алгоритм детектирования дождя. (а) Использование фотометрической модели для определения пикселей, подверженных влиянию дождя, показаны белым цветом. Следует обратить внимание на несколько ложных детектирований пикселей дождя. (b) Применение линейного фотометрического ограничения для выделения полос интенсивностей. Это значительно уменьшает количество ложных детектирований и позволяет получить бинарную картину дождя. (c) Вычисление пространственно-временной корреляции в бинарном поле. (d) Построение корреляционной карты, вычисленной с помощью 11*11 соседей более чем в 30 кадрах. Пиксели с большим значением интенсивности являются пикселями дождя, в то время как недождевые пиксели имеют малые значения интенсивности. (e) Игольчатая карта демонстрирует сегментацию сцены на регионы с дождем и без него.
|
|
|
Результаты детектирования дождя на видео приведены на рисунке 3.
Рисунок 3 – Детектирование и удаление дождя из отрывка фильма Магнолия. (a) Три кадра исходного видео. Сцена содержит человека, двигающегося и говорящего по телефону, и дождь, видимый через оконное стекло. Камера сфокусирована на человеке. Быстрое движение текстур (сгибы и складки рубашки на двигающейся руке) делает задачу достаточно сложной для проверки алгоритма. (b) Найденные участки с дождем отображаются игольчатой картой. Направление иголки означает направление дождя, а длина иголки - силу дождя. (c) Полученные кадры без дождя. (d) Разность между исходными и обработанными кадрами. Для наглядности увеличена контрастность.
|
|
|
Несмотря на то, что каждая капля или снежинка влияет только на небольшое количество пикселей, их совокупность имеет предсказуемые пространственно-временные характеристики. Peter Barnum, Takeo Kanade и Srinivasa G Narasimhan в своей работе [2] сформулировали модель этих глобальных динамических погодных частот. Сначала была получена физическая модель капель и снежинок, которая используется для определения обобщенной формы и яркости единичной полосы. Эта модель полосы комбинируется со статистическими характеристиками дождя и снега для определения влияния таких пространственно-временных показателей на последовательность изображений. В малом масштабе многое оказывается засчитанным за дождь и снег, но при переходе к глобальному рассмотрению, результаты получаются гораздо лучше, чем при просто локальном анализе.
На рисунке 4 представлен пример удаления снега.
Рисунок 4 – Пример удаления снега. Изображения исходные (a) и после внутрикадрового удаления (b). Снег обнаружен, но есть ошибки в определении. С временной информацией достигается улучшенная оценка присутствия снега (c). Результат трех итераций удаления представлен на (d).
|
|
|
На рисунке 5 представлен еще один пример удаления снега, это очень трудная последовательность кадров с большим количеством высокочастотных текстур, очень сильным снегопадом и множеством движущихся объектов. Большинство снега удалено, но края зонта и ноги классифицированы ошибочно. На протяжении движения пешеходов в нижней части видео, могут быть правильно отобраны снежинки только из верхней части.
Рисунок 5 – Удаление снега на видео с пешеходами
Такой тип физических алгоритмов требует большой вычислительной мощности и не подходит для применения в режиме реального времени в системах технического зрения. Эти методы не подходят для видеосъемки в условиях очень густого тумана или сильного дождя, с низким качеством изображения с шумом и артефактами сжатия. В таких условиях очень трудно построить верную модель.
Методы удаления погодных эффектов, основанные на гистограммах.
Обработка гистограмм – еще один основной тип методов для улучшения контрастности изображений. Такие методы обычно очень быстрые и легки в применении, при этом позволяют добиться хороших результатов. Сравнивая с остальными методами, работающими с гистограммами, самым распространенным является автоматический алгоритм выравнивания гистограмм. Целью этого алгоритма является максимизировать информативность изображения с помощью увеличения диапазона интенсивности более частых пикселей. Существует два типа методов выравнивания гистограмм: глобальный и локальный. Глобальные методы обычно используют сжатие яркости пикселей для получения более единообразных экспозиционных характеристик, используя статистику всего изображения. Эти методы не рассматривают локальную статистику изображения. Методы локального выравнивания гистограмм позволяют получить лучшие результаты, так как обнаруживают больше локальных деталей изображения и дают заметное улучшение. Некоторые методы используют простое локальное выравнивание гистограмм, такое как наложение гистограмм разных участков изображения на выровненные локальные гистограммы; другие используют адаптивное выравнивание гистограмм.
Преобразование гистограмм распределения значений интенсивностей позволяет увеличить контрастность изображения, что хорошо подойдет для статичных погодных условий, таких как туман.
В случае динамических погодных условий в работе [3] предложено использовать гистограммы ориентации дождевых и снежных полос.
Метод основан на классическом вычитании фона. Модель фона служит для детектирования снега и дождя, так как это динамические погодные явления. Количество ошибок детектирования уменьшается с помощью применения правил выбора, основанных на фотометрии и размерах потенциальных дождевых полос. Далее строится так называемая гистограмма ориентации полос с помощью накопления ориентации различных связанных компонент, полученных методом геометрических моментов. Данные гистограммы далее моделируются в Гауссовской смешанной форме с параметрами, полученными оценкой с помощью алгоритма максимизации математического ожидания. Проверка критерия согласия позволяет определить соответствует ли модель гистограмме ориентаций. В случае соответствия, к параметрам Гауссовской смешанной модели применяется временной сглаживающий фильтр. Применение критерия выбора к сглаженной гистограмме позволяет определить наличие или отсутствие дождя. Если дождь детектирован, то дождевые пиксели могут быть точно и легко определены на изображениях, а также можно оценить интенсивность дождя. Есть множество применений такого метода, включая детектирование критических погодных условий для безопасности на дорогах, наблюдение погоды, улучшение надежности систем видеонаблюдения и моделирование дождя. На рисунке 6 представлено описание алгоритма.
Рисунок 6 – Применения метода детектирования дождя: (a) детектирование двигающихся объектов с помощью вычитания фона; (b) выделение возможных пикселей дождя с помощью правил выбора по размеру и фотометрии; (c) вычисление гистограммы ориентации полос с помощью накопления ориентации, полученной методом геометрических моментов разных связанных компонент; принимается решение о наличии дождя, основанное на временной стабильности и формы гистограмм; (d) детектирование пикселей дождя, используя гистограмму.
На рисунке 7 представлены результаты работы алгоритма в разных погодных условиях – града, дождя и снега.
Рисунок 7 – В первом ряду расположены исходные изображения; во втором ряду – фон; в третьем - движущиеся составляющие; в четвертом – гистограммы, соответствующие разным кривым; в пятом – детектированные пиксели дождя (пиксели дождя показаны зеленым цветом, пиксели шума – красным, объекты, отфильтрованные по критерию размера, – синим). (a) из последовательности изображений с градом, (b) с дождем, (c) со снегом.
Дата добавления: 2021-01-20; просмотров: 116; Мы поможем в написании вашей работы! |
Мы поможем в написании ваших работ!