Самоорганизующиеся нейронные сети Кохонена
Самоорганизующиеся нейронные сети Кохонена (СНСК) обеспечивают топологическое упорядочивание входного пространства образов. Они позволяют топологически непрерывно отображать входное n-мерное пространство в выходное m-мерное, m<<n. Входной образ проецируется на некоторую позицию в сети, кодируемую как положение активированного узла. В отличие от большинства других методов классификации и кластеризации, топологическое упорядочивание классов сохраняет на выходе подобие во входных образах [2,10], что является особенно полезным при классификации данных, имеющих большое количество классов. Например, при классификации локальных участков изображений, может быть очень большое число классов, в которых переход от одного класса к другому практически непрерывен, затрудняя определение границ классов. Сети такого типа состоят из одного слоя (не считая входного), который так же может быть организован в n-мерную решётку, в зависимости от размерности выходного пространства. Каждый нейрон связан со всеми входными нейронами. Настройка весов сети осуществляется методом конкурентного обучения, в процессе которого изменяются только веса нейрона-победителя, имеющего максимальную активность. Существует так же метод, в котором изменяются и веса нейронов, соседних с победителем. В самоорганизующихся картах Кохонена (СКК), в отличие от векторных квантователей, нейроны решётки имеют связи с соседними нейронами, сила связей зависит от расстояния между ними. Для СНСК характерна высокая скорость обучения.
|
|
|
В [10] трёхмерная СКК (по 5 узлов на каждое измерение) применялась для уменьшения размерности локальных участков изображения 5х5 (размерность 25). Входное изображение отображается на один из 125 узлов, положение которого в трёхмерной решётке кодирует вектор выходного пространства. Три измерения СКК принимаются за три ключевых характеристики (features [10]). Такое преобразование обеспечило частичную устойчивость к изменению освещения, смещениям и искажениям, избавило от необходимости предварительной обработки изображения (преимущество – ускорение работы), а так же значительно ускорило процесс обучения и классификации, делая эту систему применимой в реальном времени (использовалась для распознавания лиц). Отмечено так же небольшое преимущество СКК перед методом анализа главных компонент, которое заключалось в более высокой точности последующей классификации на основе данных уменьшенной размерности.
Нейронная сеть с радиально-базисной функцией (НСРБФ) является дальнейшим развитием НС Кохонена, в которой после конкурентного слоя добавлен ещё один слой, обучаемый по методу обратного распространения. В отличие от НС Кохонена в НСРБФ выходами нейронов конкурентного слоя являются значения функции Гаусса с нормальным законом распределения, и обнуление не победивших нейронов не требуется. Ширина радиально-базисной функции характеризует расстояние между центром кластера, который образуется каждым нейронным элементом и его ближайшими соседями.
|
|
|
В [9] применялись две различные архитектуры НСРБФ для распознавания лиц. На вход сети поступали предварительно извлечённые характеристики, полученные методом анализа главных компонент или коэффициенты вэйвлетных преобразований. В первой архитектуре количество выходов соответствовало количеству классов, во второй применялся коллектив сетей, каждая из которых была обучена распознавать только свой класс. Отмечены значительные преимущества классификации НСРБФ перед непосредственным сравнением ключевых характеристик.
В [15] применялись две различные архитектуры ансамблей НСРБФ для предварительной классификации изображений. На вход сети поступало изображение целиком, на выходах формировалась промежуточная классификация, которая затем подавалась на решающие деревья для контекстно-ориентированного распознавания изображений лиц (например: “найти все изображения определённого человека, где он в очках”). Различные сети в ансамблях первой архитектуры учились классифицировать изображения с различными типами изменений, второй – с одинаковыми, но количество нейронов менялось в процессе обучения. Решающий вывод делал “судья”, который принимал решение на основе голосования ансамбля сетей.
|
|
|
Когнитрон
Когнитрон [3] своей архитектурой похож на строение зрительной коры, имеет иерархическую многослойную организацию, в которой нейроны между слоями связаны только локально. Обучается конкурентным обучением (без учителя). Каждый слой мозга реализует различные уровни обобщения; входной слой чувствителен к простым образам, таким, как линии, и их ориентации в определенных областях визуальной области, в то время как реакция других слоев является более сложной, абстрактной и независимой от позиции образа. Аналогичные функции реализованы в когнитроне путем моделирования организации зрительной коры.
Неокогнитрон [3] является дальнейшим развитием идеи когнитрона и более точно отражает строение зрительной системы, позволяет распознавать образы независимо от их преобразований, вращений, искажений и изменений масштаба. Неокогнитрон может как самообучаться, так и обучаться с учителем. Неокогнитрон получает на входе двумерные образы, аналогичные изображениям на сетчатой оболочке глаза, и обрабатывает их в последующих слоях аналогично тому, как это было обнаружено в зрительной коре человека. Конечно, в неокогнитроне нет ничего, ограничивающего его использование только для обработки визуальных данных, он достаточно универсален и может найти широкое применение как обобщенная система распознавания образов.
|
|
|
В зрительной коре были обнаружены узлы, реагирующие на такие элементы, как линии и углы определенной ориентации. На более высоких уровнях узлы реагируют на более сложные и абстрактные образы такие, как окружности, треугольники и прямоугольники. На еще более высоких уровнях степень абстракции возрастает до тех пор, пока не определятся узлы, реагирующие на лица и сложные формы. В общем случае узлы на более высоких уровнях получают вход от группы низкоуровневых узлов и, следовательно, реагируют на более широкую область визуального поля. Реакции узлов более высокого уровня менее зависят от позиции и более устойчивы к искажениям.
Когнитрон является мощным средством распознавания изображений, однако требует высоких вычислительных затрат, которые на сегодняшний день недостижимы [3].
Достоинства и недостатки
Рассмотренные нейросетевые методы обеспечивают быстрое и надёжное распознавание изображений. Однако при применении этих методов к изображениям трёхмерных объектов возникают трудности, связанные с пространственными поворотами и изменением условий освещённости.
а
|
б
|
в
|
Рис. 3. С точки зрения классифицирующей системы (в) больше похоже на (б) чем на (а)
Рис. 4. Изображения одного и того же лица существенно различается при изменении освещения.
Изображения для различных углов поворота объекта существенно различаются, часть информации на изображении теряется, возникает новая, специфическая для данного угла. Например, лицо, повёрнутое на некоторый угол, с точки зрения классифицирующей системы [16] больше похоже на лицо другого человека, повёрнутое на такой же угол, чем на нужное лицо, изображённое в фас (рис. 3). Аналогичная проблема с изменением освещения (рис. 4). Такие ограничение обычно преодолеваются путём предъявления всевозможных вариаций изображения (различные повороты и освещённость) при обучении, но построение такого обучающего набора – трудная задача, и чаще всего такие наборы недоступны. Как показывает мировой опыт, эти проблемы не могут быть полностью решены выбором исходного представления данных. Поэтому к классифицирующим системам предъявляется требование – имея конечный репрезентативный набор вариаций образов некоторых классов, обобщить свой опыт на все остальные классы, не входившие в обучающий набор. Т.е. система должна извлечь характеристики, инвариантные к внутриклассовым изменениям и максимально репрезентативные по отношению к межклассовым изменениям. Такая задача в общем виде для систем распознавания лиц ещё не решена, но существуют методы, которые показывают возможности решения отдельных её аспектов [17,18] (инвариантность к освещению, синтез повёрнутых в пространстве изображений лиц на основе обучения). Перспективный подход в этом направлении описан в [10].
Так же существуют трудности, связанные с внутриклассовыми вариациями. Для лиц это различные эмоции, закрытые/открытые глаза, наличие очков и бород, изменения в причёске. Эти случаи система так же должна уметь обобщать.
В общем случае, при распознавании человек использует информацию от различных источников, и кроме того привлекает огромный запас контекстных знаний, который системам распознавания образов пока недоступен.
Заключение
Дан обзор различных нейросетевых методов распознавания изображений. Рассмотрены достоинства и недостатки этих методов при распознавании двумерных и трёхмерных объектов. Указаны проблемы при распознавании трёхмерных объектов. Выделены перспективные направления в распознавании трёхмерных объектов. Отмечены возможности применения нейросетевых методов для задачи распознавания человека по изображению лица.
Ресурсы в сети интернет
Во всемирной сети интернет доступен большой объём информации, посвящённой нейросетевой тематике и проблеме распознавания изображений.
Русскоязычные ресурсы.
· http://www.neuropower.de/ – ресурс, посвящённый искусственному интеллекту и нейросетевой тематике, доступен большой объём литературы в архиве.
· http://neurnews.iu4.bmstu.ru/ – статьи и книги по нейросетевой тематике.
· http://www.chat.ru/~saisa – материалы по генетическим алгоритмам.
· http://nncourse.chat.ru/ – учебное пособие “Нейронные сети (основные модели)”.
Англоязычные ресурсы.
· Большинство материалов имеет формат .ps (PostScript), для просмотра которых требуется программа GSView, адрес ресурса – http://www.cs.wisc.edu/~ghost, или требуется скопировать следующие файлы:
o ftp://ftp.cs.wisc.edu/ghost/aladdin/gs650/gs650w32.exe,
o ftp://ftp.cs.wisc.edu/ghost/ghostgum/gsv34w32.exe.
· http://www.cs.rug.nl/users/peterkr/FACE/face.html – ресурс, посвящённый проблеме распознавания человека по изображению лица. Дано множество ссылок на ресурсы аналогичной тематики, на нейросетевые ресурсы, ссылки на ресурсы научных коллективов, занимающихся смежными проблемами, ссылки на тестовые базы данных.
· http://www.ks.informatik.uni-kiel.de/~vok/research/research.html – ресурс профессора Волькера Крюгера. Посвящён обработке изображений и проблеме распознавания человека по изображению лица.
· http://www.funet.fi/pub/sci/neural/neuroprose – архив статей по нейронным сетям.
· http://www.neci.nec.com/~lawrence – ресурс профессора Стива Лоренса. Доступна публикация по свёрточным нейронным сетям.
· http://www.cnl.salk.edu/~wiskott/homepage.html – ресурс о применении нейронных сетей к проблеме распознавания человека по изображению лица.
Литература
1. Головко В.А. Нейроинтеллект: Теория и применения. Книга 1. Организация и обучение нейронных сетей с прямыми и обратными связями – Брест:БПИ, 1999, - 260с.
2. Головко В.А. Нейроинтеллект: Теория и применения. Книга 2. Самоорганизация, отказоустойчивость и применение нейронных сетей – Брест:БПИ, 1999, - 228с.
3. Уоссермен Ф. Нейрокомпьютерная техника: Теория и практика, 1992 – 184с.
4. Petrou M. Learning in Pattern Recognition. Lecture Notes in Artificial Intelligence – Machine Learning and Data Mining in Pattern Recognition, 1999, pp. 1-12.
5. Jacobsen X., Zscherpel U. and Perner P. A Comparison between Neural Networks and Decision Trees. Lecture Notes in Artificial Intelligence – Machine Learning and Data Mining in Pattern Recognition, 1999, pp. 144-158.
6. Valentin D., Abdi H., O'Toole A. J. and Cottrell G. W. Connectionist models of face processing: a survey. IN: Pattern Recognition 1994, Vol. 27, pp. 1209-1230.
7. Aizenberg I. N., Aizenberg N. N. and Krivosheev G.A. Multi-valued and Universal Binary Neurons: Learning Algorithms, Applications to Image Processing and Recognition. Lecture Notes in Artificial Intelligence – Machine Learning and Data Mining in Pattern Recognition, 1999, pp. 21-35.
8. Yoon K. S., Ham Y. K. and Park R.-H. Hybrid approaches to frontal view face recognition using the Hidden Markov Model and Neural Network. Pattern Recognition 1998 Vol. 31, pp. 283-293.
9. Ranganath S. and Arun K. Face recognition using transform features and neural networks. Pattern Recognition 1997, Vol. 30, pp. 1615-1622.
10. Lawrence S., Giles C. L., Tsoi A. C. and Back A. D. Face Recognition: A Convolutional Neural Network Approach. IEEE Transactions on Neural Networks, Special Issue on Neural Networks and Pattern Recognition, pp. 1-24.
11. Rowley H. A., Baluja S. and Kanade T. Neural Network-Based Face Detection. IEEE Transactions on Pattern Analysis and Machine Intelligence 1998, Vol. 20, pp. 23-37.
12. Foltyniewicz R. Efficient High Order Neural Network for Rotation, Translation and Distance Invariant Recognition of Gray Scale Images. Lecture Notes in Computer Science – Computer Analysis of Images and Patterns, 1995, pp. 424-431.
13. Dai Y. and Nakano Y. Recognition of facial images with low resolution using a Hopfield memory model. Pattern Recognition 1998, Vol. 31, pp. 159-167.
14. Milanova M., Almeida P. E. M., Okamoto J. and Simoes M. G. Applications of Cellular Neural Networks for Shape from Shading Problem. Lecture Notes in Artificial Intelligence – Machine Learning and Data Mining in Pattern Recognition, 1999, pp. 51-63.
15. Gutta S. and Wechsler H. Face recognition using hybrid classifiers. Pattern Recognition 1997, Vol. 30, pp. 539-553.
16. Самаль Д.И., Старовойтов В.В. – Подходы и методы распознавания людей по фотопортретам. – Минск, ИТК НАНБ, 1998. – 54с.
17. Belhumeur P. N., Hespanha J. P. and Kriegman D. J. Eigenfaces vs Fisherfaces: Recognition Using Class Specific Linear Projection. IEEE Transactions on Pattern Analysis and Machine Intelligence 1997, Vol. 19, pp. 711-720.
18. Vetter T. and Poggio T. Linear Object Classes and Image Synthesis From a Single Example Image. IEEE Transactions on Pattern Analysis and Machine Intelligence 1997, Vol. 19, pp. 733-742.
Дата добавления: 2019-07-15; просмотров: 47; Мы поможем в написании вашей работы! |
Мы поможем в написании ваших работ!