Проблемы проектирования и обучения нейросете
Общая формулировка задач оптимизации и различия геометрической интерпретации, различных способов минимизации целевых функций.
Поверхность ошибок (рисунок купола с точкой на дне)
средняя квадратичная ошибка
Задачи оптимизации: глобальные(найти самый минимальный min), локальные.
Проблемы и методы обучения
Как было показано в предыдущих подразделах, изобретение алгоритма обратного распространения ошибки открыло путь широкому практическому применению многослойного персептрона. Вместе с тем, с расширением фронта научных исследований обнаружились и недостатки этого алгоритма.
Прежде всего отметим, что алгоритм обратного распространения ошибки в его первоначальном изложении реализовывал метод наискорейшего спуска, который является далеко не самым лучшим градиентным методом теории оптимизации
Если бы изолинии поверхности ошибок нейросети представляли собой концентрические окружности, то направление антиградиента указывало бы на точное расположение точки минимума целевой функции. Однако поверхность ошибок имеет более сложный характер. изолинии поверхности ошибок имеют вид эллипсов, а сама поверхность вблизи минимальной точки имеет форму оврага. В этом случае траектория градиентного спуска представляет собой ломаную линию, каждый отрезок которой ортогонален к линии уровня в той точке поверхности ошибок, из которой производится очередной шаг.
|
|
|
В настоящее время основная проблема обучения персептронов состоит в том, что поверхность функции ошибок обычно имеет очень сложную форму со множеством локальных минимумов. методы обычно приводят к одному из локальных минимумов, лежащих в окрестности начальной точки обучения. Если после нахождения такого минимума погрешность обучения нейросети признается неудовлетворительной, то сеть «встряхивают», давая весовым коэффициентам случайные приращения, и продолжают процесс обучения из другой точки.
В связи с этим, актуальным является развитие методов глобальной оптимизации, т.е. таких, которые позволяют найти глобальный минимум многоэкстремальной целевой функции. Среди множества возможных подходов наиболее успешным признается идея генетических алгоритмов. Эта идея, впервые предложенная Дж.Холландом в 70-х годах XX в. [58], состоит в имитации природных оптимизационных процессов, происходящих при эволюции живых организмов.
Таким образом, символьные модели искусственного интеллекта — это формальные системы, основанные на использовании языка алгоритмов и представлении данных по принципу "сверху вниз" (top-down), а нейронные сети — это параллельные распределенные процессоры, обладающие естественной способностью к обучению и работающие по принципу "снизу вверх" (bottom-up). Поэтому при решении когнитивных задач целесообразно создавать структурированные модели на основе связей (structured connectionist models) или гибридные системы (hybrid system), объединяющие оба подхода. Это обеспечит сочетание свойств адаптивности, робастности и единообразия, присущих нейронным сетям, с представлениями, умозаключениями и универсальностью систем искусственного интеллекта [293], [1108]. Для реализации этого подхода были разработаны методы извлечения правил из обученных нейронных сетей [61]. Эти результаты не только позволяют интегрировать нейронные сети с интеллектуальными машинами, но и обеспечивают решение следующих задач.
|
|
|
Верификация нейросетевых компонентов в программных системах. Для этого внутреннее состояние нейронной сети переводится в форму, понятную пользователям.
Улучшение обобщающей способности нейронной сети за счет выявления областей входного пространства, не достаточно полно представленных в обучающем множестве, а также определения условий, при которых обобщение невозможно.
Выявление скрытых зависимостей на множестве входных данных.
|
|
|
Интеграция символьного и коннекционистского подходов при разработке интеллектуальных машин.
Обеспечение безопасности систем, для которых она является критичной.
Данные и знания. Модели представления знаний. Представление знаний с помощью фреймов и семантических сетей. Экспертные системы и их области применения. Преимущества и недостатки технологии экспертных систем по отношению к нейросетевым технологиям
Данные – это отдельные факты, характеризующие объекты, процессы и явления предметной области, а также их свойства
При обработке на ЭВМ данные трансформируются, последовательно проходя следующие этапы:
данные, существующие как результат измерений и наблюдений;
данные на материальных носителях информации – в таблицах, протоколах, справочниках;
структуры данных в виде диаграмм, графиков, функций;
данные в компьютере на языке описания данных;
базы данных.
Знания связаны с данными, основываются на них, но представляют собой результат мыслительной деятельности человека, обобщают его опыт, полученный в ходе практической деятельности. Знания – это выявленные закономерности предметной области.
При обработке на ЭВМ знания трансформируются аналогично данным:
|
|
|
знания, существующие в памяти человека как результат обучения, воспитания, мышления;
знания, помещенные на материальных носителях: учебниках, инструкциях, методических пособиях, книгах;
знания, описанные на языках представления знаний и помещенные в компьютер;
базы знаний.
Знания могут быть классифицированы по следующим категориям:
поверхностные – знания о видимых взаимосвязях между отдельными событиями и фактами в предметной области;
глубинные – абстракции, аналогии, схемы, отображающие структуру и процессы в предметной области.
Дата добавления: 2020-01-07; просмотров: 221; Мы поможем в написании вашей работы! |
Мы поможем в написании ваших работ!