Байесовская классификация. Теорема Байеса
Альтернативные названия: байесовское моделирование, байесовская статистика, метод байесовских сетей.
"Наивная" классификация - достаточно прозрачный и понятный метод классификации.
"Наивной" она называется потому, что исходит из предположения о взаимной независимости признаков.
Свойства наивной классификации:
¾ Использование всех переменных и определение всех зависимостей между ними.
¾ Наличие двух предположений относительно переменных:
¾ все переменные являются одинаково важными;
¾ все переменные являются статистически независимыми, т.е. значение одной переменной ничего не говорит о значении другой.
Большинство других методов классификации предполагают, что перед началом классификации вероятность того, что объект принадлежит тому или иному классу, одинакова; но это не всегда верно.
Допустим, известно, что определенный процент данных принадлежит конкретному классу. Возникает вопрос, можем ли мы использовать эту информацию при построении модели классификации? Существует множество реальных примеров использования этих априорных знаний, помогающих классифицировать объекты. Типичный пример из медицинской практики. Если доктор отправляет результаты анализов пациента на дополнительное исследование, он относит пациента к какому-то определенному классу. Каким образом можно применить эту информацию? Мы можем использовать ее в качестве дополнительных данных при построении классификационной модели.
|
|
|
Отмечают такие достоинства байесовских сетей как метода Data Mining:
¾ в модели определяются зависимости между всеми переменными, это позволяет легко обрабатывать ситуации, в которых значения некоторых переменных неизвестны;
¾ байесовские сети достаточно просто интерпретируются и позволяют на этапе прогностического моделирования легко проводить анализ по сценарию "что, если";
¾ байесовский метод позволяет естественным образом совмещать закономерности, выведенные из данных, и, например, экспертные знания, полученные в явном виде;
¾ использование байесовских сетей позволяет избежать проблемы переучивания(overfitting), то есть избыточного усложнения модели, что является слабой стороной многих методов (например, деревьев решений и нейронных сетей).
Наивно-байесовский подход имеет следующие недостатки:
¾ перемножать условные вероятности корректно только тогда, когда все входные переменные действительно статистически независимы; хотя часто данный метод показывает достаточно хорошие результаты при несоблюдении условия статистической независимости, но теоретически такая ситуация должна обрабатываться более сложными методами, основанными на обучении байесовских сетей;
|
|
|
¾ невозможна непосредственная обработка непрерывных переменных - требуется их преобразование к интервальной шкале, чтобы атрибуты были дискретными; однако такие преобразования иногда могут приводить к потере значимых закономерностей;
¾ на результат классификации в наивно-байесовском подходе влияют только индивидуальные значения входных переменных, комбинированное влияние пар или троек значений разных атрибутов здесь не учитывается. Это могло бы улучшить качество классификационной модели с точки зрения ее прогнозирующей точности, однако, увеличило бы количество проверяемых вариантов.
Теорема Байеса
Где:
P(A) — априорная вероятность гипотезы A;
P(A|B) — вероятность гипотезы A при наступлении события B (апостериорная вероятность);
P(B|A) — вероятность наступления события B при истинности гипотезы A;
P(B) — полная вероятность наступления события B.
Доказательство:
Формула Байеса вытекает из определения условной вероятности. Вероятность совместного события AB двояко выражается через условные вероятности
Нейронные сети.
Нейронные сети математические модели, а также их программные или аппаратные реализации, построенные по принципу организации и функционирования биологических нейронных сетей сетей нервных клеток живого организма.
|
|
|
Понятие нейронных сетей возникло при изучении процессов, протекающих в мозге при мышлении, и при попытке смоделировать эти процессы. Нейронная сеть представляет собой систему соединенных между собой простых процессоров. Они довольнопросты, и каждый из них обрабатывает входящие сигналы и посылает их другим процессорам. Будучи соединенными в достаточно большую сеть с управляемым взаимодействием, такие локально простые процессоры вместе способны выполнять довольносложные задачи.
Нейронные сети имеют возможность обучаться, в чем и заключается одно из главных их преимуществ перед традиционными алгоритмами. Технически обучение заключается в нахождении коэффициентов связей между нейронами. В процессе обучениянейронная сеть способна выявлять сложные зависимости между входными даннымии выходными, а также выполнять обобщение. Это значит, что, в случае успешногообучения, сеть сможет вернуть верный результат на основании данных, которые отсутствовали в обучающей выборке.
Дата добавления: 2020-04-25; просмотров: 228; Мы поможем в написании вашей работы! |
Мы поможем в написании ваших работ!