Декларативная и процедурная память

Деление памяти по временной шкале не охватывает всех ее форм. В 70-х годах среди разработчиков искусственного интеллекта стали различать процедурную и декларативную память, исходя из того, что можно провести различие между памятью на действие и на его называние.

Под декларативной, или эксплицитной, памятью понимают запо­минание объектов, событий, эпизодов. Это память на лица, места событий, предметы. Декларативная память часто основана на ассоциации одновременно действующих раздражителей. Процедурная, память — это память на действия. Она представлена моторными навыками, перцептуальными стратегиями, классическими условными и инструментальными рефлексами.

След в декларативной памяти может храниться годами, тогда как процедурная память при неупотреблении и без поддержки со­ответствующим подкреплением склонна к угасанию. Впервые декларативную память в 30-е годы стал исследовать известный грузинский физиолог Иван Соломонович Бериташвили (Беритов).

 

Рабочая память

Рабочая память— это временно актуализированная система сле­дов памяти, которая оперативно используется во время выполнения различных когнитивных действий (перцептивных, мыслительных и др.) и реализации целенаправленного поведения.

Рабочая (реже употребляется «оперативная») память (ОП) по­зволяет обрабатывать информацию во время мыслительной и исполнительной деятельности.

Удобной экспериментальной моделью для изучения РП стали опыты с формированием отсроченного инструментального реф­лекса. Они позволили тестировать способность животного управ­лять своим поведением, ориентируясь на представления об экспе­риментальной среде, сохраняя их в РП. Опыты показывают, что животные могут удерживать в рабочей памяти не только информацию о месте нахождения объекта, но и образ самого объекта.

 

Память и научение

Память и науче­ние — неотделимые процессы. Научение обеспечивает постоян­ное пополнение и изменение знаний, а также приобре­тение новых навыков, умений. В отличие от научения процессы памяти ответственны не только за усвоение (фиксацию), но и за сохранение и воспроизведение (извлечение) информации. В са­мом широком смысле слова научение можно определить как приспособительное изменение поведения, обусловленное прош­лым опытом. Память необходима для научения, так как она представляет собой механизм, с помощью которого накаплива­ется прошлый опыт, который может стать источником адаптив­ных изменений поведения. С этой точки зрения, научение - совокупность процессов, обеспечивающих приобрете­ние индивидуальной (фенотипической) памяти, вызывающей приспособительную модификацию поведения.

Научение требует определенного времени, условий и реализу­ется с помощью нейрофизиологических механизмов разного уров­ня (межклеточного, внутриклеточного, молекулярного).

 

 

ПОВЕДЕНЧЕСКИЙ АКТ

 

 

       В процессе научения в дикой природе и в результате дрессировки, животные осваивают новые формы поведения - поведенческие акты, которые представляют собой и разграничивают элементы поведения животных от момента возникновения потребности в чем-либо до сигнала о ее удовлетворении. Поведенческий акт может быть различной степени сложности, а формируясь и осуществляясь в конкретных условиях он не может не зависеть от них.

       С точки зрения П.К. Анохина, создателя теории функциональных систем, и его школы, структура поведенческого акта представляет собой последовательную смену следующих этапов или стадий: афферентного синтеза, принятия решения, акцептора результата действия, эфферентного синтеза, формирования самого действия и оценки достигнутого результата.

       Стадия афферентного синтеза представляет собой анализ совокупности информационных сигналов, поступающих в центральную нервную систему и дающих основание животному принять решение о возможном поведении.

       Во время стадии афферентного синтеза, учитывается наличие потребности организма в чем-либо, возможных путей удовлетворения этой потребности, имеющихся во врожденной и приобретенной памяти, воздействие разнообразных факторов внешней среды (обстановочная афферентация) и сигналов, запускающих поведение (пусковая афферентация).

 

Потребность

       Поведение живых организмов всегда направлено на удовлетворение какой-либо потребности. Влияние доминирующей (главной, наиболее важной, наиболее сильной) на данный момент потребности в построении поведения велико, так как любая информация, в том числе и команда дрессировщика, соотносится с существующей потребностью. Не имеющая отношение к ее удовлетворению информация не принимается во внимание. Потребность также активирует память, именно те отделы памяти, в которых хранится информация о возможных путях ее удовлетворения и как бы делает их доступными. Кроме того потребность подготавливает к работе (активизирует) двигательные системы организма, которые могут быть задействованы в выполнении действий, необходимых для удовлетворения данной потребности.

 

                       

 

 

Обстановочная афферентация.

       Но появление конкретного поведения определяется не только наличием соответствующей потребности. Возможность осуществления поведенческого акта зависит также от обстановки (условий, в которых приходится действовать животному). Факторы внешней среды (обстановочная афферентация) влияют на появление и характер поведенческого акта, а иногда и сами могут вызывать привычное для данной ситуации поведение. Значение обстановочной афферентации заключается в том, что создавая скрытое возбуждение, она приурочивает поведение к определенному месту, наиболее целесообразному для удовлетворения соответствующей потребности. Как правило, поведение в несвойственной для него обстановке, не связанной с удовлетворением данной потребности, протекает менее выражено, неполно или неэффективно. Собаки, в непривычной для них обстановке, подчиняются командам неохотно, выполняют знакомые им навыки с трудом и часто неправильно.

 

Память

       Память хранит множество сценариев о том, что можно и нужно делать, если чего-нибудь очень хочется с учетом конкретной обстановки.

       Множество сценариев поведения закодированы генами и тогда говорят о врожденном (инстинктивном) поведении, но и не меньшее количество осваивается и запоминается (записывается в памяти как еще один сценарий) собакой в процессе ее жизни. И прежде чем начать что-нибудь делать, собака обязательно просмотрит свою библиотеку сценариев возможного поведения и выберет наиболее подходящий с ее точки зрения.

       В результате взаимодействия информации о потребности, обстановки и данных памяти формируется готовность организма к определенному действию, которое запускается соответствующими сигналами, стимулами или командами (пусковая афферентация). Пусковая афферентация, иногда ее называют санкционирующим стимулом, привязывает поведение к конкретному времени, конкретной обстановке и конкретной ситуации.

       Стадия афферентного синтеза завершается переходом в стадию принятия решения, которая определяет тип и направление поведения. При этом формируется так называемый акцептор результата действия, представляющий собой образ будущих событий, результата, программы действия и представление о средствах достижения необходимого результата.

       На стадии эфферентного синтеза формируется конкретная программа поведенческого акта, которая переходит в действие - то есть с какой стороны забежать, какой лапой толкнуться и с какой силой. Полученный животным результат действия по своим параметрам сравнивается с акцептором результата действия. Если происходит совпадение, удовлетворяющее животное, поведение в данном направлении заканчивается; если нет - поведение возобновляется с изменениями необходимыми, для достижения цели.

       Большую роль в целенаправленном поведении играют эмоции - как связанные с появлением и усилением потребностей, так и возникающие в процессе деятельности, (отражающие вероятность достижения цели или результаты сравнения реальных результатов с ожидаемыми).

Таким образом наиболее важным компонентом, определяющим поведение, является достижение биологически полезного результата, удовлетворения ведущих биологических потребностей: голода, жажды, страха, агрессии, половой, родительской и тому подобное. Только при наличии биологически важной цели, поведение становится целесообразным для животного, необходимым для него и повторяющимся с большой вероятностью в будущем. И успех дрессировки определяется тем, насколько целесообразными для животного становятся навыки, предлагаемые ему человеком.

       Согласно теории функциональных систем, хотя поведение и строится по рефлекторному принципу, оно не определяется как последовательность или цепь условных рефлексов. Действие животных определяется не только внешними раздражителями, но и внутренними потребностями и создается на основе опережающего отражения действительности - программирования, а ведущим фактором организации поведения, его целью, является получение биологически полезного результата.

       На основе многолетнего изучения отдельного рефлекса и поведенческого акта П.К. Анохиным была предложена теория функциональных систем, которая сейчас плодотворно разрабатывается школой К.В. Судакова.

       Основой теории функциональных систем являются следующие положения:

       1. Определяющим моментом деятельности функциональных систем, обеспечивающих поведение, является не само действие, а полезный для организма результат.

       2. Инициативная роль в формировании целенаправленного поведения принадлежит потребностям, организующим мотивации, врожденные и приобретенные программы действия.

       3. Каждая функциональная система строится по принципу саморегуляции.

       4. Функциональная система избирательно объединяет различные органы, ткани и структуры мозга для обеспечения результативной поведенческой деятельности.

       5. В функциональных системах осуществляется постоянная оценка результата поведенческой деятельности с помощью обратной афферентации (связи).

       6. Поведенческий акт, обеспеченный функциональной системой, имеет несколько стадий. Рефлекс является только составной частью функциональной системы.

       7. В системную организацию целенаправленного поведенческого акта включаются мотивации, память и эмоции.

       8. При образовании функциональной  системы складываются сложные структуры программирования и предвидения.

       В отличие от рефлекторной теории, теория функциональных систем выдвигает следующие принципы:

       1. Поведение живых существ детерминировано не только внешними стимулами, но и внутренними потребностями, генетическим и индивидуальным опытом, действием обстановочных раздражителей, которые создают так называемую предпусковую интеграцию возбуждений, вскрываемую пусковыми стимулами.

       2. Поведенческий акт разворачивается с опережением реальных результатов поведения, что позволяет сравнивать реально достигнутое с запланированным на основе прошлого опыта и корректировать свое поведение.

1. Целенаправленный поведенческий акт заканчивается не действием, а полезным приспособительным результатом, удовлетворяющим доминирующую потребность.

 

НАВЫК

 

       Обычно целью дрессировки является выработка у животных различных навыков.      Навыком может быть любое действие, в том числе и невидимое (недоступное для непосредственного наблюдения), сформированное путем повторения, характеризующееся высокой степенью освоения и отсутствием поэтапной сознательной регуляции и контроля. То есть навык, это такое действие которые воспроизводится безотказно, быстро и однообразно независимо от внешнего влияния.

       Мы привыкли называть навыком какое-либо привычное действие или движение, но принято различать навыки перцептивные, обеспечивающие узнавание объекта, интеллектуальные, автоматизирующие применение способа или приема решения задач и двигательные. В процессе дрессировки обязательно формируются практически все виды навыков, и даже тогда, когда вы отрабатываете у собаки казалось бы только двигательный навык. Перцептивные навыки осваиваются как бы сами собой и необходимы, например, для узнавания и различения команд.

       Навык несводим к условному рефлексу и его нельзя сравнивать с цепью или совокупностью условных рефлексов. Любое завершенное поведение животного (поведенческий акт) гораздо сложнее и представляет собой совокупность наследуемых и приобретенных элементов поведения, взаимодействие которых происходит под управлением и контролем интеллектуального аппарата животного.

       На скорость формирования навыка влияют мотивация, или лежащая в ее основе потребность, способность к научению вообще, особенности подкрепления, режим тренировки, методика формирования и опыт животного по освоению других реакций и навыков.

       Под методикой формирования навыка понимают способ отработки его в целом или же по частям, переход от одного уровня освоения к другому по показателям автоматизированности, скорости, устойчивости к различного вида торможению и тому подобному.

       Основную роль в становлении навыка играет упражнение или тренировка, то есть повторное выполнение действия с целью его усвоения (овладением). При этом происходит лучшее уяснение задачи, закрепление действия и его автоматизация.

       Существенным условием успешности упражнений является медленный темп действий на начальном этапе овладения ими. Преждевременное ускорение уменьшает возможность освоения правильности выполнения. Однако длительная задержка на медленном темпе, задерживает объединение отдельных действий в системы.

       Так же важное значение для успешности упражнений имеет правильное распределение упражнений во времени . Если одни и те же упражнения продолжаются непрерывно в течение длительного отрезка времени, результаты их, вследствие утомления, не только не улучшаются, а наоборот, ухудшаются. Отдельные упражнения не должны быть слишком длительными. Один вид упражнений должен чередоваться с другими.

       Большое влияние на эффективность упражнений оказывает длительность перерывов между ними. При одном и том же количестве времени, затраченном на упражнение, слишком длительные промежутки дают худшие результаты. Наиболее эффективно такое распределение упражнений: более частое повторение их в начале обучения и постепенное удлинение промежутков между ними по мере овладения навыком.

       В общем виде формирование навыка имеет несколько этапов:

1. конструирование навыка;

2. первичная автоматизация, когда действие выполняется с ошибками, медленно и не всегда вызывается командой (умение);

3. дезавтоматизация (отмечается не всегда) - ухудшение выполнения действия;

4. вторичная автоматизация, когда навык по своим признакам соответствует тому, что мы хотели сформировать.

       Показателем формирования навыка являются прежде всего скорость выполнения действия и качество его выполнения.

       От навыка следует отличать умение, под которым понимают выполнение действий, не достигающих устойчивого и высокого уровня воспроизведения. Например, собака уже знакомая с выполнением подхода по команде не всегда правильно осуществляет его или отвлекается во время выполнения приемов на посторонние раздражители, а то и отказывается выполнить знакомую команду, помчавшись за кошкой. То есть умение, в отличие от навыка, воспроизводится необязательно, а может и не произойти вовсе и от случая к случаю выполняется неодинаково. Умение также отличается от навыка тем, что в его основе лежит гораздо меньше повторений (меньшее количество упражнений).

       Но освоение любого действия начинается с усвоения знаний и формирования представления о необходимом действии. Знания и представления у собаки формируются при помощи форм научения. Таким образом становление навыка можно описать и такой схемой:

1. от знания до умения;

2. от умения до навыка.

       Положительное влияние усвоенных навыков на овладение другим действием называется переносом навыков. Перенос навыков наблюдается прежде всего тогда, когда новые действия имеют много общего с уже усвоенными. Больший опыт и большее количество умений способствуют более быстрому овладению новыми навыками.

       Но существует и отрицательное влияние старых навыков на усвоение новых. Такое взаимодействие навыков называется их интерференцией.

       Различают два случая интерференции навыков. Первый случай интерференции при перестройке навыков, когда при выполнении какого-либо действия требуется заменить ранее усвоенный способ его выполнения новым. Такую интерференцию навыков называют ассоциативным торможением.

       Однако старый навык может оказывать отрицательное влияние и после овладения новым навыком. В этих случаях уже после усвоения нового способа возникают или задержки в применении нового способа действия, или повторение старых приемов. Такое случается, например, когда подготовленную собаку по общему курсу дрессировки (ОКД) пытаются переучить по курсу послушания IPO-1.

       Важнейшим средством устранения и предупреждения интерференции навыков является четкое различение и противопоставление старого и нового способа действия (перемежающееся противопоставление).

       Навык, не обеспечивающий получения подкрепления, затормаживается или может забываться (дезавтоматизироваться) в результате длительного невостребования. То есть, если животное в течение продолжительного времени при воспроизведении навыка не получает того, ради чего оно освоило его, навык затухает, точно также, ели он долгое время не воспроизводится по нашей команде, то есть не тренируется.

 

 

СПОСОБЫ ДРЕССИРОВКИ

           

       Теория дрессировки реализуется через свои методы. Метод дрессировки можно определить как совокупность специфических теоретических и практических положений, определяющих действия дрессировщика в процессе формирования поведения животного. В отличие от методики, способа и приема дрессировки М.д. определяет общий подход к процессу модификации поведения и имеет в своей основе закономерности соответствующей формы научения. Например, оперантный М.д. основывается на оперантном научении и образовании инструментальных условных рефлексов; условно-рефлекторный М.д. имеет базой классическую условно-рефлекторную форму научения.  Кроме описанных, в формировании поведения животных могут быть использованы и другие методы: импринтинга, привыкания, доминанты, подражания, а также когнитивного научения. Конкретный метод дрессировки предполагает воспроизведение закономерностей и условий соответствующей формы научения.

           Под способом понимают такое воздействие на животное, которое приводит к воспроизведению (появлению) нужных дрессировщику действий или сохранению необходимых поз.

  Хотя, по словам К. Прайор, "способов дрессировки существует столько, сколько дрессировщиков, способных их придумать", однако наиболее употребимы следующие.

  способ наведения, который заключается в том, что дрессировщик вызывает нужное ему движение, предлагая животному следовать за кусочком пищи или рукой. В.Л. Дуров называл этот способ "жестикуляцией" и понимал под этим "комплекс движений, которые наводят животное на нужное движение". К этому способу относится и способ "мишени", описанный К. Прайор, заключающийся в инициировании двигательной реакции животного при помощи движения рукой или каким-либо предметом (мишенью), манипулируя которыми можно вызывать достаточно сложное двигательное поведение животных. Мы часто инстинктивно используем этот способ - похлопываем рукой по бедру, приглашая собаку подойти или по дивану, когда хотим, чтобы она вспрыгнула на него. Когда мы берем в руку кусочек лакомства и предлагаем собаке следовать за ним - мы пользуемся способом наведения.

  способ наталкивания, когда дрессировщик при помощи направляющих (подталкивающих) воздействий рук, поводка, не приводящих к боли или неприятным ощущениям для животного, добивается воспроизведения нужного действия. Таким образом мы можем дать понять собаке, что от нее требуется, главное вовремя прекратить вспомогательные действия, иначе собака включит их в состав вашей команды.

  способ пассивной флексии, суть которого заключается в том, чтобы придать животному необходимую позу или помочь ему сделать нужное движение. Такой способ возможен при условии если животное не сопротивляется воздействиям дрессировщика, например, при научении собаки подавать лапу. В оперантной дрессировке этот способ получил название "лепки", так как дрессировщик как был лепит ту или иную позу. Именно таким способом иногда обучают детей писать буквы - взрослый человек берет руку ребенка в свою и помогает ему совершить правильные движения.

  способ отбора поведения, когда при естественном поведении животного положительно подкрепляются нужные и отрицательно - ненужные действия. А.В. Дурова-Садовская назвала этот способ "подлавливанием".  По Скиннеру этот способ заключается в том, что весь путь от исходного поведения (еще до начала обучения) до конечной реакции, которую исследователь стремится выработать у животного, разбивается на несколько этапов.

       Допустим, что нам нужно обучить голубя ударять клювом по маленькому светящемуся кружку, используя пищевое подкрепление в виде зернышка. Вначале мы будем давать ему зернышко каждый раз, когда он зайдет в ту половину клетки, где находится светящийся кружок. Далее мы будем подкреплять его лишь в том случае, если он не только зашел в эту половину клетки, но еще и повернулся головой к стенке, на которой находится кружок. На третьем этапе можно, например, давать зернышко при сочетании этих двух условий, если вдобавок еще клюв животного направлен в сторону кружка. Затем постепенно можно заставить голубя касаться клювом кружка и, наконец, ударять по нему с целью получить подкрепление. Как мы видим, при таком методе обучения к очередному этапу переходят лишь тогда, когда уже сформировалась поведенческая реакция, необходимая на предыдущем этапе.

       Способ отбора поведения служит базой для способов, позволяющих не только отрабатывать свойственные (видоспецифические) реакции животных, но и осваивать навыки, необычные для их нормального поведения:

  способ усиления поведенческого признака, который заключается в том, что подкрепляется все более отличающийся в нужном направлении (или более выраженный) вариант поведенческого акта. К. Прайор называет такой способ "способом последовательного приближения" именно этот способ она использовала как основной для дрессировки дельфинов, например для увеличения высоты прыжка;

  способ сокращения (редукции) поведенческого акта до его отдельного элемента.  Например, путем положительного подкрепления только одного из элементов. Редуцируя поведенческий акт, В.Л. Дурову удалось отработать навыки дутья в музыкальную трубу и произнесение слова "мама" собакой.

  способ альтернативы (альтернативного поведения), при котором дрессировщик создает такие условия (иногда даже непосредственно не воздействуя на животное: например, при помощи реквизита), которые допускают совершение лишь единственно возможного движения. Именно так называется один из старинных способов обучения собаки двигаться рядом с дрессировщиком, когда он движется с ней вдоль забора - собакой к забору.

  способ игрового поведения (особенно эффективен для молодых или любящих играть животных). При этом используется потребность в игре, когда возможность поиграть является и подкреплением. Для применения такого способа создается игровая ситуация и предлагается форма игры, которая должна представлять нужное дрессировщику действие.

  ИМИТАЦИОННЫЙ СПОСОБ (способ подражания), особенностью которого является то, что оно одновременно выступает и как метод (имитационный метод научения).

  способ оборонительного поведения или избегания, когда добиваются нужного поведения при помощи болевых или неприятных воздействий, избегая которые, животные и совершают желаемое действие. Например, неприятные или болевые рывки, удары, болезненные надавливания, ожидание боли (страх), способные вызвать изменение поведения животного, нужные дрессировщику - оборонительное поведение. Как правило при помощи этого способа отрабатывается движение собаки рядом с дрессировщиком, посадки и укладки.

  способ агрессивно-оборонительного поведения: при нем на животное оказывают воздействия такого качества и такой силы, избавиться от которого собака может только посредством агрессивно-оборонительного поведения. Эффект способа заключается в том, что от опасного раздражителя можно избавиться двояко - 1) уйти (убежать) из сферы его действия; 2) уничтожить его атакуя. Ваша задача заключается в том, чтобы вызвать у собаки желание следовать второму пути. Со временем команда, предшествующая агрессивному состоянию и соответствующему инструментальному действию, или ситуация, связанная с этим, становятся сигнальными, то есть образуются не только инструментальные рефлексы, но и условные рефлексы на состояние.

  Указанные способы можно использовать при любой форме научения (методе дрессировке), но эффективность их при этом будет различной. Очень часто при отработке конкретного навыка последовательно или параллельно используются несколько способов.

       Выбор того или иного способа дрессировки определяется возрастом и породой собаки, стоящей перед дрессировщиком задачей, его опытом, интуицией, а то и вкусом. И очень часто “быстрые” способы не являются самыми лучшими.

 

ПОДКРЕПЛЕНИЕ

 

  Вопрос о подкреплении в научении еще окончательно не разработан и в разных школах, изучающих поведение, решается неоднозначно.

  В школе классических условных рефлексов подкреплением считается безусловное воздействие на животное, связанное во времени с условным сигналом. Причем подкреплением может быть любая вызванная деятельность организма.

  В случае наличия подкрепления условный рефлекс называют положительным (подкрепляемым). А в случае отсутствия безусловного воздействия - отрицательным или тормозным (неподкрепляемым). При таком подходе болевое воздействие служит положительным подкреплением оборонительному поведению.

  В оперантном научении подкреплением считается любое воздействие, увеличивающее или уменьшающее вероятность повторения в будущем предшествующего его воздействию поведения, то есть любое поведение определяется своими последствиями. В зависимости от того, будут ли эти последствия приятными, безразличными или неприятными, животное проявит тенденцию повторять данный поведенческий акт, не придавать ему никакого значения или же избегать его повторения в дальнейшем. В таком случае положительным подкреплением считается воздействие, которое увеличивает в будущем вероятность предшествующего ему действия, другими словами, животное стремится к получению положительного подкрепления. Момент получения положительного подкрепления всегда положительно эмоционален. И, наоборот, животное стремится избежать отрицательного подкрепления. Факт отрицательного подкрепления вызывает отрицательные (негативные) эмоции и снижает вероятность повторения в будущем поведения, приводящего к нему. Как уже упоминалось, само эмоциональное состояние может иметь выраженный подкрепляющий характер.

       В настоящее время считается, что термин “отрицательное подкрепление” несколько некорректен, так как всякое подкрепление по определению должно способствовать выработке какой-то формы поведения, т.е. оказывать положительное действие. Видимо, правильнее было бы в обоих случаях говорить о подкреплении, но не о положительном и отрицательном, а о положительном и аверсивном (болевом).

  С точки зрения мотивированного поведения, подкреплением считается любое событие, увеличивающее, уменьшающее или исключающее вероятность удовлетворения наличной потребности. Событие, связанное с удовлетворением потребности, и сам факт удовлетворения потребности являются положительным подкреплением. Факт неудовлетворения потребности считается отрицательным подкреплением. Такой подход объясняет существование форм научения без выраженного подкрепления, например, импринтинга или латентного научения.

       Событие, регулярно предшествующее факту подкрепления, начинает нести информацию о его наступлении и, по законам развития условного рефлекса, само становится подкреплением. Такое подкрепление называется условным. Различают положительное и отрицательное условное подкрепление (известные всем "ХОРОШО!" и "ФУ!"). Таким образом различают натуральное (первичное в оперантном научении) подкрепление, заключающееся в непосредственном воздействии на животное (кормление, поение, оглаживание, причинение боли или неприятных ощущений) и условное (вторичное в оперантном научении) подкрепление, образующееся по законам классических условных рефлексов.

  По мере тренированности, свойства условного подкрепления могут приобретать команда, а при инструментальных рефлексах - действия животного или даже данные обстановочной афферентации - потому, что, чаще или реже, их результатом бывает подкрепление. Чтобы условное подкрепление не потеряло своего сигнального значения, время от времени его необходимо подтверждать непосредственным воздействием на животное, то есть натуральным подкреплением.

  Особое значение имеет время подачи подкрепления. Следует отметить, что закрепляется только непосредственно предшествующее подкреплению поведение. В оперантном научении считается, что разрыв между нужной формой поведения и фактом подкрепления не должен составлять более 10 секунд. Если этот разрыв больше, научение может не произойти.

  Школой И.П. Павлова были описаны так называемые "отставленные рефлексы", когда разрыв между действием условного раздражителя и подкрепления составлял минуты и десятки минут. Выработка "отставленных рефлексов" осуществима только в специфических условиях павловской "башни молчания", но и при этом была отмечена закономерность - чем дальше во времени оставляется подкрепление, тем медленней вырабатывается условнорефлекторная реакция. В реальных условиях избежать факта оставления подкрепления помогает использование условного подкрепления.

  Оказалось, что частичное подкрепление условных сигналов (до 50% случаев, а по некоторым данным до 33-25%), не затрудняет выработку условного рефлекса, но значительно замедляет его угашение при последующей отмене подкрепления. Но при свободном выборе режима положительного подкрепления, животные выбирают режим с большей вероятностью его получения. Возможно общее число случаев подкрепления важно только для упрочения реакции  до навыка. Однако вариационный (вариабельный) режим подкрепления значительно закрепляет отработанный навык.

  Значимость подкрепления, то есть его способность оказывать влияние на модификацию поведения определяется, с одной стороны его величиной. Оказалось, что животные при условии свободы выбора величины подкрепления, выбирают те случаи, в которых величина положительного подкрепления больше. Учитывая закон сохранения (экономии) энергии, животное может прийти к выводу, что величина подкрепления не окупает энергетические затраты связанные с его достижением. С другой стороны, величина подкрепления должна быть такой, чтобы вызвать безусловную реакцию животного. Например, отрицательное подкрепление только тогда эффективно, когда способно вызывать оборонительную реакцию.

       Следует всегда помнить об относительности биологической значимости подкрепления. Так для совершенно сытого животного вряд ли значимым будет пищевое подкрепление, как для некоторых собак ласковое слово или поглаживание хозяина бывает безразличным и, следовательно, не воспринимается подкреплением. Для одних животных игра является сильным подкрепляющим фактором, для других возможность свободы и физической активности, одни собаки воспринимают рывок поводком средней силы как значимое отрицательное подкрепление, другие не обращают внимание и продолжают тянуть.

       Относительность подкрепления также связана с потребностью, испытываемой организмом. Если ваша собака очень хочет погнаться за кошкой, то ваш кусочек сыра вряд ли будет подкреплением команде подхода.

  Значимость подкрепления определяется также положением связанной с ним потребности в иерархии потребностей. Например, витальные потребности более значимы, чем потребности саморазвития. А в опытах по изучению влияния различных видов подкрепления на осуществление реакции экстраполяции оказалось, что при подкреплении самостимуляцией положительных зон мозга крысы оказались способными не только к многократному решению задачи, но и усложненного ее варианта, тогда как при пищевом подкреплении они этого не могли.

       На значимость подкрепления также оказывают влияние индивидуальные особенности животного и его ранний опыт. Как уже упоминалось, для животных, выращенных в условиях ранней сенсорной депривации, отрицательное подкрепление более значимо, чем для животных, выращенных в нормальной или обогащенной среде. Кроме того, значимость подкрепления определяется величиной базовой для него потребности. Кстати, при отработке какого-либо действия, использование подкреплений, ориентированных к различным потребностям, способствует более быстрому научению.

       Как при реактивном (классическом), так и при оперантном научении приобретенная реакция сохраняется лишь до тех пор, пока ее поддерживают безусловным раздражителем (в первом случае) или специальным подкреплением (во втором случае). Если же эти подкрепляющие факторы перестают действовать, то выработанное на их основе поведение быстро угасает и после нескольких попыток прекращается вовсе.       Важно отметить, что речь здесь идет именно об угасании, а не об исчезновении или "стирании следов". Дело в том, что если снова начать предъявлять безусловный раздражитель или подкрепляющий фактор, то исчезнувшее поведение почти сразу же восстанавливается.

 

  Наказание

  Наказание чисто человеческое понятие, имеющее свои человеческие особенности, может быть и пригодно для человечества, но в дрессировке не только бесполезно, но и опасно. Привнесение этого "человеческого" понятия в дрессировку имеет следующие отрицательные стороны:

  1. Наказание неизбежно (в отличие от отрицательного подкрепления), поэтому оно не влияет на модификацию поведения. Наказание учит только как не попадаться или как принимать такую позу подчинения, которая снижает его интенсивность или исключает его.

  А отрицательное подкрепление, в отличие от наказания, это событие, которое можно прекратить или избежать, изменив поведение сейчас же.

  Целью дрессировки является не применение наказания, как впрочем и отрицательного подкрепления, а создание таких возможностей для животного, в которых оно могло бы избежать их, изменив поведение.

  2. Как правило, наказание используется после того как поведенческий акт уже завершен. По своему физиологическому действию наказание является отсроченным отрицательным (аверсивным) подкреплением, а, как известно, чем далее во времени отсрочено подкрепление, тем с большим трудом модифицируется поведение.

  3. Как считает К. Прайор, "если наказание помогло прекратить нежелательное поведение, то такое воздействие служит мощным подкреплением для наказывающего. В дальнейшем наказывающий будет стремиться к наказанию".

  4. Наказывающий может быть бессознательно заинтересован не в исправлении поведения, а в получении доказательств своего лидерства, так как наказание способствует сохранению и упрочнению доминирующего положения наказывающего.

  Можно сформировать поведение, используя только отрицательное подкрепление, как это характерно для классической дрессировки, при этом образуются типичные оборонительные рефлексы. В такой ситуации животные, в той или иной степени, будут стремиться избегать те места где происходило получение отрицательного подкрепления, а исполнять команды будет с неохотой, так как команды с большой долей вероятности становятся предвестниками болевых или неприятных последствий. К тому же избыток отрицательного подкрепления снижает скорость научения, а у животных со слабой нервной системой может вызвать невроз, у щенков - появление робости, трусости и неуверенности в себе.

 

ФОРМЫ НАУЧЕНИЯ

---

Дата добавления: 2018-05-01; просмотров: 490; Мы поможем в написании вашей работы!

Поделиться с друзьями:

---

---

Мы поможем в написании ваших работ!