Основные принципы выбора субтестов.

⇐ ПредыдущаяСтр 2 из 3Следующая ⇒

Можно условно выделить три принципа содержательного обоснования, включая тех или иных субтестов в разрабатываемые тестовые батареи. Этими принципами авторы руководствовались в своей работе.

Первый из них - это принцип научной обоснованности. Каждый субтест должен отражать какую-то важную интеллектуальную характеристику, а то и набор характеристик, значимых для обеспечения успешной учебной деятельности. Выбор направленности субтестов осуществлялся, в частности, с учетом методических приложений, даваемых Дж.Гилфордом к своей факторной модели интеллекта.

Второй принцип - это принцип аналогии. В качестве прототипов разрабатываемых субтестов выступали хорошо зарекомендовавшие себя субтесты из известных интеллектуальных методик (WAIS и WISC Д.Векслера, Теста структуры интеллекта Р.Амтхауэра и др.).

Третий принцип - это принцип реальности. Так кик процесс тестирования планировался достаточно простым и стандартизированные, использующим задания закрытого типа, некоторые стороны интеллекта оказались за рамками разрабатываемых тестовых батарей. Это относится к так называемому наглядно-действенному, предметному интеллекту, а также к тем аспектам интеллекта, результат тестирования которых определяется объемом выдаваемой психической продукции (знаков, слов, образов, идей и т.д.). Поэтому для настоящей работы подбирались тестовые задачи, решение которых возможно путем простого выбора одной из нескольких предлагаемых альтернатив с использованием стандартных бланков, ручки (карандаша) и бумаги.

Краткое описание субтестов (в порядке предъявления).

1. Субтест "осведомленность".

Содержит задания, касающиеся знаний общего характера в области языка, точных, естественных и гуманитарных наук, литературы и искусства, политики и обыденной жизни. Специальных или теоретических знаний, а также высокого уровня образования ответы на задания не требуют.

Предполагается, что помимо собственно информированности, эрудиции субтест определяет степень приобщения к культуре, познавательные интересы, объем долговременной памяти.

2. Субтест "скрытые фигуры".

Разработан на основе широкоизвестных фигур Готтшальда. В заданиях предлагается определить, какя из нескольких достаточно простых геометрических фигур замаскирована в более сложной фигуре. В процессе выполнения субтеста простые фигуры (один набор для всех заданий) находятся перед глазами субъекта.

Предполагается, что субтест измеряет такие важные интеллектуальные качества, как гибкость восприятия, независимость от поля зрения.

3. Субтест "пропущенные слова".

Каждое задание субтеста представляет из себя предложение (или отрывок текста из нескольких предложений), в котором пропущены одно, два или три слова (вразбивку) или же словосочетание. Они заменены прочерками в соответствующих местах предложения или отрывка текста. В задаваемом стимульном материале эти слова, как правило, являются ключевыми по содержанию или структуре. Среди предлагаемых вариантов нужно выбрать именно эти слова, как наиболее подходящие грамматически и по смыслу.

Представляется, что результаты субтеста отражают способность к оперированию вербальным материалом, понимание содержания, скорость восприятия текста.

4. Субтест "арифметические задачи".

Задания этого субтеста представляют из себя разнообразные жизненные ситуации, требующие количественного решения. Собственно вычисления при этом не сложны, и их следует производить в уме. Успешное решение зависит от сообразительности и быстроты оперирования условиями и числами.

Субтест свидетельствует о способности концентрации активного внимания, развитии практического математического мышления.

5. Субтест "понятливость".

Содержит разнообразные задания, в которых требуется отличить существенные признаки от несущественных для различных объектов и ситуаций, дать оценку тем или иным общественным явлениям, выбрать рациональный путь решения проблем, передать переносный смысл пословиц и других выражений.

Результаты субтеста характеризуют объем практических знаний, умение строить умозаключения на основе жизненного опыта, логичность суждений, наблюдательность, здравый смысл.

6. Субтест "исключение изображений".

Разработан с использованием трансформированного стимульного материала из приложения к книге М.Бонгарда "Проблема узнавания" (М., 1967). Каждое задание субтеста представляет из себя набор изображений (фигур), объединенных, за исключением одного, каким-либо общим признаком. Необходимо выделить то единственное изображение, которое не обладает этим общим для остальных признаком.

Предполагается, что результаты субтеста определяются гибкостью, нетрадиционностью мышления, способностью к инсайту, умением находить перцептивно-логические связи.

7. Субтест"аналогии".

Каждое задание этого субтеста представляет собой пару слов, между которыми существует определенная связь (отношение). Исходя из понимания этой связи, необходимо подобрать к предлагаемому здесь же третьему слову четвертое (из нескольких альтернатив), так, чтобы во второй паре отношение между словами было примерно таким же (аналогичным), как в первой паре. Более сложный вариант:

выбрать пару слов, аналогичную первой, из нескольких полностью отличных пар.

Субтест отражает такие интеллектуальные качества, как чувство языка, комбинаторно-логическое мышление, способность находить приблизительные решения.

8. Субтест"числовые ряды".

В каждом задании этого субтеста дается некоторая последовательность чисел, расположенных по определенному правилу. Нужно установить закономерность, по которой построен ряд чисел, и выбрать его продолжение.

По результатам субтеста можно судить о развитии индуктивного мышления, умении оперировать числами, а также о способности улавливать ритм.

9. Субтест "умозаключения".

Содержит однозначные суждения (посылки), по одному или по два в каждом задании, для которых нужно определить, можно ли из них сделать правильный вывод и какой именно. Задания, включая и правильные ответы, представляют основные виды непосредственных умозаключений, а также все фигуры (с различными модусами) простого категорического силлогизма. Семантика заданий, как правило, основана на обыденном материале. По сути эти логические формы - всего лишь упорядоченные способы рассуждении, используемые человеком в практической жизни. При выполнении задания от испытуемого требуется выбрать тот вариант ответа, который логически вытекает из посылок, а не просто является высказыванием, соответствующим действительности. Среди вариантов ответа предусмотрен и случай, когда вывод сделать нельзя.

По результатам субтеста можно судить об уровне развития дедуктивного мышления, помехоустойчивости суждений, способности упорядочивать поступающую информацию.

10. Субтест "геометрическое сложение". В заданиях приводятся разделенные на части плоские контурные геометрические фигуры. При выборе ответа следует найти ту единственую из нескольких целых эталонных фигур, которая может быть сложена (мысленно) из разрозненных частей. Используются два набора эталонных фигур, различающиеся наличием или отсутствием в контуре закругленных линий, с равным числом заданий для каждого. Оригинальные задания этого субтеста аналогичны подобным в Тесте структурного интеллекта Р.Амтхауэра.

Задания позволяют оценивать такие качества субъекта, как образное мышление, пространственное воображение, перцептивно-комбинаторные способности.

11. Субтест "заучивание слов".

Для запоминания предлагается набор слов (всего 25), разнесенных в таблице по определенным категориям. По прошествии некоторого времени предъявляются собственно задания: исходя из указанной начальной буквы слова (все слова начинаются с разных букв), нужно вспомнить категорию, к которой было отнесено это слово. Субтест построен по тому же принципу, что и аналогичный субтест из Теста структуры интеллекта Р.Амтхауэра.

Субтест позволяет охарактеризовать не только эффективность процессов памяти (такую память часто называют промежуточной или оперативной), но и также выносливость к умственной нагрузке, способность к сосредоточению.

Валидность и надежность.

Для 99 учащихся девятых и десятых классов сопоставлялись показатели по отдельным субтестам, а также суммарный показатель по тесту, со средним баллом успеваемости по шести основным предметам и со средним местом учащегося, занимаемым им, по мнению преподавателей, по способностям к тем же предметам среди других учеников класса. Для выравнивания индивидуальных систем отсчета учителей балльные и ранговые оценки были нормированы. Коэффициент линейной корреляции суммарного показателя по тесту со средним баллом успеваемости оказался равным 0,487, а со средним рангом учащегося равный -0,520 (в обоих случаях р<0,001). Для отдельных субтестов эти коэффициенты варьируют, соответственно, от 0,163 до 0,490 и от -0,180 до -0,540 (в среднем 0,328 и -0,354). Кроме того, все двенадцать оценок по отдельным учебным предметам дали высокозначимые корреляции с суммарным показателем интеллекта по тесту (во всех случаях р<0,01).

При сопоставлении с общими оценками, полученными по тесту интеллекта для взрослых Д.Векслер (WAIS), суммарных показателей рассматриваемого здесь теста (данные по 30 учащимся 10-11 классов) коэффициент линейной корреляции оказался равен 0,870, р<0,001.

Таким образом, удовлетворены некоторые условия валидности по критерию и конструктной валидности.

Надежность взаимозаменяемых форм и надежность ретестирования были проверены одновременно путем повторного тестирования через 1 год по параллельным формам теста (268 учащихся 8,а затем 9 класса). Коэффициент линейной корреляции для суммарных показателей теста составил 0,635, а для баллов по отдельным субтестам от 0,223 до 0,629. Так как полученные коэффициенты фактически являются произведениями показателей двух видов надежности, не говоря уже о большем, чем это принято, временном интервале между замерами, можно считать эти коэффициенты вполне приемлемыми.

Надежность теста с помощью его расщепления пополам была проверена путем сопоставления баллов, набранных по нечетным и четным заданиям в каждом субтесте и по соответствующим половинным суммарным показателям, полученным в одном тестировании. В качества испытуемых здесь выступали школьники 8-9-х классов (73чел.) и специалисты с высшим образованием (47 чел., возраст от 25 до 45 лет). В результате коэффициент линейной корреляции между половинными суммарными показателями у общей выборки оказался равен 0,863; те же коэффициенты для отдельных субтестов варьировали в пределах от 0,389 до 0,694.

Процедура проведения теста.

Тест проводится в хорошо освещенном и проветренном помещении. Испытуемые рассаживаются таким образом, чтобы во время выполнения теста не мешать друг другу (обычно их число не превышает 30-35 человек, но возможно как тестирование больших групп, так и индивидуальное). Затем экспериментатор (-ы) раздает специальные бланки для фиксации ответов на тестовые задания и просит испытуемых заполнить "шапку" на бланке (т.е. сообщить сведения о себе), не делая никаких других пометок.

Одновременно или после заполнения указанных граф на бланках раздаются тестовые тетради с четырьмя (или менее) формами теста так, чтобы рядом сидящим испытуемым не достались одни и те же формы. Буквенные индексы тестовых форм отмечаются в специальных местах на бланках. Испытуемые предупреждаются, что открывать тестовые тетради и просматривать в них инструкции к разделам методики, а тем более - сами задания, следует только по команде экспериментатора.

Все инструкции (как общая, так и к отдельным субтестам), несмотря на то, что они имеются в тестовых тетрадях, зачитываются вслух экспериментатором. В некоторых случаях на классной доске рисуется фрагмент тестового бланка с примерами графической фиксации ответов на задания и их исправления.

В общей инструкции испытуемым сообщаются некоторые сведения о методике в целом, об оформлении заданий и способах ответов на них, о том, как исправить обнаруженные ошибочные ответы. Указывается на недопустимость делания каких-либо надписей и пометок в тестовой тетради. Обращается внимание на то, что время выполнения каждого раздела методики ограничено, и поэтому следует стараться в отведенное время дать ответы на возможно большее число заданий, не задерживаясь на каком-либо одном. Отмечается, что имеет смысл указать на регистрационном бланке и предположительные ответы, так как это дает шанс набрать дополнительные баллы, а в случае ошибки ничем не грозит.

Существует также дополнительная инструкция, напечатанная в тестовой брошюре после основной, для случая компьютерной обработки ответов с применением специального оптического считывающего устройства (сканера). Главное в этой инструкции - это уточнение правил графического оформления ответов на тестовом бланке.

После зачтения общей инструкции и ответов на очень ограниченное число общих вопросов экспериметатор зачитывает инструкцию к первому разделу методики с разъяснением примеров. При этом, если на регистрационном бланке имеется специальный "пробный" участок, экспериментатор просит испытуемых отметить на этом участке правильные ответы из данных примеров. Затем дается команда перевернуть страницу и начинать выполнять задания 1-го раздела. Одновременно включается секундомер (или на часах фиксируется время начала работы над заданиями). После истечения времени, положенного на выполнение заданий данного раздела, экспериментатор резко прерывает работу испытуемых словом "стоп!", требует немедленно положить ручки (карандаши) и зачитывает инструкцию к следующему разделу.

Подобная процедура повторяется многократно вплоть до последнего, одиннадцатого субтеста ("заучивание слов"), выполнение которого состоит из двух циклов, причем перед каждым из них дается своя инструкция, а затем отмеряется время работы на каждый из двух циклов в отдельности. Заметим, что при проведении субтеста "заучивание слов" экспериментатору нужно особенно внимательно следить за соблюдением испытуемыми инструкций, контролируя возможное подсматривание, запись слов на листке, парте, руке и т.д., ни в коем случае не допускать превышения времени, положенного на работу над каждой частью субтеста.

После истечения времени выполнения последнего субтеста тестовые тетради вместе с вложенными в них регистрационными бланками немедленно собираются экспериментатором. Непосредственный просмотр тестовых тетрадей позволяет установить, кем из испытуемых была нарушена общая инструкция в части недопустимости делания каких-либо надписей в книжечках с заданиями. Подобные и иные грубые нарушения инструкций могут побудить экспериментатора к аннулированию результатов тестирования.

Время проведения субтестов

Субтесты ^/	Время выполнения (мин.)
1. Осведомленность 2. Скрытые фигуры 3. Пропущенные слова 4. Арифметические задачи 5. Понятливость 6. Исключение изображений 7. Аналогии 8. Числовые ряды 9. Умозаключения 10.Геометрическое сложение 11. Заучивание слов	7 5 6 10 5 7 6 9 8 6 3+5

Обработка результатов

Обработка полученных данных может производится либо "вручную" с помощью ключей-трафаретов, либо с помощью электронного оптического устройства (сканера) с последующим автоматическим введением результатов сканирования в ЭВМ.

В первом случае ключи-трафареты накладываются на бланк и подсчитывается количество правильных ответов по каждому из одиннадцати субтестов. Затем может быть подсчитана сумма средняя величина "сырых" баллов по всему тесту. Дальнейший анализ результатов может быть проведен, исходя из этих расчетов. Однако для сравнения данных между собой по различным субтестам, можно использовать процедур" перевода "сырых" показателей в шкальные. Для этой цели применяются специажьные таблицы перевода в 20-ти бальную шкалу (см.приложение), полученные на основе обследования больших массивов испытуемых (более 1000).

В связи с неравномерностью и гетерохронностью развития различных интеллектуальных функций в нижнем возрастном диапазоне применения теста (от 13 до 17-18 лет) целесообразно применять отдельные для каждого возраста таблицы перевода в шкальные данные.

В будущем после получения таблиц для интегральной оценки интеллекта на основе квантильного повозрастного шкалирования суммарных шкальных показателей по субтестам обработка будет завершаться получением коэффициента интеллектуального развития (IQ).

Для обработки данных с помощью электронного оптического устройства необходимы специальные бланки, на которых испытуемый фиксирует свои ответы путем закрашивания центральной части графического элемента (чаще всего квадратика или овала), соответствующего выбранному варианту.

После сканирования ответов с бланка компьютер обрабатывает результаты по заложенным в него "ключам", переводит их в шкальные оценки и записывает в базу данных или выдается на печать в цифровом или графическом виде. Дальнейшая обработка результатов зависит от целей тестирования и может проводиться по стандартным или специально разработанным программам.

Практическое применение.

Очевидной кажется та сфера применения, ради которой данный тест конструировался, т.е. прогнозирование успешности обучения, дифференциация учащихся и отбор в высококритериальные учебные заведения. В частности, авторами теста была предпринята попытка разработать прогностические критерии успешности обучения для различных специализаций экспериментальных школ на основе анализа уровневых и структурных особенностей теста. Такие критерии были сформированы для специализаций физико-математического, естественного и гуманитарного профилей. Кроме того, для этих специализаций предложены ориентировочные формулы расчета критериев дифференциации учащихся, исходя из распределения показателей по отдельным субтестам.

Однако в образовании тест может использоваться и в другом качестве, а именно для сравнительного анализа динамики умственного развития учащихся в школах, где обучение ведется по различным экспериментальным программам, и обычных школах, учитывая эффективность наличия параллельных форм теста, т.е. возможностей для повторного тестирования одних и тех же лиц.

Еще одной обастью практического применения методики может стать психологическое консультирование. Это связано с функциональным содержанием набора субтестов, позволяющим представить уровень и профиль функциональных возможностей человека. На первом месте здесь стоит проблема профессиональной ориентации учащихся, а также лиц, желающих или вынужденных сменить профессию.

Разумеется, тест может использоваться для профессионального отбора взрослых людей и обследования сотрудников различных организаций и учебных заведений с прикладными целями для решения науно-прикладных задач.

Не следует забывать и о фундаментальных научных интересах, для удовлетворения которых тест, будучи включенным в комплексную процедуру, оказывается вполне подходящим инструментом имеино в силу своей пригодности для массовых и повторных обследований.

Заключение

Дальнейшее совершенствование системы образования в нашей стране было бы затруднено без объективной оценки заний, умений и навыков об учащихся. Важно также иметь возможность определить, какие психические качества стоят за индивидуальными результатами в обучении. Поэтому столь необходимо развивать методы и средства педагогической и психологической диагностики.

В этом плане небезуспешной оказалась попытка психологов Санкт-Петербургского университета создать универсальный интеллектуальный тест для старшего школьного возраста (пригодный, разумеется, и для взрослых). Этот тест, хотя и нуждается в уточнениях, неплохо себя зарекомендовал на практике; в г.Челябинске, где проводилась его адаптация, им обследованы многие тысячи старшеклассников.

Последующая работа по адаптации интеллектуального теста (обозначенного абревиатурой УИТ СПЧ) может рассматриваться в разных аспектах. Первый из них -это более широкое подтверждение надежности и валидности теста. Мы не будем здесь останавливаться на проблеме типологии надежности и валидности психологических методик и способах оценивания этих характеристик. Отметим только, что способность прогнозировать школьную успеваемость по всему комплексу учебных предметов (см .соответствующий раздел настоящего пособия) относится к важнейшим составляющим валидности интеллектуального теста.

Второй аспект адаптации - сбор обширных статистических данных на представительных выборках (возрастных, профессиональных, социальных) с целью формирования нормативных характеристик теста. Необходимо произвести квантильное повозрастное шкалирование регистрируемых "сырых" показателей по каждому субтесту по крайней мере для возраста до 17,5-18 лет и общее шкалирование субтестовых показателей для более старших возрастов. Это позволит реально сравнивать баллы, набранные по разным субтестам, между собой, строить "профиль" интеллекта. (Частично такая работа уже проделана.) В дальнейшем возможно получение и интегральных оценок интеллекта (IQ) на основе квантильного повозрастного шкалирования суммарных шкальных показателей по субтестам.

Третий аспект связан с необходимостью более подробной, чем это реализовано в данном пособии, интерпретации тестовых данных. Априори это сделать не представляется возможным. Нужен более тщательный анализ набираемого эмпирического материала, включая сопоставления его с данными других тестов, а также с жизненными показателями испытуемых. Можно попытаться извлечь важную для интерпретации результатов тестирования информацию из теоретических работ крупнейших специалистов по изучению способностей и интеллекта.

Наконец, возможно структурное и семантическое совершенствование теста. В частности, отдельные задания могут быть уточнены или заменены, если практика подскажет целесообразность такого решения.

Приложения

Приложение 1

Создание подростковой психодиагностической методики - ПИТ СПЧ (Подростковый интеллектуальный тест С.-Петербург-Челябинск)

Внедрение в практику школьной психодиагностики универсальной методики УИТ СПЧ показало достаточную эффективность подобного инструментария, включая и его вполне приемлемую (по предварительным оценкам) обоснованность, надежность и прогностичность. Как известно, указанная методика предназначена для измерения интеллектуальных характеристик в возрастных пределах, ограниченных снизу 13 годами (или переходом в 8 класс школы). Однако в процессе создания и эксплуатации УИТ СПЧ выявилась потребность сдвинуть вниз возрастной диапазон диагностических возможностей так, чтобы он начинался с возраста перехода из начальной школы в основную, путем разработки новой, но аналогичной по структуре батареи тестов. Эта батарея должна работать в возрастных пределах от 9,5-10 до 15 лет, что соответствует классам с пятого по девятый.

Охват почти всего диапазона школьного возраста одной психодиагностической процедурой представлялся крайне важным не только в силу формального отграничения его в школьном образовании, но и в связи с очевидной необходимостью отслеживать умственное развитие в период, когда происходит становление и структуирование многих интеллектуальных функций. Разумеется, при создании тестовой батареи такого типа должны были быть оставлены в силе все требования (кроме измененных возрастных), предъявляемые к ней и сформулированные во Введении к настоящему пособию.

Для реализации этих требований авторским коллективом (Н.А. Батурин, И.М. Дашков, Н.А. Курганский и Л.К. Федорова) последовательно разрабатывалась новая методика. К настоящему времени (сентябрь 1995г.) разработка и предварительная апробация методики завершены; предстоит ее адаптация на соответствующих возрастных группах. В основном новый тест аналогичен описанному выше, но имеются и определенные отличия (кроме сдвинутого вниз возрастного диапазона и соответственно более легких заданий), основные из которых таковы.

Во-первых, все тестовые задания разрабатывались авторами самостоятельно, в то время как при создании УИТ СПЧ некоторая, хотя и небольшая, часть заданий была извлечена (как правило, с последующей модификацией) из внешних источников.

Во-вторых, число заданий в каждом субтесте было сокращено до 14 (соответственно, общее количество заданий в каждой форме теста до 154).

В-третьих, из субтестов были исключены некоторые групповые усложняющие признаки. Это пропущенные части фраз (субтест "пропущенные слова"), сложные аналогии (субтест "аналогии"), посылки, из которых невозможен логически строгий вывод (субтест "умозаключения"). В субтесте "заучивание слов" объем таблицы для запоминания сокращен на 5 слов.

Кроме того, в процессе создания подростковой интеллектуальной методики выявилась необходимость некоторой предварительной подготовки самых младших детей (10-11 лет) из избранной возрастной группы к упорядоченному тестированию, в котором используются задания закрытого типа с множественным выбором.

Приложение 2

Таблица перевода "сырых" данных в шкальные. (8 класс)


Кол-во Шкальные оценки по субтестам правильных ответов 1 2 3 4 5 6 7 8 9 10 11
0 3 2 2 2 1 2 2 3 3 2 2
1 4 3 3 4 3 4 4 5 5 4 4
2 6 5 4 5 4 5 6 7 6 5 4
3 7 6 5 7 5 6 7 8 8 5 5
4 9 7 6 8 6 8 8 9 9 6 6
5 10 8 7 10 7 9 9 10 10 7 7
6 11 9 8 11 8 10 10 11 11 8 7
7 13 10 9 12 9 11 11 12 12 9 8
8 14 11 10 13 10 13 12 12 13 10 9
9 15 12 11 13 11 14 12 13 13 11 9
10 16 13 12 14 12 15 13 14 14 12 10
11 17 14 12 15 13 16 14 15 15 13 11
12 18 14 13 16 14 18 15 16 16 14 12
13 19 15 14 17 16 19 16 18 17 15 12
14 20 16 15 17 17 20 18 19 18 16 13
15 20 18 17 18 19 20 19 20 19 18 14
16 20 19 18 19 20 20 20 20 20 20 16

Таблица перевода "сырых" данных в шкальные. (9 класс)

Кол-во правильных ответов	Шкальные оценки по субтестам 1 2 3 4 5 6 7 8 9 10 11
0 2 1 0 1 1 0 1 1 3 1 1
1 4 2 1 3 2 2 2 2 4 3 2
2 5 4 3 4 3 4 4 4 6 4 4
3 7 5 4 6 4 6 5 5 7 5 5
4 8 6 5 7 5 7 6 6 8 5 5
5 9 7 6 9 6 8 7 7 9 6 6
6 10 8 7 10 7 9 8 8 10 8 7
7 11 9 7 11 8 11 9 9 11 9 8
8 13 10 8 12 9 12 9 10 12 10 9
9 14 11 9 13 10 13 10 11 12 11 9
10 15 12 10 13 11 15 12 12 13 12 10
11 16 12 11 14 12 16 13 14 14 13 11
12 18 13 12 15 13 18 14 15 15 14 11
13 19 14 13 15 14 20 16 16 16 15 12
14 20 15 14 16 16 20 17 17 17 16 13
15 20 16 15 17 18 20 19 19 18 18 14
16 20 18 17 18 20 20 20 20 20 20 16

Таблица перевода "сырых" данных в шкальные. (10 класс)

Приложение 3

Средние значения и стандартные отклонения показателей испытуемых различных возрастов

Субтесты

Приложение 4

Таблица интеркорреляции субтестов

Субтесты

Дата добавления: 2019-02-12; просмотров: 301; Мы поможем в написании вашей работы!

Поделиться с друзьями:

⇐ Предыдущая 123 Следующая ⇒

Мы поможем в написании ваших работ!