Курс лекций по психодиагностике Херсон, хф омурч «Украина», 2008 г. 155 стр icon

Курс лекций по психодиагностике Херсон, хф омурч «Украина», 2008 г. 155 стр



Смотрите также:
1   2   3   4   5   6   7   8   9   ...   13

Литература

Басов МЯ. Избранные психологические произведения. М., 1975. С. 429.

Бурлачук. Л.Ф., Морозов С.М. Словарь-справочник по психологической диагностике. Киев, 1989. С. 197. (1999 г.)

Краткий психологический словарь. М., 1985. С. 430.

Общая психодиагностика. М., 1987. С. 303.

Психологический словарь. М., 1983. С. 447.


ПРИЛОЖЕНИЕ:


Простейшая классификация тестов и методик может выглядеть сле­дующим образом.

По направленности на изучение индивидуальных особенностей, черт личности, состояний:

  • методики изучения направленности, интересов;

  • личностные методики, характеризующие структурные

компоненты личности;

• социометрия (исследование личности спортсмена в системе внутригрупповых отношений);

  • методики изучения интеллекта и особенностей мышления;

  • методики для выявления патологических особенностей

психики, характера;

  • методики изучения творческих способностей (информация может быть получена из результатов тестирования по Роршаху и др.);

  • общая осведомленность, профессиональные знания, навыки (большинство методик для исследования процессов мышления);

  • методики для изучения психических процессов: памяти, внимания, восприятия и др, (бланковые и аппаратурные тесты);

  • методики для изучения психомоторных процессов, координации и точности движений (суппорты, координациометры, специальные физические упражнения);

• психофизиологические методики (аппараты для исследования сенсомоторных реакций, психофизиологические и электрофизиологические методики);

  • изучение глазомера, точности оценки пространственных признаков (бланковые и аппаратурные тесты);

  • изучение эмоционально-волевой сферы, эмоциональной устойчивости (комплексные методики иногда с применением физиологических и биохимических измерений);

  • оценка психических состояний (опросники Спилбергера-Ханина, САН).


По Форме применения:

• наблюдение (в естественных условиях или моделировании сложных ситуаций, в процессе тестирования);

  • беседа (индивидуальная и групповая);

  • опросники и анкеты (открытые и закрытые);

  • социометрические методики;

  • применение бланковых тестов (индивидуальные и групповые);

  • применение аппаратных тестов (индивидуальные и групповые);

  • обследование на тренажерах и тренажерных устройствах;

  • специальные контрольные физические упражнения (для исследования быстроты, внимания, оперативной памяти, координации и точности движений и др.);

  • комплексные методики (включающие двигательную деятельность, физиологические, электрофизиологические и другие измерения).


По способам применения'.

аналитические тесты (для оценки отдельных психических процессов, качеств, функциональных показателей);

  • синтетические тесты (направленные на блоки свойств);

  • комплексные методики (моделирующие важные компоненты деятельности);

• пролонгированные методики (многократное тестирование, в том числе после воздействия различных факторов, периодов обучения и тренировки, адаптации).

^ Доктор психологических наук, профессор В. Л. Маришук


Требования к психологическим методам и тестам, применяемым для оценки психологических и профессиональных качеств


  1. Прогностическая ценность. Заключается в требовании, чтобы результаты обследования нашли свое выражение в последующих успехах, в профессиональной деятельности, к которой отбираются и готовятся обследуемые лица. Ценность теста обычно измеряется коэффициентом корреляции результатов его выполнения и внешних критериев, для предвидения которых применяется тест. Вполне приемлемо применение тестов, ценность которых характеризуется коэффициентом 0,20-0,50.

  2. Надежность, стабильность результатов у одного и того же испытуемого. Достаточная надежность необходима для того, чтобы можно было использовать результат данного теста как стабильный результат суммарной оценки. Надежность измеряется коэффициентом корреляции между отдельными рядами результатов, полученных по одному и тому же тесту. Иногда так называемый нечетно-четный коэффициент внутритестовой надежности определяется как коэффициент корреляции между суммами результатов, получен­ных в течение нечетных рабочих периодов, и суммами результатов, полученных в течение четных периодов. Надежность тестов обычно повышается с его продолжительностью.
    Минимально допущенным значением коэффициента надежности следует считать величину 0,7.




  1. Научность, обоснованность, надежность. Применение теста должно основываться на каких-либо достаточно определенных принципах построения профессиограммы для данного вида трудовой или спортивной деятельности. Психологу, применяющему тест, должно быть
    ясно, какая именно черта или свойство испытуемого подвергались изучению и почему это свойство следует оценивать именно так. Полученные данные должны подвергаться научному анализу и интерпретироваться в связи с определенными научными положениями и психологическими концепциями ученых.

  2. Уникальность и дифференцированность. Методика должна быть направлена на определенную черту, на определенное качество или группу качеств. Желательно, чтобы была меньше корреляция между результатами избранного теста и результатами других тестов, направленных на изучение заведомо иных качеств.

  3. Адекватность тем качествам, на оценку которых направлен тест, общность применяемого теста и раздела изучаемой деятельности в отношении их психологической структуры.

  4. Объективность, характеризуемая наибольшей стандартизацией теста. Условия обследования должны быть таковы, чтобы на результаты теста не влияли посторонние факторы (индивидуальные особенности экспериментатора, настроение испытуемого, ошибки ап­паратуры и др.). Должна быть исключена предвзятость мнения экспериментатора, особенно при производстве записей результатов тестирования. По каждому тесту должны быть подготовлены специальные инструкции, четко определяющие, что делать и что говорить экспериментатору и испытуемому.

  5. Достоверность. Должны проводиться объективные численные измерения, которые можно представить таблично или графически.

  1. Сочетание методов численной оценки тестов с данными педагогического наблюдения, с анализом характеристик и анкетных данных.

  2. Наличие эффективных внешних критериев оценки результатов тестирования в спортивной практике.

^ 10. Доступность тестов, характеризуемая их достаточной для оперативного использования простотой и быстротой выполнения, массовостью, возможностью применения с ограниченным количеством исследовательского персонала.


^ Доктор психологических наук, профессор В. Л. Марищук

Курс: «ПСИХОДИАГНОСТИКА»


(Материал для самостоятельного изучения студентами)


Лекция № 4


Психометрические требования к построению и проверке методик


Учебные вопросы:

  1. Введение в тему

  2. Стандартизация

  3. Надежность

  4. Валидность


Вопрос № 1 Введение в тему


Диагностические методики обычно называют измерительными ин­струментами, а психологическую диагностику — психометрией.

Психометрия — область психологической диагностики, связанная с теорией и практикой измерений в психологии.

Это понятие было введено немецким исследователем ^ X. Вольфом, который ставил перед собой задачу измерить величину внимания по­средством продолжительности аргументации, за которой человек в со­стоянии проследить.

Реализация идеи измерений психических явлений началась с работ по психофизике. Первоначально под психометрией понималось из­мерение временных характеристик психических процессов. Однако очень скоро область психометрии расширялась — к ней стали относить измерения не только ощущений, но и более сложных психических функций. Другими словами, все то, что связано с количественным оп­ределением психических явлений, стали включать в понятие «психо­метрия», которое затем переросло в понятие «общая психометрия».

С появлением такой области исследований, как дифференциальная психология, психометрия получила свое новое развитие, поскольку ста­ли возникать особые правила и требования к принципам измерения, следование которым обеспечивало его точность и достоверность. В связи с этим обнаружилась необходимость использовать понятие, более точно определяющее данную область измерений. Оно должно было отражать не всю совокупность психологических и психофизических измерений, а только ту, которая имеет отношение к дифференциально-психологи­ческим характеристикам. В качестве такого понятия предлагается ис­пользовать термин «дифференциальная психометрия».

В ряде работ по психологической диагностике обосновывается це­лесообразность отличать понятие «дифференциальная психометрия» от понятия «общая психометрии». Как первое, так и второе понятие связано с теорией и практикой измерений в психологии. В то же время важно отметить следующее.

  1. К общей психометрии относятся измерения общепсихологического (свойственного всем людям) характера, т. е. функциональные за­висимости между свойствами стимула и свойствами субъектив­ных реакций.

Так, в психофизике определяется зависимость меж­ду физическими характеристиками стимулов и субъективными характеристиками ощущений (например, объективная прибавка веса и порог субъективного ощущения увеличения тяжести). В социально-психологических областях выявляется соответствие между рядами социальных объектов и психологическими реак­циями (например, социальные объекты — разные виды реклами­руемых товаров, психологические реакции — от «очень нравится» до «очень не нравится»).


  1. К дифференциальной психометрии относятся измерения, каса­ющиеся индивидуальных различий между людьми по способнос­тям, когнитивным функциям (внимание, память, мышление и т. д.), мотивам, эмоциональным особенностям и пр. Здесь числовые зна­чения (баллы, ранги, шкальные значения) приписываются не сти­мулам, а индивидам.

Дифференциальная психометрика по отношению к психодиагнос­тике и дифференциальной психологии выступает в качестве технолого-методической дисциплины. Она обосновывает требования, которым должны удовлетворять психодиагностические методики, процедуру их разработки и применения. К числу таких требований относятся стандартизация, надежность и валидность методик.

Выше говорилось о том, что психодиагностические методики назы­вают измерительными инструментами. Однако возникает вопрос, пра­вомерно ли их так называть, являются ли они таковыми, подобными, например, тем, которые используются в физических измерениях?

Ответ на этот вопрос можно найти в работах ^ К. М. Гуревича. На примере анализа тестов он показывает, что такое определение диагностических методик носит условный характер. Сначала нужно вспомнить, что представляет собой измерение. Измерить — значит определить какой-либо мерой величину измеряемого. Для этого нуж­но, чтобы были соблюдены по крайней мере два условия.


  1. ^ Первое условие касается самого измерительного инструмен­та: он должен иметь на протяжении всего измерения одну и ту же, тож­дественную самой себе меру. Нельзя измерять инструментом, у которого нет такой тождественной самой себе меры (например, если бы на линей­ке расстояния от одного деления до другого были неодинаковы на раз­ных участках).

  2. ^ Второе условие — нужно, чтобы то, что измеряется, во всех случаях оставалось одним и тем же, т. е. также было тождественно самому себе. К. М. Гуревич считает, что соблюсти эти два условия в психодиагностических исследованиях крайне затруднительно.

Например, в тесте предложены задания на умение производить такую логическую операцию, как классификация понятий. Так, даны понятия пшеница, чечевица, кукуруза, бамбук, ячмень. Испытуемый должен за­черкнуть слово, которое не подходит к четырем основным. Обычно ис­пытуемые зачеркивают бамбук. Это ошибка. Бамбук, как пшеница, яч­мень и кукуруза, относится к злаковым, а чечевица— к бобовым. Это слово и следует зачеркнуть.


Чем можно объяснить, что не все испытуемые дают правильный ответ?

К. М. Гуревич называет несколько причин:

  1. испытуемый слабо владеет такой логической операцией, как клас­сификация;

  2. испытуемый владеет логической операцией, но не знает того ма­териала, на котором ее надо применить;

  3. испытуемый знает материал, владеет логической операцией, но он не способен работать в том обычно довольно быстром темпе, ко­торый требуется при выполнении теста.


Возникает вопрос, что же измеряет в действительности данное задание?

Как было показано выше, у одних испытуемых оно измеряет что-то одно, у других — другое. У испытуемых, владеющих соответствующим материалом, оно измеряет то, на что направлено, — владение логиче­ской операцией. У тех же испытуемых, которым материал задания мало­знаком, измеряется их знание. Кроме того, у тех и других измеряется их индивидуальный темп.

Этот анализ К. М. Гуревич продолжает дальше. Тест состоит из цело­го набора заданий; иногда их число доходит до 40. Можно ли выполнен­ное задание считать мерой, через которую определяется количествен­ный показатель измеряемой стороны психики?

Нельзя, так как эта мера измеряет разные стороны психики. У одних вы­является владение логическими действиями, у других — знание тех по­нятий, которые представлены в тесте, у третьих фактически измеряется их темп; у одних эта мера имеет одно, а у других — другое содержание.

На основании проведенного анализа К. М. Гуревич делает вывод о том, что данные, которые получаются в тестировании, нельзя считать из­мерениями в подлинном смысле слова. Тест не является измерительным инструментом в том понимании, которое существует, например, в фи­зических измерениях, хотя какую-то оценку той стороны психики, на диагностирование которой он направлен, тест показывает — правда, не в количественном выражении.

Тест можно считать инструментом сравнения. При сравнении не подчеркивается, что из двух сравниваемых объектов один больше другого на столько-то единиц. В этом случае достаточно установить, что такой-то объект больше другого (или других). По результатам сравне­ния можно расположить все изучаемые объекты в определенном по­рядке — от меньшего к большему или наоборот. Сравнение не предпо­лагает обязательного измерения, а значит, не предполагает и единицы измерения. При сравнении устанавливается только последовательность, порядок сравниваемых объектов по их величине.

Сделанный К. М. Гуревичем вывод относительно тестов с полным правом может быть перенесен и на другие диагностические методики.


Вопрос 2 Стандартизация


Диагностическая методика отличается от любой исследовательской тем, что она стандартизирована. Как отмечает А. Анастази, стандарти­зация это единообразие процедуры проведения и оценки выпол­нения теста.

Таким образом, стандартизация рассматривается в двух планах: как выработка единых требований к процедуре экспе­римента и как определение единого критерия оценки результатов диа­гностических испытаний.

Стандартизация процедуры эксперимента подразумевает унифи­кацию инструкций, бланков обследования, способов регистрации ре­зультатов, условий проведения обследования.

К числу требований, которые необходимо соблюдать при проведе­нии эксперимента, можно отнести такие:

  • инструкции следует сообщать испытуемым одинаковым образом, как правило, письменно; в случае устных указаний они даются в разных группах одними и теми же словами, понятными для всех, в одинаковой манере;

  • ни одному испытуемому не следует давать никаких преимуществ перед другими;

  • в процессе эксперимента не следует давать отдельным испыту­емым дополнительные пояснения;

  • эксперимент с разными группами следует проводить в одинако­вое по возможности время дня, в сходных условиях;

  • временные ограничения в выполнении заданий для всех испыту­емых должны быть одинаковыми и т. д.


Обычно авторы методики в руководстве приводят точные и подроб­ные указания по процедуре ее проведения. Формулирование таких указаний составляет основную часть стандартизации новой методики, так как только строгое их соблюдение дает возможность сравнить между собой показатели, полученные разными испытуемыми,

^ Другим важным моментом в стандартизации методики является выбор критерия, по которому следует проводить сравнение результа­тов диагностических испытаний, поскольку диагностические методи­ки не имеют заранее определенных стандартов успешности или неуда­чи в их выполнении.

Так, например, ребенок шести лет, выполняя тест умственного развития, получил балл, равный 117.

Хорошо это или плохо ?

Часто ли такой показатель встречается у детей данного возраста?

Количественный результат как таковой ничего не означает. Получен­ный дошкольником балл нельзя интерпретировать как показатель отно­сительно высокого, среднего или низкого развития, так как это развитие выражено в мерах, присущих данной методике, и, таким образом, аб­солютного значения полученные результаты иметь не могут. Очевидно, нужно располагать точкой отсчета и какими-то дозированными мерами, чтобы с их помощью оценивать полученные при диагностировании ин­дивидуальные и групповые данные.

Возникает вопрос, что за эту точку отсчета брать?

В традиционном тестировании такая точка добывается статистиче­ским путем — это так называемая статистическая норма.


В общих чертах стандартизация диагностической методики, ориен­тированной на норму, осуществляется путем ее проведения на боль­шой репрезентативной выборке того типа, для которой данная мето­дика предназначена (подробно о том, что такое репрезентативная выборка, будет сказано ниже). Относительно этой группы испыту­емых, называемой выборкой стандартизации, разрабатываются нормы, указывающие не только средний уровень выполнения, но и его отно­сительную вариативность выше и ниже среднего уровня. В результате можно оценить разные степени успешности или неуспешности в вы­полнении диагностической пробы. Это позволяет определить положе­ние конкретного испытуемого относительно нормативной выборки или выборки стандартизации.

Для вычисления статистической нормы психологи-диагносты об­ратились к давно применяемым в биологии приемам математической статистики. Рассмотрим пример.

На призывной пункт явилось несколько тысяч молодых людей. Допустим, что все они примерно одного возраста. Что мы получим при измерении их роста? Обычно оказывается, что большинство почти одного роста, совсем немного людей будет очень маленького и очень высокого роста. Остальные же распределятся симметрично, уменьшаясь по количеству от среднего максимума в ту и другую сторону. Распределение рас­сматриваемых величин — это нормальное распределение (или распределение по нормальному закону, кривая распределения Гаусса). Математики показали, что для описания такого распределения доста­точно знать два показателя — среднее арифметическое и так называ­емое стандартное отклонение, которое получается путем несложных вы­числений.

Назовем среднее арифметическое х, а стандартное отклонение — а (сигма малая). При нормальном распределении все изучаемые величи­ны практически находятся в пределах

х± 5а. Нормальное распределе­ние обладает многими преимуществами, в частности, оно позволяет заранее рассчитать, сколько случаев будет расположено в определен­ном удалении от среднего арифметического при использовании для определения удаленности стандартного отклонения. Для этого име­ются специальные таблицы. Из них видно, что в пределах х ±а нахо­дится 68 % изучаемых случаев. За этими пределами — 32 % случаев, а так как распределение симметрично, то по 16 % с каждой стороны. Итак, преобладающая и наиболее представительная часть распределе­ния находится в пределах х ± а. Все расчеты и рассуждения нужны только для того, чтобы дать оценку индивидуальным данным, получа­емым при выполнении тестов.

Рассмотрим стандартизацию диагностической методики на примере тестов Стэнфорд-Бине. В группу испытуемых входили 4498 человек от 2,5 до 18 лет. Усилия стэнфордских психологов были направлены на то, чтобы распределение полученных по каждому возрасту данных о выпол­нении тестов было близко к нормальному. Этого результата удалось до­биться далеко не сразу; в некоторых случаях ученым приходилось заме­нять одни задания другими. В конце концов эта работа была закончена, и были подготовлены тесты по каждому возрасту со средним арифмети­ческим, равным 100, и со стандартным отклонением, равным 16, с рас­пределением, близким к нормальному.

Выше говорилось о том, что при измерении роста новобранцев было получено нормальное распределение данных по их росту. Никто не вме­шивался в процесс измерения, не заменял одних новобранцев другими. Все получилось естественно, само собой. Но при работе с психологи­ческими методиками дело идет не так. Опытным психологам, неплохо представляющим психические возможности детей, приходилось за­менять некоторые задания, чтобы приблизить полученные результаты к нормальному распределению. Результаты диагностических испытаний в психологии очень редко укладываются в рамки нормального закона; их приходится для этого специально подгонять. Причины этого явления нужно искать в самом существе теста, в обусловленности его выполне­ния подготовкой испытуемых.


Для чего нужно распределение, близкое к нормальному?

Для того, чтобы классифицировать весь полученный при стандар­тизации по каждому возрасту материал, т. е. результаты тестирования. Для такой классификации используются стандартное отклонение а и среднее арифметическое х. Принимается, что результаты в пределах х± а показывают границы наиболее характерной, представительной части распределения, границы нормы для данного возраста. При а = 16 и х = 100 границы нормы будут от 84 до 116. Интерпретируется это так: результаты испытуемых, которые не выходят за эти границы, на­ходятся в пределах нормы. Те, чьи результаты менее 84, находятся ниже нормы, а те, чьи результаты более 116, — выше нормы. Нередко этот же прием применяют и для дальнейшей классификации. Тогда результаты в пределах от х — а до х — 2 а интерпретируются как «не­сколько ниже нормы», а от х — 2сигма до х — З сигма — как «значительно ниже нормы». Соответственно классифицируются результаты, находящие­ся выше нормы.

Вернемся к результату, полученному ребенком шести лет, о кото­ром упоминалось выше. Его успешность по тесту равна 117. Этот ре­зультат выше нормы, но очень незначительно (верхняя граница нор­мы 116).

^ Кроме статистической нормы, основой для сравнения, интерпрета­ции результатов диагностических испытаний могут стать и такие по­казатели, как процентили.

Процентильэто процентная доля индивидов из выборки стандар­тизации, первичный результат которых ниже данного первичного показателя. Например, если 28 % людей правильно решат не более 15 задач в арифметическом тесте, то первичному показателю 15 соот­ветствует 28-й процентиль (Р28). Процентили указывают на относи­тельное положение индивида в выборке стандартизации. Их также можно рассматривать как ранговые градации, общее число которых равно 100, с той лишь разницей, что при ранжировании принято начи­нать отсчет сверху, т. е. с лучшего члена группы, получающего ранг 1. В случае же процентилей отсчет ведется снизу, поэтому чем ниже про­центиль, тем хуже позиция индивида.

50-й процентиль (Р50) соответствует медиане — одному из показа­телей центральной тенденции. Процентили свыше 50 представляют показатели выше среднего, а те, которые лежат ниже 50, — сравнитель­но низкие показатели. 25-й и 75-й процентили известны также под названием 1-го и 3-го квартилей, поскольку они выделяют нижнюю и верхнюю четверти распределения. Как и медиана, они удобны для описания распределения показателей и сравнения с другими распре­делениями.

Процентили не следует смешивать с обычными процентными пока­зателями. Последние являются первичными показателями и представ­ляют собой процент правильно выполненных заданий, тогда как процентиль — это производный показатель, указывающий на долю от об­щего числа членов группы. Первичный результат, который ниже любо­го показателя, полученного в выборке стандартизации, имеет нулевой процентильный ранг (Ро). Результат, превышающий любой показатель в выборке стандартизации, получает процентильный ранг 100 (Р100). Эти процентили, однако, не означают нулевого или абсолютного ре­зультата выполнения теста.


Процентильные показатели обладают рядом достоинств, в частности:

  1. их легко рассчитать и понять даже сравнительно неподготовлен­ному человеку;

  2. их применение достаточно универсально и подходит к любому типу тестов.

Однако недостаток процентилей — это существенное неравенство единиц отсчета в том случае, когда анализируются крайние точки рас­пределения. При использовании процентилей (как уже отмечалось вы­ше) определяется только относительное положение индивидуальной оценки, но не величина различий между отдельными показателями.

В психодиагностике существует и другой подход к оценке результа­тов диагностических испытаний. В нашей стране под руководством К. М. Гуревича разрабатываются тесты, в которых в качестве точки отсчета выступает не статистическая норма, а не зависимый от резуль­татов испытания, объективно заданный социально-психологический норматив. Социально-психологический норматив реализуется в совокупности заданий, составляющих тест. Следовательно, сам тест в полном его объеме и является таким нормативом. Все сопоставле­ния индивидуальных или групповых результатов тестирования про­водятся с тем максимумом, который представляется в тесте (а это пол­ный набор знаний). В качестве критерия оценки выступает показатель, отражающий степень близости результатов к нормативу. Имеется раз­работанная схема представления групповых количественных данных. Для анализа данных относительно их близости к социально-психологическому нормативу, условно рассматриваемому как 100 %-ное вы­полнение всего теста, все испытуемые подразделяются по результатам тестирования на пять подгрупп:

  1. наиболее успешные — 10 %;

  2. близкие к успешным — 20 %;

  3. средние по успешности — 40 %;

  4. мало успешные — 20 %;

  5. наименее успешные — 10 %.

Для каждой из подгрупп подсчитывается средний процент правиль­но выполненных заданий. Далее строится система координат, где по оси абсцисс идут номера подгрупп, по оси ординат — процент выпол­ненных каждой из подгрупп заданий. После нанесения соответству­ющих точек вычерчивается график, отражающий приближение каж­дой из подгрупп к социально-психологическому нормативу. Такая обработка проводится по результатам как теста в целом, так и каждого субтеста в отдельности.


Выборка стандартизации

При разработке и применении любой точки отсчета следует обращать особое внимание на выборку испытуемых, на которой проводится стандартизация диагностической методики. В математической стати­стике принято различать такие понятия, как генеральная совокупность (популяция) и выборка.

Всякая большая совокупность людей, которую хотели бы иссле­довать или относительно которых собираются делать выводы, назы­вается генеральной совокупностью.

^ Выборка — это часть или подмножество совокупности. Проводить исследование всей популяции не принято. Обычно из нее выделя­ют группу людей — выборку стандартизации, — которая реально под­вергается тестированию, и с ее помощью оценивается генеральная со­вокупность. Чтобы оценки носили достоверный характер, выборка должна быть репрезентативна, представительна рассматриваемой по­пуляции, т. е. ее вероятностные свойства должны совпадать или быть близкими к свойствам генеральной совокупности.

А. Анастази приводит пример формирования репрезентативной вы­борки при стандартизации шкалы Векслера. Выборка включала 1700 человеке равным количеством мужчин и женщин. Испытуемые в возрасте от 16 до 64 лет были распределены по семи возрастным уровням. При формировании выборки исследователи опирались на данные последней переписи населения США. Учитывалось пропорцио­нальное распределение населения по географическим районам, при­надлежность к городскому и сельскому населению, принадлежность к белой или цветной расе, учитывались также уровень образования и профессия. На каждом возрастном уровне в выборку были введены один мужчина и одна женщина, находящиеся в учреждениях для умствен­но отсталых.

По мнению ^ А. Анастази, подавляющее большинство диагности­ческих методик стандартизовано не для столь широких популяций, как многие полагают. Трудно рассчитывать, что по какому-либо те­сту имеются адекватные нормы для таких обширных популяций, как, например, «взрослые американцы-мужчины» или «американские де­ти 14-летнего возраста». Выборки, ориентированные на широкие по­пуляции, не всегда репрезентативны и чаще всего бывают смещены в тех или иных отношениях (т. е. некоторые подгруппы популяции могут быть представлены непропорционально своей численности).

Так, если определить популяцию как «14-летние дети», а выборку стандартизации составить из 14-летних школьников, то ее нельзя рас­сматривать в качестве репрезентативной, поскольку не все 14-летние дети являются школьниками. В этом случае лучше сузить определе­ние популяции (т. е. определить ее как «14-летние школьники»), чем переносить нормы, полученные на школьниках, на популяцию 14-лет­них детей.

^ Таким образом, одним из способов обеспечения репрезентативности выборки является ограничение популяции. Ограничить популяцию можно по разным признакам: по возрасту, полу, социальному проис­хождению, профессии, социально-экономическому статусу, здоровью и т. д. Такая популяция определяется как специфическая, и стандар­тизация диагностических методик осуществляется на узконаправ­ленных выборках, которые репрезентативны специфической попу­ляции. Создатель диагностической методики должен всегда сообщать, для какой специфической популяции были разработаны норматив­ные показатели.

Отбор испытуемых в выборку стандартизации осуществляется сле­дующим образом:

  1. дается определение популяции с выделением в ее структуре пе­ременных, значимых и малозначимых для изучаемого психиче­ского явления (возраст, образование, профессия и т. д.);

  2. популяция делится на части в соответствии со значимыми пере­менными;

  3. испытуемые отбираются в случайном порядке и пропорциональ­но численности каждой значимой части совокупности.

Случайный отбор может осуществляться по алфавиту, по таблице случайных чисел или другим способом. Важно, чтобы у всех предста­вителей популяции были равные шансы попасть в выборку стандар­тизации. Это условие подразумевает, что каждый выбор не зависит от остальных.

Объем выборки может варьироваться в широких пределах, но ее минимальный порог, необходимый для получения достоверных ре­зультатов, — порядка 200 человек [34].


Вопрос № 3 Надежность


Прежде чем психодиагностические методики могут быть использо­ваны для практических целей, они должны пройти проверку по ряду формальных критериев, доказывающих их высокое качество и эффек­тивность. Эти требования в психодиагностике складывались годами в процессе работы над тестами и над их совершенствованием. В ре­зультате появилась возможность оградить психологию от всевозмож­ных безграмотных подделок, претендующих на то, чтобы называться диагностическими методиками.

К числу основных критериев оценки психодиагностических мето­дик относятся надежность и валидность.

Большой вклад в разработку этих понятий внесли зарубежные психологи (А. Анастази, Е. Гизелли, Дж. Гилфорд, Л. Кронбах, Р. Торндайк и Е. Хаген и др.). Ими были раз­работаны как формально-логический, так и математико-статистический аппарат (прежде всего корреляционный метод и факторный анализ) обоснования степени соответствия методик отмеченным критериям.

В психодиагностике проблемы надежности и валидности методик тесно взаимосвязаны, тем не менее существует традиция раздельного изложения этих важнейших характеристик. Следуя ей, начнем с рас­смотрения надежности методик.

Надежность

В традиционной тестологии термин «надежность» означает отно­сительное постоянство, устойчивость, согласованность результатов теста при первичном и повторном его применении на одних и тех же испытуемых.

Как пишет А. Анастази, вряд ли можно с доверием относиться к тесту интеллекта, если по нему в начале недели ребенок имел показатель, равный 110, а к концу — 80. Повторное применение надежных методик дает сходные оценки. При этом в определенной мере могут совпадать как сами результаты, так и порядковое место (ранг), занимаемое испытуемым в группе. И в том и в другом случае при повторении опыта возможны некоторые расхождения, но важно, чтобы они были незначительными, в пределах одной группы.

^ Таким образом, можно сказать, что надежность методики — это такой кри­терий, который говорит о точности психологических измерений, т. е. позволяет судить о том, насколько внушают доверие полученные ре­зультаты.

Степень надежности методик зависит от многих причин. Поэтому важной проблемой практической диагностики является выяснение факторов, снижающих точность измерений и их классификация.

Ана­лиз показывает, что среди них наиболее часто называют следующие: » нестабильность диагностируемого свойства;

  • несовершенство диагностических методик (небрежно составле­на инструкция, задания по своему характеру разнородны, нечет­ко сформулированы указания, как методику предъявлять испы­туемым, и т. д.);

  • меняющаяся ситуация обследования (разное время дня, когда проводятся эксперименты, разная освещенность помещения, на­личие или отсутствие посторонних шумов и т. д.);

  • различия в манере поведения экспериментатора (от опыта к опы­ту по-разному предъявляет инструкции, по-разному стимулиру­ет выполнение заданий и т. д.);

  • колебания в функциональном состоянии испытуемого (в одном эксперименте отмечается хорошее самочувствие, в другом — утом­ление и т. д.);

  • элементы субъективности в способах оценки и интерпретации ре­зультатов (когда ведется протоколирование ответов испытуемых, оцениваются ответы по степени полноты, оригинальности и т. п.).

Если все эти факторы иметь в виду и постараться в каждом из них устранить условия, снижающие точность измерений, то можно до­биться приемлемого уровня надежности теста. Одним из важнейших средств повышения надежности психодиагностической методики яв­ляется единообразие процедуры обследования, его строгая регламента­ция:

- одинаковые для обследуемой выборки испытуемых обстановка и условия работы,

- однотипный характер инструкций,

- одинаковые для всех временные ограничения, способы и особенности контакта с ис­пытуемыми,

- порядок предъявления заданий и т. д.


При такой стандар­тизации процедуры исследования можно существенно уменьшить влияние посторонних случайных факторов на результаты теста и та­ким образом повысить их надежность.

На характеристику надежности методик большое влияние оказы­вает исследуемая выборка. Она может как снижать, так и завышать этот показатель.

Например, надежность может быть искусственно завышена, если в выбор­ке небольшой разброс результатов, т. е. если результаты по своим значе­ниям близки друг к другу. В этом случае при повторном обследовании новые результаты также расположатся тесной группой. Возможные изме­нения ранговых мест испытуемых будут незначительными, и, следователь­но, надежность методики будет высокой. Такое же неоправданное завышение надежности может возникнуть при анализе результатов выборки, состоящей из группы, имеющей очень высокие результаты, и из группы с очень низкими оценками по тесту. Тогда эти далеко отстоящие друг от дру­га результаты не будут перекрываться, даже если и вмешаются в условия эксперимента случайные факторы. Поэтому в руководстве обычно делает­ся описание выборки, на которой определялась надежность методики.


В настоящее время надежность все чаще определяется на наиболее однородных выборках, т. е. на выборках, схожих по полу, возрасту, уровню образования, профессиональной подготовке и т. п. Для каж­дой такой выборки приводятся свои коэффициенты этой характерис­тики. Приводимый показатель надежности применим только к группам, подобным тем, на которых он определялся. Если методика применяет­ся к выборке, отличающейся от той, на которой проверялась ее надеж­ность, то эта процедура должна быть проведена заново.

Как подчеркивают многие авторы, разновидностей надежности ме­тодик так же много, как и условий, влияющих на результаты диагнос­тических испытаний. Однако практическое применение находят лишь несколько ее видов.

Так как все виды надежности отражают степень согласованности двух независимо полученных рядов показателей, то основной математико-статистический прием, с помощью которого устанавливается на­дежность методики, — это корреляции (по Пирсону или Спирмену). Подробное описание вычислительной процедуры приводится в при­ложении 2. Надежность тем выше, чем ближе полученный коэффици­ент корреляции подходит к единице, и наоборот.

В данной лекции при описании видов надежности основной упор де­лается на работы К. М. Гуревича, который, проведя тщатель­ный анализ зарубежной литературы по этой проблеме, предложил тол­ковать надежность как:

  • надежность самого измерительного инструмента;

  • стабильность изучаемого признака;

  • константность, т. е. относительную независимость результатов от личности экспериментатора.

Основные показатели он предложил обозначать следующим образом:

  • показатель, характеризующий измерительный инструмент, пред­лагается называть коэффициентом надежности;

  • показатель, характеризующий стабильность измеряемого свой­ства, коэффициентом стабильности;

  • показатель оценки влияния личности экспериментатора — коэф­фициентом константности.

Именно в таком порядке рекомендуется осуществлять проверку ме­тодики: целесообразно сначала проверить инструмент измерения. Если полученные данные удовлетворительны, то можно переходить к установлению меры стабильности измеряемого свойства, а уже пос­ле этого при необходимости заняться критерием константности.

Остановимся на более подробном рассмотрении этих показателей, характеризующих с разных сторон надежность психодиагностической методики.

^ Определение надежности измерительного инструмента.

От того, как составлена методика, насколько правильно подобраны задания с точки зрения их взаимосогласованности, насколько она однородна, зависит точность, объективность любого психологического измере­ния. Внутренняя однородность методики показывает, что ее задания актуализируют одно и то же свойство, признак.

Для проверки надежности измерительного инструмента, говорящего о его однородности (или гомогенности), используется так называемый метод «расщепления». Обычно задания делятся на четные и нечетные, отдельно обрабатываются, а затем результаты двух полученных рядов коррелируются между собой. Для применения этого способа нужно поставить испытуемых в такие условия, чтобы они смогли успеть ре­шить (или попытаться решить) все задания. Если методика однород­на, то большой разницы в успешности решения по таким половинкам не будет, и, следовательно, коэффициент корреляции будет достаточ­но высоким.

Можно делить задания и другим путем. Например, можно сопоста­вить первую половину теста со второй, первую и третью четверть со второй и четвертой и т. п. Однако «расщепление» на четные и нечет­ные задания представляется наиболее целесообразным, поскольку именно этот способ наиболее независим от влияния таких факторов, как врабатываемость, тренировка, утомление и пр.

Методика признается надежной, когда полученный коэффициент не ниже 0,75-0,85. Лучшие по надежности тесты дают коэффициенты порядка 0,9 и более.

Следует обратить внимание на тот факт, что на начальном этапе раз­работки диагностической методики можно получить невысокие коэф­фициенты надежности, например порядка 0,46-0,5. Это означает, что в разрабатываемой методике присутствует некоторое число заданий, которые в силу своей специфичности ведут к снижению коэффициен­та корреляции. Такие задания необходимо специально проанализиро­вать и либо переделать их, либо вообще изъять.

Чтобы легче было установить, за счет каких заданий снижаются коэф­фициенты корреляции, необходимо проанализировать таблицы с вы­писанными данными, подготовленными для корреляций. Следует от­метить, что любые изменения в содержании методики — изъятие заданий, их перестановка, переформулировка вопросов или ответов — требуют заново высчитывать коэффициенты надежности.

При ознакомлении с коэффициентами надежности не следует за­бывать, что они зависят не только от правильного подбора заданий с точки зрения их взаимосогласованности, но и от социально-психо­логической однородности той выборки, на которой проверялась на­дежность измерительного инструмента.

В самом деле, в заданиях могут встретиться понятия, мало извест­ные одной части испытуемых, но хорошо известные другой части. От того, как много в методике таких понятий, будет зависеть и коэффи­циент надежности; задания с такими понятиями могут случайно распо­ложиться и в четной, и в нечетной половине теста. Очевидно, показа­тель надежности не следует приписывать только методике как таковой и нельзя уповать на то, что он будет неизменным, с какой бы выборкой ни проводилось тестирование.

^ Определение стабильности изучаемого признака.

Определить на­дежность самой методики — это не значит решить все вопросы, связан­ные с ее применением. Нужно еще установить, насколько устойчив, стабилен признак, который исследователь намерен измерять. Было бы методологической ошибкой рассчитывать на абсолютную стабильность психологических признаков. В том, что измеряемый признак со вре­менем меняется, нет ничего опасного для надежности. Все дело в том, в каких пределах варьируются результаты от опыта к опыту у одного и того же испытуемого, не приводят ли эти колебания к тому, что ис­пытуемый по непонятным причинам оказывается то в начале, то в се­редине, то в конце выборки. Сделать какие-то конкретные выводы об уровне представленности измеряемого признака у такого испытуемо­го нельзя. Таким образом, колебания признака не должны иметь не­предсказуемый характер. Если не ясны причины, по которым проис­ходит резкое колебание, то такой признак не может быть использован в диагностических целях.

Для проверки стабильности диагностируемого признака, свойства используется прием, известный под названием тест-ретпест. Он за­ключается в повторном обследовании испытуемых с помощью той же методики. О стабильности признака судят по коэффициенту корреля­ции между результатами первого и второго обследований. Он будет свидетельствовать о сохранении или несохранении каждым испыту­емым своего порядкового номера в выборке.

На степень устойчивости, стабильности диагностируемого свойства влияют разнообразные факторы. Число их достаточно велико. Выше уже говорилось о том, как важно соблюдать требования единообразия процедуры проведения эксперимента. Так, например, если первое тес­тирование проводилось в утренние часы, то и повторное должно быть проведено утром; если первый опыт сопровождался предварительным показом заданий, то и при повторном испытании это условие также должно быть соблюдено и т. д.


При определении стабильности признака большое значение имеет промежуток времени между первым и вторым обследованиями. Чем ко­роче срок от первого до второго испытания, тем (при прочих равных условиях) больше шансов, что диагностируемый признак сохранит уровень первого испытания. С увеличением временного интервала стабильность признака имеет тенденцию снижаться, так как возраста­ет число посторонних факторов, влияющих на нее. Следовательно, напрашивается вывод о том, что целесообразно проводить повторное тестирование через короткий срок после первого. Однако тут есть свои сложности: если срок между первым и вторым опытами небольшой, то некоторые испытуемые могут воспроизвести свои прежние ответы по памяти и таким образом отойдут от смысла выполнения заданий. В этом случае результаты двух предъявлений методики уже нельзя рассмат­ривать как независимые.

Трудно четко ответить на вопрос, какой срок можно считать опти­мальным для повторного эксперимента. Только исследователь, исходя из психологической сущности методики, условий, в которых она про­водится, особенностей выборки испытуемых, должен определить этот срок. При этом такой выбор должен быть научно обоснован. В тестологической литературе наиболее часто называются временные интер­валы в несколько месяцев (но не более полугода). При обследовании детей младшего возраста, когда возрастные изменения и развитие про­исходят очень быстро, эти интервалы могут быть порядка нескольких недель.

Важно помнить, что коэффициент стабильности не следует рассмат­ривать только с его узко формальной стороны, по его абсолютным значениям. Если методика исследует свойство, которое в период диагностирования находится в процессе интенсивного развития (на­пример, умение проводить обобщения), то коэффициент стабильности может оказаться невысоким, но это не следует истолковывать как недостаток методики. Такой коэффициент стабильности должен интерпре­тироваться как показатель определенных изменений, развития исследу­емого свойства. В этом случае, например, К. М. Гуревич рекомендует рассмотреть по частям ту выборку, на которой устанавливался коэффи­циент стабильности. При таком рассмотрении выделится часть ис­пытуемых, проходящих путь развития в одинаково ровном темпе; дру­гая часть — где развитие шло особенно быстрыми темпами; и часть выборки, где развитие у испытуемых практически совсем нельзя за­метить. Каждая часть выборки заслуживает специального анализа и ис­толкования. Следовательно, недостаточно просто констатировать, что коэффициент стабильности низкий, нужно понять, от чего это зависит.

Совсем другое требование предъявляется к коэффициенту ста­бильности, если автор методики считает, что измеряемое свойство уже сформировано и должно быть достаточно устойчивым. Коэффи­циент стабильности в этом случае должен быть достаточно высоким (не ниже 0,8).

Таким образом, вопрос о стабильности измеряемого свойства реша­ется не всегда однозначно. Решение зависит от сущности самого диа­гностируемого свойства.

Определение константности, т. е. относительной независимости ре­зультатов от личности экспериментатора. Поскольку методика, разра­ботанная для диагностических целей, не предназначена для того, что­бы вечно оставаться в руках своих создателей, крайне важно знать, в какой мере ее результаты поддаются влиянию личности эксперимен­татора. Хотя диагностическая методика всегда снабжается подробными инструкциями по ее применению, правилами и примерами, указыва­ющими, как проводить эксперимент, однако регламентировать манеру поведения экспериментатора, скорость его речи, тон голоса, паузы, вы­ражение лица очень трудно. Испытуемый в своем отношении к опыту всегда отразит то, как сам экспериментатор к этому опыту относится (допускает небрежность или действует точно в соответствии с требо­ваниями процедуры, проявляет требовательность, настойчивость или бесконтрольность и т. п.).

Хотя в тестологической практике критерием константности пользуют­ся нечасто, однако, по мнению К. М. Гуревича, это не может служить основанием для его недооценки. Если у авторов методики возникают подозрения по поводу возможного влияния личности эксперимента­тора на исход диагностической процедуры, то целесообразно прове­рить методику по этому критерию. При этом важно иметь в виду сле­дующий момент. Если под воздействием нового экспериментатора все испытуемые в одинаковой степени стали работать немного лучше или немного хуже, то сам по себе этот факт (хотя и заслуживает внима­ния) на надежность методики не окажет влияния. Надежность изме­нится лишь тогда, когда воздействие экспериментатора на испыту­емых различно: одни стали работать лучше, другие хуже, а третьи так же, как и при первом экспериментаторе. Другими словами, если испы­туемые при новом экспериментаторе изменили свои порядковые мес­та в выборке.

^ Коэффициент константности определяется путем корреляции ре­зультатов двух опытов, проведенных в относительно одинаковых ус­ловиях на одной и той же выборке испытуемых, но разными экспери­ментаторами. Коэффициент корреляции не должен быть ниже 0,8.

Выше были рассмотрены три показателя надежности психодиагности­ческих методик. Может возникнуть вопрос, нужно ли при создании методик осуществлять проверку каждого из них? В профессиональ­ной литературе еще идет дискуссия по этому поводу. Одни исследова­тели считают, что все способы определения надежности в какой-то мере идентичны, и поэтому достаточно проверить надежность мето­дики каким-то одним из них.

Например, автор неоднократно переиздававшейся в США книги по ста­тистике для психологов и педагогов Г. Гэррет не находит принципиаль­ных различий между способами проверки надежности. По его мнению, все эти способы показывают воспроизводимость тестовых показателей. Иногда тот, иногда другой обеспечивают лучший критерий. Другие иссле­дователи придерживаются иной точки зрения. Так, авторы «Стандартных требований к педагогическим и психологическим тестам» в главе «На­дежность» отмечают, что коэффициент надежности — это родовое поня­тие, включающее в себя несколько видов, и каждый вид имеет свой осо­бый смысл. Разделяет эту точку зрения и К. М. Гуревич [44]. По его мнению, когда говорят о разных способах определения надежности, то имеют дело не с лучшей или худшей мерой, а с мерами разной по су­ществу надежности. В самом деле, чего стоит методика, если не ясно, надежна ли она сама по себе как измерительный инструмент или не ус­тановлена стабильность измеряемого свойства? Чего стоит диагнос­тическая методика, если не известно, могут ли изменяться результаты в зависимости от того, кто ведет эксперимент? Каждый в отдельности показатель никак не заменит других способов проверки и, следователь­но, не может рассматриваться в качестве необходимой и достаточной характеристики надежности. Только методика, располагающая полной характеристикой надежности, наиболее пригодна для диагностико-практического применения.


Вопрос № 4 Валидность


Другим после надежности ключевым критерием оценки качества методик является валидность. Вопрос о валидности методики решается лишь после того, как установлена достаточная ее надежность, поскольку ненадежная методика не может быть валидной. Но самая надежная методика без знания ее валидности является практически бесполезной.

Следует заметить, что вопрос о валидности до сих пор представля­ется одним из самых сложных. Наиболее укоренившимся определением этого понятия является то, которое приведено в книге А. Анастази: «Валидность теста — понятие, указывающее нам, что тест измеряет и на­сколько хорошо он это делает».

Валидность по своей сути — это комплексная характеристика, вклю­чающая, с одной стороны, сведения о том, пригодна ли методика для измерения того, для чего она была создана, а с другой стороны, ка­кова ее действенность, эффективность, практическая полезность.

По этой причине не существует какого-то единого универсального подхода к определению валидности. В зависимости от того, какую сторону валидности хочет рассмотреть исследователь, используются и разные способы доказательства. Другими словами, понятие валидности включает в себя разные ее виды, имеющие свой особый смысл. Проверка валидности методики называется валидизацией.

1. Валидность в первом ее понимании имеет отношение к самой мето­дике, т. е. это валидность измерительного инструмента.

Такая проверка называется теоретической валидизацией.


2. Валидность во втором пони­мании уже относится не столько к методике, сколько к цели ее ис­пользования. Это прагматическая валидизация.

Обобщая, можно сказать следующее:

  • при теоретической валидизации исследователя интересует само свойство, измеряемое методикой. Это, по существу, означает, что проводится собственно психологическая валидизация;

  • при прагматической валидизации суть предмета измерения (пси­хологического свойства) оказывается вне поля зрения. Главный акцент сделан на то, чтобы доказать, что «нечто», измеряемое ме­тодикой, имеет связь с определенными областями практики.

Провести теоретическую валидизацию, в отличие от прагматиче­ской, порой оказывается значительно труднее.

Не вдаваясь пока в кон­кретные детали, остановимся в общих чертах на том, как проверяется прагматическая валидность: выбирается какой-нибудь независимый от методики внешний критерий, определяющий успех в той или иной деятельности (учебной, профессиональной и т. п.), и с ним сравни­ваются результаты диагностической методики. Если связь между ними признается удовлетворительной, то делается вывод о практической значимости, эффективности, действенности диагностической ме­тодики.

Для определения теоретической валидности найти какой-либо не­зависимый критерий, лежащий вне методики, гораздо труднее. Поэто­му на ранних стадиях развития тестологии, когда концепция валидно­сти только складывалась, бытовало интуитивное представление о том, что именно данный тест измеряет:

  1. методика называлась валидной, так как то, что она измеряет, просто «очевидно»;

  2. доказательство валидности основывалось на уверенности иссле­дователя в том, что его метод позволяет «понять испытуемого»;

  3. методика рассматривалась как валидная (т. е. принималось ут­верждение, что такой-то тест измеряет такое-то качество) толь­ко потому, что теория, на основании которой строилась методи­ка, «очень хорошая».

Принятие на веру голословных утверждений о валидности методи­ки не могло продолжаться длительное время. Первые проявления дей­ствительно научной критики развенчали такой подход: начались по­иски научно обоснованных доказательств.

^ Таким образом, провести теоретическую валидизацию методики — это доказать, что методика измеряет именно то свойство, качество, которое она по замыслу исследователя должна измерять.

Так, например, если какой-то тест разрабатывался для того, чтобы диа­гностировать умственное развитие детей, надо проанализировать, дей­ствительно ли он измеряет именно это развитие, а не какие-то другие особенности (например, личность, характер и т. п.). Следовательно, для теоретической валидизации кардинальной проблемой является отношение между психологическими явлениями и их показателями, посредством которых эти психологические явления пытаются познать. Такая проверка показывает, насколько замысел автора и результаты методики совпадают.

Не столь сложно провести теоретическую валидизацию новой ме­тодики, если для измерения данного свойства уже имеется методика с доказанной валидностью. Наличие корреляции между новой и ана­логичной, уже проверенной методикой указывает на то, что разработан­ная методика измеряет то же психологическое качество, что и эталонная. И если новый метод одновременно оказывается более компактным и экономичным в проведении и обработке результатов, то психодиа­гносты получают возможность использовать новый инструмент вместо старого. Такой прием особенно часто применяется в дифференциаль­ной психофизиологии при создании методик диагностики основных свойств нервной системы человека.

Но теоретическая валидность доказывается путем сопоставления не только с родственными показателями, а также и с теми, где, исходя из гипотезы, значимых связей не должно быть.

^ Таким образом, для про­верки теоретической валидности важно,

- с одной стороны, установить степень связи с родственной методикой (конвергентная валидность),

- а с другой — отсутствие этой связи с методиками, имеющими другое теоретическое основание (дискриминантная валидностъ).

Гораздо труднее провести теоретическую валидизацию методики тогда, когда такой путь проверки невозможен. Чаще всего именно с та­кой ситуацией сталкивается исследователь. В таких обстоятельствах только постепенное накопление разнообразной информации об изу­чаемом свойстве, анализ теоретических предпосылок и эксперимен­тальных данных, значительный опыт работы с методикой позволяют раскрыть ее психологический смысл.

Важную роль для понимания того, что методика измеряет, играет со­поставление ее показателей с практическими формами деятельности. Но здесь особенно важно, чтобы методика была тщательно проработа­на в теоретическом плане, т. е. чтобы имелась прочная, обоснованная научная база. Тогда при сопоставлении методики с взятым из повсе­дневной практики внешним критерием, соответствующим тому, что она измеряет, может быть получена информация, подкрепляющая теоре­тические представления о ее сущности.

Важно помнить, что если доказана теоретическая валидность, то ин­терпретация полученных показателей становится более ясной и одно­значной, а название методики соответствует сфере ее применения.

Что касается прагматической валидизации, то она подразумевает проверку методики с точки зрения ее практической эффективности, значимости, полезности, поскольку диагностической методикой име­ет смысл пользоваться только тогда, когда доказано, что измеряемое свойство проявляется в определенных жизненных ситуациях, в опре­деленных видах деятельности. Ей придают большое значение особен­но там, где встает вопрос отбора.

Использование диагностических методик с чисто эмпирическим обоснованием, без отчетливой теоретической базы нередко приводи­ло к псевдонаучным выводам, к неоправданным практическим реко­мендациям. Нельзя было точно назвать те особенности, качества, ко­торые тесты выявляли. Б. М. Теплов, анализируя тесты того периода, назвал их «слепыми пробами».

Такой подход к проблеме валидности тестов был характерен вплоть до начала 50-х гг. не только в США, но и в других странах. Теоретическая слабость эмпирических методов валидизации не могла не вызвать кри­тики со стороны тех ученых, которые в разработке тестов призывали опи­раться не только на «голую» эмпирику и практику, но и на теоретиче­скую концепцию. Практика без теории, как известно, слепа, а теория без практики мертва. В настоящее время теоретико-прагматическая оценка валидности методик воспринимается как наиболее продуктивная.

Для проведения прагматической валидизации методики, т. е. для оценки ее эффективности, действенности, практической значимости, обычно используется независимый внешний критерий — показатель проявления изучаемого свойства в повседневной жизни.

Такими кри­териями могут быть:

  1. успеваемость (для тестов способностей к обучению, тестов до­стижений, тестов интеллекта);

  2. производственные достижения (для методик профессиональной направленности);

  3. эффективность реальной деятельности — рисование, моделиро­вание и т. д. (для тестов специальных способностей);

  4. субъективные оценки (для тестов личности).

Американские исследователи Д. Тиффин и Е. Маккормик, проведя анализ используемых для доказательства валидности внешних крите­риев, выделили четыре их типа:

  1. критерии исполнения (в их число могут входить такие, как коли­чество выполненной работы, успеваемость, время, затраченное на обучение, темп роста квалификации и т. п.);

  2. субъективные критерии (они включают различные виды ответов, которые отражают отношение человека к чему-либо или к кому-либо, его мнение, взгляды, предпочтения; обычно субъективные критерии получают с помощью интервью, опросников, анкет);

  3. физиологические критерии (они используются при изучении вли­яния окружающей среды и других ситуационных переменных на организм и психику человека; замеряется частота пульса, давление крови, электросопротивление кожи, симптомы утомления и т. д.);

  4. критерии случайностей (применяются, когда цель исследования касается, например, проблемы отбора для работы таких лиц, ко­торые менее подвержены несчастным случаям).

Внешний критерий должен отвечать трем основным требованиям:

  1. он должен быть релевантным;

  2. свободным от помех (контаминации);

  3. надежным [43].

Под релевантностью имеется в виду смысловое соответствие диа­гностического инструмента независимому жизненно важному крите­рию. Другими словами, должна быть уверенность в том, что в крите­рии задействованы именно те особенности индивидуальной психики, которые измеряются и диагностической методикой. Внешний крите­рий и диагностическая методика должны находиться между собой во внутреннем смысловом соответствии, быть качественно однородны­ми по психологической сущности.

Если, например, тест измеряет индивидуальные особенности мышле­ния, умение выполнять логические действия с определенными объекта­ми, понятиями, то и в критерии нужно искать проявление именно этих умений. Это в равной степени относится и к профессиональной деятель­ности. Она имеет не одну, а несколько целей, задач, каждая из которых специфична и предъявляет свои условия к выполнению. Из этого вы­текает существование нескольких критериев выполнения профессио­нальной деятельности. Поэтому не следует проводить сопоставление успешности по диагностическим методикам с производственной эффек­тивностью в целом. Необходимо найти такой критерий, который по ха­рактеру выполняемых операций соотносим с методикой.

Если относительно внешнего критерия неизвестно, релевантен он из­меряемому свойству или нет, то сопоставление с ним результатов психо­диагностической методики становится практически бесполезным. Оно не позволяет прийти к каким-либо выводам, которые могли бы дать оцен­ку валидности методики.

Требования свободы от помех (контаминации) вызываются тем, что, например, учебная или производственная успешность зависит от двух переменных: от самого человека, его индивидуальных особенностей, измеряемых методиками, и от ситуации, условий учебы, труда, кото­рые могут привнести помехи, «загрязнить» применяемый критерий. Чтобы в какой-то мере избежать этого, следует отбирать для исследо­вания такие группы людей, которые находятся в более или менее оди­наковых условиях. Можно использовать и другой метод. Он состоит в корректировке влияния помех. Эта корректировка носит обычно ста-тистический характер. Так, например, производительность следует брать не по абсолютным значениям, а в отношении к средней произво­дительности рабочих, имеющих аналогичные условия труда.

Когда говорят, что критерий должен иметь статистически достовер­ную надежность, это означает, что он должен отражать постоянство и устойчивость исследуемой функции.

Поиски адекватного и легко выявляемого критерия относятся к очень важным и сложным задачам валидизации. В западной тестологии много методик дисквалифицировано только потому, что не удалось подыскать подходящего критерия для их проверки. В частности, у большей части анкет данные по их валидности сомнительны, так как трудно найти адекватный внешний критерий, отвечающий тому, что они измеряют.

Оценка валидности методик может носить количественный и каче­ственный характер.

Для вычисления количественного показателя — коэффициента ва­лидности — сопоставляются результаты, полученные при применении диагностической методики, с данными, полученными по внешнему критерию тех же лиц. Используются разные виды линейной корреля­ции (по Спирмену, по Пирсону).

Сколько испытуемых необходимо для расчета валидности?

Практика показала, что их не должно быть меньше ^ 50, однако луч­ше всего более 200. Часто возникает вопрос, какой должна быть вели­чина коэффициента валидности, чтобы она считалась приемлемой? В общем отмечается, что достаточно того, чтобы коэффициент ва­лидности был статистически значим.

- Низким признается коэффи­циент валидности порядка 0,2-0,3,

- средним — 0,3-0,5

- и высоким — свыше 0,6.

Но, как подчеркивают А. Анастази, К. М. Гуревич и др„ не всегда для вычисления коэффициента валидности правомерно ис­пользовать линейную корреляцию. Этот прием оправдан лишь тогда, когда доказано, что успех в какой-то деятельности прямо пропорцио­нален успеху в выполнении диагностической пробы. Позиция зару­бежных тестологов, особенно тех, кто занимается профпригодностью и профотбором, чаще всего сводится к безоговорочному признанию того, что для профессии больше подойдет тот, кто больше выполнил заданий в тесте. Но может быть и так, что для успеха в деятельности нужно обладать свойством на уровне 40 % решения теста. Более высокий показатель в тесте уже не имеет никакого значения для профессии.

Наглядный пример из монографии К. М. Гуревича: почтальон должен уметь читать, но читает ли он с обычной скоростью или с очень большой скоростью — это уже не имеет профессионального значения. При таком соотношении показателей методики и внешнего критерия наи­более адекватным способом установления валидности может быть критерий различий.

Возможен и другой случай: более высокий уровень свойства, чем это требует профессия, служит помехой профессиональному успеху. Так, еще на заре XX в. американский исследователь Ф. Тейлор нашел, что наиболее развитые работницы производства имеют невысокую производительность труда. То есть высокий уровень их умственного развития мешал им высокопроизводительно трудиться. В этом случае для вычисления коэффициента валидности более подошли бы диспер­сионный анализ или вычисление корреляционных отношений.

Как показал опыт работы зарубежных тестологов, ни одна статис­тическая процедура не в состоянии полностью отразить многообразие индивидуальных оценок. Поэтому часто для доказательства валидно­сти методик используют другую модель — клинические оценки. Это не что иное, как качественное описание сущности изучаемого свой­ства. В этом случае речь идет об использовании приемов, не опира­ющихся на статистическую обработку.

Существует несколько видов валидности, обусловленных особен­ностями диагностических методик, а также временным статусом внеш­него критерия. Однако чаще всего называются следующие.

  1. Валидность «по содержанию». Этот прием используется, напри­мер, в тестах достижений. Обычно в тесты достижений включа­ется не весь материал, который прошли учащиеся, а какая-то его небольшая часть (3-4 вопроса). Можно ли быть уверенным в том, что правильные ответы на эти немногие вопросы свидетельству­ют об усвоении всего материала? На это и должна ответить про­верка валидности по содержанию. Для этого проводится сопо­ставление успешности по тесту с экспертными оценками учителей (по данному материалу). Валидность «по содержанию» также подходит к критериально-ориентированным тестам. Иногда этот прием называют логической валидностью.

  2. Валидность «по одновременности», или текущая валидность, определяется с помощью внешнего критерия, по которому инфор­мация собирается одновременно с экспериментами по проверя­емой методике. Другими словами, собираются данные, относя­щиеся к настоящему времени: успеваемость в период испытания, производительность в этот же период и т. д. С ними сопоставля­ют результаты успешности по тесту.

3. «Предсказывающая» валидность (другое название — «прогности­ческая» валидность). Определяется также по внешнему крите­рию, но информация по нему собирается некоторое время спустя , после испытания. Внешним критерием обычно бывает выражен­ная в каких-либо оценках способность человека к тому виду дея­тельности, для которой он оценивался по результатам диагнос­тических испытаний. Хотя этот прием наиболее соответствует задаче диагностических методик — предсказанию будущей успеш­ности, — применять его очень трудно. Точность диагноза нахо­дится в обратной зависимости от времени, заданного для такого прогнозирования. Чем больше проходит времени после измере­ния, тем большее количество факторов требуется учитывать при оценке прогностической значимости методики. Однако учесть все факторы, влияющие на предсказание, практически невозможно.

^ 4. «Ретроспективная» валидность. Она определяется на основе критерия, отражающего события или состояние качества в прош­лом. Может быть использована для быстрого получения сведе­ний о предсказательных возможностях методики. Так, для про­верки того, в какой мере хорошие результаты теста способностей соответствуют быстрому обучению, можно сопоставить прошлые оценки успеваемости, прошлые экспертные заключения и т. д. у лиц с высокими и низкими на данный момент диагностически­ми показателями.

При приведении данных о валидности разработанной методики важ­но точно указать, какой вид валидности имеется в виду (по содержанию, по одновременности и т. д.).

Желательно также сообщать сведения о чис­ленности и особенностях индивидов, на которых проводилась валидизация. Такая информация позволяет пользующемуся методикой исследователю решить, насколько валиден этот прием для той груп­пы, к которой он собирается его применять.

Как и в случае с надеж­ностью, необходимо помнить, что в одной выборке методика может обладать высокой валидностью, а в другой — низкой.

Поэтому, если исследователь планирует использовать методику на выборке испыту­емых, существенно отличающейся от той, на которой проводилась про­верка валидности, ему необходимо заново провести такую проверку. Приводимый в руководстве коэффициент валидности применим толь­ко к группам испытуемых, подобных тем, на которых он определялся.


Вопросы

  1. Что такое дифференциальная психометрия? В чем ее отличие от
    общей психометрии?

  2. Дайте определение понятию «стандартизация методик».

  3. Что такое репрезентативная выборка? Как она строится?

  4. Назовите приведенные в главе критерии оценки результатов диа­гностических испытаний.

  5. Что такое надежность методики? Назовите виды надежности.

  6. Что такое валидность методики? Назовите ее основные виды.


Рекомендуемая по теме литература

Анастази А. Психологическое тестирование: В 2 кн. / Под ред. К. М. Гуревича, В. И. Лубовского. - М, 1982. - Кн.1. - С. 66-179. Бурлачук Л. Ф. Психодиагностика. - СПб., 2003. - С. 105-107, 161-176.

Бурлачук Л. Ф., Морозов С. М. Словарь-справочник по психологиче­ской диагностике. — Киев, 1989.

Гайда В. К., Захаров В. П. Психологическое тестирование. — Л., 1982.

Гуревич К. М. О надежности психофизиологических показателей // Проблемы дифференциальной психофизиологии. — М., 1969. — Т. 6.

Гуревич К. М. Надежность психологических тестов // Психологи­ческая диагностика. Ее проблемы и методы. — М., 1975.

Гуревич К. М. Статистика — аппарат доказательства психологи­ческой диагностики // Проблемы психологической диагностики. — Таллин, 1977.

Гуревич К. М. Что такое психологическая диагностика. — М., 1985.

Гуревич К. М. Проблемы дифференциальной психологии. — М.; Во­ронеж, 1998. - С. 242-254, 256-272.

Носе И. Н. Введение в технологию психодиагностики. — М., 2003. — С. 83-98.

Общая психодиагностика / Под ред. А. А. Бодалева, В. В. Столина, 1987.-С. 15-17,53-90.

Основы психодиагностики / Под ред. А. Г. Шмелева. — Ростов н/Д, 1996.-С. 131-156.


Курс: «ПРАКТИЧЕСКАЯ ПСИХОДИАГНОСТИКА»


(Материалы для самостоятельной работы студентам)


ТЕМА:

Диагностика

психологической готовности к школьному обучению


Понимая психологическую готовность ребенка к школе как многокомпонентное образование, складывающееся из определенного уровня развития мыслительной деятельнос­ти, познавательных интересов, готовности к произвольной регуляции своей познавательной деятельности и к социаль­ной позиции школьника, необходимо согласиться с тем, что нет и не может быть единственного теста, измеряющего го­товность ребенка к школе, необходим комплекс методик.

Выбор методов диагностики психологической готовнос­ти ребенка к школе зависит от подхода к организации ди­агностического обследования, выбираемого тем или иным психологом.

Одним из вариантов организации может быть первона­чальная общая диагностика, обнаруживающая при массо­вых обследованиях детей в общих чертах уровень интел­лектуального развития, развития тонкой моторики руки, координации движения рук и зрения, умения ребенка под­ражать образцу. Далее, оценивая уровень готовности к школе, психолог продолжает работу с детьми с низким и особо низким уровнем сформированности компонентов пси­хологической готовности к школе, которые нуждаются в дополнительном индивидуальном психологическом обсле­довании. Благодаря последнему должна быть дана подроб­ная качественная характеристика особенностей психичес­кого развития ребенка, необходимая как для уточнения выводов, сделанных на основе фронтального обследования, так и для выбора направлений коррекционной работы.

Для реализации первоначальной диагностики, состав­ления общего представления об уровне готовности ребенка

к школьному обучению можно использовать ориентационный тест школьной зрелости Керна—Йирасека. Этот тест обладает рядом существенных достоинств для первоначаль­ного обследования старших дошкольников:

  • не требует продолжительного времени для проведения;

  • может быть использован как для индивидуальных, так и для групповых обследований;

  • имеет нормативы, разработанные на большой выборке;

  • не требует специальных средств и условий для про­ведения.

1. Ориентационный тест школьной зрелости Керна— Йирасека

Ориентационный тест школьной зрелости Я. Йирасека, являющийся модификацией теста А. Керна, состоит из трех заданий.

^ Первое задание — рисование мужской фигуры по па­мяти, второе — срисовывание письменных букв, третье — срисовывание группы точек. Результат каждого задания оценивается по пятибалльной системе (1 — высший балл; 5 —низший бал), а затем вычисляется суммарный итог по трем заданиям. Развитие детей, получивших в сумме по трем заданиям от 3-х до 6-ти баллов, рассматривается как выше среднего, от 7-и до 11-ти — как средний, от 12-ти до 15-ти — ниже нормы. Детей, получивших 12—15 бал­лов, необходимо углубленно обследовать, т. к. среди них могут быть умственно отсталые. Все три задания графи­ческого теста направлены на определение развития тон­кой моторики руки и координации зрения и движений руки. Эти умения необходимы в школе для овладения письмом. Кроме того, тест позволяет определить в общих чертах интеллектуальное развитие ребенка (рисунок муж­ской фигуры по памяти). Задание «срисовывание пись­менных букв» и «срисовывание группы точек» выявляют умение ребенка подражать образцу — умение, необходи­мое в школьном обучении. Эти задания также позволяют определить, может ли ребенок сосредоточенно, не отвле­каясь работать некоторое время над не очень привлека­тельным для него заданием.

^ Я. Йирасек провел исследование по установлению связи между успешностью выполнения теста школьной зрелости и успешностью в дальнейшем обучении. Оказалось, что дети, хорошо справляющиеся с тестом, как правило, хорошо учатся в шкоде, но дети, плохо справляющиеся с тестом, в школе могут хорошо успевать. Поэтому Йирасек подчеркивает, что результат тестового испытания можно рассматривать как основание для заключения о школьной зрелости и нельзя интерпретировать как школьную незрелость (например, бывают случаи, когда способные дети схематично рисуют человека, что существенно отражается на полученном ими суммарном балле). Автор теста отмечает также ограничен­ность методики в связи с неиспользованием невербальных субтестов, позволяющих сделать заключение о развитии логического мышления (тест школьной зрелости в основ­ном позволяет судить о развитии сенсомоторики).


^ Тест Керна—Йирасека может применяться как в груп­пе, так и индивидуально.

Инструкция по применению теста Ребенку (группе детей) предлагают бланк теста. На пер­вой стороне бланка должны содержаться данные о ребенке и оставлено свободное место для рисовании фигуры мужчи­ны, на обороте в верхней левой части помещен образец пись­менных букв, а в нижней левой части — образец группы точек. Правая часть этой стороны листа оставлена свобод­ной для воспроизведения образцов ребенком. В качестве бланка может служить лист машинописной бумаги, ориен­тированный так, чтобы нижняя часть его оказалась длин­нее боковой. Карандаш перед испытуемым кладут так, что бы он был на одинаковом расстоянии от обеих рук (в случае, если ребенок окажется левшой, экспериментатор должен сделать соответствующую запись в протоколе). Бланк кла­дется перед ребенком чистой стороной (см. приложение 2).

^ Инструкция к заданию №1

♦Здесь (показывают каждому ребенку) нарисуй какого-нибудь мужчину. Так, как сможешь». Больше никаких пояснений, помощи или привлечения внимания к ошиб­кам и недостаткам рисунка не допускается. Если дети все же начнут расспрашивать, как рисовать, экспериментатор все равно должен ограничиться одной фразой: «Рисуй так, как сможешь». Если ребенок не приступает к рисованию, то следует подойти к нему и подбодрить, например, ска­зать: «Рисуй, у тебя все получится». Иногда ребята задают вопрос, нельзя ли вместо мужчины нарисовать женщину, в этом случае надо ответить, что все рисуют мужчину, и им тоже надо рисовать мужчину. Если ребенок уже начал рисовать женщину, то следует разрешить дорисовать ее, а затем попросить, чтобы он нарисовал рядом еще и мужчи­ну. Следует иметь в виду, что бывают случаи, когда ребе­нок категорически отказывается рисовать мужчину. Опыт показал, что такой отказ может быть связан с неблагопо­лучием в семье ребенка, когда отца либо вообще нет в се­мье, либо он есть, но от него исходит какая-то угроза. По окончании рисования фигуры человека детям говорят, что­бы они перевернули лист бумаги на другую сторону.

^ Задание №2 объясняют следующим образом: «Посмотри, здесь что-то написано. Ты еще не умеешь писать, но попробуй, может быть, у тебя получится точно так же. Хорошенько посмотри, как это написано* и вот здесь, рядом, на свободном месте напиши так же». Пред­лагается скопировать фразу:

«Я ем суп»,

написанную письменными буквами. Если какой-нибудь ребенок неудачно угадает длину фразы и одно слово не по­местится в строчке, следует обратить внимание на то, что можно написать это слово выше или ниже. Следует иметь в виду, что встречаются дети, которые уже умеют читать письменный текст, и тогда они, прочитав предложенную им фразу, пишут ее печатными буквами. В этом случае необходимо иметь образец иностранных слов, также напи­санных письменными буквами.

^ Перед заданием №3 экспериментатор говорит:

«Посмотри, здесь нарисованы точки

Попробуй вот здесь, рядом, нарисовать точно так же».

При этом нужно показать, где ребенок должен рисо­вать, поскольку следует считаться с возможным ослабле­нием концентрации внимания у некоторых детей. Во вре­мя выполнения ребятами заданий необходимо следить за ними, делая при этом краткие записи об их действиях. В первую очередь обращают внимание на то, какой рукой рисует будущий школьник — правой или левой, перекла­дывает ли он во время рисования карандаш из одной руки в другую. Отмечают также, вертится ли ребенок слишком много, роняет ли карандаш и ищет его под столом, начал ли рисовать, несмотря на указания, в другом месте или вообще обводит контур образца, желает ли убедиться в том, что рисует красиво и т. д.


^ Оценка результатов теста

Задание № 1 — рисование мужской фигуры.

1 балл выставляется при выполнении следующих ус­ловий: нарисованная фигура должна иметь голову, туло­вище, конечности. Голова с туловищем соединена шеей и не должна быть больше туловища. На голове есть волосы (возможно, они закрыты кепкой или шляпой) и уши, на лице — глаза, нос, рот, руки заканчиваются пятипалой кистью. Ноги внизу отогнуты. Фигура имеет мужскую одежду и нарисована так называемым синтетическим спо­собом (контурным), заключающимся в том, что вся фигу­ра (голова, шея, туловище, руки, ноги) рисуется сразу как единое целое, а не составляется из отдельных закон­ченных частей. При таком способе рисования всю фигуру можно обвести одним контуром, не отрывая карандаша от бумаги. На рисунке видно, что руки и ноги как бы «рас­тут» из туловища, а не прикреплены к нему. В отличие от синтетического, более примитивный аналитический спо­соб рисования предполагает изображение отдельно каж­дой из составляющих частей фигуры. Так, например, сна­чала рисуется туловище, а затем к нему прикрепляются руки и ноги.

2 балла. Выполнение всех требований на единицу, кро­ме синтетического способа рисования. Три отсутствующие детали (шея, волосы, один палец руки, но не часть лица) можно не учитывать, если фигура нарисована синтетичес­ким способом.

  1. балла. Фигура должна иметь голову, туловище, ко­нечности. Руки и ноги нарисованы двумя линиями (объем­ные). Допускается отсутствие шеи, волос, ушей, одежды, пальцев и ступней.

  2. балла. Примитивный рисунок с головой и туловищем. Конечности (достаточно одной пары) нарисованы только одной линией каждая.

5 баллов. Отсутствует четкое изображение туловища («головоножка» или преобладание «головоножки») или обеих пар конечностей. Каракули.


^ Задание №2 — копирование слов, написанных пись­менными буквами

1 балл. Хорошо и полностью разборчиво скопирован написанный образец.

Буквы превышают размер букв образца не более чем в два раза. Первая буква по высоте явно соответствует про­писной букве. Буквы четко связаны в три слова. Скопиро­ванная фраза отклоняется от горизонтальной линии не бо­лее чем на 30 градусов.

  1. балла. Все еще разборчиво скопирован образец. Размер букв и соблюдение горизонтальной линии не учитываются.

  2. балла. Явная разбивка надписи минимум на две час­ти. Можно понять хотя бы четыре буквы образца.

  3. балла. С образцом совпадают хотя бы две буквы. Вос­произведенный образец все еще создает строку надписи.

  4. баллов. Каракули.


Задание № 3 срисовывание группы точек

  1. балл. Почти совершенное копирование образца. До­пускается незначительное отклонение одной точки от стро­ки или колонки. Уменьшение образца допустимо, а увели­чение не должно быть более чем вдвое. Рисунок должен быть параллелен образцу.

  2. балла. Число и расположение точек должны соответство­вать образцу. Можно не учитывать отклонение не более трех точек на половину ширины зазора между строкой и колонкой.

3 балла. Рисунок в целом соответствует образцу, не превышая его по ширине и высоте более чем вдвое. Число точек может не соответствовать образцу, но их не должно быть больше 20 и меньше 7. Допускается любой поворот, даже на 180 градусов.

  1. балла. Контур рисунка не соответствует образцу, но все же состоит из точек. Размеры образца и число точек не учи­тываются. Иные формы (например, линии) не допускаются.

  2. баллов. Каракули.




страница6/13
Дата конвертации01.08.2013
Размер3,91 Mb.
ТипЛекция
1   2   3   4   5   6   7   8   9   ...   13
Разместите кнопку на своём сайте или блоге:
rud.exdat.com


База данных защищена авторским правом ©exdat 2000-2012
При копировании материала укажите ссылку
обратиться к администрации
Документы