Конспект лекций Текст предоставлен литагентом icon

Конспект лекций Текст предоставлен литагентом



Смотрите также:
1   ...   7   8   9   10   11   12   13   14   15
^

ЛЕКЦИЯ № 12. Содержательная валидность




1. Сущность, область применения. Этапы валидизации



Содержательная валидность – один из основных типов валидности методики, характеризующий степень репрезентативности содержания заданий теста измеряемой области психических свойств.

Комплекс сведений содержательной валидности традиционно имеет наибольшее значение для тестов, исследующих деятельность, близкую или совпадающую с реальной (чаще всего учебной или профессиональной). Изучаемая деятельность носит, как правило, синтетический характер, складывается из многих, подчас разнородных факторов (проявлений личностных особенностей, комплекса необходимых знаний и навыков, специфические способностей и т. д.). Поэтому одной из важнейших задач создания адекватной модели тестируемой деятельности является подбор таких заданий, которые будут охватывать главные аспекты изучаемого феномена в правильной пропорции к реальной деятельности в целом.

Валидность по содержанию закладывается в тест уже при подборе заданий будущей методики. Первым этапом валидизации является определение круга исследуемых свойств и видов деятельности, расчленение сложной способности или деятельности на элементы. На втором этапе разрабатывают собственно модель тестовой деятельности на основе наиболее важных элементов реальной деятельности. Наконец, на последнем этапе проводят анализ степени соответствия разработанной модели реальной деятельности, проверку соответствия пропорций представленности элементов в заданиях теста и в реальной деятельности. Так, для тестов достижений по отдельным предметам разработке конкретного содержания тестовых задач предшествуют полная систематическая проверка соответствующих учебников и учебных программ, а также консультации со специалистами по данному предмету. На основе собранной таким путем информации составляют спецификацию теста, где указывают тестируемые области содержания (темы), задачи (процессы) обучения, а также относительное значение каждой темы и процесса для достижения целей обучения на данном этапе. Конкретные задания оцениваются экспертами по принципу их близости к реальным требованиям. Эксперты выносят суждения о том, охватывает ли тест репрезентативную выборку конкретных навыков и знаний исследуемой области обучения.

Широкое использование экспертных оценок сближает содержательную валидность с процедурой определения критериальной валидности. Однако существенным различием между этими типами валидности является то, что экспертные оценки при анализе содержания являются критерием самого теста, в то время как при критериальной валидизации они относятся к испытуемым из выборки стандартизации. Расчленение изучаемой деятельности или способности на элементы является необходимым этапом характеристики синтетической валидности. В содержательной валидности синтетический подход реализуется в анализе элементного состава содержания самого теста, а не в совокупности внешних валидизации критериев.

Экспертная оценка адекватности содержания заданий теста может быть дополнена при характеристике содержательной валидности рядом эмпирических процедур. Так, можно проверить, насколько от класса к классу повышается суммарный показатель для группы и индивидуальное выполнение теста достижений. Эта процедура в значительной мере близка определению валидности конструктной с помощью критерия возрастной дифференциации. Роль этого критерия при оценке содержательной валидности заключается не в верификации конструкта, лежащего в основе теста, а лишь в анализе гипотез, приведших к выбору того или иного материала теста.

Наряду с тестами достижений содержательная валидность является одной из важнейших форм валидизации критериально-ориентированных тестов , а также методик, предназначенных для профотбора, анализа успешности овладения профессией.

Для валидизации личностных опросников и тестов интеллекта критерии содержательной валидности имеют ограниченное применение и используются лишь на начальных стадиях составления теста. Личностные опросники, как правило, не имеют того сходства с исследуемой областью поведения, как это имеет место в случае тестов достижений. Ответы на вопросы анкеты, опросника, данные проективных исследований позволяют лишь косвенно судить о реальной деятельности испытуемого. Проявление личностных свойств и реализация способностей в деятельности могут носить индивидуальный характер.

При проведении теста интеллекта эффективное решение заданий может достигаться за счет логического мышления, механической памяти, психомоторной подвижности, разными путями и способами. Наконец, в отличие от тестов достижений опросники личностные и тесты интеллекта прямо не связаны с конкретным курсом обучения или общностью предшествовавшего жизненного опыта, на которых строится содержание тестов достижений.

^

2. Очевидная валидность



Очевидная валидность – представление о тесте, сфере его применения, результативности и прогностической ценности, которое возникает у испытуемого или другого лица, не располагающего специальными сведениями о характере использования и целях методики. Очевидная валидность не является компонентом объективно устанавливаемой валидности. Вместе с тем высокая очевидная валидность в большинстве случаев является весьма желательной. Она выступает в качестве фактора, побуждающего испытуемых к обследованию, способствует более серьезному и ответственному отношению к работе по выполнению заданий теста и к заключениям, формулируемым психологом.

Достаточный уровень очевидной валидности особенно значим для методик обследования взрослых. Если содержание тестовых заданий будет представляться несерьезным, чрезмерно легким, не соответствующим сути изучаемой деятельности, это может привести к ироническому, негативному или враждебному отношению испытуемых к ситуации обследования. Напротив, гипертрофированное отношение к возможностям методики, не вполне адекватное представление о ее направленности и прогностической значимости может вызвать избыточную мотивацию, нежелательную эмоциональную напряженность при обследовании, выраженное установочное поведение. Очевидно, что в приведенных случаях за счет неадекватной очевидной валидности реальная валидность теста снизится.

Представления испытуемых и пользователей психодиагностической информацией об очевидной валидности в немалой степени определяются названием методики, поскольку эта часть сведений о тесте наиболее доступна неспециалистам. Для предупреждения неадекватных мнений о методике следует избегать помещения на бланках, опросных листах, тестовых тетрадях туманных, необоснованно общих названий, которые могут быть неправильно истолкованы (например, «Тест личности», «Тест умственных способностей», «Комплексная батарея оценки достижений» и т. д.). Адекватность очевидной валидности повышается путем введения в инструкцию краткой характеристики целей исследования.

Очевидная валидность существенно улучшает применение понятных формулировок и терминов, а также заданий, по содержанию являющихся наиболее естественными с учетом возрастной, половой, профессиональной специфики испытуемых. Очевидная валидность иногда носит название внешней (face validity) или доверительной (faith validity) валидности.


^

ЛЕКЦИЯ № 13. Критерий валидности




1. Определение. Основное психометрическое неравенство



Соответствие теста измеряемому психическому свойству называется валидностью теста . Валидность является важнейшим психометрическим свойством теста. Если высокая надежность говорит о том, что тест действительно что-то измеряет, то высокая валидность указывает на то, что тест измеряет именно то, что мы хотим измерить. Конечно, на валидность теста также негативно влияют случайные факторы. Поэтому в психометрике принято следующее основное психометрическое неравенство:


Валидность ≤ Надежность,

что означает, что валидность не может превышать надежность теста.

Но в отличие от надежности, помимо случайных факторов, на валидность теста влияют систематические факторы. Они привносят систематические искажения в результаты. Эти факторы есть другие психические свойства, которые мешают проявиться в результатах теста тому свойству, на измерение которого направлен тест.

Например, мы хотим измерить потенциал обучаемости (важнейший компонент общих интеллектуальных способностей человека). Если мы даем испытуемому тест с жестким ограничением времени исполнения и отсутствием возможности вернуться и исправить допущенную ошибку, то очевидно, что искомое психическое свойство оказывается смешанным в тесте с ложным психическим свойством – стрессоустойчивостью: испытуемые с высокими показателями стрессоустойчивости будут лучше выполнять тест. В этом проявится эффект систематического искажения.

В современной психометрике разработаны десятки разнообразных теоретических и экспериментальных методов проверки валидности тестов. Основным элементом практически всех этих методов является так называемый критерий. Критерий валидности – это не зависимый от теста, внешний по отношению к тесту источник информации об измеряемом свойстве. Мы не можем судить о валидности теста до тех пор, пока не сравним его результаты с источником истинной (или заведомо более валидной) информации об измеряемом свойстве – с критерием.

^

2. Типы критериев валидности



В научных исследованиях преобладают специальные лабораторные критерии. Например, конструируется компактный тест-опросник на тревожность. А в качестве критерия валидности для него используется специальный трудоемкий объективный лабораторный эксперимент, в котором воспроизводится реальная ситуация тревожности (испытуемым-добровольцам угрожают за ошибочные действия ударами тока и т. п.).

На практике очень часто в качестве критерия валидности используются прагматические критерии – показатели эффективности той деятельности, ради прогнозирования которой предпринимается тестирование.

Очень часто в качестве критерия валидности используется экспертная оценка. Например, мы хотим убедиться, что короткий тест на измерение уровня дисциплинированности валиден. Для этого проводится опрос учителей об уровне дисциплинированности хорошо известных им учеников. После этого сравниваются результаты теста и экспертный рейтинг учеников по дисциплинированности.

Остановимся подробнее на этом последнем примере. Здесь мы имеем один из самых простых и популярных методов эмпирического (статистического) измерения валидности. Это метод известных групп. К участию в психометрическом эксперименте по проверке валидности теста приглашаются испытуемые, про которых известно, к какой группе по критерию они относятся. В случае с тестом дисциплинированности подбираются ученики, заведомо дисциплинированные по данным экспертной оценки учителей (высокая группа по критерию) и заведомо недисциплинированные (низкая группа по критерию). Ученики со средними показателями по критерию в тестировании не участвуют.

После проведения теста производится расчет, например, простейшей корреляции между тестом и критерием (табл. 1).

Таблица 1
Расчет простейшей корреляции между тестом и критерием

Элемент «a» в этой таблице – это число испытуемых, попавших в высокую группу по тесту и по критерию, элемент «b» – число испытуемых, попавших в высокую группу по тесту, но в низкую группу по критерию и т. д.

Очевидно, что при полной валидности теста элементы «b» и «с» таблицы должны быть равны нулю, т. е. тест не должен давать ошибок (говорить о том, что ученик низкодисциплинированный, когда учителя говорят о том, что ученик высокодисциплинированный – случай «с»).

^

3. Математическое выражение критерия валидности (коэффициент Гилфорда)



Меру совпадения (корреляции) между крайними группами по тесту и по критерию оценивают с помощью самого простого Фи-коэффициента Гилфорда:



При численности протестированной группы в 30 человек (это минимальная выборка для проверки валидности) статистически значимую связь теста с критерием мы можем констатировать – Ph1 ≥ 0,36. Хотя это и очень невысокая валидность, но все же тест в данном случае дает значимо лучшие результаты, чем случайное гадание.

Однако метод известных групп обладает серьезным недостатком. Он не всегда позволяет использовать тест для прогноза. Дело в том, что при формировании известных групп оценивается поведение, которое происходило в прошлом, а мы хотим сделать тест для прогноза поведения, которое будет происходить в будущем. Многие тесты, используемые в образовательной психодиагностике, обладают указанным недостатком. Они проходят в лучшем случае проверку по методике известных групп и не обладают прогностической валидностью (или эта валидность строго экспериментально не доказана).

^

4. Основные схемы валидизации психодиагностических методик



Решение проблемы прогностической валидности под силу только крупным научно-методическим центрам. Ведь к психометрическому исследованию по проверке прогностической валидности надо привлекать на порядок больше испытуемых – не 30, а, как минимум, 300, так как неизвестно, кто из этих 300 попадет в крайние группы.

Например, мы хотим использовать тест для прогноза готовности школьников для обучения в вузе. Это типичная прогностическая психодиагностическая задача. Кто-то должен взяться за нелегкую многолетнюю программу проверки прогностического потенциала этого теста. Нужно протестировать 300–500 школьников, а затем подождать, кто из них поступит в вуз и будет успешно там учиться. После двух-трехлетнего интервала можно сформировать критериальные группы и подсчитать корреляцию с прежними тестовыми показателями этих бывших школьников. Только после реализации такой схемы психометрического эксперимента можно утверждать, что тест прошел проверку на прогностическую валидность. Без этого мы исходим только из доверия к научной интуиции разработчика теста и не имеем независимых доказательств того, что тест можно использовать для прогноза.

Различение обычной дешевой схемы валидизации теста (по известным группам) и дорогой прогностической схемы валидизации теста – важнейший элемент психодиагностической грамотности не только для психологов, но и для педагогов, как, впрочем, и для любых заказчиков психодиагностической информации.






страница10/15
Дата конвертации27.11.2013
Размер1,68 Mb.
ТипКонспект
1   ...   7   8   9   10   11   12   13   14   15
Разместите кнопку на своём сайте или блоге:
rud.exdat.com


База данных защищена авторским правом ©exdat 2000-2012
При копировании материала укажите ссылку
обратиться к администрации
Документы