Операциональная валидность.

Операционализация переменных, операциональная и конструктная валидность

Средства операционализации переменных – это психологические методики и их выбор . Значения переменных – результаты использования методик.

В экспериментальном исследовании может присутствовать как минимум две методики : для задания НП и измерения ЗП . Они оцениваются в аспектах репрезентативности конструктов НП и ЗП, соответствия реальным условиям, аспекты кот. моделируются.

Операционализация средств , т.е. разработка методического арсенала при проверке пи гипотез –творческий компонент.

Путь связи сути псих. переменной с методикой – косвенная реконструкция того, что репрезентуется показателем. 2 условия:

1) представленные в гипотезе эмпирически нагруженные понятия НП и ЗП должны быть операционализированы (должен быть конкретизирован путь их методического представления в исследовании);

2) Операционализация должна быть такой, чтобы управление экспериментальным фактором или изменения базисного процесса могли быть представлены в виде шкалы, т.е. могли быть измерены.

Надо разделять понятия «метод » и «методика » как разноуровневые единицы анализа пси реальности. Из методики не следует метод. Метод – более крупная единица анализа исследования.

Психологическая методика – способы фиксации псих. данных, техники построения псих. показателей.

Взаимосвязь метода и методики важна в методической операционализации переменных. Этим понятием охватывается решение проблемы выбора методик для задания, фиксации и измерения переменных , как представляющих:

Те или иные конструкты;

Конкретизации переменных в экспериментальной гипотезе;

Реалии моделируемой предметной (эксп) деятельности;

Условия актуализации изучаемых базисных процессов.

Уровни экспериментальных факторов становятся психологическими благодаря тому, что в ЭГ они связываются с ожидаемыми изменениями базисного процесса .

Базисный процесс – центральное звено регуляции изменений, отражаемых в показателях ЗП.

Операциональная валидность – оценка эксперимента с точки зр. степени соответствия эмпирически нагруженным понятиям НП, ЗП и ДП тех методик задания и измерения переменных, которые используются в исследовании.

Оценка операциональной валидности связана с тем, насколько удачно совершен переход от формулирования гипотез к выбору методик .

Конструктная валидность – это оценка обоснованности перехода от представленных в теоретической гипотезе понятий – психологических конструктов – к эмпирическим их репрезентациям как НП, ЗП и ДП.

Оценка возможности обобщения зависит от конструктной валидности (и от внешней).

Взаимосвязь операциональной и конструктной валидности.

Эти виды валидности позволяют оценить содержательное планирование исследования .

Психологическая гипотеза, выводимая как следствие из теоретической концепции , при повторных проверках может несколько видоизменяться , если изменяются средства операционализации переменных . концептуальные репликации - когда предполагается выявление одной и той же теоретической зависимости, но пси конструкты конкретизируются разными методическими ср-вами . При множественных измерениях ЗП разными методиками повышается обоснованность утверждения о характере изучаемого процесса . Измерения типов задания НП также расширяют диапазон обобщений .

В психологии часто при использовании одного понятия изучаются разноуровневые базисные процессы . Пример: понятие импульсивность (как генерализованная черта, как когнитивный стиль и проч).

Эксперименты, направленные на выделение независимой переменной, часто предпринимаются, чтобы проверить истинность теории. В настоящее время теории, как правило, абстрактны, в то время как эксперименты должны быть конкретными. В связи с обсуждаемыми новыми экспериментами встает по-новому вопрос относительно внешней валидности, а именно – вопрос, тот ли эксперимент был проведен. Необходимо, чтобы конкретная методика эксперимента вполне соответствовала экспериментальной гипотезе, изложенной в более абстрактных терминах. Например, можно выдвинуть гипотезу, что отклонения в поведении подростков преодолеваются более эффективно рациональным путем («убеждением»), чем наказанием. Экспериментатор должен применить какой-то конкретный вид наказания. Предположим, в качестве такового он выбрал неприятный звук зуммера. Является ли этот звук адекватной экспериментальной операционализацией абстрактного термина наказание? Безусловно, нет. Скорее всего, он будет действовать на рефлекторном уровне. (При этом может оказаться, что и самому экспериментатору придется надеть наушники.)

Исследовательская гипотеза, которую проверяют в эксперименте формулируется, как правило, в довольно общих и абстрактных понятиях, которые должны репрезентироваться в конкретном эксперименте. Например, насколько громкий звук зуммера может репрезентировать абстрактное понятие наказания. На самом деле он очень мало похож на наказание. Обычно наказание связывается с представлением о боли, лишении собственности или свободы, общественном осуждении. Именно в вопросе перевода абстрактных или теоретических понятий на язык конкретного эксперимента даже лучшие психологи подчас демонстрируют сомнительную логику. Если такой перевод вызывает сомнения, то говорят, что эксперимент лишен операциональной валидности.

Эксперимент в социальной психологии. Классическое исследование влияния авторитарной, демократической и анархической обстановки на групповое поведение 10-летних мальчиков. Можно назвать описанные ситуации соответственно как деспотию, либеральную монархию и демократию. Эти действительные режимы не смогли реализоваться полностью (кроме взрослого лидера) из-за недостатка времени. Другой вопрос, связанный с операциональной валидностью, – насколько эти кратковременные эксперименты с детьми, живущими в очень разной домашней обстановке, могут вообще что-либо говорить о поведении индивидов, которые постоянно находятся в соответствующих социальных условиях.

Таким образом, операциональная валидность означает, что конкретные экспериментальные операции (создание условий и получение зависимой переменной) репрезентируют независимую и зависимую переменные в недостижимом эксперименте полного соответствия. В данном случае эксперимент полного соответствия невозможен, потому что он существует в мире теорий, а не в сфере конкретных операций.

Источники экспериментальных гипотез. Для прикладных исследований экспериментальные гипотезы довольно часто рождаются непосредственно из повседневной жизни, возникают из насущных потребностей или, по меньшей мере, из желания что-либо улучшить. Для научных исследований, как направленных на улучшение понимания поведения, более типично основываться на предшествующих экспериментах. Даже если в голову приходит блестящая оригинальная идея необходимо просмотретьлитературу (так называются опубликованные работы по данной проблеме). Лучше посмотреть самые поздние научные обзоры по общей проблеме. Вы выясните актуальные проблемы и получите также целый ряд ссылок на оригинальную литературу. Чтобы хорошо проводить эксперименты, вы должны знать теоретический контекст. Возможно, что изучение источников даст вам ориентировку в интересующей проблеме и покажет, что необходимо изучить далее для успешной разработки других проблем.

Испытуемые. В экспериментах с выделением независимой переменной экспериментатор редко сталкивается с проблемой выбора таких испытуемых, которые представляют всю популяцию. Для выделения независимой переменной можно использовать любых испытуемых. Вместо этого исследователь сосредоточивается на вопросах внутренней валидности и проблему обобщения результатов решает путем обследования разных групп испытуемых в отдельных экспериментах. Если мы проверяем гипотезу о наличии какой-то способности, достаточно проверить ее на одном человеке. Раз один человек может одновременно слушать и понимать сразу два сообщения, значит, это – в пределах человеческих возможностей.

В этой главе абстрагирование и обобщение тесно взаимосвязаны. Здесь мы уже не задавали себе вопрос, какое условие или уровень независимой переменной действует лучше. Вместо этого мы отвечали на вопрос, что именно в данном условии обусловливает разницу в поведении. Слова «обусловливает разницу в поведении» предполагает меньший, чем ранее, интерес к условиям «лучшим, чем другие». Это связано с тем, что в научных исследованиях понятие «лучшее», как правило, неадекватно. Таким образом, действие изолированной (абстрагированной) независимой переменной может быть широко обобщено.

Валидность - соответствие конкретного исследования принятым стандартам (безупреч­ному эксперименту).

Валидность внешняя - соответствие конкретного исследования природной реальности и/или другим подобным исследованиям. Определяет возможность переноса и / или обоб­щения результатов на другие объекты и условия исследования. Зависит от репрезента­тивности выборки и соответствия контролируемых в исследовании дополнительных пе­ременных, их вариативности в других условиях. Частной формой внешней валидности является экологическая валидность, определяющая возможность распространить выво­ды конкретного исследования на реальные условия, а не на иные лабораторные условия.

Валидность внутренняя - соответствие конкретного исследования идеальному; оцени­вает изменение зависимой переменной, определяется влиянием независимой перемен­ной, а не другими причинами. Внутренняя валидность зависит от систематического изме­нения влияния независимой и других переменных от неэквивалентности и изменения сравниваемых групп в ходе эксперимента.

Валидность конструктная - характеризует точность реализации теоретической гипоте­зы в процедуре эксперимента. Является одним из проявлений внутренней валидности. Определяет область явлений, исследуемых в эксперименте. В психологической диагнос­тике конструктная валидность характеризует степень измеряемого свойства в результа­тах тестирования.

Валидность критериальная - отражает соответствие диагноза и прогноза, полученного на основе данных тестирования, деятельностным и жизненным показателям; включает в себя текущую и прогностическую валидность.

Валидность операциональная - соответствие операций экспериментатора теоретиче­скому описанию переменных, контролируемых в исследовании. Варьируемые экспери­ментатором условия должны соответствовать независимой переменной. Операциональ­ная валидность является одним из проявлений внутренней валидности.

35. Привести классификацию экспериментальных планов: доэкспериментальные планы, планы истинных экспериментов и квазиэкспериментальные планы.

Доэксперементальные планы

Квазиэкспериментального планы строятся, исходя из такого определения понятия квазиэксперимента: квазиэкспериментом является исследование, направленное на установление причинно-послед- ного связи между двумя переменными, в котором, однако, отсутствует процедура предварительного выравнивания групп, то есть параллельный контроль с участием контрольной группы заменяется сравнением результатов тестирования группы до и после измерений. Существует несколько видов квазиэкспериментальных планов, например: план для двух неэквивалентных групп с тестированием до и после испытания; план по предыдущим и итоговым тестированием двух рандомизированных групп; планы дискретных временных серий для одной группы или для двух неэквивалентных групп. Квазиэксперимент очень распространены в современной психологии и является не хуже истинные. Для некоторых задач психологического исследования они необходимы и, несмотря на отсутствие процедуры предварительного выравнивания групп, они специальным средством решения проблем экспериментирования, если независимая переменная не является объектом манипулирования исследователя, а избирается им путем отбора неквивалентних групп. Скажем, если задачей эксперимента является проверка, как влияет уровень личностной тревожности учащихся на успешность сдачи ответственного итогового экзамена, специально формируются эквивалентны группы по предварительно измеряемым высоким и низким уровнями тревожности и изучается ее влияние на зависимую переменную - успешность выполнения тестов. Результаты выполнения тестов относятся в зависимость от этой личностной характеристики испытуемых, которая выбрана для создания неэквивалентных групп. Такой квазиэксперимент ничем не уступает реальному. Рассмотрим несколько примеров квазиэкспериментального плана. Например, в эксперименте с неэквивалентного контрольной группой сопоставляются результаты неэквивалентных групп до и после испытания. Это дает возможность осуществить контроль отдельных угроз валидности, причем в экспериментах с такими планами сравниваются изменения показателей - передекспериментального и постекспериментального тестирований в неэквивалентных группах. Эта разница между показателями потом оценивается по критерию t-Стьюдента для установления уровня значимости разногласий. Приведем пример эксперимента с работы Д. Мартина "Психологические эксперименты" . Цель эксперимента заключалась в том, чтобы исследовать, повышается производительность труда работников машиностроительного завода при оплате "от выработки». Независимая переменная - способ оплаты, зависимая переменная - производительность труда. В эксперименте участвовали две группы работников завода. Предварительно измерялась производительность их труда, после чего для одной из групп (группа А), участники которой добровольно согласились на эксперимент, вводилась оплата "от выработки». Измерение после эксперимента показали, что производительность труда участников группы А повышалась. В этом квазиэксперимент есть угрозы валидности, а именно: взаимодействие тестирования с результатами экспериментального воздействия, то есть предыдущий уровень производительности труда, может усиливать экспериментальный влияние. 50. Схемы контроля переменных в эмпирическом исследовании.

36. Объяснить факторный эксперимент. Переменные, гипотезы и схемы в факторном эксперименте.

В любом случае, конструктная валидность обусловливает теоретическую точность экспериментального исследования, т.е. насколько соотносится причинно-следственное отношение, сформулированное в теории, и причинно-следственная связь независимой и зависимой переменных, обнаруженная в результате исследования: « … конструктная валидность имеет отношение к теоретической точности: правильно ли мы объясняем причинно-следственные связи, которые были обнаружены в исследовании? … ».

Другими словами, конструктная валидность выражает точность экспериментальной реализации гипотезы в исследовательской процедуре: « … валидность конструктная – характеризует точность реализации теоретической гипотезы в процедуре эксперимента. Является одним из проявлений внутренней валидности. Определяет область явлений, исследуемых в эксперименте … »

Конструктная валидность контролируется содержательным планированием. Она определяет теоретическую точность конструирования идеального эксперимента. Уверенность в конструктной валидности приходит по мере получения всё большего количества подтверждающих результатов: « … конструктная валидность – особенно подходит для экспериментальных исследований. Она имеет отношение сразу к двум вопросам: является ли оцениваемый конструкт валидным, а инструмент, с помощью которого производится оценка, - наилучшим. Конструктная валиднось тесно связана с сущностью теории, построением гипотеза на основании теории и оценкой теорий, выведенных из результатов исследования. Конструктная валидность как таковая никогда не подтверждается и не разрушается одним исследованием, а также её невозможно доказать по тем же причинам, по каким невозможно доказать теорию. Уверенность в конструктной валидности растёт постепенно по мере получения исследователями подтверждающих результатов … »

Залогом высокой конструктной валидности нашего экспериментального исследования является исторический (креативный) метод обоснования конструекции идеального эксперимента, а практическим подтверждением высокой конструктной валидности исследования является реальный рост учебной мотивации. Как известно, в условиях современного образовательного процесса динамика учебной мотивации имеет противоположный знак.

Операциональная валидность

Ещё один вид внутренней валидности – операциональная валидность. Операциональная валидность обусловливает адекватность методики и плана экспериментального исследования проверяемой гипотезе. Операциональная валидность обусловливает соответствие реального эксперимента теоретической гипотезе, поскольку именно в гипотезе фиксируется характер связи независимой и зависимой переменных: « … валидность операциональная – соответствие операций экспериментатора теоретическому описанию переменных, контролируемых в исследовании. Варьируемые экспериментатором условия должны соответствовать независимой переменной. Операциональная валидность является одним из проявлений внутренней валидности … » .

Другими словами, операциональная ваалидность отвечает за то, что установленная в реальном исследовании связь представляет собой именно ту связь, которая сформулирована в гипотезе: « … решение вопроса о том, что установлена именно представленная в гипотезе связь, а не какая-то другая, зависит от оценки внутренней и операциональной валидности эксперимента … »

Способом контроля операциональной валидности, так же как и конструктной, является содержательное планирование. В данном случае с помощью содержательного планирования была операционализирована «независимая переменная» («схема» организации онтологического общения), «зависимая переменная» (психологическая сложность предметных задач), оценено влияние дополнительной переменной («разный психический возраст учащихся») и найдено решение за счёт дифференциации требований к учащимся различный психических возрастов: « … содержательное планирование включает решение (разрешение) всех вопросов конструктной и операциональной валидности, заключающихся в конкретизации и операционализации НЗП (независимой переменной), ЗП (зависимой переменной) и выбора уровней ДП (дополнительной переменной). Оно предполагает развёртывание содержательных доводов как с точки зрения обоснования экспериментальных гипотез, так и с точки зрения соотнесения используемых психологических конструктов и методических процедур измерения переменных … ».

Внешняя валидность

Внешняя валидность – является мерой соответствия экспериментальной процедуры исследуемому реальному объекту.

На внешнюю валидность влияют дополнительные переменные. Внешняя валидность контролируется путём контроля дополнительных переменных: « … соответствие реального исследования изучаемой объективной реальности назовём внешней валидностью … ».

Внешняя валидность зависит от репрезентативности выборки и сопоставимости контролируемых дополнительных переменных дополнительным переменным в других условиях: « … валидность внешняя – соответствие конкретного исследования природной реальности и/или другим подобным исследованиям. Определяет возможность переноса и/или обобщения результатов на другие объекты и условия исследования. Зависит от репрезентативности выборки и соответствия контролируемых в исследовании дополнительных переменных, их вариативности в других условиях. Частной формой внешней валидности является экологическая валидность, определяющая возможность распространить выводы конкретного исследования на реальные условия, а не на иные лабораторные условия … »

От внешней валидности зависит перенос результатов из лабораторных условий в реальность и обобщение результатов (выводов): « … внешняя валидность … - возможность переноса результатов эксперимента на определённую реально существующую совокупность, ситуацию или условия, отличающиеся от условий эксперимента … »

Поскольку наше исследование во многом организовывалось как полевое (естественное), особые проблемы с внешней валидностью не стояли. В результате экспериментальное обучение было проведено в условиях большого количества дополнительных переменных (наполняемость классов; возраст учащихся; тип образовательных учреждений; степень урбанизированности культурной и социальной среды; культура; этнопсихологические особенности; степень периферийности учебного заведения; стиль преподавания; социально-психологический климат в учебном заведении; социальное происхождение учащихся и пр. и пр.).

Полученные в результате данные свидетельствуют о их высокой внешней (экологической) валидности.

Критериальная валидность

В проведённом исследовании особое значение имел ещё один вид валидности – критериальная валидность. Необходимость её рассмотрения связана с тем, что в условиях экспериментального обучения получаемые результаты всегда соотносятся с критериями, на основании которых производится оценка эффективности и успешности экспериментального обучения: « … валидность названа «критериальной», потому что результаты рассматриваемых измерений соотносятся с некоторым значением или критерием … ».

Важность критериальной валидности заключается в том, что позволяет оценить эффективность экспериментального обучения с возможной эффективностью реальной жизнедеятельности: « … валидность критериальная – отражает соответствие диагноза и прогноза, полученного на основе данных тестирования, деятельностным и жизненным показателям, включает в себя текущую и прогностическую валидность … »

С этой точки зрения критериальная валидность представляет большую важность как мера прогностичности идеального исследования: « … отношение идеального исследования к реальности можно охарактеризовать как теоретическую, или прогностическую, валидность … ».

Исследовательская гипотеза, которую мы хотим проверить, формулируется, как правило, в довольно общих и абстрактных понятиях, которые должны репрезентироваться в конкретном эксперименте.

В предисловии к этой главе обсуждался вопрос о том, насколько громкий звук зуммера может репрезентировать абстрактное понятие наказания. На самом деле он очень мало похож на наказание. Обычно наказание связывается с представлением о боли, лишении собственности или свободы, общественном осуждении. Именно в вопросе перевода абстрактных или теоретических понятий на язык конкретного эксперимента даже лучшие психологи подчас демонстрируют сомнительную логику. Если такой перевод вызывает сомнения, то говорят, что эксперимент лишен операциональной валидности.

Эксперимент в социальной психологии

Хорошим примером такого сомнительного перевода, который сразу же приходит на память, может служить классическое исследование Левина, Липпита и Уайта (1939). В нем сравнивалось влияние авторитарной, демократической и анархической обстановки на групповое поведение 10-летних мальчиков. Посмотрим, как эти понятия переводились на язык конкретных экспериментальных операций. Авторитарная обстановка была представлена взрослым лидером, который сам принимал все решения и делал много персональных замечаний. Демократические условия также обеспечивались взрослым лидером, который, однако, способствовал коллективному решению вопросов и всячески стремился поддерживать ребят. Для создания анархической обстановки предусматривалось полное невмешательство взрослого как в деятельность группы, так и в межличностные отношения. В результате оказалось, что в условиях «демократической» обстановки было меньшее число драк, дети были более счастливы и более деятельны, чем при Других режимах. Автор этих строк предпочел бы назвать описанные ситуации соответственно как деспотию, либеральную монархию и демократию. Эти действительные режимы не смогли реализоваться полностью (кроме взрослого лидера) из-за недостатка времени. Другой вопрос, связанный с операциональной валидностью, - насколько эти кратковременные эксперименты с детьми, живущими в очень разной домашней обстановке, могут вообще что-либо говорить о поведении индивидов, которые постоянно находятся в соответствующих социальных условиях.

Эксперимент по научению

Один из самых выдающихся психологов Е. Л. Торндайк проверил гипотезу о том, что частота упражнения сама по себе (т. е. без знания результата) ведет к научению (1931, 1932). В опытах на самом себе Торндайк чертил линии заданной длины (например 4 дюйма) с закрытыми глазами, доведя число проб до нескольких сотен. К сожалению, он использовал два противоречащих друг другу критерия для оценки факта научения.

Первым критерием было увеличение точности действия; вторым - тем большее закрепление движений, чем чаще они осуществлялись в ранних пробах. Когда оказалось, что точность движении не увеличивается (работа 1931 г.), был сделан вывод, что экспериментальная гипотеза неверна. Когда же точность увеличилась (работа 1932 г.), но при этом неизбежно уменьшилась частота движений, осуществлявшихся в ранних пробах, то это также было использовано для опровержения экспериментальной гипотезы!

Снова об эксперименте полного соответствия

Были ли эти эксперименты правильны в том смысле, что они действительно проверяли экспериментальную гипотезу? Обладают ли они внешней валидностью? Ранее внешняя валидность определялась тем, насколько хорошо эксперимент репрезентирует безупречный эксперимент полного соответствия. Так, в отношении экспериментов, которые «улучшают» реальный мир (глава 3), ставился вопрос, насколько независимая, зависимая и побочные переменные репрезентировали реальную ситуацию, рассматриваемую в экспериментальной гипотезе. Точно так же в случае эксперимента на выборках (глава 4) обсуждался вопрос, насколько была представлена интересующая популяция. Таким образом, обсуждался тот же вопрос, хотя и в более утонченном виде.

Спорный момент исследования социальной обстановки (Левин, Липпит и Уайт, 1939) в том, насколько адекватно три экспериментальных условия репрезентируют соответствующие социальные системы. Было выдвинуто возражение, что никакая группа с самозваным лидером не может считаться демократической. Однако выполнение настоятельного требования, чтобы руководитель выдвигался самой группой, сделало бы эксперимент вообще невозможным. Поэтому предполагается, что при достаточном времени анархическая обстановка может перейти в демократическую. Правда, надо признать, что со временем в той же группе вполне могла сложиться и авторитарная обстановка, как это описано в «Повелителе Мух» (Голдинг, 1954). Итак, можно сделать вывод, что хотя в эксперименте не достигнуто полное соответствие, он все-таки был, насколько возможно, близок к этому. Таким образом, внешняя валидность оказалась настолько высокой, насколько это было практически возможно.

Вопрос о репрезентативности в этом эксперименте связан с независимой переменной. В эксперименте по научению, проведенном Торндайком, этот вопрос относится к зависимой переменной. Торндайк был талантливым исследователем; и только веская причина могла затруднить ему определение зависимой переменной. По его мнению, единственно, что можно достичь простым упражнением, без знания результатов, - это закрепить первоначальные реакции. Это должны быть те реакции, которые повторялись наиболее часто. Таким образом, когда точность движений действительно увеличилась, он решил, что это изменение не является свидетельством научения, так как он никак не мог этого объяснить. Тем не менее реально научение может происходить и без знания внешних результатов. Например, будучи испытуемым, Торндайк мог все более внимательно относиться к своим движениям и тем самым достигать лучшего соответствия воспроизводимых линий «внутреннему стандарту» в 4 дюйма. Теоретические представления экспериментатора не должны влиять на выбор зависимой переменной. Ведь экспериментальная гипотеза была достаточно ясной: научение означает более точное действие. Поэтому степень точности воспроизводимой линии и была наиболее адекватной зависимой переменной.

Итак, операциональная валидность означает, что конкретные экспериментальные операции (создание условий и получение зависимой переменной) репрезентируют независимую и зависимую переменные в недостижимом эксперименте полного соответствия. В данном случае эксперимент полного соответствия невозможен, потому что он существует в мире теорий, а не в сфере конкретных операций.