Операционализация переменных, операциональная и конструктная валидность. Операциональная валидность
Понятие «валидность» ввел в употребление Д. Кэмпбелл. Различают внутреннюю и внешнюю валидность эксперимента. Существуют также конструктная и операциональная валидности.
Внутренняя валидность характеризует меру влияния на изменение зависимой переменной тех условий (независимой переменной), которые варьирует экспериментатор. Чем больше влияют на изменение зависимой переменной неконтролируемые исследователем условия, тем ниже внутренняя валидность эксперимента. Высокая внутренняя валидность - главный признак хорошего эксперимента. Внутренняя валидность тем выше, чем больше вероятность того, что экспериментальный эффект (изменение зависимой переменной) вызван изменением независимой переменной.
Кэмпбелл выделил несколько основных факторов, нарушающих внутреннюю валидность эксперимента.
1. Селекция - неэквивалентность групп по составу, которая вызывает систематическую ошибку в результатах (например, исследуются группы младших школьников, но одни из обычных классов, а другие - из класса коррекции)
2. Статистическая регрессия - частный случай ошибки селекции, когда группы отбирались на основе «крайних» показателей (допустим, исследовали очень глупых и очень умных детей, а считалось, что взяли «середнячков»).
3. Экспериментальный отсев - неравномерное выбывание испытуемых из сравниваемых групп, приводящее к неэквивалентности групп по составу.
4. Естественное развитие - изменение испытуемых, являющееся следствием течения времени, без связи с конкретными событиями изменение состояния (голод, усталость, болезнь и др.), свойств индивида (возрастные перемены, накопление опыта и т.п.). Также на нарушение внутренней валидности влияет большое количество побочных переменных.
Внешняя валидность определяет, в какой мере результаты, полученные в эксперименте, будут соответствовать жизненной ситуации, послужившей «первообразом» для эксперимента.
Кроме того, внешняя валидность характеризует возможность обобщения, переноса результатов, полученных в эксперименте, на весь класс жизненных ситуаций, к которым принадлежит «первообразная», и на любые другие.
В принципе возможны такие эксперименты, которые не соответствуют никаким реальным жизненным ситуациям, а служат лишь для проверки гипотез, источником которых является развитая теория. Например, эксперименты по сенсорной депривации или выработке классических условных рефлексов у собак не соответствуют никакой жизненной реальности.
Внешняя валидность иногда трактуется как характеристика эксперимента, определяющая возможность переноса (обобщения) полученных результатов на различные времена, места, условия и группы людей (или животных). Однако возможность переноса является следствием двух причин:
- соответствия условий эксперимента его «первообразной» жизненной ситуации («репрезентативность» эксперимента) (например, исследование мотивации учащихся - репрезентативный эксперимент, т.к. все учащиеся находятся в ситуации учебной деятельности и так или иначе мотивированы на учебу);
- типичности самой «первообразной» ситуации для реальности («репрезентативность» ситуации). Выбранная для моделирования в эксперименте ситуация может быть совершенно нерепрезентативной с точки зрения жизни той группы испытуемых, которая участвует в эксперименте, или являться редкой и нетипичной (например, исследование поведения в экстремальных ситуациях пенсионеров села Банниково).
Кэмпбелл называет главные причины нарушения внешней валидности:
1. Эффект тестирования - уменьшение или увеличение восприимчивости испытуемых к экспериментальному воздействию под влиянием тестирования.
2. Условия проведения исследования. Они вызывают реакцию испытуемого на эксперимент. Следовательно, его данные нельзя переносить на лица, не принимавшие участия в эксперименте, этими лицами является вся генеральная совокупность, кроме экспериментальной выборки.
3. Интерференция экспериментальных воздействий. Испытуемые обладают памятью и обучаемостью. Если эксперимент состоит из нескольких серий, то первые воздействия не проходят для них бесследно и сказываются на появлении эффектов от последующих воздействий.
В реальной практике редко возникает возможность провести «правильное» исследование по всем законам и с учетом всех условий и требований. В действительности чаще оказывается невозможным подобрать репрезентативные выборки, исключить эффекты селекции, выбывания, да и возможность переноса результатов на всю популяцию зачастую оказывается нереальной. Поэтому в психологии разработаны так называемые планы квазиэкспериментов.
Квазиэкспериментом является любое исследование, направленное на установление причинной зависимости между двумя переменными («если А, то В»), в котором отсутствует предварительная процедура уравнивания групп или «параллельный контроль» с участием контрольной группы заменен сравнением результатов неоднократного тестирования группы (или групп) до и после воздействия. Выбираются две естественные группы, например два параллельных школьных класса. Обе группы тестируются. Затем одна группа подвергается воздействию (ставится в особые условия деятельности), а другая - нет. Через определенное время обе группы проходят тестирование повторно. В педагогической практике большинство исследований проведено по типу квазиэкспериментальных.
Кэмпбелл ввел еще одно важное понятие, а именно - конструктную валидность. Она характеризует правильность обозначения (интерпретации) причины и экспериментального эффекта с помощью абстрактных терминов из обыденного языка или формальной теории. Кэмпбелл отмечает, что установление внутренней валидности требует отбраковывания альтернативных объяснений связи между зависимой и независимой переменными. Установление конструктивной валидности требует отказа от альтернативных интерпретаций соотношения причины и следствия с понятиями, взятыми из той или иной теории. Таким образом, конструктная валидность определяется правильностью употребления терминов той или иной теории при интерпретации данных эксперимента.
На основе теории выдвигается гипотеза, которая в конечном счете и проверяется в эксперименте. Методики и план эксперимента должны соответствовать проверяемой гипотезе - степень этого соответствия и характеризует операциональную валидность.
Например, исследовать степень притязаний с помощью анализа степени привлекательности спутника (спутницы) испытуемого нельзя.
Исследовательская гипотеза, которую мы хотим проверить, формулируется, как правило, в довольно общих и абстрактных понятиях, которые должны репрезентироваться в конкретном эксперименте.
В предисловии к этой главе обсуждался вопрос о том, насколько громкий звук зуммера может репрезентировать абстрактное понятие наказания. На самом деле он очень мало похож на наказание. Обычно наказание связывается с представлением о боли, лишении собственности или свободы, общественном осуждении. Именно в вопросе перевода абстрактных или теоретических понятий на язык конкретного эксперимента даже лучшие психологи подчас демонстрируют сомнительную логику. Если такой перевод вызывает сомнения, то говорят, что эксперимент лишен операциональной валидности.
Эксперимент в социальной психологии
Хорошим примером такого сомнительного перевода, который сразу же приходит на память, может служить классическое исследование Левина, Липпита и Уайта (1939). В нем сравнивалось влияние авторитарной, демократической и анархической обстановки на групповое поведение 10-летних мальчиков. Посмотрим, как эти понятия переводились на язык конкретных экспериментальных операций. Авторитарная обстановка была представлена взрослым лидером, который сам принимал все решения и делал много персональных замечаний. Демократические условия также обеспечивались взрослым лидером, который, однако, способствовал коллективному решению вопросов и всячески стремился поддерживать ребят. Для создания анархической обстановки предусматривалось полное невмешательство взрослого как в деятельность группы, так и в межличностные отношения. В результате оказалось, что в условиях «демократической» обстановки было меньшее число драк, дети были более счастливы и более деятельны, чем при Других режимах. Автор этих строк предпочел бы назвать описанные ситуации соответственно как деспотию, либеральную монархию и демократию. Эти действительные режимы не смогли реализоваться полностью (кроме взрослого лидера) из-за недостатка времени. Другой вопрос, связанный с операциональной валидностью, - насколько эти кратковременные эксперименты с детьми, живущими в очень разной домашней обстановке, могут вообще что-либо говорить о поведении индивидов, которые постоянно находятся в соответствующих социальных условиях.
Эксперимент по научению
Один из самых выдающихся психологов Е. Л. Торндайк проверил гипотезу о том, что частота упражнения сама по себе (т. е. без знания результата) ведет к научению (1931, 1932). В опытах на самом себе Торндайк чертил линии заданной длины (например 4 дюйма) с закрытыми глазами, доведя число проб до нескольких сотен. К сожалению, он использовал два противоречащих друг другу критерия для оценки факта научения.
Первым критерием было увеличение точности действия; вторым - тем большее закрепление движений, чем чаще они осуществлялись в ранних пробах. Когда оказалось, что точность движении не увеличивается (работа 1931 г.), был сделан вывод, что экспериментальная гипотеза неверна. Когда же точность увеличилась (работа 1932 г.), но при этом неизбежно уменьшилась частота движений, осуществлявшихся в ранних пробах, то это также было использовано для опровержения экспериментальной гипотезы!
Снова об эксперименте полного соответствия
Были ли эти эксперименты правильны в том смысле, что они действительно проверяли экспериментальную гипотезу? Обладают ли они внешней валидностью? Ранее внешняя валидность определялась тем, насколько хорошо эксперимент репрезентирует безупречный эксперимент полного соответствия. Так, в отношении экспериментов, которые «улучшают» реальный мир (глава 3), ставился вопрос, насколько независимая, зависимая и побочные переменные репрезентировали реальную ситуацию, рассматриваемую в экспериментальной гипотезе. Точно так же в случае эксперимента на выборках (глава 4) обсуждался вопрос, насколько была представлена интересующая популяция. Таким образом, обсуждался тот же вопрос, хотя и в более утонченном виде.
Спорный момент исследования социальной обстановки (Левин, Липпит и Уайт, 1939) в том, насколько адекватно три экспериментальных условия репрезентируют соответствующие социальные системы. Было выдвинуто возражение, что никакая группа с самозваным лидером не может считаться демократической. Однако выполнение настоятельного требования, чтобы руководитель выдвигался самой группой, сделало бы эксперимент вообще невозможным. Поэтому предполагается, что при достаточном времени анархическая обстановка может перейти в демократическую. Правда, надо признать, что со временем в той же группе вполне могла сложиться и авторитарная обстановка, как это описано в «Повелителе Мух» (Голдинг, 1954). Итак, можно сделать вывод, что хотя в эксперименте не достигнуто полное соответствие, он все-таки был, насколько возможно, близок к этому. Таким образом, внешняя валидность оказалась настолько высокой, насколько это было практически возможно.
Вопрос о репрезентативности в этом эксперименте связан с независимой переменной. В эксперименте по научению, проведенном Торндайком, этот вопрос относится к зависимой переменной. Торндайк был талантливым исследователем; и только веская причина могла затруднить ему определение зависимой переменной. По его мнению, единственно, что можно достичь простым упражнением, без знания результатов, - это закрепить первоначальные реакции. Это должны быть те реакции, которые повторялись наиболее часто. Таким образом, когда точность движений действительно увеличилась, он решил, что это изменение не является свидетельством научения, так как он никак не мог этого объяснить. Тем не менее реально научение может происходить и без знания внешних результатов. Например, будучи испытуемым, Торндайк мог все более внимательно относиться к своим движениям и тем самым достигать лучшего соответствия воспроизводимых линий «внутреннему стандарту» в 4 дюйма. Теоретические представления экспериментатора не должны влиять на выбор зависимой переменной. Ведь экспериментальная гипотеза была достаточно ясной: научение означает более точное действие. Поэтому степень точности воспроизводимой линии и была наиболее адекватной зависимой переменной.
Итак, операциональная валидность означает, что конкретные экспериментальные операции (создание условий и получение зависимой переменной) репрезентируют независимую и зависимую переменные в недостижимом эксперименте полного соответствия. В данном случае эксперимент полного соответствия невозможен, потому что он существует в мире теорий, а не в сфере конкретных операций.
В любом случае, конструктная валидность обусловливает теоретическую точность экспериментального исследования, т.е. насколько соотносится причинно-следственное отношение, сформулированное в теории, и причинно-следственная связь независимой и зависимой переменных, обнаруженная в результате исследования: « … конструктная валидность имеет отношение к теоретической точности: правильно ли мы объясняем причинно-следственные связи, которые были обнаружены в исследовании? … ».
Другими словами, конструктная валидность выражает точность экспериментальной реализации гипотезы в исследовательской процедуре: « … валидность конструктная – характеризует точность реализации теоретической гипотезы в процедуре эксперимента. Является одним из проявлений внутренней валидности. Определяет область явлений, исследуемых в эксперименте … »
Конструктная валидность контролируется содержательным планированием. Она определяет теоретическую точность конструирования идеального эксперимента. Уверенность в конструктной валидности приходит по мере получения всё большего количества подтверждающих результатов: « … конструктная валидность – особенно подходит для экспериментальных исследований. Она имеет отношение сразу к двум вопросам: является ли оцениваемый конструкт валидным, а инструмент, с помощью которого производится оценка, - наилучшим. Конструктная валиднось тесно связана с сущностью теории, построением гипотеза на основании теории и оценкой теорий, выведенных из результатов исследования. Конструктная валидность как таковая никогда не подтверждается и не разрушается одним исследованием, а также её невозможно доказать по тем же причинам, по каким невозможно доказать теорию. Уверенность в конструктной валидности растёт постепенно по мере получения исследователями подтверждающих результатов … »
Залогом высокой конструктной валидности нашего экспериментального исследования является исторический (креативный) метод обоснования конструекции идеального эксперимента, а практическим подтверждением высокой конструктной валидности исследования является реальный рост учебной мотивации. Как известно, в условиях современного образовательного процесса динамика учебной мотивации имеет противоположный знак.
Ещё один вид внутренней валидности – операциональная валидность. Операциональная валидность обусловливает адекватность методики и плана экспериментального исследования проверяемой гипотезе. Операциональная валидность обусловливает соответствие реального эксперимента теоретической гипотезе, поскольку именно в гипотезе фиксируется характер связи независимой и зависимой переменных: « … валидность операциональная – соответствие операций экспериментатора теоретическому описанию переменных, контролируемых в исследовании. Варьируемые экспериментатором условия должны соответствовать независимой переменной. Операциональная валидность является одним из проявлений внутренней валидности … » .
Другими словами, операциональная ваалидность отвечает за то, что установленная в реальном исследовании связь представляет собой именно ту связь, которая сформулирована в гипотезе: « … решение вопроса о том, что установлена именно представленная в гипотезе связь, а не какая-то другая, зависит от оценки внутренней и операциональной валидности эксперимента … »
Способом контроля операциональной валидности, так же как и конструктной, является содержательное планирование. В данном случае с помощью содержательного планирования была операционализирована «независимая переменная» («схема» организации онтологического общения), «зависимая переменная» (психологическая сложность предметных задач), оценено влияние дополнительной переменной («разный психический возраст учащихся») и найдено решение за счёт дифференциации требований к учащимся различный психических возрастов: « … содержательное планирование включает решение (разрешение) всех вопросов конструктной и операциональной валидности, заключающихся в конкретизации и операционализации НЗП (независимой переменной), ЗП (зависимой переменной) и выбора уровней ДП (дополнительной переменной). Оно предполагает развёртывание содержательных доводов как с точки зрения обоснования экспериментальных гипотез, так и с точки зрения соотнесения используемых психологических конструктов и методических процедур измерения переменных … ».
Внешняя валидность
Внешняя валидность – является мерой соответствия экспериментальной процедуры исследуемому реальному объекту.
На внешнюю валидность влияют дополнительные переменные. Внешняя валидность контролируется путём контроля дополнительных переменных: « … соответствие реального исследования изучаемой объективной реальности назовём внешней валидностью … ».
Внешняя валидность зависит от репрезентативности выборки и сопоставимости контролируемых дополнительных переменных дополнительным переменным в других условиях: « … валидность внешняя – соответствие конкретного исследования природной реальности и/или другим подобным исследованиям. Определяет возможность переноса и/или обобщения результатов на другие объекты и условия исследования. Зависит от репрезентативности выборки и соответствия контролируемых в исследовании дополнительных переменных, их вариативности в других условиях. Частной формой внешней валидности является экологическая валидность, определяющая возможность распространить выводы конкретного исследования на реальные условия, а не на иные лабораторные условия … »
От внешней валидности зависит перенос результатов из лабораторных условий в реальность и обобщение результатов (выводов): « … внешняя валидность … - возможность переноса результатов эксперимента на определённую реально существующую совокупность, ситуацию или условия, отличающиеся от условий эксперимента … »
Поскольку наше исследование во многом организовывалось как полевое (естественное), особые проблемы с внешней валидностью не стояли. В результате экспериментальное обучение было проведено в условиях большого количества дополнительных переменных (наполняемость классов; возраст учащихся; тип образовательных учреждений; степень урбанизированности культурной и социальной среды; культура; этнопсихологические особенности; степень периферийности учебного заведения; стиль преподавания; социально-психологический климат в учебном заведении; социальное происхождение учащихся и пр. и пр.).
Полученные в результате данные свидетельствуют о их высокой внешней (экологической) валидности.
Критериальная валидность
В проведённом исследовании особое значение имел ещё один вид валидности – критериальная валидность. Необходимость её рассмотрения связана с тем, что в условиях экспериментального обучения получаемые результаты всегда соотносятся с критериями, на основании которых производится оценка эффективности и успешности экспериментального обучения: « … валидность названа «критериальной», потому что результаты рассматриваемых измерений соотносятся с некоторым значением или критерием … ».
Важность критериальной валидности заключается в том, что позволяет оценить эффективность экспериментального обучения с возможной эффективностью реальной жизнедеятельности: « … валидность критериальная – отражает соответствие диагноза и прогноза, полученного на основе данных тестирования, деятельностным и жизненным показателям, включает в себя текущую и прогностическую валидность … »
С этой точки зрения критериальная валидность представляет большую важность как мера прогностичности идеального исследования: « … отношение идеального исследования к реальности можно охарактеризовать как теоретическую, или прогностическую, валидность … ».
Понятие валидности эксперимента включает в себя по меньшей мере три основных понятия: операциональной валидности, внешней валидности и внутренней валидности. Рассмотрим эти понятия и реальности, обозначаемые ими, более подробно.
Операциональная валидность
Понятие операциональной валидности тесно связано с определенной проблемой, которая объективно существует не только в экспериментальном, но и в любом другом эмпирическом исследовании. В частности, в экспериментальном исследовании эта проблема состоит в том, что исследуемая реальность представлена в нем двояким образом. Во-первых, в гипотезе исследования она представлена в форме ее словесного описания, а во-вторых, в методике исследования она представлена в форме конкретных явлений, которым свойственны определенные характеристики. Очевидно, что с точки зрения идеальных требований к проведению экспериментального исследования оно должно быть организовано так, чтобы между этими двумя формами представления исследуемой реальности было полное соответствие . Если же это соответствие не достигнуто, то экспериментальное исследование является неадекватным в том смысле, что его результаты нельзя использовать ни для подтверждения, ни для опровержения гипотезы.
В связи с указанной проблемой, понятие операциональная валидность можно определить как правомерность вывода о полноте соответствия исследуемой реальности, представленной в гипотезе исследования в словесной форме, той реальности, которая представлена в методике исследования в форме конкретных явлений.
В зависимости от степени полноты этого соответствия экспериментальное исследование может обладать операциональной валидностью в разной степени, т.е. быть более или менее операционально валидным.
На практике для того, чтобы оценить операциональную валидность экспериментального исследования, необходимо решить вопрос о правомерности соответствия между содержаниями основных терминов, которые используются для описания исследуемой реальности в гипотезе исследования, и тем, как эти содержания представлены в методике исследования.
Для иллюстрации проблемы операциональной валидности можно воспользоваться следующим примером. Допустим, в гипотезе исследования фигурирует термин «объем внимания», означающий количество элементов, которые человек может воспринять одновременно ясно и отчетливо, а в методике исследования для измерения объема внимания используется тахистоскоп, позволяющий зрительно предъявлять одновременно на короткое время набор элементов, и в качестве конкретного явления, характеризующего объем внимания, выступает количество элементов, которые испытуемые могут воспроизвести. В этом случае перед экспериментатором, проводящим это исследование, неизбежнодолжен возникнуть следующий вопрос, непосредственно имеющий отношение к проблеме операциональной валидности, а именно: соответствует ли количество воспроизводимых испытуемыми элементов количеству элементов, воспринимаемых ими ясно и отчетливо. Как известно из истории экспериментальной психологии, В. Вундт допускал существование такого соответствия. Однако в экспериментах Дж. Сперлинга с использованием методики частичного отчета было показано, что количество воспроизводимых испытуемыми элементов может быть меньше количества элементов, воспринимаемых ими ясно и отчетливо. Из приведенного примера следует, что автору этого гипотетического исследования необходимо более тщательно обосновать, почему он считает возможным использовать для измерения объема внимания показатель продуктивности воспроизведения, иначе его исследование может оказаться операционально невалидным.
Валидность (действительный, пригодный, имеющий силу) - фундаментальное понятие экспериментальной психологии. Степень валидности определяет, насколько результаты эксперимента соответствуют поставленной задаче. В психодиагностике валидностью называют комплексную характеристику методики (теста), включающую сведения об области исследуемых явлений и репрезентативности диагностической процедуры по отношению к ним. А. Анастази дает более простое определение валидности в психодиагностике - «…понятие, указывающее нам, что тест измеряет и насколько хорошо это делает».
В словаре Л.Ф. Бурлачука приводятся определения более 10 видов валидности, используемых в психодиагностике для характеристики измерительных возможностей тестов. В экспериментальной психологии в основном используют четыре вида валидности: внешняя, операциональная, внутренняя и экологическая.
Внешняя валидность . В.Н.Дружинин определяет внешнюю валидность как характеристику меры соответствия экспериментальной процедуры реальности. От степени внешней валидности зависит правомочность перенесения результатов исследования из лабораторных условий на реальные процессы и обобщение их на другие сферы реальности. Причем связь теории и реальности отражается в адекватности теории, реальности и прогностичности ее предсказаний.
К.А.Рамуль приводит эксперимент, проведенный вVII веке до н.э. египетским фараоном Псамметихом. Этот фараон задался целью выяснить, какой народ из всех живущих на земле наиболее близок к Богу. На языке современной экспериментальной психологии в этом вопросе (вопросе богоизбранности) заключалась проблема исследования. Основное теоретическое положение, положенное Псамметихом в основу исследования, утверждало, что богоизбранный народ обладает первоязыком. В эксперименте проверялась гипотеза, что первоязыком обладает именно народ Египта. В случае неопровержения этой гипотезы египетский народ получал доказательство своей богоизбранности, что имело важное политическое значение (один из первых отмеченных в истории случаев попытки применения результатов психологического исследования к задачам практики).
Сам эксперимент проводился следующим образом. Двоих новорожденных детей отдали в горы пастухам со строгой инструкцией: кормить детей козьим молоком и ни в коем случае не произносить при детях ни одного слова. Целью эксперимента было выяснить первое, генетически заложенное слово.
Через два года дети выбежали на встречу экспериментатору с криком «бекос» (в русской транскрипции).
Таким образом, первое генетически заложенное слово определили, но, к досаде древнеегипетских исследователей, в словаре египетского языка это слово отсутствовало. Зато это слово нашли в словаре языка фригийцев, более того, у фригийцев это слово обозначало «хлеб», т.е. понятие, играющее первостепенную роль в жизни каждого народа.
Псамметих как честный ученый был вынужден признать, что богоизбранным народом являются фригийцы, или отказаться от первоначальных теоретических построений. Что именно он предпочел, история умалчивает.
Насколько описанный эксперимент отвечает критерию внешней валидности?
К организации и проведению самого эксперимента придраться трудно. Сомнения вызывают теоретическое обоснование и постановка проблемы проведенного эксперимента. Сегодня с высоты современных представлений очевидна некорректность самой постановки проблемы и основного теоретического положения эксперимента Псамметиха. Оставляя в стороне вопрос о том, «есть ли Бог», нам известно, что их язык и речь не закладываются генетически в готовом к употреблению виде, а являются продуктом социального развития на основе генетически заложенных предрасположенностей. Но попробовали бы мы заявить это в Древнем Египте, в лучшем случае нас бы посчитали неграмотными сумасшедшими.
Более современный пример нарушения внешней валидности - применение положений теории информации в психологии. Наряду с несомненной пользой - привлечение к проблемам психологии математиков, физиков и инженеров, необходимость занятий математикой для психологов, определяющих более строгое мышление, оперирование строго определенными понятиями (сигнал, шум, канал связи и т.д.) - есть в этом достаточно большие проблемы. Непосредственное применение к человеку современного математического аппарата теории информации вызывает некоторое сомнение в основном потому, что мы до сих пор не знаем принципов работы приемника (системы переработки информации нашей психикой). Но эксперименты по применению теории информации в психологии в свое время были очень популярны. Схема этих экспериментов такова: описывают набор стимулов термином из теории информации, чаще всего энтропией (Н=УP1lgP1, , где Р1 -вероятность появления стимула в наборе), и исследуют зависимость времени реакции на стимулы от энтропии. Если какая-нибудь зависимость проявляется, значит, теория информации подходит для описания работы психики. Но связь времени реакции со структурой набора очевидна и без теории информации. Опять несоблюдение внешней валидности.
Не всегда нарушение внешней валидности приводит к неправильным выводам. Вспомним теорию гомункулуса - маленького человечка, который живет у нас в голове и осуществляет все наши психические процессы. Исходя из этой теории построим эксперимент по проверке гипотезы: количество воспринятых знаков растет с ростом экспозиции (время предъявления), т.е. чем дольше мы предъявляем нашему гомункулусу картинку, тем более подробно он ее воспринимает (больше деталей). Эксперимент нашу гипотезу не опровергает, но это не означает, что теория гомункулуса верна.
Так что такое внешняя валидность? Соответствие результатов эксперимента «истине», которая, как известно, недостижима, или принятой в данное время научной парадигме? Наверное, все-таки последнее.
Научная парадигма представляет собой достаточно устойчивое образование. Смена парадигм случается очень редко, и этот процесс очень болезненно переживается научной общественностью. Не зря Кун назвал смену научной парадигмы революцией. Поэтому результаты экспериментов, которые противоречат существующей парадигме, как правило, относят к артефактам.
Примером может служить знаменитый опыт Майкельсона-Морали, результаты которого противоречили доминирующей в то время теории эфира. Впоследствии эти результаты были признаны как подтверждающие специальную теорию относительности, но это было поле того, как Эйнштейн разработал эту теорию и она получила если не признание, то по меньшей мере известность. Причем сам Эйнштейн, создавая свою знаменитую теорию, не знал об опытах Майкельсона-Морали. Для смены научной парадигмы мало даже большого количества противоречащих ей экспериментальных результатов. Главное для этого - появление равноценной теории, объясняющей эти результаты.
По словам Тулмина, задача ученого состоит в том, чтобы в интеллектуальной ситуации, предъявляющий ряд требований, приспособить некоторое новое открытие к унаследованным идеям, не создавая без нужды угроз интеллектуальным достижениям своих предшественников(10).
Научная парадигма появляется не на пустом месте. Перед тем как занять свое главенствующее положение, теории, представляющие парадигму, показали свою адекватность реальности и свою прогностическую силу.
Внутренняя валидность отражает степень соответствия изменений зависимой переменной изменениям независимой. Полная внутренняя валидность достигается, если удается установить строгую функциональную зависимость между этими переменными: R=f (S), где R - зависимая переменная (реакция испытуемых); S - независимая переменная (релевантный стимул).
Если при проверке общей эрудиции мы задаем вопросы, а ответов нет, то это не значит, что низка эрудиция и испытуемый не может учиться в институте. Смотря какие вопросы мы задаем. В вариантах текстах Векслера спрашивали про цвета советского флага и имена первых трех космонавтов, летавших после Гагарина. но сегодня мало кто помнит космонавтов после Титова, и где это пятилетний малыш мог видеть советский флаг? Один молодой англоязычный психиатр подрабатывал санитаром а отделении для буйных в одной испаноязычной клинике. В это время в стране испытывался препарат «резерпин». Он свято верил в действенность резерпина, и действительно в отделение, куда раньше санитары могли входить только вдвоем - втроем, после применения резерпина, которое совпало с его прибытием, психиатр входил спокойно и его встречали спокойные приветливые больные. Разумеется, он написал отчет о чудесном действии резерпина. Но оказалось, что именно в его клинику было прислано плацебо, т.е. таблетки, не содержащие резерпина, просто какой-нибудь кальций глюканат. А больных успокаивало не Действие лекарства, а спокойная доброжелательная улыбка врача, который сменил злых от страха санитаров.
Выявлен ряд факторов, которые могут угрожать внутренней валидности. Самые распространенные из них следующие:
- 1) Изменение во времени. Время суток, время года, человек все время меняется, растет усталость, рассеивается внимание, изменяется заинтересованность и т.д.
- 2) Эффект последовательности. Влияние одного из условии на следующее за ним (перенос) - обучение в ходе эксперимента, усталость послевкусие при дегустации, иконическая или эхоническая память (остаточное возбуждение рецепторов), адаптация, попытка угадывать правильный ответ или появление стимула (субъективная вероятность);
- 3) Эффект Розенталя (Пигмалиона). Влияние предубеждения экспериментатора на результаты исследования, попытки подогнать результаты под желаемую теоретическую схему.
- 4) Эффект Хоторна. Испытуемый старается угодить экспериментатору, старается ему понравится, боится обидеть. Это влияет на выбор стратегии решения экспериментальных задач.
- 5) Эффект плацебо. На испытуемого действует сама атмосфера проведения эксперимента.
- 6) Эффект аудитории. В присутствии зрителей изменяется поведение, изменяются результаты. Особенно в группах, где присутствую представители разного пола.
- 7) Эффект впечатления. Оно, как правело, доминирует, и испытуемому трудно изменить первоначально сложившиеся мнение, особенно приоценке личности.
- 8) Эффект Барнума. Склонность людей принимать за чистую монету описания или общие оценки своей личности, если они даются под научным, магическим или ритуальным соусом.
- 9) Сопутствующие смешение. Влияние на зависимую переменную нерелевантных стимулов, от которых принципиально невозможно избавиться.
- 10) Фактор выборки. Неграмотно составленная выборка испытуемых может полностью уничтожить внутреннюю валиддность.
Операциональная валидность определяет степень соответствия методики и плана эксперимента проверяемой гипотезе. Операциональная валидность представляет частный случай внешней.
Примером нарушения операциональной валидности может служить эксперимент, проведенный Куртом Левиным. Он поставил пред собой задачу исследовать при каком режиме - демократии, анархии или диктатуре - люди чувствуют себя наиболее комфортно. Моделями исследования были искусственно созданные ситуации общения детей и взрослых в детских оздоровительных лагерях. Демократии соответствовала группа, в которой дети и взрослые совместно решали повседневные вопросы. В модели диктатуры все решения принимались исключительно взрослыми. Анархию моделировала группа, в которой взрослые отсутствовали и все решения дети принимали сами. По результатам исследования был сделан вывод, что лучше всего человек чувствует себя в демократическом обществе(2 стр. 464). Понятно, насколько далеки были от действительности экспериментальные модели Курта Левина.
Экологическая валидность определяет, насколько условия эксперимента имитируют исследуемую реальность. В полевых экспериментах экологическая валидность достигает максимума естественным образом, соответственно в лабораторных экспериментах соблюсти высокую степень экологической валидности достаточно тяжело, причем не всегда это необходимо.(6 стр.62)