Эксперименты и Квазиэксперементы

Реферат

Данная работа не является научным трудом, не является выпускной квалификационной работой и представляет собой результат обработки, структурирования и форматирования собранной информации, предназначенной для использования в качестве источника материала при самостоятельной подготовки учебных работ.

ЭКСПЕРИМЕНТЫ И КВАЗИЭКСПЕРИМЕНТЫ

Экспериментом мы называем ту часть исследования, которая заключается в том, что исследователь осуществляет манипулирование переменными, и наблюдает эффекты производимые этим воздействием на другие переменные. В этом очерке мы рассмотрим валидность 16 планов эксперимента в связи с 12 факторами, кото­рые могут угрожать валидности вывода по данным эксперимента. Наша работа не является руководством по планированию эксперимента в традиции Фишера, когда экспериментатор, полностью владея си­туацией, может организовать воздействие и осуществить измерения для достижения оптимальной статистической эффективности и когда сложность плана обусловле­на лишь стремлением к достижению эффективности. Сложность планов, обсуждаемых в данной работе, явля­ется следствием специфики материала и отсутствия у экспериментатора возможности полного контроля.(…)

ПОСТАНОВКА ПРОБЛЕМЫ

В 1923 г. У. Э. Мак-Кол опубликовал книгу под названием «Как проводить эксперименты в педагогике». В предисловии к ней он писал: «Существуют пре­красные учебники и руководства по статистической об­работке экспериментальных данных, но мало что можно найти по методам получения адекватных относящихся к делу данных, к которым применимы статистические процедуры». Слова эти остаются справедливыми и по сей день и могут служить лейтмотивом данной работы. Хотя под влиянием работ, выполненных в традиции Фишера, ситуация в некоторых существенных отноше­ниях изменилась, все же наиболее заметным следствием этих работ является, видимо, совершенствование стати­стического анализа, а не средств получения «адекват­ных относящихся к делу данных».

Вероятно, ввиду ее ориентации на практику и здра­вый смысл и отсутствия претензии на фундаменталь­ность классическая книга Мак-Кола не была оценена по достоинству. В то время, когда она появилась, то есть за два года до первого издания книги Фишера «Статистические методы для исследователей» (1925), не было ни одной работы, которая могла бы идти хоть в какое-то сравнение с книгой Мак-Кола ни в области агробиологии, ни в психологии. Она предвосхитила ортодоксальную методологию этих областей по ряду фундаментальных вопросов. Возможно, наиболее значительным вкладом Фишера является идея уравнивания групп перед экспериментом путем рандомизации. Принять эту идею и вместе с тем отказаться от «попарного уравнивания» (способа интуи­тивно привлекательного, но фактически ошибочного) оказалось трудным для исследователей в области педа­гогики. Мак-Кол же еще в 1923 г. продемонстрировал глубокое понимание существа дела. В качестве своего первого метода формирования сопоставимых групп он предложил «группы, уравненные случаем». «Точно так же, как репрезентативность может обеспечиваться с помощью метода случайного выбора… эквивалент­ность может быть достигнута случайно, при условии использования достаточно большого числа испытуемых». Была предвосхищена и другая идея Фишера. Под названием «ротационного эксперимента» был пред­ложен план латинского квадрата, который применялся Торндайком, Мак-Колом и Чепмэном как в форме 5Х5, так и 2х2 еще в 1916 г., то есть почти за 10 лет до того, как Фишер включил его в свою систему планирования эксперимента с применением рандомиза­ции.

17 стр., 8049 слов

Анализ данных работы предприятия

... Статистикой также называют статистические данные представленные в отчетности предприятий, ... всех видов готовой продукции, работ промышленного характера и услуг, ... анализ как научную дисциплину относят к важнейшему средству руководства и контроля производственно хозяйственной деятельности предприятий и организаций. Статистикой называют науку, занимающуюся разработкой теоретических положений и методов, ...

Способ использования Мак-Колом «ротационного эксперимента» служит прекрасным примером для вы­явления специфики как его книги, так и данной рабо­ты. Ротационный эксперимент был предложен не с целью достижения статистической эффективности, а, скорее, для обеспечения некоторой степени контроля в тех случаях, когда невозможно осуществить рандомизацию при формировании эквивалентных групп. Сход­ным образом в настоящей работе будут рассмотрены недостатки многочисленных планов эксперимента, и тем не менее будет отстаиваться их использование в тех случаях, когда невозможно применение лучших планов. В этом смысле большинство обсуждаемых здесь пла­нов, в том числе и нерандомизированный «ротационный эксперимент», обозначаются как квазиэкспериментальные планы.

Разочарование в эксперименте

В данной работе эксперимент рассматривается как единственный способ разрешения споров о практике обучения, как единственный метод верификации усовер­шенствований в обучении, как единственный путь со­здания традиции накопления знаний, при которой каж­дое нововведение может быть осуществлено без опасе­ния, что старая мудрость приносится в жертву менее совершенному, но более новому знанию. При всей нашей горячей защите экспериментирования не следует думать, что наша позиция нова. Были периоды как пессимисти­ческого отношения к возможностям эксперимента, так и энтузиазма. Можно отметить, что отход от эксперименти­рования к описательным работам, нередко сопровождав­шийся поворотом от торндайковского бихевиоризма к гештальтпсихологии или психоанализу, совершался людьми, получившими хорошую экспериментальную подготовку.

именно потому,

Это разочарование испытали как наблюдатели, так и участники экспериментов. Что касается эксперимен­таторов, то можно отметить, что у них выработалась некая реакция избегания экспериментирования. Для исследователя, обычно глубоко заинтересованного в сво­ей работе, неподтверждение выношенной гипотезы является весьма болезненным. Экспериментатор тоже подчиняется биологическим и психологическим законам научения и связывает свои огорчения со смежными во времени событиями и стимулами. Таким стимулом станет, скорее всего, сам экспериментальный процесс, а не «истинный» источник фрустрации — неадекватная тео­рия. Это может привести, возможно неосознанно, к избеганию или отказу от экспериментирования. Если экология нашей науки такова, что в ней неправильные ответы встречаются чаще, чем правильные (а по-видимому, так оно и есть), то мы можем ожидать, что большинство экспериментов окажется неутешительным, и мы обязаны каким-то образом подготовить начинающих экспериментаторов к этому и вообще смотреть на экс­периментирование более пессимистически — не как на панацею, а как на единственно возможный путь посто­янного накопления знаний. Мы должны внушить нашим ученикам, что они могут столкнуться с рутиной и разо­чарованиями, и воспитывать в них упорство, которое отличает в настоящее время исследователей в биологи­ческих и физических науках. Наши ученики должны примириться не только со скудостью денежных средств, но и со скудостью результатов экспериментов.

13 стр., 6057 слов

Роль психологического эксперимента в работе патопсихолога

... исследовании. Задачи исследования - изучить литературу и другие источники по данному вопросу, определить, какие методы патопсихологического эксперимента ... психологический эксперимент, этапы его проведения. Цель данной работы - определить, какую роль играет психологический эксперимент в патопсихологическом ...

Точнее, нам необходимо более значительное время и осознание того, что длительное и многократное экс­периментирование более характерно для науки, чем единичные окончательные эксперименты. Если экспери­менты, которые мы проводим сегодня, являются успеш­ными, то они нуждаются в повторении и перекрестной валидизации в другое время и в других условиях, прежде чем они смогут стать признанными данными науки и получить обоснованную теоретическую интер­претацию. Далее, хотя мы считаем экспериментирова­ние основным средством доказательства, единственным судьей в споре конкурирующих теорий, мы, по-види­мому, не должны ожидать однозначных результатов «критических» экспериментов, в которых сталкиваются соперничающие теории. Когда мы обнаружим, напри­мер, что компетентные наблюдатели защищают прямо противоположные точки зрения, то можно утверждать, почти что априорно, что оба они наблюдали нечто дей­ствительно относящееся к реальной ситуации и оба представляют часть истины. И чем сильнее противоре­чие, тем больше вероятность того, что так оно и есть. Поэтому в таких случаях мы можем ожидать неодно­значных результатов эксперимента или результатов, в которых истинные данные неуловимо меняются от эксперимента к эксперименту. Более зрелой позицией— а к такой в значительной мере пришла эксперименталь­ная психология — является стремление избегать критических эксперимен­тов и заменять их исследованиями соотношений и взаи­модействий разнообразных многоуровневых экспериментальных переменных.

Не следует также недооценивать важность значи­тельно усовершенствованных статистических методов, которые постепенно проникли в психологию и педаго­гику. В период наибольшего увлечения экспериментом в педагогике применялись весьма несовершенные мето­дические средства. Мак-Кол и его современники проводили исследования с одной переменной. Ввиду огромной сложности ситуации обучения человека этот подход, оказался слишком ограниченным. Теперь мы знаем, насколько важным может быть совместное дей­ствие двух или более экспериментальных переменных. Стэнли, Стэнли и Уайли и другие указали на важность оценки таких взаимодей­ствий.

Эксперимент может быть многомерным в следующих двух отношениях. План эксперимента может содержать более чем одну «независимую» переменную (пол, год обучения, метод обучения арифметике, тип и размер шрифта в учебнике и т. д.) и/или более чем одну «зави­симую» переменную (число ошибок, скорость, количе­ство правильных ответов, данные различных тестов и т. д.).

5 стр., 2021 слов

Понятие картина мира. Естественнонаучная картина мира и ее связь ...

... рассматривать научную картину природы, как она исторически сформировалась в процессе развития естествознания. Однако еще до появления научных представлений о природе люди задумывались об окружающем их мире, его строении и ... ее предыдущим состоянием. 3. Пространство и время никак не связаны с движением тел, они имеют абсолютный характер. В связи с этим Ньютон и вводит понятия абсолютного, или ...

Процедуры, введенные Фишером, многомерны в первом смысле и одномерны во втором. Специалисты по математической статистике, например Рой и Гнанадезикан, разрабатывают планы и методы анализа, объединяющие оба типа многомерных планов. Возмож­но, что, обратившись к ним, исследователи смогут уменьшить обычный огромный разрыв между изложе­нием статистических методов в специальной литературе и их практическим применением в исследованиях.

современной

ВИДЫ ВАЛИДНОСТИ

Проверка каузальных отношений

Эксперименты являются средством проверки каузальных гипотез. По традиции предполагается, что существуют три необходимых условия для утверждения с определенной долей уверенности о том, что отношение между двумя переменными является каузальным и что направление причинности от А к В. Первое условие относится к временной последовательности и формулируется следующим образом: причина должна предше­ствовать по времени эффекту. Обычно это условие со­блюсти нетрудно, если исследователь знает, когда испы­туемые подвергались экспериментальному воздействию. В квазиэкспериментах исследователь может сочетать такого рода влияние со своим знанием результатов ис­пытуемых до и после экспериментального воздействия и может связать воздействие с некоторыми показате­лями изменения зависимой переменной. Исследователь, проводящий истинный эксперимент, знает, что соответствующая рандомизация обеспечивает, в вероятностном плане, предварительную (до введения эксперименталь­ного воздействия) эквивалентность различных экспериментальных групп. Поэтому если после эксперименталь­ного воздействия обнаружатся различия, связанные с воздействием, то он полагает, что такие различия, по всей вероятности, вызваны экспериментальным воздей­ствием.

Второе необходимое условие для обоснованного вы­вода о причинной зависимости В от А состоит в том, что воздействие или воздействия должны быть статисти­чески связаны с эффектом, так как, если возможная причина и эффект не связаны друг с другом, одно не может быть причиной другого. Для проверки существо­вания такой ковариации используются статистические показатели; разработаны критерии для принятия решения о существовании «действительной» ковариации в результатах (например, р<0> Таким образом, ста­тистические показатели действуют как фильтры. К , со­жалению, они подвержены ошибкам даже в тех случаях, когда используются должным образом; с их по­мощью не всегда удается выявить как действительно существующую, так и ложную композицию ковариации. Поскольку использование статистических показателей ведет к весьма, важным решениям, разумно было бы показать те причины, которые порождают неверные выводы о ковариации. Обозначим их как угрозы для валидности статистического вывода.

Третье необходимое условие каузального вывода устоит в том, что не должно быть правдоподобного альтернативного, объяснения появления В помимо А. Это условие труднее всего соблюсти в связи с другими обстоятельствами. Первое — относящееся в основном к квазиэкспериментам — связано с валидностью альтер­нативных интерпретаций, которые предполагают, что кажущаяся каузальная связь А и В фактически может быть обусловлена действием третьей переменкой, кото-1 рая и вызывает изменения В. К примеру, можно Установить на фабрике новую машину и отмечать, связано ли это с ростом производительности труда. Если это так, то можно приписать это увеличение нововведению. Однако всегда существует вероятность того, что это увеличение никак не связано с новой машиной и может быть обусловлено сезонным ростом производительности, который происходит в такое время каждый год. И это только один из примеров такой третьей переменной, и в дальнейшем мы представим систематизированный перечень таких дополнительных переменных, обозначая их как угрозы для внутренней валидности.

7 стр., 3231 слов

Социальные изменения и теория деформации социальных отношений

... различным социальным откликам и реакциям. В обществе нарастает вал социальных проблем. Итак, современный этап развития общества и формирования социальных отношений неразрывно связан с деформацией социальных отношений, обусловленной в свою очередь политическими, экономическими, социальными и культурными ...

Существование угроз для внутренней валидности наводит на мысль, что предполагаемая каузальная связь может быть лишь видимой. Это отличается от второго значения «альтернативной интерпретации», когда А, которым манипулируют, и В , которое измеря­ется, и в самом деле каузально связаны, но существуют сомнения, действительно ли эмпирические операции осуществляются с объектами, представленными конструктами А и В которые исследователь пытался применить для обозначения А и В. Большинство теоретических контроверсий в психологии именно такого рода — например, контроверсии о том, можно ли объяснить связь между увеличением оплаты и более высокой производительностью тем, что высокая зарплата формирует чувство неравенства или разрушает ожидания или «Я-концепцию» и т. д. В таких исследованиях речь идет не о внутренней валидности, то есть не о том, являются ли изменения в оплате причиной изменений в производительности. Скорее, это вопрос о том, как оп­лата должна быть выражена в терминах соответствую­щей теории, доступных обобщению. Другой пример: для некоторых исследователей проблема интерпретации известных хоуторнских экспериментов Ротлисбергера и Диксона заключается в обозначении того, что заста­вило женщин увеличить производительность труда, а не в определении того, действительно ли экспериментальное вмешательство привело к этому увеличению.

Был ли каузальной переменной сам факт изменения независимо от его характера, или обратная связь, несущая информацию о поведении обследуемого и содержавшая­ся в новых изменениях, или же это следствие возраста­ния групповой сплоченности, или следствие нового вос­приятия интересов руководства, или еще что-нибудь? Мы рассматриваем опасности для «конструктной валидности», которые следует понимать как угрозы для правильного обозначения причины и эффекта с помощью абстрактных терминов, взятых из обыденного языка или из формальной теории. В действительности проблемы «конструктной валидности» несколько шире и, очевидно, имеет отношение к попыткам обозначения любых ас­пектов эксперимента, включая характер обстановки, в которой проводится эксперимент, особенности участвую­щих лиц и т. д.

Стоит отметить, что термин «внутренняя валидность» в прошлом употреблялся не вполне правильно, потому что с его помощью выражали как сомнения в правиль­ности вывода о причинных связях между А и B , так и сомнения в том, как следует обозначать причину и следствия. Такое смешение понятий может возникнуть вследствие того, что альтернативные интерпретации должны быть отброшены в процессе установления как внутренней, так и конструктной валидности.

9 стр., 4329 слов

Когнитивная теория, ее суть и применение на практике

... изменчивых представлений о реальности. Когнитивная теория — любая теория личности, которая придает особое значение ... любой ситуации человек способен сконструировать альтернативные предсказания. Внешний мир — не ... конструктов, которые находятся на вершине конструктной системы, то есть в постоянном фокусе ... интерпретирует внешнюю реальность через собственный внутренний мир. У каждого человека имеется ...

Однако установление внутренней валидности предполагает отбрасывание альтернативных интерпретаций вероятных каузальных связей между А, которым мани­пулируют, и В, которое измеряется, а установление кон­структной валидности предполагает отбрасывание альтернативных интерпретаций того, как А и В соотносят­ся с гипотетическими понятиями. Поскольку в экспери­ментах крайне важно выяснить, является ли связь меж­ду двумя переменными каузальной, необходимым условием для выведения заключения o кayзaльноcтиявляется отбрасывание альтернативных интерпретаций связи между переменными (то есть устранение угроз для внутренней валидности), а не отбрасывание альтернативных интерпретаций операций с причиной и следствием (то есть угроз для конструктной валидно­сти)

внешней валидности,

Сказанное не должно создавать впечатления, что эксперимент является единственным средством установ­ления каузальности. Такая наука, как астрономия, раз­вивалась без экспериментирования отчасти потому, что ей посчастливилось иметь надежные методы наблюде­ния и количественные теории, позволяющие предсказы­вать точное местоположение, точные орбиты и времен­ные интервалы движения в пространстве. Точность чис­ленных предсказаний означает, во-первых, что предска­зания могут быть проверены самым тщательным образом и, во-вторых, что различные теории, на основе которых делаются различные численные предсказания, могут быть противопоставлены друг другу. Это не значит, что в астрономии решены все проблемы валидности или что исследователь может отказаться от детального анализа всех возможных альтернативных гипотез и тщательного сопоставления их с данными для того, чтобы выяснить, могут ли они быть отброшены. Мы хотим сказать толь­ко, что было бы меньше угроз валидности, если бы измерения были такими же надежными, как в астроно­мии, а теории столь же точными.

К сожалению, социальным наукам не посчастливи­лось иметь столь же точные теории, столь же надежные измерения или повторяющийся циклический порядок в результатах наблюдений. Представьте себе, что обна­ружено различие в производительности труда работника до и после того, как он прошел специальное обучение. Как мы можем определить, что в этом различии сле­дует отнести за счет собственно обучения, что за счет естественного: развития работника, или улучшений в навыке выполнения задания при обследовании, или в результате различных событий в жизни человека, кото­рые оказывают влияние на зависимую переменную меж­ду предварительным тестированием и тестированием после экспериментального воздействия, и что объяс­няется любым сочетанием этих факторов? Более того, даже если бы мы могли определить конкретные числен­ные величины, связанные с каждым из перечисленных выше объяснений, можно ли быть уверенными в том, что нам удастся измерить соответствующие результаты с такой надежностью, которая позволила бы осущест­вить выбор между теориями? Ответ на эти вопросы; зависит, конечно, от величины предсказываемых различий в приросте производительности труда и от конкретного вида проверки. Мы полагаем, однако, что в социальных науках найдется не много неэкспериментальных условий, в которых точные предсказания могли бы быть с успехом использованы для проверки конку­рентных гипотез.

37 стр., 18261 слов

Государственная служба в органах внутренних дел Российской Федерации

... годов ХХ века. Понятие «государственная служба» в юридической литературе толкуется по-разному: как социально-правовой институт; систему органов государства; вид деятельности человека. В качестве правового института государственная служба представляет собой совокупность норм, регулирующих государственно-служебные ...

Хотя предшествующее изложение наводит на мысль, что эксперименты более пригодны для проверки пред­положений о причинности, чем неэкспериментальные исследования, из этого не следует делать вывод, что эксперименты являются надежным средством получения ответов на все вопросы, связанные с проверкой гипотез о каузальных связях. Перечень угроз внутренней и внешней валидности, валидности статистического выво­да и конструктной валидности, а также выявление взаимосвязей между этими видами валидности делают очевидным несовершенство экспериментирования. Экспериментальные планы нуждаются в улучшении, могут и должны быть улучшены, чтобы способствовать установлению каузальной зависимости. Но мы заблуждались бы, если бы считали, что один эксперимент или даже целая исследовательская программа, рассчитанная на несколько лет, могли бы дать окончательный ответ на основные вопросы, связанные с надежным установ­лением каузальной связи, обозначением ее составляю­щих и определением возможности обобщения вывода.

Факторы, угрожающие внутренней и внешней валидности

внутренней

Внутренняя валидность —

внущенней валидности.

1) фона (history)—конкретных событий, которые про­исходят между первым и вторым измерением наря­ду с экспериментальным воздействием;

естественного развития

эффекта тестирования

4) инструментальной погрешности, нестабильности измерительного (instrumentation), при которой изменения в калибровке характеризующие наблюдателя или оценочные показатели, могут вызвать изменения в результатах из­мерения;

5) статистической регрессии (statistical regressi­on), имеющей место тогда, когда группы отбираются на основе крайних показателей и оценок;

отбора испытуемых

7) отсева в ходе эксперимента (experimental mor­tality) — неравномерности выбывания испытуемых из сравниваемых групп;

взаимодействий фактора отбора с естественным развитием

внешнюю валидность,

реактивный эффект,

взаимодействия фактора отбора

условия организации эксперимента, вызывающие реакцию испытуемых на эксперимент,

взаимная интерференция экспериментальных воздействий,

Для представления различных характеристик экспериментальных планов в дальнейшем будет применяться постоянная система графических и символических обозначений. Символ Х будет обозначать эксперименталь­ную переменную или событие, влияние которого подле­жит измерению; символ О — некоторый процесс наблюдения или измерения; Х и О, стоящие в одной строке, относятся к одним и тем же конкретным лицам. Направ­ление слева направо обозначает временной порядок, а расположение Х и О одно под другим — одновремен­ность. Для обозначения важных различий, например между планами 2 и 6 или между планами 4 и 10, используется символ R, указывающий на случайное распределение испытуемых по разным режимам экспе­римента (то есть по различным группам).

Предполага­ется, что такая рандомизация осуществляется в опре­деленное время и служит универсальным методом урав­нивания групп перед введением воздействия в известных статистических границах. Наряду с этим вводится до­полнительная графическая символика: параллельные строки, не разделенные пунктирной линией, представ­ляют группы, уравненные посредством рандомизации, тогда как сопоставляемые группы, не уравненные рандо­мизацией, отделяются друг от друга пунктирной линией. Не предусматривается никакого символа для обо­значения групп, сформированных путем попарного уравнивания, поскольку ценность этой процедуры слиш­ком переоценивается и она чаще ведет к ошибочному выводу, чем служит средством достижения валидного вывода. (См. далее обсуждение плана 10 и последний раздел по корреляционным планам.) Символ М для обозначения материалов будет использован в плане 9.

51 стр., 25059 слов

Лидерство в малой группе

... группы. Объект исследования: лидерство. Тема исследования: лидерство в школьном коллективе (классе). Цель работы: изучение и исследование феномена лидерства в школьном коллективе (классе). Домашнее задание: я рассматриваю лидерство и лидерство в малых группах и теорию лидерства; ... система предписаний относительно распределения ролей и состояний в малой группе, целей ее деятельности. Все эти факторы ...