Анализ валидности в современными исследователями. Валидность исследования. Результаты триангуляции данных

ТЕОРЕТИЧЕСКИЕ АСПЕКТЫ МЕТОДА ГРУППОВЫХ ИНТЕРВЬЮ

Любой метод исследования обладает специфичными свойствами и требует специфичной квалификации для адекватного использования. Объективный анализ свойств метода и создаваемых им побочных эффектов порой требует создания своего рода теории. Трудно сказать, в какой мере может быть создана целостная теория того или иного метода. По-видимому, теоретические основы методов всегда фрагментарны, поскольку фиксируются на разных аспектах их применения. Так или иначе, целостной теории метода фокус-групп не существует, но имеется большое число частных теоретических проработок его свойств и принципов использования. Из всего многообразия рассмотрим три нижеследующих аспекта.

§ 2.1. Валидность качественных методов

В широком смысле слова валидность, т.е. обоснованность метода, означает соответствие получаемых с его помощью эмпирических данных основным целям исследования. Вопрос о валидности качественных методов в предшествующие годы был сильно запутан специалистами по математической статистике, которые распространили весьма специфичные статистические критерии валидности на классы задач и исследовательских ситуаций, не имеющих ничего общего с идеальными объектами типа вынимаемых из корзины разноцветных шаров, которыми оперирует теория вероятности.

Прежде, чем перейти к описанию качественных исследований, особенно групповых, следует охарактеризовать их отличия от количественных исследований. Чтобы понять эти отличия полнее, необходимо разобраться в том, что, собственно говоря, является «ошибкой» исследования.

Количественные социологические исследования являются разновидностью исследований, в основании которых лежит математическая теория вероятности. В числе аксиоматических предпосылок этой теории имеется весьма важная предпосылка о том, что различия между анализируемыми объектами ограничены фиксированным набором дискретных признаков. К примеру, шары, лежащие в корзине, различаются по цвету, размеру и нарисованным на них цифрам. Люди, соответственно, могут различаться по своим демографическим признакам, установкам и тд., причем важно отметить, что в любом конкретном анкетном опросе набор признаков ограничен числом квантифицированных вопросов анкеты, а все прочие возможные признаки предполагаются идентичными.

Основным критерием, характеризующим исследование статистического типа, является надежность, т.е. воспроизводимость полученных результатов. Если провести повторный опрос по той же методике в той же самой социальной группе, и результаты обоих опросов будут идентичны - значит, они надежны. Сегодня никто не оспаривает тот факт, что при правильно проведенном массовом репрезентативном опросе с помощью формализованных анкет автоматически достигается высокая степень воспроизводимости результатов. Однако вопрос их валидности этим далеко не исчерпывается.

В математической социологии валидность исследования принято трактовать как степень соответствия средства измерения тому, что подлежало измерению . Словарь поясняет далее, что в строгом смысле слова валидизация возможна лишь при наличии независимого внешнего критерия, но такая ситуация в социологии является редкостью. Во всех остальных случаях валидность результатов количественных опросов является не более чем гипотезой, оценка степени правдоподобия которой не имеет ничего общего с математическими и статистическими процедурами. Низкая степень правдоподобия многих неявных содержательных гипотез, латентно закладываемых исследователями в формулировки и структуру формализованных вопросов, а порой и полное отсутствие такого правдоподобия, является очень серьезной и плохо осознанной проблемой.

Таким образом, статистическую надежность результатов количественных исследований не следует путать с их надежностью и обоснованностью в широком смысле этого слова. Строго говоря, количественные исследования надежны лишь в той мере, в какой саму проблему надежности удается свести к ее статистическому толкованию. Если такое сведение не удалось или в принципе невозможно, количественные данные становятся крайне ненадежной основой для выводов.

Сравнивая количественные и качественные методы с точки зрения их валидности, следует прежде всего отметить, что сферы их валидного применения не совпадают друг с другом. Это делает бессмысленным обобщенное сравнение их по критерию валидности. Существуют классы задач, в которых количественные методы обладают высокой, а качественные низкой валидностью. Вместе с тем существуют - и этот аспект обычно слабо подчеркивается даже в специальной литературе - другие классы задач, в которых указанное соотношение прямо противоположно.

В задачу нашего учебника не входит рассмотрение вопросов методологии качественных методов вообще. Специфика фокус-групп, а также индивидуальных глубоких интервью, если они проводятся большими сериями, состоит в том, что к ним, по крайней мере теоретически, также применимы статистические критерии обоснованности, хотя и иные, чем в количественных исследованиях.

Текстовые расшифровки серии групповых интервью, проведенных на определенную тему, образуют массив первичных данных объемом в несколько сотен страниц. Этот массив вполне пригоден для анализа с применением статистических методов как с точки зрения его размеров, так и с точки зрения разнородности. Разнородность массива обеспечивается участием нескольких десятков респондентов, что уже дает основания для приблизительного распределения однотипных ответов по трехчленной или пятичленной шкале: явное меньшинство, меньшинство, примерно поровну, большинство, явное большинство. Главное, однако, состоит не в этом. Специфика массива первичных данных групповых интервью состоит в том, что:

1. Единицей анализа является не респондент, а высказывание. Поскольку каждый респондент является носителем многих высказываний, это, как минимум, на порядок увеличивает массив первичных аналитических единиц, делая его статистически значимым.

2. В задачу качественных исследований не входит определение численности или удельного веса носителей той или иной точки зрения в обществе или его сегменте. По отношению к такому классу проблем качественные методы невалидны.

Задачей качественных методов является формирование списка так называемых «гипотез существования», т.е. списка мнений, оценок или высказываний, существующих в обществе и, предположительно, имеющих не нулевую степень распространения. При этом, как отмечает Д.Темплтон, предпочтительнее ошибиться, выявив несуществующий или малозначимый фактор, чем упустить высокозначимый.

Математический аппарат, приспособленный для решения задач подобного типа, в принципе хорошо известен. Он используется в лингвистке при составлении списков звуков и слогов, а также частотных словарей слов и словосочетаний. Этот же аппарат используется и в социологических исследованиях, осуществляемых с помощью контент-анализа. Применительно к последнему случаю математическая постановка задачи выглядит примерно так: «Имеется кандидат в президенты А, о котором пишут в газетах. Требуется составить как можно более полный список эпитетов, которыми авторы статей характеризуют данного кандидата. Какой объем газетных текстов следует изучить, чтобы с вероятностью 95% число невыявленных эпитетов не превысило 5% ?»

Как и подавляющее большинство прикладных статистических задач, данная задача не решаема без определенных предварительных знаний о характере частотного распределения искомых эпитетов, а также без некоторых априорных допущений. В зависимости от практического удобства выбора той или иной системы допущений сама постановка задачи может варьироваться. Углубление в этот вопрос выходит за рамки нашей темы, поскольку в прикладных исследованиях, осуществляемых с помощью метода фокус-групп, статистический аппарат, подобный описанному выше, если где-то и применяется, то лишь в узкоспециальных исследованиях, далеких от сферы применения маркетинговых фокус-групп. Основных причин этому видится две. Первая - применение такого аппарата сильно удорожает исследования, а коммерческий заказчик не склонен оплачивать математические «красоты», если они никак не влияют на конечные выводы. По ряду причин, которые будут описаны ниже, и заказчики, и исследователи считают вполне достаточной ориентацию на следующий субъективный критерий: если количество новой информации, получаемой от каждой следующей группы, резко упало, исследование следует прекращать.

Вторая причина гораздо более фундаментальная. Она связана с тем, что сегодня строго операциональное и поддающееся автоматизации вычленение из текстов смысловых единиц возможно только на уровне слов и устойчивых словосочетаний. Вычленение, группировка и тапологизация более сложных смысловых единиц, осуществляемые на аналитической стадии качественного социологического исследования, могут выполняться только человеком на основе еще не изученных бессознательных интеллектуальных алгоритмов. Быстрый прогресс в развитии компьютерных программ автоматизированного перевода дает возможность предположить, что с течением времени станет осуществимым автоматизированное распознавание все более сложных смысловых единиц. Однако на практику фокус-групповых исследований эта работа пока не оказывает никакого влияния. При изучении литературы по маркетинговым фокус-группам мы ни разу не встречались с упоминанием о применении контент-анализа в какой бы то ни было форме. В области академических исследований такие упоминания имеются , однако изучение данного вопроса требует специальной работы. Отметим здесь же, что в начале 90-х годов наиболее современной работой по методам компьютерного контент-анализа считалась работа Вебера .

Резюмируя, обратимся к вопросу определения областей валидное™ количественных и качественных исследований. Выше было показано, что эти области принципиально различны, поскольку радикально различны решаемые ими классы задач. Область валидного применения формализованных опросов только на первый взгляд кажется беспредельной или очень широкой. На самом деле она ограничена выявлением степени распространенности тех или иных знаний, мнений или установок, которые:

а) должны быть известны заранее, т.е. до проведения опроса;

б) не должны быть навязываемой респонденту фикцией или псевдосуждениями, не свойственными его сознанию.

Для выявления самого факта существования знаний, мнений или установок количественные методы непригодны, что хорошо видно из следующего сравнения результатов опроса.

А. Количественное исследование

Вопрос: Что Вы предпочитаете - яблочный пирог или шо­коладный кекс? (% к числу опрошенных)

Яблочный пирог - 26%

Шоколадный кекс - 22%

И то, и другое - 43%

Затрудняюсь ответить - 9%

Б. Качественное исследование

Вопрос: Что Вы предпочитаете - яблочный пирог или шоколадный кекс?

Ответ: Я не знаю. Я люблю и то, и другое.

Вопрос: Хорошо, если Вам надо взять что-то одно, что это будет? Подумайте.

Ответ: Конечно, пироги различаются. Если у меня будет возможность взять яблочный пирог моей мамы, то я предпочту его любому шоколадному кексу. Если необходимо взять какой-то яблочный пирог, то я точно не знаю.

Вопрос: От чего еще может зависеть Ваш выбор?

Ответ: Например, это зависит от того, что я ем на обед. Если у меня полный обед, я думаю, что возьму яблочный пирог. Яблочный пирог - это большой деликатес в моей семье. Но если на обед я ел что-то легкое, типа рыбы, то лучше взять кекс. Если холодно, я не откажусь от шоколадного кекса [б3].

Приведенный диалог хорошо иллюстрирует тот факт, что простой ответ «Я выбираю яблочный пирог» зависит от многих факторов, в данном случае - от того, кто приготовил этот пирог, от степени голода, плотности обеда, температуры окружающей среды. Этот список, вероятно, может быть продолжен. Но, как и во многих других случаях, число таких факторов или, по крайней мере, наиболее распространенных из них, по-видимому, не очень велико. Задачей качественного исследования, как уже говорилось, является выявление списка этих факторов с разумной степенью полноты. В этой области качественные исследования обладают высокой степенью валидности. Определение частотного распределения действия выявленных факторов в изучаемой популяции - дело количественного исследования. Важны, однако, две оговорки:

а) с практической точки зрения затраты на проведение количественного исследования могут превышать ожидаемый риск от принятия волевого решения, основанного на менее точной информации;

б) адекватная трансформация выявленных факторов в вопросы формализованной анкеты часто затруднена или невозможна, причем часто чрезвычайно трудно бывает даже определить возможную степень этой неадекватности.

Эти обстоятельства нередко снижают валидность количественных исследований до такой степени, что их проведение становится нецелесообразным.

Лишь в тех случаях, когда гипотеза о валидности формулировок вопросов формализованных анкет выглядит обоснованной или правдоподобной, количественное исследование может дать валидный результат, позволяющий принять решение, основанное на более точной информации.

В широком смысле слова валидность, т. е. обоснованность метода, означает ϲᴏᴏᴛʙᴇᴛϲᴛʙие получаемых с его помощью эмпирических данных основным целям исследования. Вопрос о валидности качественных методов в предшествующие годы был сильно запутан специалистами по математической статистике, кᴏᴛᴏᴩые распространили весьма специфичные статистические критерии валидности на классы задач и исследовательских ситуаций, не имеющих ничего общего с идеальными объектами типа вынимаемых из корзины разноцветных шаров, кᴏᴛᴏᴩыми оперирует теория вероятности.

Прежде, чем перейти к описанию качественных исследований, особенно групповых, следует охарактеризовать их отличия от количественных исследований. Чтобы понять данные отличия полнее, крайне важно разобраться в том, что, собственно говоря, будет «ошибкой» исследования.

Количественные социологические исследования будут разновидностью исследований, в основании кᴏᴛᴏᴩых лежит математическая теория вероятности. В числе аксиоматических предпосылок ϶ᴛᴏй теории имеется весьма важная предпосылка о том, что различия между анализируемыми объектами ограничены фиксированным набором дискретных признаков. К примеру, шары, лежащие в корзине, различаются по цвету, размеру и нарисованным на них цифрам. Люди, ϲᴏᴏᴛʙᴇᴛϲᴛʙенно, могут различаться по ϲʙᴏим демографическим признакам, установкам и т. д. , причем важно отметить, что в любом конкретном анкетном опросе набор признаков ограничен числом квантифицированных вопросов анкеты, а все прочие возможные признаки предполагаются идентичными.

Основным критерием, характеризующим исследование статистического типа, будет надежность, т. е. воспроизводимость полученных результатов. В случае если провести повторный опрос по той же методике в той же самой социальной группе, и результаты обоих опросов будут идентичны - значит, они надежны. Сегодня никто не оспаривает тот факт, что при правильно проведенном массовом репрезентативном опросе с помощью формализованных анкет автоматически достигается высокая степень воспроизводимости результатов. При этом вопрос их валидности данным далеко не исчерпывается.

В математической социологии валидность исследования принято трактовать как степень ϲᴏᴏᴛʙᴇᴛϲᴛʙия средства измерения тому, что подлежало измерению . Словарь поясняет далее, что в строгом смысле слова валидизация возможна исключительно при наличии независимого внешнего критерия, но такая ситуация в социологии будет редкостью. Во всех остальных случаях валидность результатов количественных опросов будет не более чем гипотезой, оценка степени правдоподобия кᴏᴛᴏᴩой не имеет ничего общего с математическими и статистическими процедурами. Низкая степень правдоподобия многих неявных содержательных гипотез, латентно закладываемых исследователями в формулировки и структуру формализованных вопросов, а порой и полное отсутствие такого правдоподобия, будет очень серьезной и плохо осознанной проблемой.

Таким образом, статистическую надежность результатов количественных исследований не следует путать с их надежностью и обоснованностью в широком смысле ϶ᴛᴏго слова. Строго говоря, количественные исследования надежны исключительно в той мере, в какой саму проблему надежности удается свести к ее статистическому толкованию. В случае если такое сведение не удалось или в принципе невозможно, количественные данные становятся крайне ненадежной основой для выводов.

Сравнивая количественные и качественные методы с позиции их валидности, следует прежде всего отметить, что сферы их валидного применения не совпадают друг с другом. Это делает бессмысленным обобщенное сравнение их по критерию валидности. Существуют классы задач, в кᴏᴛᴏᴩых количественные методы обладают высокой, а качественные низкой валидностью. Вместе с тем существуют - и ϶ᴛᴏт аспект обычно слабо подчеркивается даже в специальной литературе - другие классы задач, в кᴏᴛᴏᴩых указанное соотношение прямо противоположно.

В задачу нашего учебника не входит рассмотрение вопросов методологии качественных методов вообще. Специфика фокус-групп, а также индивидуальных глубоких интервью, если они проводятся большими сериями, состоит по сути в том, что к ним, по крайней мере теоретически, также применимы статистические критерии обоснованности, хотя и иные, чем в количественных исследованиях.

Отметим, что текстовые расшифровки серии групповых интервью, проведенных на определенную тему, образуют массив первичных данных объемом в несколько сотен страниц. Этот массив вполне пригоден для анализа с применением статистических методов как с точки зрения его размеров, так и с позиции разнородности. Разнородность массива обеспечивается участием нескольких десятков респондентов, что уже дает основания для приблизительного распределения однотипных ответов по трехчленной или пятичленной шкале: явное меньшинство, меньшинство, примерно поровну, большинство, явное большинство. Главное, однако, состоит не в ϶ᴛᴏм. Специфика массива первичных данных групповых интервью состоит по сути в том, что:

1. Единицей анализа будет не респондент, а высказывание. Поскольку каждый респондент будет носителем многих высказываний, ϶ᴛᴏ, как минимум, на порядок увеличивает массив первичных аналитических единиц, делая его статистически значимым.

2. В задачу качественных исследований не входит определение численности или удельного веса носителей той или иной позиции в обществе или его сегменте. По отношению к такому классу проблем качественные методы невалидны.

Задачей качественных методов будет формирование списка так называемых «гипотез существования», т. е. списка мнений, оценок или высказываний, существующих в обществе и, предположительно, имеющих не нулевую степень распространения. При ϶ᴛᴏм, как отмечает Д. Отметим, что темплтон, предпочтительнее ошибиться, выявив несуществующий или малозначимый фактор, чем упустить высокозначимый.

Математический аппарат, приспособленный для решения задач подобного типа, в принципе хорошо известен. Стоит заметить, что он используется в лингвистке при составлении списков звуков и слогов, а также частотных словарей слов и словосочетаний. Этот же аппарат используется и в социологических исследованиях, осуществляемых с помощью контент-анализа. Применительно к последнему случаю математическая постановка задачи выглядит примерно так: «Имеется кандидат в президенты А, о кᴏᴛᴏᴩом пишут в газетах. Требуется составить как можно более полный список эпитетов, кᴏᴛᴏᴩыми авторы статей характеризуют данного кандидата. Какой объем газетных текстов следует изучить, ɥᴛᴏбы с вероятностью 95% число невыявленных эпитетов не превысило 5% ?»

Как и подавляющее большинство прикладных статистических задач, данная задача не решаема без определенных предварительных знаний о характере частотного распределения искомых эпитетов, а также без некᴏᴛᴏᴩых априорных допущений. Учитывая зависимость от практического удобства выбора той или иной системы допущений сама постановка задачи может варьироваться. Углубление в ϶ᴛᴏт вопрос выходит за рамки нашей темы, поскольку в прикладных исследованиях, осуществляемых с помощью метода фокус-групп, статистический аппарат, подобный описанному выше, если где-то и применяется, то исключительно в узкоспециальных исследованиях, далеких от сферы применения маркетинговых фокус-групп.
Стоит отметить, что основных причин ϶ᴛᴏму видится две. Первая - применение такого аппарата сильно удорожает исследования, а коммерческий заказчик не склонен оплачивать математические «красоты», если они никак не влияют на конечные выводы. По ряду причин, кᴏᴛᴏᴩые будут описаны ниже, и заказчики, и исследователи считают вполне достаточной ориентацию на следующий субъективный критерий: если количество новой информации, получаемой от каждой следующей группы, резко упало, исследование следует прекращать.

Вторая причина гораздо более фундаментальная. Стоит заметить, что она связана с тем, что сегодня строго операциональное и поддающееся автоматизации вычленение из текстов смысловых единиц возможно только на уровне слов и устойчивых словосочетаний. Вычленение, группировка и топологизация более сложных смысловых единиц, осуществляемые на аналитической стадии качественного социологического исследования, могут выполняться только человеком на базе еще не изученных бессознательных интеллектуальных алгоритмов. Быстрый прогресс в развитии компьютерных программ автоматизированного перевода дает возможность предположить, что с течением времени станет осуществимым автоматизированное распознавание все более сложных смысловых единиц. При этом на практику фокус-групповых исследований эта работа пока не оказывает никакого влияния. При изучении литературы по маркетинговым фокус-группам мы ни разу не встречались с упоминанием о применении контент-анализа в какой бы то ни было форме. В области академических исследований такие упоминания имеются , однако изучение данного вопроса требует специальной работы. Отметим здесь же, что в начале 90-х годов наиболее современной работой по методам компьютерного контент-анализа считалась работа Вебера .

Резюмируя, обратимся к вопросу определения областей валидных количественных и качественных исследований. Выше было показано, что данные области принципиально различны, поскольку радикально различны решаемые ими классы задач. Область валидного применения формализованных опросов только на первый взгляд кажется беспредельной или очень широкой. На самом деле она ограничена выявлением степени распространенности тех или иных знаний, мнений или установок, кᴏᴛᴏᴩые:

а) должны быть известны заранее, т. е. до проведения опроса;

б) не должны быть навязываемой респонденту фикцией или псевдосуждениями, не ϲʙᴏйственными его сознанию.

Для выявления самого факта существования знаний, мнений или установок количественные методы непригодны, что хорошо видно из следующего сравнения результатов опроса.

А. Количественное исследование

Вопрос: Что Вы предпочитаете - яблочный пирог или шо­коладный кекс? (% к числу опрошенных)

Яблочный пирог - 26%

Шоколадный кекс - 22%

И то, и другое - 43%

Затрудняюсь ответить - 9%

Б. Качественное исследование

Вопрос: Что Вы предпочитаете - яблочный пирог или шоколадный кекс?

Ответ: Я не знаю. Я люблю и то, и другое.

Вопрос: Хорошо, если Не стоит забывать, что вам надо взять что-то одно, что ϶ᴛᴏ будет? Подумайте.

Ответ: Конечно, пироги различаются. В случае если у меня будет возможность взять яблочный пирог моей мамы, то я предпочту его любому шоколадному кексу. В случае если крайне важно взять какой-то яблочный пирог, то я точно не знаю.

Вопрос: От чего еще может зависеть Не стоит забывать, что ваш выбор?

Ответ: К примеру, ϶ᴛᴏ зависит от того, что я ем на обед. В случае если у меня полный обед, я думаю, что возьму яблочный пирог. Яблочный пирог - ϶ᴛᴏ большой деликатес в моей семье. Но если на обед я ел что-то легкое, типа рыбы, то лучше взять кекс. В случае если холодно, я не откажусь от шоколадного кекса .

Приведенный диалог хорошо иллюстрирует тот факт, что простой ответ «Я выбираю яблочный пирог» зависит от многих факторов, в данном случае - от того, кто приготовил ϶ᴛᴏт пирог, от степени голода, плотности обеда, температуры окружающей среды. Этот список, вероятно, может быть продолжен. Но, как и во многих других случаях, число таких факторов или, по крайней мере, наиболее распространенных из них, по-видимому, не очень велико. Задачей качественного исследования, как уже говорилось, будет выявление списка данных факторов с разумной степенью полноты. В ϶ᴛᴏй области качественные исследования обладают высокой степенью валидности. Уместно отметить, что определение частотного распределения действия выявленных факторов в изучаемой популяции - дело количественного исследования. Не стоит забывать, что важны, однако, две оговорки:

а) с практической позиции затраты на проведение количественного исследования могут превышать ожидаемый риск от принятия волевого решения, основанного на менее точной информации;

б) адекватная трансформация выявленных факторов в вопросы формализованной анкеты часто затруднена или невозможна, причем часто чрезвычайно трудно бывает даже определить возможную степень ϶ᴛᴏй неадекватности.

Эти обстоятельства нередко снижают валидность количественных исследований до такой степени, что их проведение становится нецелесообразным.

Лишь в тех случаях, когда гипотеза о валидности формулировок вопросов формализованных анкет выглядит обоснованной или правдоподобной, количественное исследование может дать валидный результат, позволяющий принять решение, основанное на более точной информации.

Валидность исследования была определена Куком (Cook) и Кэмпбеллом (Campbell) в 1979 году как наилучшая из имеющихся апроксимаций истинных высказываний, включая высказывания затрагивающие причинно-следственные связи. Данное определение относится к установлению точности выводов исследования и подчеркивает относительный характер истины, которой возможно достичь в социальных науках. В любом научном исследовании исследователь должен уметь ответить на следующие вопросы:

1) существует ли зависимость между двумя переменными;

2) носит ли эта зависимость причинный характер;

3) является ли данная зависимость значимой;

4) действительно ли процедуры измерения и наблюдения относятся к исследуемым конструктам;

5) могут ли быть обобщены причинные зависимости, выявленные в ходе исследования.

Выделим следующие типы валидности, относящиеся к этим вопросам.

1. Валидность статистических выводов

Этот тип валидности соответствует проверке статистической значимости зависимости между двумя переменными. Такие выводы всегда являются вероятностными. Действительно, можно совершить два типа ошибок: решить, что зависимость является значимой, в то время, когда это не так, или решить, что значимая зависимость между переменными отсутствует, когда, напротив, она имеется.

Существуют некоторые факторы, которые могут снижать валидность статистических выводов:

1) слабая чувствительность исследований, которая проявляется при недостаточной по численности выборке или при большой изменчивости в сравниваемых группах, то есть испытуемые являются слишком разными и сильно отличаются друг от друга относительно некоторых переменных;

2) низкая надежность методик измерения или процедур манипулирования переменными, которые используются в исследовании;

3) факторы помех, присутствующие в условиях эксперимента;

4) нарушение принятых правил проведения и обработки, которые установлены для различных статистических методов.

Стратегия повышения валидности статистических выводов состоит в уменьшении вариативности ошибки путем применения, например, схемы исследования с повторными пробами или использования однородных групп. Статистическая состоятельность исследования может диагностироваться как на стадии проектирования исследования (например, проверка расчета величины выборки), так и после исследования для оценки его результатов.

2. Внутренняя валидность

Внутренняя валидность – один из самых важных типов валидности, который действительно касается отношений между зависимыми и независимыми переменными. Эта валидность связана с особым процедурами, которые позволяют определить, насколько выводы, сделанные в данном исследовании, достоверны. После того, как установлено существование зависимости между переменной X и переменной Y, необходимо решить, какая из переменных является причиной, а какая следствием, то есть определить направление данной взаимосвязи. Если Y наблюдается после X, то можно сказать, что X является причиной Y.


Однако может оказаться, что отношение зависимости между X и Y вызвано третьей переменной С. Для установления внутренней валидности необходимо рассмотреть все возможности влияния третьей переменной С на переменные X и Y и исключить их. Считается, что исследование обладает внутренней валидностью, если доказано, что существует зависимость причинно-следственного типа между зависимыми и независимыми переменными.

Причины снижения внутренней валидности исследования:

1. Смешение переменных. Это одна из наибольших опасностей для валидности эксперимента. Если в ходе эксперимента какой-либо случайный фактор (неэкспе­римен­тальная переменная) взаимодействует с зависимой переменной и это взаимодействие не может быть измерено отдельно от взаимодействия зависимой и независимой переменных, то влияние случайной и независимой переменных неразличимо. Проблема смешения переменных является особенно острой в тех исследованиях, где экспериментатор не может контролировать независимую переменную.

2. Изменения, связанные с испытуемыми. При проверке зависимых переменных изменения, произошедшие между двумя моментами наблюдения, могут быть вызваны не независимыми переменными, а изменениями, произошедшими с самими испытуемыми (например, событиями личной жизни, изменением тех или иных свойств личности и т. д.), то есть факторами "зрелости" и "истории".

Под "зрелостью" понимаются изменения, которые произошли с испытуемым между моментом пред-теста и моментом пост-теста и которые не были связаны с влиянием независимых переменных. Например, в экспериментах по моторной координации у испытуемых может наблюдаться ее улучшение за счет тренировок в период между экспериментами. Данное влияние нельзя смешивать с влиянием независимой переменной. Под фактором "истории" подразумеваются события, которые произошли с испытуемыми и которые повлияли на результаты эксперимента.

3. Влияние пред-теста. Пред-тест вызывает изменения испытуемых, и, следовательно, результаты эксперимента в некоторых случаях могут в основном зависеть от пред-теста, а не от зависимой переменной.

4. Изменение навыков исследователя. Например, исследователь, спустя некоторое время, может стать более опытным в наблюдениях и, следовательно, по-другому интерпретировать поведение испытуемых. Кроме того, на исследователя могут влиять такие факторы, как усталость, что может привести к ошибкам в экспериментах.

5. Регрессия к среднему. Это явление наблюдается тогда, когда индивиды подвергаются повторным испытаниям относительно одной и той же переменной. Установлено, что если испытуемые получили в первом испытании результаты, по величине близкие к высшим показателям шкалы, то при повторном эксперименте их результаты снижаются и становятся ближе к средним показателям, в то время как испытуемые, которые получили в первом испытании результаты, близкие к низшим, при повторном измерении достигают лучших показателей. Регрессия к среднему наблюдается также в случае ошибок, связанных с изменением переменной.

6. Отсев. Известно, что в ходе исследования некоторые испытуемые покидают группу. Оставшиеся испытуемые, естественно, отличаются от выбывших.

Предположим, что исследуется два метода модификации поведения для контроля за весом тела. Группе 1 предписана диета. Кроме того, испытуемые первой группы должны ежедневно записывать в дневник все, что они едят, точно взвешивать все блюда и подсчитывать калорийность пищи. Группе 2 была просто предписана диета. Очевидно, что некоторые испытуемые группы с более обременительным заданием выйдут из эксперимента. В конце эксперимента процент испытуемых с высокой мотивацией в этой группе будет больше. У испытуемых с более высокой мотивацией больше вероятность похудения. Поэтому исследователь может прийти к ошибочному выводу о том, что условия в первой группе более эффективны для похудения.

Некоторые авторы говорят также о конструктной валидности . Конструктная валидность подобна внутренней валидности и подразумевает соответствие между полученными результатами и теорией, которая лежит в основе исследования. Для того, чтобы оценить конструктную валидность, необходимо исключить другие возможные теоретические объяснения результатов. Если есть сомнения в том, насколько экспериментальные результаты соотносятся с теоретическими, необходимо спланировать новый эксперимент, который позволит выбрать одно из нескольких теоретических объяснений результатов. Этот тип валидности наиболее трудно получить, потому что имеются многочисленные теории, с помощью которых можно объяснить соотношение переменных, полученное в эксперименте.

Рассмотрим две причины снижения конструктной валидности. Первая – слабая связь между теорией и экспериментом. Действительно, во многих психологических исследованиях даются нечеткие операционные определения теоретических понятий. Вторая причина определяется, во‑первых, тем, что испытуемые очень часто начинают играть роль "хорошего" объекта исследования и ведут себя таким образом, чтобы доставить удовольствие экспериментатору, и во-вторых, тем, что у испытуемых, особенно в экспериментах, замеряющих их умственные способности или эмоциональную стабильность, развивается высокая тревожность относительно ожидаемой оценки.

3. Валидность процедур

Третий тип валидности – это валидность процедур, которые позволяют варьировать и измерять переменные. Даже необходимость определить в операциональных терминах концептуальные переменные, значимые для исследования, уже является источником риска. Действительно, "перевод" понятия на уровень конкретных операций может неадекватно отразить теоретические положения исследования.

Часто исследователь неосознанно стимулирует ответ, который он ожидает получить. Избежать этого можно, используя стратегии невмешательства в исследования и соответствующие методы измерения. При этом испытуемые не должны знать, что за ними наблюдают, что позволяет снять нежелательную мотивировку по отношению к эксперименту.

4. Внешняя валидность

Под внешней валидностью понимается возможность обобщать результаты исследования, то есть распространять выводы, полученные на экспериментальной выборке, на всю генеральную совокупность. Внешняя валидность существенно зависит от способа формирования выборки. Существует три основных типа выборки:

1. Случайная выборка. Например, результаты исследования группы подростков, сформированной случайным способом, будут справедливы с некоторой степенью вероятности для всех итальянских подростков. Однако такое исследование может оказаться очень сложным и дорогостоящим, так как выборка должна быть многочисленной и однородной.

2. Гетерогенная (неоднородная) выборка. В соответствии с целями исследования выделяются различные группы населения, на которых предполагается получить результаты исследования. Затем анализируется случайная выборка с тем, чтобы убедиться, что она содержит достаточное количество представителей каждой группы.

3. Выборка типичного случая. Например, дается определение среднего молодого итальянца. Для исследования используется выборка, состоящая из индивидов, удовлетворяющих этому определению. Тогда, если проводится эксперимент со студентами университета, например, на способность к ведению переговоров, то нельзя рассчитывать на то, что полученные выводы будут применимы для глав государств.

Внешнюю валидность снижает также несоответствие между явлениями, наблюдаемыми в лаборатории, и явлениями в естественных условиях. Трудно определить, имеет ли место выявленная зависимость только в лаборатории или она наблюдается и вне лаборатории. Внешняя валидность обеспечивается неоднократным проведением эксперимента в гетерогенных условиях.

Необходимо решить, какой тип валидности является главным для данного исследования. Действительно, процедуры, используемые для повышения одного типа валидности, могут снижать другие типы валидности.

Например, для повышения валидности статистических выводов исследователь должен использовать максимально разнородные объекты, снижая таким образом возможность ошибки. При этом внешняя валидность уменьшается.

Тип приоритетной валидности зависит от типа проводимого исследования. Например, если в экспериментальном исследовании устанавливается причинно-следственная зависимость между переменными, то в этом случае внутренняя валидность является основной. Напротив, при вычислении корреляционных связей между переменными невозможно установить направление причинно-следственных отношений, поэтому в данном случае внутренняя валидность не представляет интереса по сравнению с другими типами валидности.

С понятием валидности связано понятие контроля . Под контролем понимается любое средство, используемое для исключения возможности снижения валидности исследования. На практике исследователь проверяет, какие факторы могут снизить валидность исследования и какие методы могут быть использованы для нейтрализации этих факторов.

Различают шесть основных методов контроля.

1. Одним из наиболее часто используемых методов контроля является проведение эксперимента с группой испытуемых, которые не подвержены влиянию исследуемой переменной и которые сравниваются с испытуемыми, подверженными этому влиянию. Например, исследуется две группы относительно независимой переменной. Группа 1 получает воздействие и называется экспериментальной. Группа 2 не получает воздействия и называется контрольной. Результаты экспериментальной группы сравниваются с результатами контрольной группы. Если две группы были одинаковыми до экспериментального воздействия, то любое различие между ними, зафиксированное после эксперимента, может быть отнесено за счет этого воздействия.

В широком смысле слова валидность, т.е. обоснованность метода, означает соответствие получаемых с его помощью эмпирических данных основным целям исследования. Вопрос о валидности качественных методов в предшествующие годы был сильно запутан специалистами по математической статистике, которые распространили весьма специфичные статистические критерии валидности на классы задач и исследовательских ситуаций, не имеющих ничего общего с идеальными объектами типа вынимаемых из корзины разноцветных шаров, которыми оперирует теория вероятности.

Прежде, чем перейти к описанию качественных исследований, особенно групповых, следует охарактеризовать их отличия от количественных исследований. Чтобы понять эти отличия полнее, необходимо разобраться в том, что, собственно говоря, является «ошибкой» исследования.

Количественные социологические исследования являются разновидностью исследований, в основании которых лежит математическая теория вероятности. В числе аксиоматических предпосылок этой теории имеется весьма важная предпосылка о том, что различия между анализируемыми объектами ограничены фиксированным набором дискретных признаков. К примеру, шары, лежащие в корзине, различаются по цвету, размеру и нарисованным на них цифрам. Люди, соответственно, могут различаться по своим демографическим признакам, установкам и тд., причем важно отметить, что в любом конкретном анкетном опросе набор признаков ограничен числом квантифицированных вопросов анкеты, а все прочие возможные признаки предполагаются идентичными.

Основным критерием, характеризующим исследование статистического типа, является надежность, т.е. воспроизводимость полученных результатов. Если провести повторный опрос по той же методике в той же самой социальной группе, и результаты обоих опросов будут идентичны - значит, они надежны. Сегодня никто не оспаривает тот факт, что при правильно проведенном массовом репрезентативном опросе с помощью формализованных анкет автоматически достигается высокая степень воспроизводимости результатов. Однако вопрос их валидности этим далеко не исчерпывается.



В математической социологии валидность исследования принято трактовать как степень соответствия средства измерения тому, что подлежало измерению . Словарь поясняет далее, что в строгом смысле слова валидизация возможна лишь при наличии независимого внешнего критерия, но такая ситуация в социологии является редкостью. Во всех остальных случаях валидность результатов количественных опросов является не более чем гипотезой, оценка степени правдоподобия которой не имеет ничего общего с математическими и статистическими процедурами. Низкая степень правдоподобия многих неявных содержательных гипотез, латентно закладываемых исследователями в формулировки и структуру формализованных вопросов, а порой и полное отсутствие такого правдоподобия, является очень серьезной и плохо осознанной проблемой.

Таким образом, статистическую надежность результатов количественных исследований не следует путать с их надежностью и обоснованностью в широком смысле этого слова. Строго говоря, количественные исследования надежны лишь в той мере, в какой саму проблему надежности удается свести к ее статистическому толкованию. Если такое сведение не удалось или в принципе невозможно, количественные данные становятся крайне ненадежной основой для выводов.

Сравнивая количественные и качественные методы с точки зрения их валидности, следует прежде всего отметить, что сферы их валидного применения не совпадают друг с другом. Это делает бессмысленным обобщенное сравнение их по критерию валидности. Существуют классы задач, в которых количественные методы обладают высокой, а качественные низкой валидностью. Вместе с тем существуют - и этот аспект обычно слабо подчеркивается даже в специальной литературе - другие классы задач, в которых указанное соотношение прямо противоположно.

Разнородность массива обеспечивается участием нескольких десятков респондентов, что уже дает основания для приблизительного распределения однотипных ответов по трехчленной или пятичленной шкале: явное меньшинство, меньшинство, примерно поровну, большинство, явное большинство. Главное, однако, состоит не в этом. Специфика массива первичных данных групповых интервью состоит в том, что:

1. Единицей анализа является не респондент, а высказывание. Поскольку каждый респондент является носителем многих высказываний, это, как минимум, на порядок увеличивает массив первичных аналитических единиц, делая его статистически значимым.

2. В задачу качественных исследований не входит определение численности или удельного веса носителей той или иной точки зрения в обществе или его сегменте. По отношению к такому классу проблем качественные методы невалидны.

Задачей качественных методов является формирование списка так называемых «гипотез существования», т.е. списка мнений, оценок или высказываний, существующих в обществе и, предположительно, имеющих не нулевую степень распространения. При этом, как отмечает Д.Темплтон, предпочтительнее ошибиться, выявив несуществующий или малозначимый фактор, чем упустить высокозначимый.

Математический аппарат, приспособленный для решения задач подобного типа, в принципе хорошо известен. Он используется в лингвистке при составлении списков звуков и слогов, а также частотных словарей слов и словосочетаний. Этот же аппарат используется и в социологических исследованиях, осуществляемых с помощью контент-анализа. Применительно к последнему случаю математическая постановка задачи выглядит примерно так: «Имеется кандидат в президенты А, о котором пишут в газетах. Требуется составить как можно более полный список эпитетов, которыми авторы статей характеризуют данного кандидата. Какой объем газетных текстов следует изучить, чтобы с вероятностью 95% число невыявленных эпитетов не превысило 5% ?»

Как и подавляющее большинство прикладных статистических задач, данная задача не решаема без определенных предварительных знаний о характере частотного распределения искомых эпитетов, а также без некоторых априорных допущений. В зависимости от практического удобства выбора той или иной системы допущений сама постановка задачи может варьироваться. Углубление в этот вопрос выходит за рамки нашей темы, поскольку в прикладных исследованиях, осуществляемых с помощью метода фокус-групп, статистический аппарат, подобный описанному выше, если где-то и применяется, то лишь в узкоспециальных исследованиях, далеких от сферы применения маркетинговых фокус-групп. Основных причин этому видится две. Первая - применение такого аппарата сильно удорожает исследования, а коммерческий заказчик не склонен оплачивать математические «красоты», если они никак не влияют на конечные выводы. По ряду причин, которые будут описаны ниже, и заказчики, и исследователи считают вполне достаточной ориентацию на следующий субъективный критерий: если количество новой информации, получаемой от каждой следующей группы, резко упало, исследование следует прекращать.

Вторая причина гораздо более фундаментальная. Она связана с тем, что сегодня строго операциональное и поддающееся автоматизации вычленение из текстов смысловых единиц возможно только на уровне слов и устойчивых словосочетаний. Вычленение, группировка и тапологизация более сложных смысловых единиц, осуществляемые на аналитической стадии качественного социологического исследования, могут выполняться только человеком на основе еще не изученных бессознательных интеллектуальных алгоритмов. Быстрый прогресс в развитии компьютерных программ автоматизированного перевода дает возможность предположить, что с течением времени станет осуществимым автоматизированное распознавание все более сложных смысловых единиц. Однако на практику фокус-групповых исследований эта работа пока не оказывает никакого влияния. При изучении литературы по маркетинговым фокус-группам мы ни разу не встречались с упоминанием о применении контент-анализа в какой бы то ни было форме. В области академических исследований такие упоминания имеются , однако изучение данного вопроса требует специальной работы. Отметим здесь же, что в начале 90-х годов наиболее современной работой по методам компьютерного контент-анализа считалась работа Вебера .

Резюмируя, обратимся к вопросу определения областей валидное™ количественных и качественных исследований. Выше было показано, что эти области принципиально различны, поскольку радикально различны решаемые ими классы задач. Область валидного применения формализованных опросов только на первый взгляд кажется беспредельной или очень широкой. На самом деле она ограничена выявлением степени распространенности тех или иных знаний, мнений или установок, которые:

а) должны быть известны заранее, т.е. до проведения опроса;

б) не должны быть навязываемой респонденту фикцией или псевдосуждениями, не свойственными его сознанию.

Для выявления самого факта существования знаний, мнений или установок количественные методы непригодны, что хорошо видно из следующего сравнения результатов опроса.

С.А.Белановский, [email protected]

В широком смысле слова валидность, т.е. обоснованность метода, означает соответствие получаемых с его помощью эмпирических данных основным целям исследования. Вопрос о валидности качественных методов в предшествующие годы был сильно запутан специалистами по математической статистике, которые распространили весьма специфичные статистические критерии валидности на классы задач и исследовательских ситуаций, не имеющих ничего общего с идеальными объектами типа вынимаемых из корзины разноцветных шаров, которыми оперирует теория вероятности.

Прежде, чем перейти к описанию качественных исследований, особенно групповых, следует охарактеризовать их отличия от количественных исследований. Чтобы понять эти отличия полнее, необходимо разобраться в том, что, собственно говоря, является «ошибкой» исследования.

Количественные социологические исследования являются разновидностью исследований, в основании которых лежит математическая теория вероятности. В числе аксиоматических предпосылок этой теории имеется весьма важная предпосылка о том, что различия между анализируемыми объектами ограничены фиксированным набором дискретных признаков. К примеру, шары, лежащие в корзине, различаются по цвету, размеру и нарисованным на них цифрам. Люди, соответственно, могут различаться по своим демографическим признакам, установкам и тд., причем важно отметить, что в любом конкретном анкетном опросе набор признаков ограничен числом квантифицированных вопросов анкеты, а все прочие возможные признаки предполагаются идентичными.

Основным критерием, характеризующим исследование статистического типа, является надежность, т.е. воспроизводимость полученных результатов. Если провести повторный опрос по той же методике в той же самой социальной группе, и результаты обоих опросов будут идентичны - значит, они надежны. Сегодня никто не оспаривает тот факт, что при правильно проведенном массовом репрезентативном опросе с помощью формализованных анкет автоматически достигается высокая степень воспроизводимости результатов. Однако вопрос их валидности этим далеко не исчерпывается.

В математической социологии валидность исследования принято трактовать как степень соответствия средства измерения тому, что подлежало измерению . Словарь поясняет далее, что в строгом смысле слова валидизация возможна лишь при наличии независимого внешнего критерия, но такая ситуация в социологии является редкостью. Во всех остальных случаях валидность результатов количественных опросов является не более чем гипотезой, оценка степени правдоподобия которой не имеет ничего общего с математическими и статистическими процедурами. Низкая степень правдоподобия многих неявных содержательных гипотез, латентно закладываемых исследователями в формулировки и структуру формализованных вопросов, а порой и полное отсутствие такого правдоподобия, является очень серьезной и плохо осознанной проблемой.

Таким образом, статистическую надежность результатов количественных исследований не следует путать с их надежностью и обоснованностью в широком смысле этого слова. Строго говоря, количественные исследования надежны лишь в той мере, в какой саму проблему надежности удается свести к ее статистическому толкованию. Если такое сведение не удалось или в принципе невозможно, количественные данные становятся крайне ненадежной основой для выводов.

Сравнивая количественные и качественные методы с точки зрения их валидности, следует прежде всего отметить, что сферы их валидного применения не совпадают друг с другом. Это делает бессмысленным обобщенное сравнение их по критерию валидности. Существуют классы задач, в которых количественные методы обладают высокой, а качественные низкой валидностью. Вместе с тем существуют - и этот аспект обычно слабо подчеркивается даже в специальной литературе - другие классы задач, в которых указанное соотношение прямо противоположно.

В задачу нашего учебника не входит рассмотрение вопросов методологии качественных методов вообще. Специфика фокус-групп, а также индивидуальных глубоких интервью, если они проводятся большими сериями, состоит в том, что к ним, по крайней мере теоретически, также применимы статистические критерии обоснованности, хотя и иные, чем в количественных исследованиях.

Текстовые расшифровки серии групповых интервью, проведенных на определенную тему, образуют массив первичных данных объемом в несколько сотен страниц. Этот массив вполне пригоден для анализа с применением статистических методов как с точки зрения его размеров, так и с точки зрения разнородности. Разнородность массива обеспечивается участием нескольких десятков респондентов, что уже дает основания для приблизительного распределения однотипных ответов по трехчленной или пятичленной шкале: явное меньшинство, меньшинство, примерно поровну, большинство, явное большинство. Главное, однако, состоит не в этом. Специфика массива первичных данных групповых интервью состоит в том, что:

  1. Единицей анализа является не респондент, а высказывание. Поскольку каждый респондент является носителем многих высказываний, это, как минимум, на порядок увеличивает массив первичных аналитических единиц, делая его статистически значимым.
  2. В задачу качественных исследований не входит определение численности или удельного веса носителей той или иной точки зрения в обществе или его сегменте. По отношению к такому классу проблем качественные методы невалидны.

Задачей качественных методов является формирование списка так называемых «гипотез существования», т.е. списка мнений, оценок или высказываний, существующих в обществе и, предположительно, имеющих не нулевую степень распространения. При этом, как отмечает Д.Темплтон, предпочтительнее ошибиться, выявив несуществующий или малозначимый фактор, чем упустить высокозначимый.

Математический аппарат, приспособленный для решения задач подобного типа, в принципе хорошо известен. Он используется в лингвистке при составлении списков звуков и слогов, а также частотных словарей слов и словосочетаний. Этот же аппарат используется и в социологических исследованиях, осуществляемых с помощью контент-анализа. Применительно к последнему случаю математическая постановка задачи выглядит примерно так: «Имеется кандидат в президенты А, о котором пишут в газетах. Требуется составить как можно более полный список эпитетов, которыми авторы статей характеризуют данного кандидата. Какой объем газетных текстов следует изучить, чтобы с вероятностью 95% число невыявленных эпитетов не превысило 5% ?»

Как и подавляющее большинство прикладных статистических задач, данная задача не решаема без определенных предварительных знаний о характере частотного распределения искомых эпитетов, а также без некоторых априорных допущений. В зависимости от практического удобства выбора той или иной системы допущений сама постановка задачи может варьироваться. Углубление в этот вопрос выходит за рамки нашей темы, поскольку в прикладных исследованиях, осуществляемых с помощью метода фокус-групп, статистический аппарат, подобный описанному выше, если где-то и применяется, то лишь в узкоспециальных исследованиях, далеких от сферы применения маркетинговых фокус-групп. Основных причин этому видится две. Первая - применение такого аппарата сильно удорожает исследования, а коммерческий заказчик не склонен оплачивать математические «красоты», если они никак не влияют на конечные выводы. По ряду причин, которые будут описаны ниже, и заказчики, и исследователи считают вполне достаточной ориентацию на следующий субъективный критерий: если количество новой информации, получаемой от каждой следующей группы, резко упало, исследование следует прекращать.

Вторая причина гораздо более фундаментальная. Она связана с тем, что сегодня строго операциональное и поддающееся автоматизации вычленение из текстов смысловых единиц возможно только на уровне слов и устойчивых словосочетаний. Вычленение, группировка и тапологизация более сложных смысловых единиц, осуществляемые на аналитической стадии качественного социологического исследования, могут выполняться только человеком на основе еще не изученных бессознательных интеллектуальных алгоритмов. Быстрый прогресс в развитии компьютерных программ автоматизированного перевода дает возможность предположить, что с течением времени станет осуществимым автоматизированное распознавание все более сложных смысловых единиц. Однако на практику фокус-групповых исследований эта работа пока не оказывает никакого влияния. При изучении литературы по маркетинговым фокус-группам мы ни разу не встречались с упоминанием о применении контент-анализа в какой бы то ни было форме. В области академических исследований такие упоминания имеются , однако изучение данного вопроса требует специальной работы. Отметим здесь же, что в начале 90-х годов наиболее современной работой по методам компьютерного контент-анализа считалась работа Вебера .

Резюмируя, обратимся к вопросу определения областей валидное™ количественных и качественных исследований. Выше было показано, что эти области принципиально различны, поскольку радикально различны решаемые ими классы задач. Область валидного применения формализованных опросов только на первый взгляд кажется беспредельной или очень широкой. На самом деле она ограничена выявлением степени распространенности тех или иных знаний, мнений или установок, которые:

    а) должны быть известны заранее, т.е. до проведения опроса;

    б) не должны быть навязываемой респонденту фикцией или псевдосуждениями, не свойственными его сознанию.

Для выявления самого факта существования знаний, мнений или установок количественные методы непригодны, что хорошо видно из следующего сравнения результатов опроса.

А. Количественное исследование

Вопрос: Что Вы предпочитаете - яблочный пирог или шо­коладный кекс? (% к числу опрошенных)

    Яблочный пирог - 26%

    Шоколадный кекс - 22%

    И то, и другое - 43%

    Затрудняюсь ответить - 9%

Б. Качественное исследование

Вопрос: Что Вы предпочитаете - яблочный пирог или шоколадный кекс?

Ответ: Я не знаю. Я люблю и то, и другое.

Вопрос: Хорошо, если Вам надо взять что-то одно, что это будет? Подумайте.

Ответ: Конечно, пироги различаются. Если у меня будет возможность взять яблочный пирог моей мамы, то я предпочту его любому шоколадному кексу. Если необходимо взять какой-то яблочный пирог, то я точно не знаю.

Вопрос: От чего еще может зависеть Ваш выбор?

Ответ: Например, это зависит от того, что я ем на обед. Если у меня полный обед, я думаю, что возьму яблочный пирог. Яблочный пирог - это большой деликатес в моей семье. Но если на обед я ел что-то легкое, типа рыбы, то лучше взять кекс. Если холодно, я не откажусь от шоколадного кекса [б3] .

Приведенный диалог хорошо иллюстрирует тот факт, что простой ответ «Я выбираю яблочный пирог» зависит от многих факторов, в данном случае - от того, кто приготовил этот пирог, от степени голода, плотности обеда, температуры окружающей среды. Этот список, вероятно, может быть продолжен. Но, как и во многих других случаях, число таких факторов или, по крайней мере, наиболее распространенных из них, по-видимому, не очень велико. Задачей качественного исследования, как уже говорилось, является выявление списка этих факторов с разумной степенью полноты. В этой области качественные исследования обладают высокой степенью валидности. Определение частотного распределения действия выявленных факторов в изучаемой популяции - дело количественного исследования. Важны, однако, две оговорки:

    а) с практической точки зрения затраты на проведение количественного исследования могут превышать ожидаемый риск от принятия волевого решения, основанного на менее точной информации;

    б) адекватная трансформация выявленных факторов в вопросы формализованной анкеты часто затруднена или невозможна, причем часто чрезвычайно трудно бывает даже определить возможную степень этой неадекватности.

Эти обстоятельства нередко снижают валидность количественных исследований до такой степени, что их проведение становится нецелесообразным.

Лишь в тех случаях, когда гипотеза о валидности формулировок вопросов формализованных анкет выглядит обоснованной или правдоподобной, количественное исследование может дать валидный результат, позволяющий принять решение, основанное на более точной информации.

§ 2.2. Группа как модель социума

В большинстве исследуемых человеческих проблем доминирующим является социальный аспект. Людей можно понять либо через их взаимоотношения друг с другом, либо через их собственное внутреннее содержание как индивидуумов. Метод индивидуального интервью при определенных условиях может свести к минимуму действие первого фактора, побуждая опрашиваемого всматриваться в себя. В противоположность этому группы обеспечивают, в основном, социальный контакт. В исследованиях, посвященных изучению способов, которыми взаимодействуют люди и идеи, этот аспект становится особенно важен. Еще на заре своего существования социология показала, что личные мнения людей формируются не в изоляции, причем огромную роль в их формировании играют первичные группы, общение шлицом к лицу».

Группа, созданная для проведения интервью, является, конечно, весьма искусственной моделью общества, но все же групповое взаимодействие обязывает участников, выражая свои мнения, отвечать при этом на мнения других. Это является весьма существенным фактором, где большинство (включая и самих исследователей) имеют ограниченную способность для самонаблюдения и самоанализа, равно как и ограниченную способность для словесного выражения своего понимания проблем, которые у них есть. Часто в интервью люди формируют ответы на вопросы, которые они, в действительности, никогда не задавали себе сами. В обыденном поведении так много организуется и мотивируется на подсознательном или полусознательном уровне, и в нем так много привычного и автоматического, что даже организованно мыслящий человек обладает весьма ограниченным проникновением в свои собственные установки и мотивации. В группе людям может помочь, с одной стороны, собственное взаимодействие с другими членами группы, а с другой - наблюдение и вылушивание других взаимодействующих людей.

Социодинамика, управляющая групповым процессом, описана психологом Вернером, который разработал модель этого процесса. Согласно Вернеру, он включает в себя три стадии: 1) недифференцированной общности; 2) дифференциации; 3) иерархической интеграции .

Когда группа собирается впервые, то ее члены рассматриваются модератором и самими участниками как недифференцированное целое. Группа представляет собой 8-10 человек, сидящих вокруг стола без какой-либо социальной структуры, организующей личные взаимодействия. Между членами группы не наблюдается никакого различия, за исключением их внешности. На этом этапе группа представляет собрание людей, не идентифицированных индивидуальными характеристиками или отношениями друг к другу.

От этапа недифференцированной общности процесс очень быстро переходит к тому, что каждый член группы становится отличим от других. Участников группы просят идентифицировать себя относительно своего взгляда на продукт или услугу, подлежащие обсуждению; они могут выступать в роли сторонников, противников или занимать среднюю позицию между этими ролями.

Дифференциация неизбежно происходит также и по характеристикам, которые напрямую не связаны с обсуждаемым вопросом. Достаточно быстро между членами группы обозначаются различия, связанные с личностными характеристиками доминирование или уступчивость; открытость или замкнутость; агрессивность или застенчивость. Различия, связанные с отношением к обсуждаемому предмету, вместе с личностными различиями образуют основание, на котором строится окончательный этап процесса.

После того как члены группы дифференцировались, можно увидеть постепенное возникновение истинного лица группы, т.е. системы взаимоотношений, образующих некую социальную структуру. Доминирующие члены группы, стремящиеся к ведущим ролям, могут выдвигать наиболее сильные аргументы «за» или «против» обсуждаемого продукта. Остальные члены будут пытаться высказывать свое мнение менее прямым и категоричным образом. Самые уступчивые вообще не будут высказываться до тех пор, пока не получат одобрения со стороны лидеров. Постепенно участники осознают свое сходство с некоторыми другими участниками и объединяются на этой основе. Таких неформальных объединений обычно возникает два или три. Во главе каждого из них стоит свой лидер. Процесс структурирования группы носит название иерархической интеграции.

Иерархически интегрированная группа всегда выдвигает как лидеров, так и их последователей, причем как среди сторонников, так и среди их противников. Это моделирует процесс взаимодействия, происходящий в более широком социальном окружении за пределами группы. Как уже говорилось, одна из основных ценностей группового интервью состоит в том, что группа в качестве микрокосма, моделирует большое общество. Лидеры в групповом интервью, скорее всего, явля­ются лидерами и в своем собственном социальном окружении; последователи лидеров в данной группе, скорее всего, являются последователями подобных лидеров и в своей социальной среде.

Таким образом, в групповом интервью происходят два важных процесса:

  1. Дифференциация участников в связи с их отношением к обсуждаемому предмету.
  2. Интеграционные социальные процессы, по которым формируются эти отношения, становятся очевидными, наглядными, а не подразумеваемыми.

Описанные выше механизмы позволяют модератору при проведении группового интервью не предпринимать никаких специальных усилий для развития иерархической структуры группы. Лидеры мнений естественным образом должны сами появляться в том случае, когда им это разрешают. Процесс выдвижения лидеров должен контролироваться, так как давление доминирующего поведения может подорвать развитие группы, необходимое для получения объективной информации.

Концепция иерархической интеграции, акцентирующая позитивную роль лидерства, вступает в определенное противоречие с предшествующей системой взглядов на групповой процесс, в рамках которых лидерство рассматривалось как вредное явление, а каждый участник должен был получить равное время и равные возможности. Ныне эта точка зрения считается устаревшей. Блокирование процессов иерархической организации группы разрушает методические основания для ее проведения. Только в том случае, когда происходит иерархическая интеграция, появляется возможность проверки на прочность структуры потребительских взглядов в окружении, которое наиболее приближено к ситуации, когда люди выражают друг другу свое мнение и в соответствии с ним принимают решение. Процедура индивидуального интервью обычно не подвергает взгляды респондента столь жесткому и реалистичному тесту. В сравнении с индивидуальным интервью иерархически интегрированная группа создает окружение, в котором, как отмечает Аксельрод, неожиданные разоблачения совмещаются со свободой респондентов поддерживать друг друга .

Модераторы и опытные наблюдатели часто отмечают, что результатом иерархической организации становится проявление признания социальных ролей внутри каждой группы. Респонденты могут принять эти роли на основе своих личностных черт и социальной позиции, занимаемой ими вне группы, часто сопровождая роль, которую они собираются играть, выразительными комментариями и жестами. Так как каждая группа представляет собой вновь возникающий микрокосм, в котором два или три лица могут конкурировать в лидерстве, то динамика группового процесса, несомненно, должна формировать эти роли в ходе обсуждения. Каждый индивид получает свое место в формирующейся структуре отношений, и это место признается другими участниками.

Существует еще один аспект группового взаимодействия, важный с методической точки зрения. В индивидуальных интервью язык: используемый респондентом, часто сильно отличается от естественного. Этот эффект выражен тем сильнее, чем более велика социальная дистанция между интервьюером и опрашиваемым. Усилия по минимизации этого искажения, в общем, являются неэффективными. В групповом интервью эта проблема снимается сама собой. Язык группового обсуждения всегда естественен, и интервью не в состоянии его изменить.

Итак, появление лидеров в групповом интервьюировании является нормальным процессом, и его не следует подавлять. Вместе с тем следует подчеркнуть, что квалифицированное ведение группы требует непрерывного управления ее развивающейся социальной структурой. Модератор должен видеть, какие отношения развиваются естественно, но он не должен при этом отказываться от права арбитра. В отличие от антрополога, пытающегося взглянуть на культуру с почти невидимой точки наблюдения (играя роль наблюдателя, не принимающего участия), модератор группы должен проявлять свой авторитет, т.е. время от времени вмешиваться в процесс, происходящий в группе, чтобы не была сведена к минимуму ее информационная ценность. Главы, описывающие специфическую технику ведения групп, дают указания, как пользоваться этим авторитетом.

§ 2.3. Подходы к анализу групповых интервью

В основе осмысления и анализа материалов фокус-групп и большинства других качественных методов лежит так называемая концептуальная триангуляция, т.е. соотнесение друг с другом разных систем взглядов. Концептуальную триангуляцию не следует путать с методической триангуляцией, которая означает сочетание различных методов при исследовании одной и той же конкретной проблемы.

Число возможных концептуальных триангуляции зависит от числа точек зрения на соответствующий вопрос. Эти точ­ки зрения, или системы взглядов, могут принадлежать либо к обыденному, либо к научному мышлению, т.е., следуя терминологии Б.Халдера, представлять собой концептуальные конструкции либо первого, либо второго порядка [б8] . Обыденные точки зрения различаются в зависимости от принадлежности людей к разным субкультурам, а также в зависимости от других факторов, вплоть до индивидуальных стилей мышления. Научные точки зрения или, лучше сказать, разработанные наукой концептуальные трактовки также различаются прежде всего в зависимости от принадлежности ученого к той или иной научной дисциплине, затем к той или иной школе и, наконец, в зависимости от индивидуальной системы научных взглядов. Если рассматривать концептуальные взаимодействия на уровне различий в индивидуальных стилях мышления, то число таких взаимодействий окажется бесконечным, в результате чего возникает термин «бесконечная триангуляция» . Если ограничить рассмотрение в обыденном мышлении только взаимодействиями культур и субкультур, а в научном - смежными дисциплинами и научными школами, то число возможных концептуальных взаимодействий резко сократится, но все же останется достаточно велико. Но если свести вопрос к проблеме взаимодействия стилей мышления, свойственных различным субкультурам (как обыденным, так и научным), к обмену мнениями по какому-то конкретному предмету, то число релевантных точек зрения становится обозримо и обычно даже невелико.

Когда в процессе группового обсуждения сталкиваются две или более точки зрения, этот процесс может быть назван триангуляцией между конкурирующими или сосуществующими точками зрения в обыденном сознании. Процесс такого взаимодействия уже описан нами выше. В данном параграфе мы будем условно рассматривать групповую точку зрения как единую, чтобы определить, с позиций каких иных систем взглядов она может быть изучена.

В маркетинговых фокус-групповых исследованиях имеются три основные ролевые позиции: респонденты, организация-заказчик и исследователь. Исследователи, как уже говорилось, могут принадлежать к разным научным школам. Не менее важно, что один и тот же исследователь может анализировать результаты обсуждения с точки зрения разных непересекающихся систем взглядов (например, психологическая теория и маркетинг). Кроме того, у исследователя имеется своя компонента обыденного мышления, которая тоже задействована в анализе. Взаимодействие между системами взглядов заказчика и исследователя есть несомненный и очень важный элемент, который играет значительную роль на протяжении всего фокус-группового исследования. Ниже будет показано, в чем конкретно это проявляется. Однако здесь мы ограничимся описанием взаимодействий мышления заказчика и исследователя с мышлением респондентов. Поскольку указанные взаимодействия односторонни (взгляды респондентов являются объектом изучения с позиций внешних наблюдателей), мы будем называть эти системы взглядов аналитическими подходами к изучению мнений, или просто подходами. Перечислим основные подходы, с позиций которых анализируются мнения участников групп,

Менеджерский подход. Б.Калдер неточно называет его «феноменологическим», обозначая этим термином анализ взглядов потребителей с точки зрения взглядов производителей или, в более широком смысле, с точки зрения заказчиков исследования. Исследователь в этом случае выполняет функцию ретранслятора, обеспечивая коммуникацию между этими системами взглядов. По образному выражению Аксельрода , фокус-группы дают производителю шанс побыть в плоти и крови потребителя, поставить себя на его место и посмотреть на свою продукцию его глазами. Поскольку основные аспекты обыденного знания разделены в обществе по социальным классам и группам, многие черты этого знания не являются едиными. В большей части случаев как заказчик, так и специалисты-исследователи принадлежат к социальным слоям, интерсубъективность (социально обусловленные мнения) которых не совпадает с той, которая характерна для представителей изучаемых сегментов рыночного или электорального пространства.

Иллюстрацией к сказанному, а также примером, иллюстрирующим силу метода фокус-групп, может служить высказывание Темплтон о том, что если язык и мышление респондентов не слишком загрязнены ожиданиями исследователей, то многие их слова могут произвести шоковое впечатление на заказчиков. Так, производитель дорогостоящей косметики, предназначенной для женщин среднего возраста, был буквально потрясен, услышав, как одна из участниц обсуждения назвала его увлажняющий крем «жиром» . Гринбаум сообщает о другом случае, когда высокопоставленный менеджер корпорации был настолько возмущен высказываниями одной респондентки, что в нарушение всех правил подкараулил ее у выхода и устроил ей большой разнос [б5] . Действия этого менеджера, конечно, нельзя назвать эффективной маркетинговой стратегией, но они показывают, что благодаря процессам триангуляции для разработки таких стратегий могут возникать довольно сильные мотивации, которые необходимо лишь направить в нужное русло. Применительно к своему примеру Темплтон ставит вопрос так: «Что должны узнать потребители о данном изделии, чтобы они перестали называть его жиром?».

Маркетинговый подход. Хотя трудно сказать, является ли маркетинг научной дисциплиной, он, во всяком случае, включает в себя определенную систему представлений о топономии рыночного пространства, т.е. о конкурирующих человеческих потребностях, динамике спроса, сегментах рынка, конкурентной борьбе между продуктовыми категориями и внутри них ("межвидовая" и «внутривидовая» борьба) и т.д. По нашему мнению, специфичный угол зрения на маркетинговые проблемы, формирующийся у исследователей, непосредственно работающих с фокус-группами потребителей, недостаточно представлен в учебниках по маркетингу и, вообще, по-видимому, плохо отрефлексирован. Последнее дает основания отнести маркетинговые знания не к научному, а скорее к очень специфичному обыденному знанию, спонтанно формирующемуся в «модераторской субкультуре». Во всяком случае, опрошенные модераторы и авторы учебников по фокус-группам единодушны в мнении о том, что, с одной стороны, рост их общей квалификации в очень большой степени зависит от роста понимания ими маркетинговых проблем; с другой стороны, - что стандартные курсы обучения маркетингу оцениваются как полезные, но не дающие нужной квалификации.

Так или иначе, маркетинговая квалификация помогает исследователю адекватно понимать как заказчика, так и респондентов, служить эффективным коммуникатором между ними (это сродни работе переводчика) и, наконец, вносить свою лепту в итоговые выводы. Эта «лепта» не является информацией, полученной от респондентов или заказчиков, а скорее является аккумулированным опытом прошлой работы модераторов.

Политологический подход. Этот подход используется вместо маркетингового в тех случаях, когда предмет исследования связан не с товарами, а с имиджами политических деятелей и политической рекламой. Этот ракурс политологии является системой представлений о топонимии электорального пространства. Структура и функциональные свойства электорального и маркетингового пространств имеют черты как сходства, так и различия. Данный вопрос относится к числу малоизученных.

Не имея возможности подробно изложить систему политологических взглядов на политические процессы, приведем цитату, в известной мере характеризующую специфику этих взглядов.

"Важнейшей чертой политического лидера является то, что его общение с последователями редко является непосредственным. Это означает, что между лидером и публикой появляется такой специфический элемент, как имидж. Таким образом, в качестве лидера мы имеем не некоторую реальную личность, а некоторый искусственный конструкт, который может обладать практически любыми заданными характеристиками, соответствующими ожиданиям публики. Задача политического консультанта, работающего над формированием имиджа лидера -- обозначить и стимулировать желательные ассоциации так, чтобы избиратели поверили, что кандидат осуществит их мечты, надежды и потребности. Политические кампании как способ построения имиджа политака организуются таким образом, чтобы на выходе он оказался наделенным в глазах публики определенным набором качеств, которые делают его достойным лидерского поста" .

Клинический подход- Этот подход основан главным образом на использовании проективных методик, ориентированных на выявление неосознаваемых форм мотивации. Указанные методики, в свою очередь, опираются на совокупность психологических теорий, сформированных в основном в клинической психологии и психиатрии и перенесенных затем на область нормального функционирования психики. Сам термин «клинический подход» возник как отражение связи этого подхода с указанными теориями, а также с практикой клинической психотерапии.

Специфика клинического подхода состоит в том, что он опирается не на какую-то одну научную теорию и даже не на одну научную традицию, а на сложный конгломерат наслаивающихся друг на друга разнородных концепций и систем взглядов. Объективная проверка этих концепций и выводов, делаемых на их основе, сильно затруднена, что вносить работу клинического психолога заметный элемент субъективизма и подмены анализа высказываний респондентов анализом элементов собственной системы мотиваций .

Интерпретация высказываний респондентов с позиций клинического подхода связана, таким образом, с определенным риском, однако с практической точки зрения этот риск может быть оправданным, если возникает необходимость в обобщении случаев поведения, которые невозможно объяснить прямым путем на основе самоотчета опрашиваемых лиц. Фрейдистский тезис о том, что самоотчет часто является лишь ширмой, скрывающей истинные причины поведения, находит свое подтверждение в различных случаях маркетинговой и рекламной практики. Во всяком случае, остается фактом, что клинический подход оказывает глубокое влияние на практиков, проводящих маркетинговые исследования с помощью качественных методов, включая и тех, кто первоначально не имел опыта работы в области клинической психологии. Влияние клинического подхода на стиль проведения фокус-групп и на интерпретацию результатов за последнее десятилетие сильно возросло.

Социологический подход. Существование такого подхода не упоминается ни в одном учебнике и ни в одной публикации, что ставит вопрос о самом его существовании. В случае отрицательного ответа возникает парадокс: метод группового интервьюирования, генетически связанный с методической традицией социологических опросов, оказывается никак не связан с традицией теоретической социологии.

В маркетинговых фокус-группах интерпретирующая роль социологических теорий, несомненно, проявляет себя менее явно, чем роль менеджерского, маркетингового и клинического подходов, хотя влияние теорий малых групп и социологии знания, в т.ч. феноменологической, на наш взгляд, может быть прослежено. Влияние прочих областей социологической теории является, по-видимому, более опосредованным, но и оно, по-видимому, существует. О наличии такого опосредованного влияния свидетельствует то, что для работы модератора или аналитика фокус-групп в равной степени считается желательным базовое образование как социолога, так и психолога.

Ограниченность списка аналитических подходов при использовании фокус-групп связано, на наш взгляд, с ограниченностью сфер применения этого метода. В частности, это под­тверждается тем, что число областей применения индивидуальных интервью более велико, соответственно более велик и список концептуальных подходов, выполняющих интерпретирующую функцию. В зависимости от направленности исследования такую функцию могут выполнять самые разные социологические, психологические, лингвистические и иные подходы, включая и различные подсистемы обыденного знания.

Если в будущем метод фокус-групп распространится на новые предметные области, в том числе в рамках академических исследований, соответственно возрастет и число возможных концептуальных триангуляции.