Экспертный метод. Экспертные методы в исследовании систем управления Зачем менеджеру экспертные оценки

Методы экспертных оценок в прогнозировании и перспективном планировании научно-технического прогресса применяются в сле-дующих случаях:

а) в условиях отсутствия достаточно представительной и досто-верной статистики характеристики объекта (например, лазеры, голографические запоминающие устройства, рациональное исполь-зование водных ресурсов на предприятиях);

б) в условиях большой неопределенности среды функционирования объекта (например, прогнозов человеко-машинной системы в кос-мосе или учет взаимовлияния областей науки и техники);

в) при средне- и долгосрочном прогнозировании объектов новых отраслей промышленности, подверженных сильному влиянию новых открытий в фундаментальных науках (например, микробио-логическая промышленность, квантовая электроника, атомное машиностроение);

г) в условиях дефицита времени или экстремальных ситуациях.

Экспертная оценка необходима, когда нет надлежащей теоре-тической основы развития объекта. Степень достоверности экспер-тизы устанавливается по абсолютной частоте, с которой оценка эксперта в конечном итоге подтверждается последующими собы-тиями. Существует две категории экспертов - это узкие специали-сты и специалисты широкого профиля, обеспечивающие формули-рование крупных проблем и построение моделей. Выбор экспертов для прогноза производится на основе их репутации среди опреде-ленной категории специалистов. Однако не следует забывать и того обстоятельства, что первоклассный специалист не всегда может достаточно квалифицированно рассмотреть и понять общие, глобальные, вопросы. Для этой цели нужно привлекать экспертов хотя и недостаточно узко информированных, но обладающих спо-собностью к дерзанию и воображению.

«Эксперт» в дословном переводе с латинского языка означает «опытный». Поэтому и в формализованном, и в неформализован-ном способах определения эксперта значительное место занимают профессиональный опыт и развитая на его основе интуиция. Усло-вия необходимости и достаточности отнесения специалиста к кате-гории экспертов вводятся следующим образом.

Важно установить не абсолютную степень надежности эксперт-ной оценки, а степень надежности по сравнению с оценкой среднего специалиста, а также корреляцию между вероятностью его прогноз-ной оценки и надежностью класса тех гипотез, которыми оперирует эксперт. В общем, нужно определить, что такое эксперт. Перечис-лим некоторые требования, которым должен удовлетворять эксперт:

1) оценки эксперта должны быть стабильны во времени и транзи-тивны; 2) наличие дополнительной информации о прогнозируемых признаках лишь улучшает оценку эксперта; 3) эксперт должен быть признанным специалистом в данной области знаний; 4) эксперт должен обладать некоторым опытом успешных прогнозов в дан-ной области знаний.

Характеризуя экспертов, следует иметь в виду, что в результате выработки оценок могут иметь место ошибки двух видов. Ошибки первого вида известны в технике измерений как систематические, ошибки второго вида -- как случайные. Эксперт, склонный к ошиб-кам первого вида, выдает значения, которые устойчиво отличаются от истинного в сторону увеличения или уменьшения. Полагают, что ошибки этого вида связаны со складом ума экспертов. Для коррек-ции систематических ошибок можно применять поправочные коэф-фициенты или же использовать специально разработанные трени-ровочные игры. Ошибки второго вида характеризуются величиной дисперсии. Исходя из анализа основных видов ошибок при выне-сении экспертных суждений, можно добавить к рассмотренному ранее перечню требований к экспертам еще одно. Смысл его состоит в том, что следует предпочесть эксперта, оценки которого имеют малую дисперсию и систематическое отклонение средней ошибки от нуля, эксперту со средней ошибкой, равной нулю, но с большей дисперсией. К сожалению, априори определить способность человека делать правильные экспертные оценки невозможно. Важным средством подготовки экспертов являются специальные тренировочные игры.

Организация форм работы эксперта может быть программиро-ванной или непрограммированной, а деятельность эксперта может осуществляться в устной (интервью) либо в письменной форме (ответ на вопросы специальных таблиц экспертных оценок или сво-бодное изложение по заданной теме).

Программирование формы работы эксперта предполагает:

построение граф-модели объекта на базе ретроспективного ана-лиза; определение структуры таблиц экспертных оценок (ТЭО) или программы интервью на базе граф-модели объекта и целей экспер-тизы; определение типа и формы вопросов в ТЭО или в интервью;

определение типа шкалы для вопросов в ТЭО; учет психологиче-ских особенностей экспертизы при определении последовательности вопросов в ТЭО; учет верифицирующих вопросов; разработка логи-ческих приемов для последующего синтеза прогнозных оценок в комплексных прогнозах объекта.

Организация стимуляции работы эксперта состоит в разработке:

эвристических приемов и способов, облегчающих поиск прогнозной экспертной оценки; правовых норм, гарантирующих эксперту оформление приоритета и авторства, а также неразглашения всех научно-технических идей, выдвигаемых им в процессе экспертизы;

форм моральной, профессиональной и материальной заинтересо-ванности эксперта в экспертных оценках; организационных форм работы эксперта (включение в план работы и т. п.).

Исходя из полученной в результате анализа модели объекта прогнозирования, определяются научные и технические направле-ния, по которым необходимо привлечь эксперта, выделяются группы экспертов по принадлежности вопроса к области фунда-ментальных, прикладных наук или к стыковым научным направ-лениям.

При решении задачи формирования экспертной группы необхо-димо выявить и стабилизировать работоспособную сеть экспертов. Способ стабилизации экспертной сети заключается в следующем. На основе анализа литературы по прогнозируемой проблеме выби-рается любой специалист, имеющий несколько публикаций в дан-ной области. К нему обращаются с просьбой назвать 10 наиболее компетентных, по его мнению, специалистов по данной проблеме. Затем обращаются одновременно к каждому из десяти названных специалистов с просьбой указать 10 наиболее крупных их коллег-ученых. Из полученного списка специалистов вычеркиваются 10 первоначальных, а остальным рассылаются письма, содержащие указанную выше просьбу. Данную процедуру повторяют до тех пор, пока ни один из вновь названных специалистов не добавит новых фамилий к списку экспертов, т. е. пока не стабилизируется сеть экспертов. Полученную сеть экспертов можно считать генеральной совокупностью специалистов, компетентных в области прогнози-руемой проблемы. Однако в силу ряда практических ограничений оказывается нецелесообразным привлекать всех специалистов к экспертизе. Поэтому необходимо сформировать репрезентативную выборку из генеральной совокупности экспертов.

Определение специфики процедур для методов класса ПЭО (персональных экспертных оценок) осуществляется на основе ана-лиза требований к экспертам и их оценкам, вытекающим из сущно-сти методов:

а) аналитические записки предъявляют требования структуризации экспериментируемой проблемы, экспликации и ранжирования целей, анализа альтернативных путей достижения цели, оценки затрат на каждую альтернативу и рекомендаций по наиболее эффективным способам решения проблем;

б) парные сравнения, нормирование и ранжирование требуют одно-родности оцениваемых признаков, наличия логически обоснованных критериев и эталонов, наличие однозначно определенных процедур оперирования с критериями, эталонами и признаками;

в) интервью предъявляют специфические требования как к экспер-ту, так и к интервьюеру;

г) морфологическая структуризация требует четкого определения функциональных характеристик объекта или проблемы, которые необходимо улучшить, классификации научных принципов, на основе которых возможно улучшение характеристики; анализа все-возможных комбинаций этих принципов и отсева заведомо абсурдных; оценки комбинаций по степени осуществимости и затрат на их реализацию; сравнения комбинаций по комплексному критерию «затраты -- эффективность -- время».

В квалиметрии экспертный метод применяется:

1) для измерения показателей качества;

2) для определения зна­чений весовых коэффициентов.

Однако он не является принадлежностью только квалиметрии. Экспертный метод применяется и при измерении физических величин, в медицине (консилиумы), в искусстве (жюри), в социально-политической сфере (референдумы), в государственном и хозяйственном управлении (коллегиальность). Но именно потребности квалиметрии поставили этот метод измерений на строгую научную основу.

Независимо от целей и задач применение экспертного метода предполагает соблюдение следующих условий:

экспертная оценка должна производиться только в том случае, когда нельзя использовать для решения вопроса более объективные методы;

в работе экспертной комиссии не должно присутствовать. Факторов, которые могли бы влиять на искренность суждений экспертов; мнения экспертов должны быть независимыми;

вопросы, поставленные перед экспертами, не должны допускать различного толкования;

эксперты должны быть компетентны в решаемых вопросах;

количество экспертов должно быть оптимальным;

ответы экспертов должны быть однозначными и обеспечивать возможность их математической обработки.

Качественный состав экспертной комиссии - важное условие эффективности экспертного метода. Вполне очевидно, что во всех без исключения случаях экспертиза должна проводиться грамотными, высококвалифицированными, вполне компетентными в рассматриваемых вопросах и достаточно опытными специалистами. Весьма полезным является их специальное предварительное обучение и совершенно необходимым - инструктаж. На завершающем этапе формирования экспертной группы целесообразно провести тестирование, самооценку, взаимооценку экспертов, анализ их надежности и проверку согласованности мнений.

Тестирование состоит в решении экспертами задач, подобных реальным, с известными (но не экспертам) ответами. На основании результатов тестирования устанавливается компетентность и профпригодность экспертов.

Самооценка экспертов состоит в ответе каждым из них в строго ограниченное время на вопросы специально составленной анкеты, в результате чего быстро и просто проверяются ими же самими их профессиональные знания и деловые качества. Оценка их дается каждым экспертом по балльной системе. При всей субъективности такой оценки опыт показывает, что экспертные группы с высокими показателями самооценки экспертов ошибаются в меньшей степени.

Весьма показательной является взаимная оценка экспертами друг друга (также по балльной системе). Для этого они должны, разумеется, иметь опыт совместной работы.

При наличии сведений о результатах работы эксперта в других экспертных группах критерием его квалификации может стать показатель или степень надежности - отношение числа случаев, когда мнение эксперта совпало с результатами экспертизы, к общему числу экспертиз, в которых он участвовал. Использование этого подхода к отбору экспертов требует накопления и анализа большого объема информации, но открывает возможность непрерывного совершенствования качественного состава экспертных групп.

Каждый эксперт дает одно из значений отсчета, являющегося, согласно основному постулату метрологии, случайным числом. Порядок и правила дальнейших действий рассмотрены в гл. 2. В частности, однократное измерение экспертным методом требует использования большого объема априорной информации. При визуальной топографической съемке, например, большое значение имеет глазомер эксперта, при измерении эстетических показателей качества- его художественный вкус и т. д. Многократное измерение одной и той же физической (или другой) величины постоянного размера, либо показателя качества может быть организовано с последующим усреднением экспериментальных данных по времени (если измерение выполняется одним экспертом) или по множеству (если измерение производится одновременно несколькими экспертами). Первый способ применяется редко, так как субъективные особенности эксперта выступают в этом случае в качестве постоянно действующих факторов, трудно поддающихся исключению, компенсации или учету. Во втором способе они выступают в качестве случайных и нивелируются при усреднении по множеству. Отсчет, полученный группой экспертов, представляется множеством его отдельных значений или законом распределения вероятности. При большом количестве отдельных значений отсчета по правилу "трех сигм" легко обнаруживаются и устраняются ошибочные. Если отсчет подчиняется нормальному закону распределения вероятности, то его среднее арифметическое при количестве экспертов п > 30 ... 40 тоже подчиняется нормальному закону, а при меньшем их числе - закону распределения вероятности Стьюдента. Интервал возможных значений измеряемой величины или показателя качества в окрестностях среднего арифметического значения с выбранной доверительной вероятностью устанавливается по графикам, приведенным на рис. 38.

При подборе экспертов большое внимание уделяется согласованности их мнений, которая характеризуется смещенной или несмещенной оценкой дисперсии отсчета. С этой целью на этапе формирования экспертной группы проводятся контрольные измерения с математической обработкой их результатов. Нередко при этом используется не один, а сразу несколько объектов измерений, которые в зависимости от их ценности или качества нужно расставить по шкале порядка, т.е. определить их ранг, ибо измерение по шкале порядка называется ранжированием. За меру согласованности мнений экспертов в этом случае принимается так называемый коэффициент конкордации.

где S - сумма квадратов отклонений суммы рангов каждого объекта экспертизы от среднего арифметического рангов; п - число экспертов; m - число объектов экспертизы. В зависимости от степени согласованности мнений экспертов коэффициент конкордации может принимать значения от 0 (при отсутствии согласованности) до 1 (при полном единодушии).

Пример 75. Определить степень согласованности мнений 5-ти экспертов, результаты ранжирования которыми 7-ми объектов экспертизы приведены в табл. 45.

Решение.1. Среднее арифметическое рангов

2. Используя результаты промежуточных вычислении, приведенные в табл.45, получаем S= 630.

3. Коэффициент конкордации

Степень согласованности мнений экспертов можно считать удовлет­ворительной.

Если степень согласованности мнений экспертов оказывается неудовлетворительной, принимают специальные меры для ее повышения. Сводятся они, в основном, к проведению тренировок с обсуждением результатов и разбором ошибок. Если возможности для предварительной подготовки экспертов нет, измерение экспертным методом проводится по методу Дельфы*. Характерными чертами ого метода являются:

анонимность; эксперты не встречаются друг с другом, чтобы избежать влияния авторитета и красноречия кого-либо из них;

многоэтапность; после каждого тура опроса все эксперты знакомятся с мнением друг друга и при необходимости представляют письменные обоснования своих точек зрения. Соглашаясь или не соглашаясь с мнениями своих коллег, они могут пересматривать свою точку зрения;

контроль; после каждого тура проверяется согласованность мнений экспертов до тех пор, пока разброс отдельных мнений не снизится до заранее выбранного значения.

При особо ответственных измерениях экспертным методом могут учитываться весовые коэффициенты квалификации экспертов.

* Этот метод впервые был предложен в начале 1950-х г. американскими учеными Т. Дж. Гордоном и О. Хелмером для решения военных проблем. Название его происходит от древнегреческого города Дельфы, где по преданию при храме Апполона с IX в. до н. э. по IV в. н. э. существовал совет мудрецов ("дельфийский оракул"), славившийся своими предсказаниями.

Количество экспертов тоже играет важную роль. С ростом числа экспертов в группе точность измерения повышается. Это фундаментальное свойство любого многократного измерения определено выражением (11). Чтобы воспользоваться им для определения численности экспертной группы n, обеспечивающей заданную точность измерения, нужно опять-таки в подготовительный период установить закон распределения вероятности отсчета, получаемого экспертным методом, или хотя бы его среднее квадратическое отклонение , не зависящие от n. Тогда по графику на рис. 159, отражающему зависимость (11), можно найти число экспертов n, при котором среднее квадратическое отклонение среднего арифметического будет соответствовать требуемому. Исходная численность экспертной группы составляет обычно не менее 7 человек. В отдельных случаях она достигает 15 ... 20 экспертов (массовый опрос проводится, как правило, только при социологических исследованиях). Если в подготовительный период не определено, то достижение требуемой точности за счет расширения экспертной группы достигается уже в процессе измерения экспертным методом так, как это показано на рис. 39.

В некоторых случаях требуется обеспечить максимально возможную точность измерения экспертным методом. В этих случаях состав экспертной группы целесообразно ограничить таким числом экспертов п, при котором разли­чия между средними арифметическими и оценками дисперсий результатов измерений при n и n + 1 экспертах перестают быть значимыми. Эти условия проверяются по алгоритмам, приведенным на рис. 41 и 43.

По тому, в какой форме эксперты выражают свое мнение, т.е. по способу проведения экспертизы, различают:

непосредственное измерение;

ранжирование;

сопоставление.

При непосредственных измерениях экспертным методом значения физических величин или показателей качества оп­ределяются сразу в установленных единицах (то ли в единицах СИ, то ли в баллах, нормо-часах, рублях, единицах условного топлива и т.д.). Такие измерения могут проводиться как по шкале отношений, так и по шкале интервалов или шкале порядка. Измерения по шкале отношений требуют наличия эталонов. К ним относятся органолептические методы измерения длины, массы, силы света и многие другие. Непосредственное измерение весовых коэффициентов, сумма которых должна равняться единице, производится по шкале порядка. Значения этих коэффициентов рассчитываются по формуле

где п - количество экспертов; m - число “взвешиваемых” показателей; - коэффициент весомости j -го показателя в баллах, данный i -м экспертом.

По реперным шкалам порядка измеряется в баллах сила морского волнения, сила землетрясений и т.п. Непосредственно путем приписывания баллов (обычно от 1 до 10) могут измеряться по шкале порядка и такие свойства, для которых нет ни эталонов, ни объективных критериев. В последнем случае из соотношения баллов нельзя делать каких-либо количественных выводов.

Непосредственное измерение экспертным методом является наиболее сложным и предъявляет к экспертам наиболее высокие требования.

Ранжирование состоит в расстановке объектов измерений или показателей в порядке их предпочтения, по важности или весомости. Место, занятое при такой расстановке, называется рангом. Чем выше ранг, тем предпочтительней объект, весомее, важнее показатель.

Пример ранжирования пятью экспертами семи объектов экспертизы приведен в табл. 45. Если это, допустим, художественные произведения, то результат измерения их качества по шкале порядка таков:

лучшим является седьмое, вторым по качеству - четвертое, затем - шестое, первое, второе, третье и пятое. Если же ранжирование прово­дилось с целью определения весовых коэффициентов g i для семи пока­зателей качества, то они рассчитываются по формуле (53), в которой - ранг j - го показателя, установленный i -м экспертом, В примере 75

Сопоставление бывает последовательным и попарным. Последовательное сопоставление каждого. Объекта экспертизы с совокупностью всех тех, которые ниже рангом, позволяет откорректировать ранжированный ряд, уточнить позиции входящих в него объектов с учетом их важности. Оно имеет смысл тогда, когда несколько объектов экспертизы можно рассматривать как один составной объект той же природы. Порядок последовательного сопоставления следующий.

1. Объекты экспертизы располагаются в порядке их предпочтения (ранжирование).

2. Наиболее важному объекту приписывается балл или весовой коэффициент, равный 1; всем остальным в порядке уменьшения их относительной значимости - баллы или весовые коэффициенты 1 до 0.

3. Сопоставляется первый объект с совокупностью всех остальных. Если, по мнению эксперта, он предпочтительнее, чем совокупность всех остальных вместе взятых, то результат его измерения в баллах или весовой коэффициент корректируется в сторону увеличения с таким расчетом, чтобы он стал больше (иногда определяют и на сколько больше) суммы баллов или весовых коэффициентов всех остальных объектов экспертизы, которые ниже рангом. В противном случае результат измерения или весовой коэффициент первого объекта корректируется в сторону уменьшения так, чтобы он оказался меньше суммы баллов или весовых коэффициентов остальных объектов.

4. Сопоставляется второй объект с совокупностью всех остальных, стоящих ниже рангом. По установленному выше правилу корректируется результат его измерения или значение весового коэффициента (при этом нужно следить, чтобы не нарушилось предпочтение первого объекта перед совокупностью всех остальных, если оно установлено на предыдущем этапе). Такая процедура сопоставлений и корректировок продолжается вплоть до предпоследнего объекта.

5. Полученные результаты измерений или весовые коэффициенты нормируют, т.е. делят на общую сумму баллов или весовых коэффициентов. После этого они принимают значения в пределах от 0 до 1, а их сумма становится равной 1.

Попарное сопоставление самое простое и наиболее оправданное с психологической точки зрения, рассмотрено в примерах 21 и 22. Как можно заметить, табл. 17 и 18 являются избыточными. При попарном сопоставлении достаточно данных, приведенных в таблицах по одну сторону от диагонали. Предпочтение при этом выражается указанием номера предпочтительного объекта так, как это показано в табл.46.

Балл j - го объекта или весомость j - го показателя рассчитываются по формуле (53). В данном случае

где - частота предпочтения i - м экспертом j - го объекта экспертизы; С - общее число суждений одного эксперта, свя­занное с числом объектов экспертизы m (числом измеряемых показателей или коэффициентов весомости) соотношением

Пример 76. Предположим для простоты, что пять экспертов, выра­зили свое мнение о шести объектах экспертизы одинаково: так как это представлено в табл. 46. Определить весомость каждого объекта и 1 построить ранжированный ряд.

Решение 1. Частоты предпочтений

Поэтому полученные в п.3 значения G j можно рассматривать уже как нормированные и, в частности, использовать как весовые коэффициенты.

5. Ранжированный ряд объектов экспертизы имеет вид: № 3; № 1;№2; №6; №5; №4.

Опыт попарного сопоставления по табл. 46 показывает, что в силу особенностей человеческой психики эксперты иногда бессознательно отдают предпочтение не тому объекту в очередной рассматриваемой паре, который важнее, а тому, который стоит в перечне первым. Чтобы избежать этого, используют свободную часть таблицы и проводят попарное сопоставление дважды (например, сначала первого объекта со вторым, третьим, четвертым и т.д., затем второго с первым, третьим, четвертым, ... и так до последнего, а потом в обратном порядке: последнего с предпоследним, и до первого; предпоследнего с последним, предыдущим... и вновь до первого). Таким образом, каждая пара объектов сопоставляется дважды, причем в разном порядке и по истечении некоторого времени. При таком сопоставлении, называемым полным или двойным, удается иногда избежать случайных ошибок и, кроме того, выявить экспертов, небрежно относящихся к своим обязанностям или не имеющих определенной точки зрения. Иначе говоря, двойное попарное сопоставление обладает более высокой надежностью, чем однократное. Порядок расчетов при нем остается прежним, за исключением того, что С = т (т-1).

Уточнить результаты измерений или значения весовых коэффициентов, полученные попарным сопоставлением, можно методом последовательного приближения. Первоначальные результаты (см. п. 3 примера 76) рассматриваются в этом случае как первое приближение. Во втором приближении они используются как весовые коэффициенты G j (1) суждений экспертов. Полученные с учетом этих весовых коэффициентов новые результаты в третьем приближении рассматриваются опять как весовые коэффициенты G j (2) тех же мнений экспертов и т.д. Согласно теореме Перрона-Фробениуса, при определенных условиях, которые на практике всегда выполняются, этот процесс сходится, т.е. нормированные результаты измерений g j или весовые коэффициенты стремятся к некоторым постоянным значениям, строго отражающим соотношения между объектами экспертизы при установленных экспертами исходных данных.

Пример 77 . Результаты полного попарного сопоставления одним экспертом пяти объектов экспертизы представлены табл. 47, подобной табл. 18, с той лишь разницей, что с целью исключения из рассмот­рения отрицательных чисел предпочтение j -го объекта перед i -м обозначено цифрой 2, равноценность- цифрой 1, а предпочтение i - го объекта перед j - м - цифрой 0.

Что можно сказать о результате измерения в третьем приближении? Решение.

1. В первом приближении

G 1 (1) = 1+2+2+1+2= 8;

G 2 (1) = 0+1+2+2+2= 7;

G 3 (1) = 0+0+1+0+0= 1;

G 4 (1) = 1+0+2+1+2= 6;

G 5 (1) = 0+0+2+0+1= 3.

2. Во втором приближении

G 1 (2) = 8 * 1+7 * 2+1 * 2+6 * 1+3 * 2= 36;

G 2 (2) = 8 * 0+7 * 1+1 * 2+6 * 2+3 * 2= 27;

G 3 (2) = 8 * 0+7 * 0+1 * 1+6 * 0+3 * 0= 1;

G 4 (2) = 8 * 1+7 * 0+1 * 2+6 * 1+3 * 2= 22;

G 5 (2) = 8 * 0+7 * 0+1 * 2+6 * 0+3 * 1= 5.

3. В третьем приближении

G 1 (3) = 36 * 1+27 * 2+1 * 2+22 * 1+5 * 2= 124;

G 2 (3) = 36 * 0+27 * 1+1 * 2+22 * 2 +5 * 2 = 83;

G 3 (3) = 36 * 0+27 * 0+1 *1+22 * 0+5 * 0 = 1;

G 4 (3) = 36 * 1+27 *0+1 * 2+22 * 1+5 * 2 = 70;

G 5 (3) = 36* 0+27* 0+1* 2+22 * 0+5 *1 = 7.

4. Значения g j , приведенные в табл. 47, заметно отличаются в первом и третьем приближении. С каждым следующим приближением они будут уточняться. В ходе уточнения все более подчеркивается предпочтительность первого объекта экспертизы и низкая значимость третьего (в меньшей мере- пятого).

5. Если экспертов несколько, то окончательные результаты должны быть получены путем усреднения их данных.

Метод последовательного приближения позволяет получить строгие количественные результаты измерения по шкале отношений, если известно (или определено экспертным ме­тодом), во сколько раз вес или показатель лучшего из объектов экспертизы превосходит вес или такой же показатель худшего объекта. В таком случае через это отношение, а предпочтение j - го объекта экспертизы перед i - м выражается числом 1 + , равноценность - единицей, а предпочтение i - го объекта перед j - м - числом 1 - , где

После этого попарное сопоставление производится методом последовательного приближения. Процесс уточнения значений g j продолжается до тех пор, пока точность не достигнет заданной. Так как с каждым приближением изменение g j становится все меньшим и меньшим, это условие можно записать в виде , где обычно принимается = 0,001, если 1 < <=1,5, и =0,01, если >5. При промежуточных значениях выбираются и промежуточные значения .

После окончания расчетов фактическое отношение значений крайних членов ранжированного ряда Ф сравнивается с исходным . Если отношение близко к единице, задача считается решенной. В противном случае корректируется и расчет повторяется.

Пример 78 . Лучший объект из шести по сравниваемому показателю превосходит худший в 2,4 раза. Следовательно,

Мнения эксперта об объектах представлены табл. 48.

Перейти к исходным данным для вычисления весовых коэффициентов с точностью не ниже 0,5 %.

6. Таким образом, исходные данные вычисления весовых коэффициентов с требуемой точностью имеют вид, представленный табл. 49.

Опрос экспертов может быть очным и заочным, групповым и индивидуальным, персонифицированным и анонимным. Свои мнения эксперты могут выражать в письменной (путем заполнения таблиц, анкет) или в устной форме (давая интервью, участвуя в дискуссии). Все эти и любые другие варианты экспертного опроса имеют свои достоинства и недостатки, поэтому выбор того или иного из них осуществляется в зависимости от конкретных условий и обстоятельств.

Задачи прогнозирова-ния, решаемые с помощью методов экспертных оценок, включают два формально не связанных между собой элемента: определение возмож-ных вариантов развития объекта прогнозирования и их оценку. Анализ экспертных методов показывает целесообразность применения «мозговых атак» для определения возможных вариантов развития. Их использование позволяет получить продуктивные результаты за короткий период времени и вовлечь всех экспертов в активный творческий процесс.

Методы «мозговых атак» можно классифицировать по признаку наличия или отсутствия обратной связи между руководителем и участниками «мозговой атаки» в процессе решения некоторой проб-лемной ситуации. Наличие обратной связи позволяет концентриро-вать внимание участников только на вариантах, полезных по тем или иным критериям для решения проблемной ситуации. Однако, ис-кусственно вводя ограничения, мы лишаемся возможности увидеть все многообразие подходов, и тем самым появляется вероятность пропустить оригинальные мысли, имеющие потенциальную, но не осознаваемую в настоящий момент ценность. Отсутствие обратной связи, т.е. максимальная стимуляция высказываний, предполагает проведение сложной и большой по объему работы на этапе их оценки. Создавшаяся ситуация потребовала разработать метод «мозговой атаки», способный качественно и достаточно быстро проводить оцен-ку вариантов, не ограничивая при этом их числа.

Сущность этого метода состоит в актуализации творческого потенциала специалистов при «мозговой атаке» проблемной ситуации, реализующей вначале генерацию идей и последующее деструирование (разрушение, критику) этих идей с формулированием контридей. Работа с методом «мозговой атаки» предполагает реализацию сле-дующих шести этапов.

Первый этап - формирование группы участников «мозговой атаки» (по численности и составу). Оптимальная числен-ность группы участников находится эмпирическим путем: наиболее продуктивными признаны группы в 10-15 человек. Состав группы участников предполагает их целенаправленный подбор: 1) из лиц примерно одного ранга, если участники знают друг друга; 2) из лиц разного ранга, если участники не знакомы друг с другом (в этом случае следует нивелировать каждого из участников при-своением ему номера с последующим обращением к участнику по но-меру). Что же касается необходимости специализации участника в области проблемной ситуации, то это условие не является обя-зательным для всех членов группы. Более того, весьма желательно, чтобы в группе были специалисты других областей знания, обладаю-щие высоким уровнем общей эрудиции и понимающие смысл проблем-ной ситуации.

Второй этап - составление проблемной записки участника мозговой атаки. Она составляется группой анализа проб-лемной ситуации и включает описание этого метода и описание проб-лемной ситуации. Данное описание содержит: принцип, на котором основан метод; условия, обеспечивающие наибольшую эффективность «мозговой атаки», авторство результатов атаки; основные правила проведения атаки. Описание проблемной ситуации содержит: причи-ны возникновения проблемной ситуации; анализ причин и возможные последствия возникшей проблемной ситуации (целесообразно гипер-болизировать последствия, с тем чтобы острее ощущалась необходи-мость разрешения противоречий); анализ мирового опыта разрешения подобной проблемной ситуации (если он имеется); классификацию (систематизацию) существующих путей разрешения проблемной ситуа-ции, формулировку проблемной ситуации в виде центрального вопро-са с иерархией подвопросов.

Третий этап - генерация идей. Она начинается с того, что ведущий раскрывает содержание проблемной записки. Предсказывая описание метода, ведущий концентрирует внимание участников на правилах проведения мозговой атаки: 1) высказывания участников должны быть четкими и сжатыми; 2) скептические замечания и критика предыдущих выступлений не допускаются; 3) каждый из участников имеет право выступать много раз, но не подряд; 4) не разрешается зачитывать подряд список идей, который может быть подготовлен участниками заранее. Пересказывая содер-жание проблемной ситуации, ведущий концентрирует внимание участ-ников на основном вопросе. Свое выступление ведущий должен стро-ить таким образом, чтобы пробудить психологическую восприимчи-вость участников, заставить их почувствовать потребность сде-лать то, о чем он их просит. Желаемый отклик участников - воля к целеустремленности мышления, направленного на решение проблем-ной ситуации.

Активная деятельность ведущего предполагается только в на-чале «мозговой атаки». После того как участники достаточно воз-будились, процесс выдвижения новых идей идет спонтанно. Ведущий в этом процессе играет пассивную роль, регламентируя участников согласно правилам проведения атаки. Следует помнить, что, чем разнообразнее и больше количество высказываний, тем шире и глуб-же охватывается рассматриваемый вопрос и тем больше вероятность появления ценных высказываний. Учитывая изложенное обстоятельство, ведущий при проведении атаки должен руководствоваться следующими правилами:

Сосредоточивать внимание участников на проблемной ситуации, задавая рамки специфическими её требованиями и терминологической строгостью высказываемых идей;

Не объявлять ложной, не осуждать и не прекращать исследова-ние ни одной идеи, т.е. рассматривать любую идею независимо от её кажущейся уместности или осуществимости;

Приветствовать усовершенствование или комбинацию идей, пре-доставляя слово в первую очередь тому, кто хочет высказаться в связи с предыдущим выступлением;

Оказывать поддержку и поощрение участникам, столь необходи-мые для того, чтобы освободить их от скованности;

Создавать непринужденность обстановки, способствуя, таким образом, активизации участников атаки.

Четвертый этап - систематизация идей, выска-занных на этапе генерации. Систематизацию идей группа анализа проблемной ситуации осуществляет в такой последовательности: составляется номенклатурный перечень всех высказанных идей; каждая из идей формулируется в общеупотребительных терминах; определяются дублирующие и дополняющие идеи; дублирующие и (или) дополняющие идеи объединяются и формулируются в виде одной комп-лексной идеи; выделяются признаки, по которым идеи могут быть объединены; идеи объединяются в группы согласно выделенным при-знакам; составляется перечень идей по группам (в каждой группе идеи записываются в порядке их общности: от более общих к част-ным, дополняющим или развивающим более общие идеи).

Пятый этап - деструирование (разрушение, критика) систематизированных идей (специализированная процедура оценки идей на практическую реализуемость в процессе мозговой атаки, когда каж-дая из них подвергается всесторонней критике со стороны участ-ников мозговой атаки).

Основное правило этапа деструирования - рассматривать каждую из систематизированных идей только с точки зрения препятствий на пути к её осуществлению, т.е. участники атаки выдвигают дово-ды, опровергающие систематизированную идею. Особенно ценным яв-ляется то обстоятельство, что в процессе деструирования может быть генерирована контридея, формулирующая имеющиеся ограничения и выдвигающая прещщложение о возможности снятия этих ограничений.

Группа участников мозговой атаки этого этапа состоит из высококвалифицированных специалистов в обсуждаемой области, числен-ность её достигает 20-25 человек, а продолжительность - 1,5 часа. Процесс деструирования продолжается до тех пор, пока каждая из систематизированных идей перечня не подвергнется критике. Высказанные критические замечания и контридеи записываются на магни-тофон.

Шестой этап - оценка критических замечаний и составление списка практически применимых идей. Реализацию этапа осуществляет группа анализа проблемной ситуации:

1. Составляется перечень всех критических замечаний, полученных на этапе деструирования. При необходимости критические замечания уточняются, отбрасываются дублирующие.

2. Составляется сводная таблица этапов систематизации и деструирования идей, а также список показателей практической применимости идей (эти показатели в каждом конкретном случае специфичны и зависят от конкретной проблемной ситуации). Первая графа таблицы - результаты этапа систематизации идей; вторая - критические замечания, опровергающие идеи; третья - показатели практической применимости идей; четвертая - контридеи, высказанные на этапе деструирования.

3. Оценивается каждое критическое замечание и контридея:

а) вычеркивается из таблицы, если опровергается хотя бы одним показателем практической применимости;

б) не вычеркивается, если оно не опровергается ни одним показателем.

4. Составляется окончательный список идей; переносятся в список только те идеи, которые не опровергнуты критическими замечаниями и остались в таблице, а также контридеи.

Метод коллективной генерации идей апробирован на практике и позволяет находить групповое решение при определении возможных вариантов развития объекта прогнозирования, исключая путь комп-ромиссов, когда единое мнение нельзя считать результатом беспри-страстного анализа проблемы.

Дельфийский метод . В последние два де-сятилетия созданы отдельные методики, позволяющие в определенной мере организовать статистическую обработку мнений экспертов-специалистов и достигнуть более или менее согласованного их мне-ния. Метод «Дельфи» - один из наиболее распространенных методов экспертной оценки будущего, т.е. экспертного прогнозирования. Этот метод разработан американской исследовательской корпорацией РЭНД и служит для определения и оценки вероятности наступления тех или иных событий.

Метод «Дельфи» построен на следующем принципе: в неточных науках мнения экспертов и субъективные суждения в силу необходимости должны заменить точные законы причинности, отражаемые естественными науками.

Метод «Дельфи» позволяет обобщать мнения отдельных экспер-тов в согласованное групповое мнение. Ему присущи все недостат-ки прогнозов, построенных на основе экспертных оценок. Однако проводимые корпорацией РЭНД работы по совершенствованию этой системы значительно повысили гибкость, быстроту и точность про-гнозирования.

Метод «Дельфи» характеризуется тремя особенностями, которые отличают его от обычных методов группового взаимодействия экс-пертов. К таким особенностям относятся: а) анонимность экспер-тов; б) использование результатов предыдущего тура опроса; в) статистическая характеристика группового ответа.

Анонимность заключается в том, что в ходе проведения про-цедуры экспертной оценки прогнозируемого явления, объекта участ-ники экспертной группы неизвестны друг другу. При этом взаимо-действие членов группы при заполнении анкет, полностью устраня-ется. В результате такой постановки автор ответа может изменить свое мнение без публичного объявления об этом.

Использование результатов предыдущего тура опроса заключа-ется в следующем: поскольку групповое взаимодействие осуществля-ется непосредственно с помощью ответа на анкету, специалист или организация, проводящие исследования по методу «Дельфи», извле-кает из анкет только ту информацию, которая относится к данной проблеме. Специалист-прогнозист учитывает мнение экспертов «за» и «против» по каждой точке зрения. Основной результат функциони-рования этой системы состоит в том, чтобы предотвратить принятие группой своих собственных целей и задач. Эта система дает возмож-ность группе специалистов концентрировать свои усилия на перво-начальных задачах, а не предполагать каждый раз что-то новое.

Статистическая характеристика группового ответа заключается в том, что группа специалистов составляет прогноз, содержащий точку зрения только большинства экспертом, т.е. такую точку зре-ния, с которой могло бы согласиться большинство группы. Однако вряд ли может существовать какой-либо показатель степени разли-чия мнений, которые могли существовать у членов группы. Вместо этого в методе «Дельфи» используются статистические характерис-тики ответа, который включает мнение всей группы. Каждый ответ внутри группы учитывается при построении медианы, а величина разброса ответов характеризуется величиной интервала между квар-тилями. Иными словами, групповой ответ может быть представлен в виде медианы и двух квартилей, т.е. в виде такого числа, оцен-ки которого одной половиной членов группы были больше этого чис-ла, а другой половиной - меньше. Метод «Дельфи» дает возможность эффективно взаимодействовать членам жюри, хотя результаты этого взаимодействия и контролируются руководителем группы путем суммирования аргументов. Члены жюри изменяют свои оценки именно тогда, когда убедительны доводы их коллег, а противном случае они упорно придерживаются своих противоположных точек зрения.

Метод «Дельфи» осуществим и эффективен при получении преиму-ществ от участия группы в подготовке прогноза; в то же время этот метод сводит до минимума или устраняет большинство труднос-тей, связанных с работой комиссии, хотя он может потребовать больше времени, чем комиссия с личным общением членов, особенно если опрос производится по почте.

В развитии метода «Дельфи» применяется перекрестная коррекция. Будущее событие представляется как огромное множество свя-занных и переходящих друг в друга путей развития.

Представив прогноз научно-технических сдвигов как Д 1 , Д 2 , …, Д n , а соответствующие им вероятности как Р 1 , Р 2 , …, Р n и по-лагая Р 1 =100% , находят изменения значений Р 2 , …, Р i , …, Р n .

При введении перекрестной корреляции значения каждого собы-тия за счет введенных определенных связей будут изменяться либо в положительную, либо в отрицательную сторону, корректируя тем самым вероятности рассматриваемых событий. С целью будущего со-ответствия модели реальным условиям в модель могут быть введены элементы случайности.

Сущность методов экспертных оценок для разра-ботки прогнозов состоит в определении согласованности мнений экспертов по перспективным направлениям развития объекта прог-нозирования, сформулированным ранее отдельными специалистами, а также в оценке аспектов развития объекта, которая не может быть определена другими методами (например, аналитическим расчетом, экспериментом и т.д.).

I. Создание групп. Для организации проведения экспертных оценок создаются рабочие группы, в функции которых входят проведение опроса, обработка материалов и анализ результатов коллективной экспертной оценки. Рабочая группа назначает экспертов, которые дают ответы на поставленные вопросы, касающиеся перспектив раз-вития данной отрасли. Количество экспертов, привлекаемых для раз-работки прогноза, может колебаться от 10 до 150 человек, в зави-симости от сложности объекта.

II. Формулирование глобальной цели системы. Перед тем, как организовать опрос экспертов, не-обходимо уточнить основные направления развития объекта, а также составить матрицу, отражающую генеральную цель, подцели и сред-ства их достижения. При этом в ходе предварительного анализа совместно с группой специалистов определяются наиболее важные цели и подцели для решения поставленной задачи. Под средствами достижения цели понимаются направления научных исследований и разработок, результаты которых могут быть использованы для дости-жения цели. При этом направления научных исследований и разрабо-ток не должны пересекаться друг с другом.

III. Разработка анкеты. Заключается в раз-работке вопросов, которые будут предложены экспертам. Форма воп-роса может быть разработана в виде таблиц, но содержание их долж-но определяться спецификой прогнозируемого объекта или отрасли. При этом вопросы должны быть составлены по определенной структур-но-иерархической схеме, т.е. от широких вопросов к узким, от сложных к простым.

При проведении опроса экспертов необходимо обес-печить однозначность понимания отдельных вопросов, а также неза-висимость суждений экспертов.

IV. Расчёт экспертных оценок. Необходимо провести обработку материалов экс-пертных оценок, которые характеризуют обобщенное мнение и сте-пень согласованности индивидуальных оценок экспертов. Обработка данных оценок экспертов служит исходным материалом для синтеза прогнозных гипотез и вариантов развития отрасли.

Окончательная количественная оценка определяется с помощью четырех основных методов экспертных оценок и множества их разновидностей:

1)метод простой ранжировки (или метод предпочтения);

2)метод задания весовых коэффициентов;

3)метод парных сравнений;

4)метод последовательных сравнений.

Метод простой ранжировки заключается в том, что каждого эксперта просят расположить признаки в порядке предпочтения. Цифрой один обозначается наиболее важный признак, цифрой два - следующий за ним по важности и т.д. полученные данные сводятся в следующую таблицу.

Таблица 2.1 Экспертные оценки признаков (направлений исследований)

Порядок предпочтения данного признака перед другими.

Затем с помощью методов математической статистики получают обобщенное мнение экспертов. Определяется средний ранг, среднее статистическое значение S j j-го признака:

где m kj - количество экспертов, оценивающих j-й признак (m k m);

i - номер эксперта; i = 1,…,m;

j - номер признака, j = 1,2,…,n.

Определяется средний ранг каждого признака. Чем меньше величина S j , тем больше важность этого признака.

Для того чтобы можно было сказать, случайно ли распределение рангов или имеется согласованность в мнениях экспертов, производится вычисление коэффициента конкордации , введенного М. Кендаллом.

Определяется средний ранг совокупности признаков:

Вычисляется отклонение d j среднего ранга j-го признака от среднего ранга совокупности:

Определяется число одинаковых рангов, назначенных экспертами j-му признаку - t q .

Определяется количество групп одинаковых рангов - Q. Определяется коэффициент конкордации по формуле:

,(2.4)

,(2.5)

Коэффициент может принимать значения в пределах от 0 до 1. При полной согласованности мнений экспертов коэффициент конкордации равен единице при полном разногласии - нулю. Наиболее реальным является случай частичной согласованности мнений экспертов.

По мере увеличения согласованности мнений экспертов коэффициент конкордации возрастает и в пределе стремится к единице. Однако даже если он равен или близок к нулю, не всегда имеет место полное разногласие. Среди экспертов могут быть группы с хорошо согласованными мнениями, но мнения эти - противоположны и в общей массе нейтрализуют друг друга. В таком случае следует проделать кластерный или комбинированный анализ для выявления этих групп.

Достоинства метода простой ранжировки:

1) сравнительная простота процедуры получения оценок;

2) меньшее число экспертов по сравнению с другими методами при оценке одного и того же набора признаков.

Недостаток же его в том, что:

1) заведомо считают распределение оценок равномерным;

2) уменьшение важности признаков предполагается также равномерным, в то время как на практике этого не бывает.

Метод задания весовых коэффициентов заключается в присвоении всем признакам весовых коэффициентов. Весовые коэффициенты могут быть проставлены двумя способами:

1) всем признакам назначают весовые коэффициенты так, чтобы суммы коэффициентов была равна какому-то фиксированному числу (например, единице, десяти или ста);

2) наиболее важному из всех признаков придают весовой коэффициент, равный какому-то фиксированному числу, а всем остальным - коэффициенты, равные долям этого числа.

Обобщенное мнение экспертов также получаем с помощью методов математической статистики по формулам (2.1 - 2.5).

Метод последовательных сравнений заключается в следующем:

1) эксперт упорядочивает все признаки в порядке уменьшения их значимости: А 1 > A 2 >…> A n ;

2) присваивает первому признаку значение, равное единице: A 1 =1, остальным же признакам назначает весовые коэффициенты в долях единицы;

3) сравнивает значение первого признака с суммой всех последующих.

Возможны три варианта:

A 1 >A 2 + A 3 + … + A n

A 1 = A 2 + A 3 + … + A n

A 1 < A 2 + A 3 + …+ A n

Эксперт выбирает наиболее соответствующий, по его мнению, вариант и приводит в соответствие с ним оценку первого события;

4) сравнивает значение первого признака с суммой всех последующих за вычетом самого последнего признака.

Приводит оценку первого признака в соответствие с выбранным из трех вариантов неравенством:

A 1 > A 2 + A 3 + … + A n-1

A 1 = A 2 + A 3 + … + A n-1

A 1 < A 2 + A 3 + … + A n-1

5) процедура повторяется до сравнения A 1 с A 2 + A 3.

После того как эксперт уточнил оценку первого признака в соответствии с выбранным им неравенством из трех возможных:

A 1 > A 2 + A 3

A 1 < A 2 + A 3

он переходит к уточнению оценки второго признака A 2 по той же схеме, что и в случае первого, т.е. сравнивается оценка второго признака с суммой последующих.

Преимущество его состоит в том, что эксперт в процессе оценивания признаков сам анализирует свои оценки. Вместо назначения коэффициентов возникает творческий процесс создания этих коэффициентов.

Недостатки метода таковы:

1) сложность его; неподготовленный эксперт будет с трудом справляться с этой процедурой; вместо того, чтобы уточнять свои первоначальные оценки, он будет путаться в них;

2) громоздкость; на оценку одного и того же набора признаков он требует в четыре раза больше операций, чем метод простой ранжировки (другими словами, для одной и той же работы нужно в четыре раза больше экспертов).

Метод парных сравнений

Согласно ему все признаки попарно сравниваются между собой. На основании парных сравнений путем дальнейшей обработки находятся затем оценки каждого признака.

Чтобы эксперту было удобнее проводить сравнения, признаки (A,B,C,…N) заносятся в таблицу и по горизонтали и по вертикали.

Эксперт заполняет клетки такой таблицы. Сравнение признака самого с собой дает единицу. В первой клетке эксперт пишет единицу, во второй - результат сравнения первого признака со вторым, в третьей - результат сравнения первого признака с третьим и т.д. Переходя ко второй строке, эксперт записывает в первой клетке результат сравнения второго признака с первым, во втором - единицу, в третьей - сравнение второго признака с третьим и т.д.

Половина таблицы, расположенная выше диагонали, служит отражением нижней половины. Чтобы не вносить путаницу, не провоцировать эксперта вычислять одну половину таблицы по другой, чтобы уменьшить число операций, целесообразно заполнять только одну половину таблицы (выше или ниже диагонали). Таким образом, ответы экспертов будут представлены в виде следующей матрицы:

После ряда математических преобразований мы получаем оценки каждого признака А 1 , А 2 , … ,А n с точки зрения данного эксперта. Суммарные оценки признаков получаются путем идентичной обработки суммарной матрицы, каждый элемент которой есть сумма сравнений признаков, данных всеми экспертами.

Суммарная матрица имеет вид

m - число экспертов, оценивающих данный набор признаков;

- оценки соответственно 1, 2, …, j, …, m экспертов;

Суммарные оценки, данные всеми экспертами.

Определяя дисперсию суммарной матрицы и сравнивая её с максимально возможной дисперсией матрицы с таким же числом элементов, можно определить согласованность мнений экспертов. Чем ближе дисперсия суммарной матрицы к максимально возможной дисперсии, тем выше согласованность мнений. Таким образом, метод парных сравнений позволяет провести строгий, статистически обоснованный анализ согласованности мнений экспертов, выявить, случайны или нет полученные оценки. Несомненно, процедура метода парных сравнений сложнее метода простой ранжировки, но проще метода последовательных сравнений.

Число экспертов, требуемое для оценки определенной совокупности признаков методом парных сравнений, в два раза больше, чем при использовании метода простой ранжировки, и в два раза меньше, чем при методе последовательных сравнений.

В настоящее время во многих методах проведения экспертных оценок предлагается в качестве показателя компетентности эксперта коэффициент:

, (2.6)

где- коэффициент компетентности эксперта;

Коэффициент степени знакомства эксперта с обсуждаемой проблемой;

Коэффициент аргументированности.

Коэффициент степени знакомства с направлением исследований определяется путем самооценки эксперта по десятибалльной шкале. Значения баллов для самооценки следующие:

0 - эксперт не знаком с вопросом;

1,2,3 - эксперт плохо знаком с вопросом, но вопрос входит в сферу его интересов;

4,5,6 - эксперт удовлетворительно знаком с вопросом, не принимает непосредственного участия в практическом решении вопроса;

7,8,9 - эксперт хорошо знаком с вопросом, участвует в практическом решении вопроса;

10 - вопрос входит в круг узкой специализации эксперта.

Эксперту предлагается самому оценить степень своего знакомства с вопросом и подчеркнуть соответствующий балл. Затем этот балл умножается на 0,1, и получаем коэффициент.

Коэффициент аргументированности учитывает структуру аргументов, послуживших эксперту основанием для определенной оценки. Коэффициент аргументированности предлагается определить в соответствии с таблицей 2.2 путем суммирования значений, отмеченных экспертом в клетках этой таблицы.

Определив коэффициент компетентности, умножают на него значение оценок экспертов.

Таблица 2.2 Значения коэффициента аргументированности

РАЗВИТИЕ И ПРИМЕНЕНИЕ ЭКСПЕРТНЫХ МЕТОДОВ

В СОЦИОЛОГИЧЕСКОМ ИССЛЕДОВАНИИ

В исследовании социально-экономических и политических сис­тем управления широкое распространение имеет метод экспертных оценок. Это объясняется сложностью исследуемых проблем, отсутстви­ем надежных экспериментальных или нормативных инструментов.

Экспертиза ¾ это мнение, идея, решение или оценка, основанные на реализации ценного опыта специалиста, глубоких знаний предмета исследования и технологиях качественного анализа. Слово «эксперт» образовано от латинского «опытный». Эксперт должен обладать соот­ветствующим профессиональным опытом и развитой на его основе интуицией.

Экспертные методы завоевывают популярность по мере увели­чения доли качественных критериев в отображении и оценке соци­альных процессов. Одной из причин, вызвавших эту тенденцию, явля­ется необходимость учета интуиции опытных экспертов, выносящих заключения о целесообразности принятия того или иного варианта решения в процессе разработки и реализации программы.

Факт проникновения субъективных подходов в плоскость объек­тивной оценки рассматриваемых альтернатив, лежащий в основе ме­тодологии экспертных методов, призван обеспечить более точное и адекватное отображение свойств и признаков оцениваемого объек­та. Особую роль экспертные методы начинают играть в условиях не­стабильной экономики, когда возрастает неопределенность решения различных социально-экономических ситуаций.

Методология экспертных оценок применяется в решении следу­ющих задач:

Обоснование выбора варианта управленческого решения на ос­нове заложенных в основу оценки критериев;

Определение перспективных направлений использования име­ющихся в организации технологий;

Согласование мнений между различными уровнями управле­ния;

Проведение полной и адекватной оценки ситуации, сложившей­ся на предприятии, в отрасли и пр.

Основу методологии экспертных оценок составляют экспертные методы анализа. Экспертные методы анализа - это исследование па­раметров исследуемого объекта, основанное на принципах организа­ции коллективной мыследеятельности с использованием технологии экспертного опроса. Цель экспертного анализа заключается в пред­варительном тестировании объекта исследования, направленном на выявление в нем внутренних свойств и связей, скрытых от исследова­теля. Благодаря методам экспертного анализа собирается необходи­мый для вынесения экспертной оценки материал, обеспечивается его соответствие принятым стандартам.

Технология проведения экспертного анализа предполагает прохож­дение ряда этапов.

1. Подготовка экспертов.

2. Выделение критериев и условий принятия экспертных реше­ний.

3. Выбор оптимального метода экспертной оценки.

Эксперты не всегда способны дать количественные оценки зна­чений оцениваемых показателей. Поэтому важнейшим элементом эк­спертной оценки является способ качественной оценки объектов экс­пертизы.

Таким образом, своеобразие качественных методов проведения экспертной оценки заключается в таком представлении объекта эк­спертизы, которое позволит увидеть в нем скрытые до этого свой­ства.

СТЕПЕНЬ ДОСТОВЕРНОСТИ ЭКСПЕРТИЗЫ.

ТРЕБОВАНИЯ К ПРОФЕССИОНАЛЬНОЙ КОМПЕТЕНТНОСТИ ЭКСПЕРТОВ

Экспертные исследования могут иметь как самостоятельное зна­чение, так и использоваться при проверке истинности (верификации) логических исследований и моделирования.

Прогнозные экспертные оценки отражают индивидуальность суж­дения специалистов относительно эффективности, расхода ресурсов, безопасности, а также перспектив развития объекта и основаны на мобилизации профессионального опыта и интуиции.

Интуитивные (экспертные) методы исследований используются в следующих случаях:

Для анализа, диагностики состояния, последующего прогнозирования вариантов развития объектов, развитие которых либо полностью, либо частично не поддается предметному описанию или математической формализации;

В условиях отсутствия достаточно представительной и достоверной статистики по характеристикам объекта;

В условиях большой неопределенности среды функционирова­ния объекта, рыночной среды;

При средне- и долгосрочном прогнозировании новых рынков, объектов новых областей промышленности, подверженных сильному влиянию открытий в фундаментальных науках;

В случаях, когда или время, или средства, выделяемые на прогнозирование и принятие решений, не позволяют исследовать пробле­му с применением формальных моделей;

При отсутствии необходимых технических средств моделиро­вания, например вычислительной техники с соответствующими харак­теристиками;

В экстремальных ситуациях.

Степень достоверности экспертизы устанавливается по абсолют­ной частоте, с которой оценка эксперта в конечном итоге подтвержда­ется последующими событиями.

Эксперт должен обладать соответствующим профессиональным опытом и развитой на его основе интуицией. К эксперту предъявляют следующие требования:

Высокий уровень общей эрудиции;

Стабильность во времени оценок эксперта;

Наличие дополнительной информации о прогнозируемых при­знаках лишь подтверждает оценку эксперта; богатый практический и исследовательский опыт, репутация признанного специалиста в данной области знаний;

Наличие психологической установки на будущее;

Способность к адекватному отображению тенденций развития исследуемого объекта;

Незаинтересованность в конкретном результате прогноза.

Характеризуя экспертов, следует иметь в виду, что в результате выработки оценок могут иметь место ошибки двух видов. Ошибки пер­вого вида известны в технике измерений как систематические, ошиб­ки второго вида - как случайные. Эксперт, склонный к систематичес­ким ошибкам, выдает значения, которые устойчиво отличаются от истинного в сторону увеличения или уменьшения. Полагают, что ошиб­ки этого вида связаны со складом ума экспертов. Для коррекции сис­тематических ошибок можно применять поправочные коэффициенты или же использовать специально разработанные тренировочные игры.

Случайные ошибки изменяются от одной экспертной оценки к другой и характеризуются величиной дисперсии.

Исходя из анализа основных видов ошибок при вынесении экс­пертных суждений, можно добавить к рассмотренному выше перечню требований к экспертам еще одно. Смысл его состоит в том, что следу­ет предпочесть эксперта, оценки которого имеют малую дисперсию и систематическое отклонение средней ошибки от нуля, эксперту со средней ошибкой, равной нулю, но с большей дисперсией. К сожале­нию, заранее определить способность человека делать правильные эк­спертные оценки невозможно.

Организация форм работы эксперта может быть программирован­ной или непрограммированной. Деятельность эксперта может осущест­вляться в устной (интервью) либо в письменной форме. Программирование работы эксперта предполагает следующее:

1) построение граф-модели объекта на базе ретроспективного анализа данных прошедшего периода;

2) определение структуры таблиц экспертных оценок или про­граммы интервью на базе граф-модели объекта и целей экспертизы;

3) определение типа и формы вопросов в таблицах экспертных оценок или интервью;

4) определение типа шкалы для вопросов в названных таблицах;

5) учет психологических особенностей экспертизы при опреде­лении последовательности вопросов в таблицах экспертных оценок;

6) учет верифицируемых вопросов;

7) разработка логических приемов для последующего синтеза прогнозных оценок в комплексных прогнозах объекта.

Организация и стимулирование работы эксперта состоит в раз­работке эвристических приемов и способов, облегчающих поиск про­гнозной экспертной оценки; правовых норм, гарантирующих экспер­ту оформление приоритета в авторстве, а также неразглашение всех научно-технических идей, выдвигаемых им в процессе экспертизы; форм моральной, профессиональной и материальной заинтересован­ности эксперта в экспертных оценках; организационных форм работы эксперта.

При решении задачи формирования экспертной группы необхо­димо выявить и стабилизировать работоспособную сеть экспертов. Способ стабилизации экспертной сети заключается в следующем. На основе анализа литературы по прогнозируемой проблеме выбирается любой специалист, имеющий несколько публикаций в данной облас­ти. К нему обращаются с просьбой назвать десять наиболее компетен­тных, по его мнению, специалистов по данной проблеме. Затем обра­щаются одновременно к каждому из десяти названных специалистов с просьбой указать десять наиболее крупных коллег-ученых. Из полу­ченного списка специалистов вычеркивают десять первоначальных, а остальным рассылают письма, содержащие указанную выше просьбу. Данную процедуру повторяют до тех пор, пока ни один из вновь на­званных специалистов не сможет добавить новые фамилии к списку экспертов, т.е. пока не стабилизируется сеть экспертов. Полученную сеть экспертов можно считать генеральной совокупностью специали­стов, компетентных в области прогнозируемой проблемы. Однако в си­лу ряда практических ограничений оказывается нецелесообразным привлечение всех специалистов к экспертизе. Поэтому необходимо сформировать репрезентативную выборку из генеральной совокупно­сти экспертов. Этот вопрос решается в рамках каждого конкретного метода экспертного прогнозирования.

Анкета для опроса специалистов является важнейшим инструмен­том экспертного прогнозирования. Подготовка и проведение эксперт­ного прогнозирования включает разработку анкет, содержащих набор вопросов по объекту прогноза. Структурно набор вопросов в анкете должен быть логически связан с центральной задачей экспертизы. Содержание вопросов определяется спецификой объекта прогнозиро­вания, методикой прогнозирования и верификации прогноза.

Формулировка вопросов в анкете должна отвечать следующим требованиям:

Общепринятая терминология;

Исключение всякой смысловой неопределенности;

Обеспечение достижения целей прогноза;

Соответствие структуре объекта прогнозирования;

Обеспечение единого и однозначного толкования результатов анкетирования;

Обеспечение использования конкретного способа верификации результатов прогнозирования.

По форме вопросы анкеты могут быть открытыми и закрытыми, прямыми и косвенными. Открытым называют вопрос, ответ на кото­рый не регламентирован. Закрытым называют вопрос, в формулиров­ке которого содержатся альтернативные варианты ответов. При от­вете на закрытый вопрос эксперт должен остановить свой выбор на одном из вариантов ответа, содержащегося в бланке. Косвенные во­просы используют, когда требуется замаскировать цель экспертизы или есть основания предполагать неискренность эксперта при ответе на во­прос.

Таким образом, методы экспертных оценок в исследовании соци­ально-экономических и политических процессов часто применяют в предшествующих прогнозных и плановых исследованиях.

ЭКСПЕРТНЫЕ МЕТОДЫ АНАЛИЗА ДАННЫХ

В целом можно выделить две группы экспертных оценок: инди­видуальные и коллективные. Индивидуальные экспертные мето­ды используют при прогнозировании в относительно узких областях науки и практики. Коллективные экспертные оценки применяют при прогнозировании объектов и процессов, имеющих междисциплинар­ный характер.

Ряд экспертных методов трудно отнести к индивидуальным или коллективным. Кроме того, в процессе их применения также исполь­зуются как качественные, так и количественные критерии. Таким об­разом, можно выделить особую группу эвристических методов, значе­ние которых заключается в мобилизации творческого мышления на решение сложных комплексных задач.

Индивидуальные методы основаны на использовании мнений экспертов, независимых друг от друга. Информация, которую получа­ет заказчик от эксперта, отличается уникальностью и ориентацией на проблему, имеющую локальный характер.

1.Метод гирлянд и ассоциаций, разработанный в 70-е гг. XX в. советским ученым Г. Бушем, предполагает изучение объекта, схожего по свойствам, на базе сличения их выявляются особенности, характерные для исследуемого объекта.

Метод предполагает прохождение следующих этапов:

Определение аналогов объекта;

Выбор случайных объектов;

Составление комбинаций из элементов гирлянд аналогов объек­та и случайных объектов;

Составление перечня или таблицы признаков случайных объек­тов;

Развитие идей посредством поочередного присоединения к объекту и его аналогам признаков случайных объектов;

Генерирование гирлянд ассоциаций (поочередно из каждого признака случайных объектов вырабатывается гирлянда «вторичных» понятий и признаков);

Развитие новых идей путем попыток комбинирования элемен­тов гирлянды ассоциаций по признакам с элементами гирлянды ана­логов объекта;

Выбор альтернативы, т.е. анализ полученного множества идей и принятие решения о прекращении генерирования гирлянд ассоциа­ций и комбинирования понятий;

Оценка и отбор рациональных вариантов идей;

Выбор предпочтительного варианта.

Сферой применения названного метода может стать сложная про­блемная ситуация, слабо изученная, в отношении которой нет сложив­шегося мнения. Метод может быть реализован только при условии большой предварительной работы, заключающейся в глубоком изуче­нии свойств аналогов исследуемого объекта, целесообразности их при­влечения, формировании психологической установки экспертов и т.д.

2. Метод парных сравнений основан на простом сопоставлении экспертом альтернативных вариантов, из которых он должен выбрать наиболее предпочтительный. Метод позволяет учитывать равноцен­ность или принципиальную несравнимость представленных альтерна­тив, в связи с чем они исключаются из анализа. В ходе такого сравне­ния эксперт не только отбирает лучшие варианты, но и формулирует критерии, позволяющие осуществить такой выбор, подчеркивая свой­ства и признаки отобранной альтернативы.

3.При использовании метода векторов предпочтений эксперту предъявляется весь набор оцениваемых альтернативных вариантов и предлагается для каждого из них указать, сколько альтернативных ему вариантов он опережает. Полученную информацию можно изоб­разить в виде вектора, одним из компонентов которого является число альтернативных вариантов, превосходящих первый, вторым компонен­том - число альтернатив, которые превосходят второй, и т.д. Исполь­зовать этот метод можно и при коллективной экспертизе, представляя коллективный взгляд на соотношение рассматриваемых альтернатив.

4. Метод фокальных объектов, разработанный в 50-е гг. XX в. аме­риканским ученым Ч. Вайтингом, заключается в перенесении призна­ков случайно отобранных аналогов на исследуемый объект. Отличительным признаком данного метода является то, что он совершенно исключает количественный подход и нацелен главным образом на кон­центрацию внимания исследователя на так называемом фокальном объекте, служащем основой сопоставления с объектами, составляющими поле направленного случайного поиска. Процедура применения метода предполагает прохождение следующих этапов;

Выбор фокального объекта;

Выбор трех-пяти случайных объектов;

Составление списков признаков для каждого случайного объекта;

Генерирование идей посредством присоединения к фокально­му объекту признаков случайных объектов;

Развитие полученных сочетаний путем свободных ассоциаций;

Оценка полученных идей и отбор полезных решений.

5. Индивидуальный экспертный опрос возможен в форме интервью или в виде анализа экспертных оценок.

Метод интервью означает беседу заказчика с экспертом, в ходе которой заказчик в соответствии с разработанной программой ставит перед экспертом вопросы, ответы на которые значимы для достижения программных целей. Анализ экспертных оценок предполагает инди­видуальное заполнение экспертом (экспертами) разработанного заказ­чиком формуляра, по результатам которого производится всесторон­ний анализ проблемной ситуации и выявляются возможные пути в ее решении. Свои соображения эксперт выносит в виде отдельного до­кумента, составленного на основе тщательного обследования объекта.

6. Метод средней точки используется при большом количестве альтернативных решений. Для этого формулируются два альтернативных варианта решения, один из которых наименее предпочтителен, второй - наиболее. После этого эксперту предлагается подобрать третий альтернативный вариант, оценка которого расположена между значениями первой и второй альтернативы. Процедура завершается, когда определяется сравнительная предпочтительность всех участвующих в экспертизе альтернативных вариантов.

7. Метод Черчмена-Акоффа. В соответствии с этим методом все альтернативные варианты ранжируются по предпочтительности, и каж­дому из них эксперт назначает количественные оценки. Преимуще­ством данного метода является допущение экспертами корректировок в ходе обсуждения альтернативных вариантов.

8. Метод лотерей. В соответствии с методом имеющиеся альтер­нативы распределяются в порядке убывания предпочтительности, для обозначения которой эксперт указывает такую вероятность (р), при которой альтернативный вариант (а 2) равноценен лотерее; альтерна­тивный вариант (а,) встречается с вероятностью (р), альтернативный вариант (а 3) встречается с вероятностью (1 - р).

Коллективные методы (методы организации коллективной мыследеятельности) являются наиболее эффективными с точки зре­ния достижения максимальной объективности экспертной оценки, поскольку предполагают использование широкого и представительно­го круга специалистов. В целом методы организации коллективной генерации идей можно разделить на несколько видов.

1. «Мозговой штурм». Главная цель «мозгового штурма» заклю­чается в стимулировании творческого процесса генерации идей, воз­можного в условиях коллективного обсуждения. Метод позволяет в условиях неопределенной ситуации разработать максимальное ко­личество возможных решений, концентрируя внимание участников на обсуждаемой проблеме. Характерной чертой данного метода является процедура отделения стадии генерации идей от стадии их оценки. Глав­ным преимуществом метода «мозгового штурма» является нацелен­ность на нахождение нестандартных решений, способных реализовать­ся при максимально открытом и свободном режиме обсуждения проблемы. Такой режим обсуждения позволяет не только обозначить возможные направления в решении актуальных проблем, но и сфор­мировать группу людей, обладающих высокими креативными способ­ностями, что чрезвычайно важно для организации любого типа. Метод «мозгового штурма» является очень эффективной технологией генерирования новаторских идей.

2. Методика судов. Суть методики заключается в такой организа­ции обсуждения проблемной ситуации в группе, когда одна сторона разрабатывает самостоятельные предложения, а другая дает критику всем этим предложениям. Использование этой методики воспроизводит сценарий суда, в котором происходит состязание между обвинением и защитой. Цель методики заключена в выявлении наиболее аргументированного и оптимального решения, полученного в ходе обстоятельной экспертизы.

Характерной чертой методики судов является ее ролевое испол­нение, которое позволяет участникам обсуждения наиболее полно про­явить себя в организационном процессе, осознавая в нем не только собственное место, но и место других служб и должностных функций.

3.Метод «черного ящика». Главным достоинством метода «чер­ного ящика» является минимизация возможного влияния заинтере­сованных лиц на принятие неэффективных решений. Метод нацели­вает на выделение специального аналитического центра, который делает заключение исключительно по разработкам независимых экс­пертов, оценивающих перспективы принятия решений по определен­ному перечню проблем.

4.Метод эвристического прогнозирования. Использование данного метода предполагает привлечение к работе экспертов узкой специали­зации, которые на основе предварительно разработанных анкет и таб­лиц должны выработать общую модель исследуемого объекта. Основ­ной трудностью в использовании этого метода является процедура подбора экспертов, поскольку их специализация и профиль должны обеспечить возможность целостного представления объекта. Успеш­ное выполнение этой задачи позволит сформулировать ряд норматив­ных характеристик объекта, которые могут послужить базой для опре­деления вероятных путей их достижения.

Таким образом, методом эвристического прогнозирования назы­вают метод получения и специализированной обработки прогнозных оценок объекта путем систематизированного опроса высококвалифи­цированных специалистов (экспертов) в узкой области науки, техни­ки или производства.

Область применения рассматриваемого метода включает научно-технические объекты, рынки и проблемы, развитие которых либо полностью, либо частично не поддается формализации, т.е. для которых трудно разрабатывать адекватную модель.

В основе метода лежат три теоретических допущения:

1) существование у эксперта психологической установки на бу­дущее, сформулированной на основе профессионального опыта и ин­туиции;

2) тождественность процесса эвристического прогнозирования или процесса решения научной или рыночной проблемы с однотипно­стью получаемого знания в форме эвристических правдоподобных умозаключений, требующих верификации;

3) возможность адекватного отображения тенденции развития объекта прогнозирования в виде системы прогнозных моделей, синте­зируемых из прогнозных экспертных оценок.

Следовательно, назначение метода эвристического прогнозиро­вания - выявление объективизированного представления о перспек­тивах развития узкой области науки, техники, рынка на основе систе­матизированной обработки прогнозных оценок репрезентативной группы экспертов.

5. Синектический метод. Одним из преимуществ синектического метода является возможность достижения консолидации между различными уровнями управления, задействованными в процессе вынесения экспертной оценки. Применение метода является целесообразным в силу того обстоятельства, что в ходе принятия экспертных оценок обсуждение проблем проходит между представителями одного уровня, что позволяет им высказываться откровенно и взвешенно. При этом необходимо учитывать мнение не только представителей высших звеньев управления, которые зачастую могут иметь весьма
общее представление об объекте оценки, но и рядовых исполнителей, чьи знания об объекте являются очень ценными и практически значимыми.

Синектический метод является значимым в практике японских предприятий, где фактору причастности персонала к принятию реше­ний придается большое значение. Благодаря консолидации интересов между экспертными уровнями достигается не только социальная ста­бильность, но выявляется уникальный способ осознания и разреше­ния актуальных проблем.

6. Метод дневников. Характерным признаком этого метода является его обезличенность и предельная объективность. Реализация метода возможна лишь при наличии документальных источников, по которым исключительно и проводится акт экспертизы. Чаще всего
метод используется в структуре управления с жестко регламентированной системой должностных инструкций. Объектом экспертной оценки выступают, как правило, вахтовый журнал, инструктивные документы, на основе которых вырабатываются рекомендации по со­вершенствованию деятельности предприятий.

7. «Метод Делъфи» является самым популярным из экспертных методов, и его популярность напрямую связана с эвристическими воз­можностями самого метода, позволяющими решать сложные комплек­сные задачи.

«Метод Дельфи» был разработан в 1964 г. сотрудниками научно-исследовательской корпорации РЭНД О. Хелмером и Т. Гордоном.

Сущность метода заключается в последовательном анкетирова­нии мнений экспертов по интересующей организаторов экспертизы проблеме.

Метод предполагает серию опросов экспертов, не имеющих воз­можности вступать друг с другом в непосредственный контакт и полу­чающих информацию о заключениях других лишь по их письменным отчетам. Цель метода заключается в вынесении объективной и точной оценки существующих альтернатив с целью принятия оптимальных и социально приемлемых решений.

На первом этапе экспертам предлагают дать заключение о целесо­образности выбора того или иного варианта решения проблемы, осно­ванного на логике доказательства такого выбора и интуиции эксперта.

На втором этапе (обсуждения) эксперты обмениваются заключе­ниями через координатора экспертизы, учитывая во втором варианте собственного отчета доводы и аргументацию своих коллег.

Процесс экспертизы может продолжаться до тех пор, пока не бу­дет получена максимально консолидированная оценка экспертами сло­жившейся проблемной ситуации и предложен оптимальный и наибо­лее обоснованный способ ее решения.

Использование метода возможно лишь при соблюдении ряда ус­ловий, способных оказать влияние на его эффективное применение в отборе наилучшей альтернативы.

Организационные требования к использованию «метода Дельфи» таковы.

1. Группы экспертов должны быть стабильными, и численность их должна удерживаться в определенных рамках. Минимальное чис­ло экспертов можно вычислить по формуле

N min = 0,5 (3: b+5)

где b - ошибка результата, измеряемого в диапазоне экспертной оценки от 0 до 1.

2. Время между этапами опроса должно составлять не более месяца.

3. Вопросы в анкетах должны быть тщательно продуманы и четко сформулированы.

4. Число туров (этапов) должно быть достаточным, чтобы все уча­стники имели возможность ознакомиться с причиной той или иной оценки и критиковать ее.

5. Необходимо иметь самооценку компетенции экспертов по рас­сматриваемым проблемам.

6. Необходима формула согласованности оценок, основанная на данных самооценок.

7. Следует установить влияние различных видов передачи инфор­мации экспертам по каналам обратной связи.

8. Необходимо установить влияние общественного мнения на эк­спертные оценки и на сходность этих оценок.

9. В ходе реализации метода должен проводиться систематиче­ский отбор экспертов, основанный на данных экспертизы по турам и са­мооценкам.

Важнейшим достоинством метода является использование в нем количественных показателей, позволяющих делать точные и аргумен­тированные заключения.

«Метод Дельфи» целесообразно применять в следующих случаях:

Имеющиеся в распоряжении или доступные данные непригод­ны для анализа существующей проблемы;

В распоряжении нет нужных данных;

Нет достаточного времени для сбора данных;

Процесс получения и анализа необходимых данных слишком дорог.

В «Дельфи» предусматривается создание условий, обеспечива­ющих эффективную работу экспертной комиссии. Это достигается ано­нимностью процедуры, с одной стороны, и возможностью пополнить информацию о предмете экспертизы, отказом от коллективного мне­ния - с другой. Еще одно важное свойство - обратная связь, позволя­ющая экспертам корректировать свои суждения с учетом промежуточ­ных усредненных оценок и пояснений экспертов, высказавших «крайние» точки зрения. Для реализации обратной связи необходима многотуровая процедура. Экспертиза проводится чаще всего в четыре тура.

Прямые дебаты заменены тщательно разработанной программой последовательных опросов, проводимых обычно в форме анкетирова­ния. Ответы экспертов обобщаются и вместе с новой дополнительной информацией поступают в их распоряжение, после чего эксперты уточняют первоначальные ответы. Такая процедура повторяется несколь­ко раз до достижения приемлемой согласованности всей совокупно­сти высказанных мнений.

На первом туре экспертам сообщается цель экспертизы и форму­лируются вопросы, ответы на которые составляют основное содер­жание экспертизы. Успеху способствует предоставление эксперту до­полнительной информации о предмете экспертизы. Информация, полученная от эксперта, поступает в распоряжение аналитической группы, обеспечивающей организацию, проведение, обработку проме­жуточных и окончательных результатов экспертизы. Аналитическая группа определяет экспертов, высказавших «крайние» точки зрения, давших самую высокую и самую низкую оценку альтернативе, усред­ненное мнение экспертов - медиану, верхнюю и нижнюю квартили, т.е. значение оцениваемой альтернативы, выше и ниже которых рас­положены 25% численных значений оценок. Расстояние между квар­тилями характеризует разброс экспертных оценок, т.е. согласованность точек зрения экспертов.

Степень согласованности мнений экспертов определяют коэффициентом вариации n, который не должен превышать 33%. Он рассчитывается по формуле:

n = s/х * 100%

Где s – среднее квадратическое отклонение оценок.

Где х – среднее значение оценки

х i – оценка каждого эксперта

n – число экспертов.

Медиана - значение оценки, которое находится в середине ран­жированного ряда. Для нахождения медианы ряда с четным числом вариант складывают две средние варианты и делят сумму пополам.

На втором туре экспертам предъявляется усредненная оценка экспертной комиссии и обоснования экспертов, высказавших «край­ние» точки зрения. После получения дополнительной информации эксперты, как правило, корректируют свои оценки. Скорректированная информация вновь поступает в аналитическую группу. На третьем туре эта информация вместе с анонимными аргументациями постав­ленных оценок снова направляется каждому участнику. На основе по­лученной информации эксперты пересматривают предыдущие оцен­ки. Если же оценка какого-либо эксперта значительно выходит за рамки общего интервала, то он должен подтвердить достаточной аргумента­цией свою позицию и объяснить, почему предыдущая информация и аргументация противоположных оценок не заставили его изменить свое мнение. На четвертом туре каждый эксперт распределяет оценки третьего тура, и он должен снова представить на рассмотрение пересмот­ренную оценку, учтя полученную информацию. Как показывает прак­тика, желаемое согласие наступает к четвертому туру.

Рассмотрим применение «метода Дельфи» на примере прогноза величины валового сбора зерна в К* области в 2004 г.

Пусть в подготовке решения участвовало 14 экспертов. Коорди­натором экспертизы был сделан доклад о состоянии и основных на­правлениях развития сельского хозяйства в рассматриваемом регио­не, приведена статистика валового сбора зерна в 1913-2003 гг. (рис.). Опрос проводился в три тура.

Экспертами были приведены следующие аргументы за минималь­ный объем сбора зерна:

1) прогнозируемые синоптиками на 2004 г. неблагоприятные по­годные условия - дожди во время уборки;

2) высокая степень износа сельскохозяйственной техники;

3) недостаточное финансирование производящих отраслей агро­промышленного комплекса;

4) недостатки управления сельским хозяйством: низкая квалифи­кация кадров управления, неэффективность организационных струк­тур управления, отсутствие системы непрерывного прогнозирования и планирования на производящих организациях и т.д.

За максимальный объем валового сбора зерна экспертами были высказаны следующие аргументы:

1) увеличение объемов производства сельскохозяйственной про­дукции в фермерских хозяйствах области;

2) увеличение посевных площадей;

3) тенденции увеличения производства зерна в регионе за послед­ние годы;

4) политика органов регионального управления, направленная на стабилизацию кризисных явлений в сельском хозяйстве области.

Первый тур. Для проведения экспертизы экспертам предостави­ли анкеты; в каждой содержался вопрос и место для ответа. Результа­ты обработки анкет на первом туре представлены ниже (табл.).

Среднее значение оценки:

Х = 1/14(1000 + 1100 + 1100 + 1200 + 1200 + 1500 + 1700 + 2100 +

2200 + 2400 + 2500 + 2600 + 2600 + 2900) = 1864,3.

Результаты анкетирования (первый тур)

Статистические характеристики второго тура

`х = 1517,18 Q 0.25 = 1100 s = 511.16

Мe = 1350 Q 0.75 = 2000 n = 33.6%

Третий тур экспертной оценки аналогичен. Каждому эксперту предлагается пересмотреть свои предыдущие ответы и, при желании, исправить их. Все исправления сопровождаются объяснениями, поче­му увеличиваются или уменьшаются объемы валового сбора (табл.).

Статистические характеристики третьего тура экспертизы

`х = 1221,4 Q 0.25 = 1100 s = 160,9

Мe = 1200 Q 0.75 = 1350 n = 13,1%

При необходимости экспертиза может продолжаться далее.

Общие результаты экспертизы по турам

В нашем случае экспертиза завершена после третьего тура, так как мнения экспертов стали согласованными (коэффициент вариации v = 13,1%).

В результате применения «Дельфи» состоялся прогноз о том, что валовой сбор зерна в регионе ожидается в объеме 1200 тыс. т.

Таким образом, рассмотрев две группы экспертных оценок, мож­но сделать вывод. Индивидуальные экспертные методы мало пригод­ны для прогнозирования наиболее общих стратегий из-за ограничен­ности знаний одного эксперта о развитии смежных областей науки и практики, тогда как методы коллективных экспертных оценок осно­вываются на принципах выявления коллективного мнения экспертов о параметрах и перспективах развития объекта, где в основе лежит ги­потеза о наличии у экспертов умения с достаточной степенью досто­верности оценить важность и значение исследуемой проблемы.

Экспертный метод определения показателей качества основан на учете мнений специалистов-экспертов. Эксперт - специалист, компетентный в решении конкретной задачи (от латинского слова “expertus”- опытный). Этот метод применяют в тех случаях, когда те или иные показатели качества не могут быть определены другими методами из-за недостаточного количества информации, необходимости разработки специальных технических средств и т. п.

Экспертный метод является совокупностью нескольких различных методов, которые представляют собой его модификации. Известные разновидности экспертного метода применяются везде, где основой решения является коллективное решение компетентных людей (экспертов). Так, например, решения различных советов, конференций, совещаний, комиссий, а также экзаменаторов при оценке знаний учащихся и т. п. - все это решения, принимаемые экспертными методами.

Классификационными признаками, позволяющими группировать экспертные методы, являются: учет компетентности экспертов при формировании экспертной группы; способы опроса экспертов; способы обмена информацией; типы шкал, применяемых для оценки. Для экспертной оценки целесообразно пользоваться шкалами с нечетным числом градаций, в которых помимо нижнего и верхнего имеется средний (удовлетворительный) уровень.

Экспертные методы могут использоваться при формировании сразу общей оценки (без детализации) уровня качества продукции, а также при решении многих частных вопросов, связанных с определением показателей качества. Области применения экспертных методов следующие:

• оценка нормативных документов на продукцию;
• обобщенная оценка качества продукции;
• классификация оцениваемых товаров;
• определение номенклатуры показателей качества оцениваемой продукции;
• определение коэффициентов весомости показателей качества;
• выбор базовых образцов и определение значений базовых показателей качества;
• измерение и оценка показателей качества с помощью органов чувств (органолептически);
• оценка единичных показателей, значения которых определены измерительным или расчетным методами;
• идентификация продукции;
• определение комплексного показателя качества на основе совокупности единичных (обобщенных и групповых показателей);
• оценка конкурентоспособности продукции;
• сертификация продукции.

Экспертный метод не используется в том случае, если качество можно оценить другими методами с большей точностью или с меньшими затратами.

Результаты экспертной оценки имеют элементы неопределенности и необоснованности. Достоверность результатов оценки зависит от компетентности и квалификации экспертов.

Компетентность эксперта складывается из профессиональной и квалиметрической компетентности. Профессиональная компетентность предусматривает знание в области:

• истории развития оцениваемой продукции, изменения ее свойств и показателей качества;
• условий проектирования (конструирования) и производства (переработки) продукции;
• значений показателей качества отечественных и зарубежных аналогов;
• перспектив развития продукции, отраженных в научно- исследовательских работах, патентах, конструкторских разработках;
• требований потребителей, условий и характера потребления (эксплуатации) и утилизации.

Квалиметрическая компетентность предусматривает четкое понимание: подхода к оценке качества товаров; методов оценки качества; вопросов построения и применения оценочных шкал; определения субъективных вероятностей и различия достаточного числа градаций оцениваемого объекта.

Квалификация эксперта определяется не только знанием предмета обсуждения, но умением высказывать четкие, однозначные суждения. Кроме того, учитываются специфические возможности эксперта. Например, в пищевой промышленности при оценке качества продуктов питания учитывают возможности эксперта воспринимать вкус, запах и проч., а также его состояние здоровья. Эксперты, оценивающие эстетические и эргономические показатели качества, должны быть хорошо осведомлены в области художественного конструирования.

При использовании экспертного метода для оценки качества формируют две группы: рабочую и экспертную. Рабочая группа организует процедуру опроса экспертов, собирает анкеты, обрабатывает и анализирует экспертные оценки.

Экспертная группа формируется из высококвалифицированных специалистов в области создания и использования оцениваемой продукции. Это могут быть товароведы, маркетологи, дизайнеры, конструкторы, технологи и др. Число экспертов, входящих в группу, зависит от требуемой точности средних оценок, допустимой трудоемкости оценочных процедур, возможностей управления группой и возможностей организации, в которой формируется группа, но в группе должно быть не менее 7-12 человек. При необходимости повышения точности оценок качества состав группы может быть увеличен до 15-20 экспертов.

Желательно, чтобы экспертная группа формировалась не для одноразовой экспертизы, а как постоянно функционирующий орган с достаточно стабильным составом экспертов. В процессе работы группы у экспертов на основе анализа результатов предыдущей работы вырабатываются общие подходы и принципы оценки качества продукции, что повышает эффективность оценки.

При проведении оценки качества экспертам предлагается построить иерархическую номенклатуру показателей качества. При построении иерархической номенклатуры показателей качества, желательно опуститься до уровня рассмотрения, на котором находятся единичные показатели, для которых существуют объективные методы оценки.

При построении номенклатуры показателей качества целесообразно выполнять следующие четыре условия:

• 1) признак, по которому любой комплексный показатель делится на п показателей нижележащего уровня (классификационный признак), должен быть единым для всех? показателей. Это обеспечивает экспертам наилучшие возможности для сопоставления показателей при определении коэффициентов весомости (следующая после построения номенклатуры операция);
• 2) определяя коэффициенты весомости, эксперт сравнивает между собой важность различных показателей качества, входящих в однородную группу. Поскольку при значительном числе показателей эта операция становится затруднительной, что снижает объективность результатов, число показателей, входящих в однородную группу, не должно превышать 10;
• 3) если показатель качества повторяется на двух или более уровнях, то его коэффициент весомости считается завышенным. Следовательно, повторение показателей нежелательно;
• 4) число показателей качества, входящих в однородные группы на одном уровне номенклатуры показателей качества, не должно резко отличаться, так как увеличение числа показателей может привести к снижению значений коэффициентов весомости. Например, в номенклатуре показателей качества на 1-м уровне расположено три показателя (5.= 1, 2, 3), на 2-м уровне каждый из них состоит из некоторого числа показателей - соответственно q, I, р. Желательно, чтобы выполнялось условие q ~ I ~ р или чтобы эти числа были достаточно близкими.

Возможные погрешности могут быть уменьшены включением в пояснительную записку необходимых разъяснений.

Работа экспертов заключается в выполнении двух самостоятельных, но взаимосвязанных операций - корректирования (уточнения) номенклатуры показателей качества и определения коэффициентов весомости этих показателей.

После изучения представленной номенклатуры показателей качества каждый эксперт приходит к одному из следующих выводов:

• а) в номенклатуре есть показатели качества, весомость которых незначительна. Их можно не учитывать при оценке качества (эти показатели качества эксперт вычеркивает);
• б) в номенклатуре не включены достаточно важные показатели (эти показатели эксперт вносит в номенклатуру);
• в) вычеркивает показатели, которые считает маловажными и одновременно дополняет номенклатуру показателями, которые считает достаточно важными;
• г) номенклатура показателей качества составлена правильно.

Мотивы своих действий эксперт излагает на отдельном листе, приложенном к номенклатуре, или техническому работнику, который заполняет этот лист.

После анализа мнений экспертов членами рабочей группы номенклатура корректируется и вновь поступает к экспертам для определения коэффициентов весомости показателей качества.

Определение коэффициентов весомости показателей качества

Определение экспертами коэффициентов весомости показателей качества начинается с ранжирования, когда каждому показателю качества присваивается определенный ранг. Если в однородную группу входят четыре и более показателей, эксперты предварительно ранжируют их: ранг 1 присваивается самому важному показателю, 2 - следующему по важности и т. д. Если эксперт считает, что весомость двух или более показателей одинакова, то он присваивает им одинаковые ранги. Если показателей менее четырех, операцию ранжирования можно не производить.

Каждый эксперт знакомится со значениями коэффициентов весомости, назначенными другими экспертами, и их обоснованиями. Если экспертная группа сформирована из работников различных организаций, которых трудно собрать для совместной работы, то каждый эксперт прикладывает к заполненной анкете краткое обоснование. Поскольку эта процедура весьма трудоемка, ее рекомендуется использовать, когда число показателей, входящих в структурную схему, сравнительно невелико (примерно 10-15). В противном случае экспертам предлагается дать обоснования лишь некоторых значений коэффициентов весомости по своему усмотрению. Для упрощения процедуры можно отказаться от обоснований и запросить их лишь в случае необходимости.

Каждый эксперт знакомится с анонимными мнениями других экспертов и вновь проставляет значения коэффициентов весомости.

Если сбор экспертной группы для совместной работы не представляет трудностей, то проводится открытое обсуждение всех коэффициентов весомости. Все эксперты имеют возможность кратко аргументировать свои суждения о значении коэффициента весомости каждого показателя и критиковать другие мнения. Для исключения возможного влияния служебного положения на мнения экспертов желательно, чтобы эксперты высказывались в последовательности от младшего к старшему (по служебному положению). После обсуждения эксперты проставляют значения коэффициента весомости показателя качества и переходят к следующему показателю.

По результатам оценки коэффициентов весомости оценивается согласованность мнений экспертов с помощью коэффициентов вариации, конкордации и др.

Значения коэффициентов вариации определяются рядом факторов: числом уровней в номенклатуре показателей качества, разнообразием мнений потребителей, компетентностью экспертов и т. д. При определении коэффициентов весомости можно рекомендовать следующие значения коэффициентов вариации, полученные на основании анализа результатов работы различных экспертных групп: V 0,35 - согласованность низкая.

Если согласованность мнений экспертов средняя или выше средней, то можно перейти к оценке согласованности мнений группы экспертов о весомости всех показателей. При согласованности ниже средней требуется дополнительный анализ. Причины низкой согласованности мнений экспертов могут быть субъективные и объективные.

Субъективные - недостаточная информированность экспертов о показателе качества, коэффициент весомости которого определяется; нечеткое понимание решаемой задачи; арифметические ошибка экспертов и т. д.

Объективные причины - проведенная классификация потребителей, на которую эксперты опираются при определении коэффициентов весомости, недостаточна. Следовательно, необходимо более четко определить условия потребления.

Для выявления причины низкой согласованности проводится повторное определение коэффициентов весомости данного показателя с обсуждением и вновь рассчитывается коэффициент вариации. Если после этой процедуры коэффициент вариации не улучшится (или улучшится незначительно), то следует обсудить полученные значения коэффициентов весомости с обоснованием мнений экспертов и уточнением группы потребителей.

Цель обсуждений состоит в стремлении выработать общее понимание всеми экспертами характера работы и вопросов и выявить истинное мнение каждого эксперта, а не в стремлении сблизить значения коэффициентов весомости, которые назначают эксперты. Таким образом, коэффициент вариации в значительной степени является не мерой “неблагополучия” во мнениях, а мерой различия требований отдельных групп потребителей к оцениваемой продукции.

9.3.3. Социологический метод

Социологический метод определения показателей качества основан на сборе и анализе мнений потребителей. Способы сбора информации различаются в зависимости от цели исследования. Социологическое исследование включает четыре этапа: подготовку исследования; сбор первичной социологической информации; подготовку собранной информации к обработке и ее обработку; анализ обработанной информации, подготовку отчета по итогам исследования, формулирование выводов и рекомендаций.

Сбор мнений потребителей осуществляется различными способами:

• письменный опрос (анкетирование);
• устный опрос (интервьюирование);
• тестирование.

Опрос является наиболее популярным методом сбора социологической информации. При проведении опроса источником информации является респондент, который является непосредственным участником опроса.

Анкетирование представляет собой письменный опрос при помощи анкеты. Социологическая анкета представляет собой набор вопросов, объединенный единой целью и направленный на выявление мнений потребителей. Очень важно при составлении анкеты перевести язык специалистов на язык потребителей. При составлении анкеты вопросы формулируют в закрытой, открытой и полуоткрытой форме.

Закрытые вопросы имеют все варианты ответов. Например:

«Когда Вы предпочитаете отдыхать?»

• 1 - зимой;
• 2 - летом.

В полузакрытых вопросах респонденту предоставляется возможность дополнения вариантов ответа. Например:

«Какие кисломолочные продукты Вы предпочитаете?»

• 1 - кефир;
• 2 - йогурт;
• 3 - кварк;
• 4 - другие (укажите, какие именно)_

Открытые вопросы не содержат вариантов ответа. Например:

Какими характеристиками должна обладать стиральная машина?

В анкете могут содержаться прямые и косвенные вопросы, основные и контрольные вопросы. Косвенные вопросы формулируются в том случае, когда ответ на прямой вопрос требует от респондента критического отношения к себе, оценки негативных явлений и проч. Основные вопросы направлены на сбор информации, а контрольные вопросы позволяют оценить искренность респондентов. Например, если основной вопрос: «Какие биологически активные добавки Вы покупаете?», то контрольным вопросом в открытой форме может быть: «Какие полезные свойства биологически активных добавок Вам известны?»

Вопросы можно располагать в строку или в таблице. При составлении анкеты существенное значение имеет однозначность понимания вопросов.

Помимо устного опроса анкеты могут рассылаться по почте. Преимуществом почтового опроса является простота организации, а недостатком -- неполный возврат анкет. Анкетирование может проводиться через средства массовой информации (газеты, журналы, теле- и радиовещание), оно основано на публикации (трансляции) текста анкеты, обращенной к потенциальным респондентам. Преимуществом является адресность аудитории, а недостатком - низкий возврат анкет. Интернет-опросы проводятся в различных формах: рассылка анкет по электронной почте; размещение анкет в новостях; интернет-форумы и телеконференции; анкеты в формате web-страниц и проч.

Интервьюирование предполагает устный опрос респондентов, который проводится в свободной форме или в стандартизированной (формализированной) форме. Свободное интервью часто является начальным этапом разработки анкеты или стандартизированного интервью, оно проводится без заранее подготовленного вопросника. Стандартизированное интервью проводится по четко составленным вопросам. Достоинством интервью является возможность получения ответов на все вопросы, уточнение противоречивых вопросов.

В основе тестирования лежат стандартизированные вопросы и задачи, которые имеют определенную шкалу значений.

Тесты позволяют получить количественную оценку параметров, но требуют определенной подготовки респондентов.

Достоверность результатов сбора и обработки информации обеспечивается методами математической статистики.

Социологические методы широко используют на стадии выполнения маркетинговых исследований, при изучении спроса, для определения показателей качества, для оценки качества и проч.

Например, необходимо выяснить, каким требованиям должен удовлетворять электрический утюг. Для этого разрабатывается опросный лист с указанием параметров утюга. Заполнение листов производится по почте, при общении с потенциальными покупателями в торговых точках и проч. Итоги опроса приведены в таблице.

Итоги опроса потенциальных покупателей утюгов

В таблице указаны средние значения оценок в баллах и количество опрошенных потенциальных покупателей, которые оценивали этот параметр. Оценка осуществлялась по 10-балльной шкале.

Для обработки полученной информации нужно учитывать средний балл и количество будущих покупателей, которые за него высказались. Затем определяют суммы баллов каждого из параметров и общую сумму баллов. Далее оценивают коэффициенты весомости каждого параметра и проверяют результаты суммированием:

q = (476/4444,8) + (342/4444,8) + (90/4444,8) + (403/4444,8) + + (486/4444,8) + (175/4444,8) + (216/4444,8) + (450/4444,8) + + (180/4444,8) + (480/4444,8) + (183/4444,8) + (320/4444,8) + + (497/4444,8) + (20,8/4444,8) + (126/4444,8) = 0,1071 + 0,0769 + + 0,0202 + 0,0906 + 0,1093 + 0,393 + 0,0485 + 0,1012 + 0,0405 + + 0,1079 + 0,0411 + 0,0719 + 0,1118 + 0,0047 + 0,0283 = 0,9998.

Сумма коэффициентов весомости составляет приблизительно единицу, что подтверждает точность расчетов.