Метод экспертных оценок: как принимать решения, когда не хватает данных

Экспертная оценка – это метод получения объективной информации путем привлечения квалифицированных специалистов (экспертов), обладающих глубокими знаниями и опытом в конкретной области знаний или деятельности. Экспертное мнение позволяет принимать обоснованные решения в ситуациях, когда статистические данные отсутствуют либо недостаточны для полноценного анализа проблемы.

В этой статье мы разберем, какие существуют виды экспертной оценки, поговорим о принципах и методах экспертного оценивания, о том, как его правильно проводить и каких ошибок при этом следует избегать.

Что стоит за понятием «экспертная оценка»

Экспертная оценка представляет собой процесс сбора мнений экспертов относительно определенного объекта исследования. Объектами оценки могут выступать различные аспекты жизни общества, экономики, политики, культуры, науки и техники. Эксперты могут оценивать качество продуктов питания, экологическое состояние территорий, эффективность управленческих решений и даже художественную ценность произведений искусства.

Метод экспертных оценок – это способ принятия решений или прогноза на основе суждений специалистов в определенной области. Проще говоря, мы обращаемся к людям, чьи знания, опыт и интуиция заменяют нам недостающую статистику и аналитику.

Экспертная оценка помогает принимать решения в условиях:

• нехватки данных;
• ограниченного времени;
• сложности автоматизации оценки;
• нестандартной задачи.

В сфере информационных технологий экспертные оценки применяются при планировании сроков задач в Agile-спринтах, оценке стоимости и трудозатрат в проектной документации, прогнозировании рисков стартапов, при выборе между разными техническими решениями. Метод экспертных оценок особенно популярен в ситуациях, когда:

• проект уникален и аналогов нет (например, внедрение новой технологии);
• требуется оценить трудоемкость, сроки или риски;
• нет времени или возможности проводить полномасштабные исследования или тестирования.

Виды экспертных оценок

Экспертные оценки можно классифицировать по разным критериям, в зависимости от целей, способа проведения, характера информации и других факторов.

По способу организации процесса выделяют:

• Индивидуальную экспертную оценку – когда мнение формирует один эксперт, без взаимодействия с другими специалистами. Метод быстр в реализации, но подвержен субъективности. Подходит при узкой специализации задачи.

• Групповую экспертную оценку – формируется несколькими экспертами. Может проводиться очно или дистанционно, анонимно или открыто. Повышает объективность за счет согласования взглядов и исключения индивидуальных искажений.

По характеру используемой информации экспертные оценки делятся на:

• Качественные – ориентированные на содержательное, описательное мнение эксперта. Используется, когда важен не числовой показатель, а концептуальное понимание ситуации. Например: эксперт оценивает UX-дизайн мобильного приложения с точки зрения удобства использования и соответствия гайдлайнам.
• Количественные – заключаются в присвоении числовых значений параметрам – например, в баллах, процентах или шкалах. Особенно важны при приоритизации задач или оценке рисков. Пример: команда присваивает вероятности техническим рискам при запуске нового API.

Стандарты экспертного подхода

Чтобы оценка была надежной, нужно соблюдать несколько принципов:

• Компетентность – эксперты должны иметь подтвержденный опыт и знания по рассматриваемому вопросу.
• Независимость – важно избегать давления и доминирования авторитетов. Анонимность часто помогает избежать эффекта авторитета и давления лидеров.
• Объективность формулировок – вопросы и критерии оценки должны быть понятны и не внушать определенного ответа.
• Системность – экспертное мнение должно собираться по единой структуре.
• Повторяемость – при повторении оценки результат не должен кардинально отличаться (при тех же условиях).
• Обоснованность – хорошая экспертная оценка всегда сопровождается объяснением.
• Множественность мнений – лучше собрать несколько точек зрения, чем полагаться на одну.

Пренебрежение этими стандартами приводит к искажению выводов и неправильным управленческим решениям.

Практические методы экспертной оценки

Существует множество методов экспертного оценивания. Рассмотрим самые распространенные и полезные из них.

Метод ранжирования

Экспертам дают перечень объектов (например, идей, проектов) и просят расставить их по местам: от самого важного до наименее важного. Каждый объект получает номер (ранг), соответствующий его месту в списке. Потом эти номера сравнивают, чтобы узнать, насколько эксперты согласны друг с другом, и выделить самые значимые объекты. Это простой способ понять, что важнее, когда нет точных цифр.

Преимущества:

• Простота реализации и понимания.
• Быстрота получения результатов.
• Не требует сложных расчетов.
• Наглядность результатов и легкость интерпретации.
• Возможность выявления согласованности мнений экспертов.
• Подходит для оценки большого количества объектов.
• Универсальность (применим к различным типам объектов).
• Не требует больших затрат времени и ресурсов.

Недостатки:

• Видно только относительную важность, а не точную.
• Трудно расставить по местам похожие объекты.
• Нельзя понять, насколько важен объект сам по себе.
• Зависимость результата от субъективного мнения экспертов при равнозначных вариантах.

SWOT-анализ

SWOT-анализ – это метод стратегического планирования, который используется для оценки сильных (Strengths) и слабых (Weaknesses) сторон организации, а также ее возможностей (Opportunities) и угроз (Threats). Результаты анализа представляются в виде матрицы, в которой перечисляются факторы, относящиеся к каждой из этих четырех категорий. SWOT-анализ помогает понять текущее положение организации, определить ключевые факторы, влияющие на ее деятельность, и разработать стратегию для достижения поставленных целей, используя сильные стороны и возможности, минимизируя слабые стороны и избегая угроз.

Преимущества:

• Простота и доступность (не требует специальных знаний и навыков).
• Универсальность (применим для различных организаций и ситуаций).
• Комплексный подход (учитывает внутренние и внешние факторы).
• Наглядность (результаты представляются в виде простой матрицы).
• Помогает выявить ключевые факторы успеха и проблемные области.
• Подходит для стратегического планирования.

Недостатки:

• Субъективность (зависит от мнения и опыта аналитиков).
• Обобщенность (не дает конкретных рекомендаций по действиям).
• Статичность (отражает ситуацию на момент проведения анализа).
• Не учитывает количественные показатели и взаимосвязи между факторами.

Метод непосредственной оценки

Метод непосредственной оценки – это простой и быстрый способ получить экспертное мнение, при котором экспертов просят напрямую оценить какой-либо объект или параметр, используя абсолютную шкалу. Эксперт выражает свое мнение в количественной форме (например, в баллах, процентах или денежных единицах) без сравнения с другими объектами. Полученные оценки затем могут быть усреднены или обработаны другими статистическими методами для получения общей оценки.

Преимущества:

• Простота и быстрота реализации.
• Возможность получения количественных данных.
• Подходит для оценки большого числа объектов.
• Не требует специальных знаний для участия экспертов.
• Легкость агрегации данных от разных экспертов.

Недостатки:

• Высокая субъективность оценок.
• Отсутствие относительной оценки (сложно сравнить объекты).
• Возможна переоценка/недооценка.
• Сложность обеспечения сопоставимости оценок.

Метод Дельфи

Метод Дельфи – это итеративный метод экспертной оценки, направленный на получение консенсусного мнения группы экспертов относительно будущего события или тенденции. Экспертам анонимно рассылаются вопросники, они отвечают на вопросы и предоставляют свои прогнозы. Затем ответы обобщаются, анализируются и возвращаются экспертам для пересмотра их первоначальных оценок, при этом эксперты видят мнения других, но не знают, кто их высказал. Этот процесс повторяется несколько раз до тех пор, пока не будет достигнуто достаточное согласие среди экспертов.

Преимущества:

• Анонимность, исключающая влияние авторитета и группового давления.
• Возможность пересмотра и уточнения оценок на основе анализа мнений других экспертов.
• Итеративность, позволяющая постепенно сближать мнения и достигать консенсуса.
• Подходит для спорных вопросов, сложных и неопределенных проблем, где нет точных данных.
• Может проводиться удаленно, что экономит время и ресурсы.
• Повышает объективность и надежность прогнозов.
• Структурированный подход к сбору и анализу экспертных мнений.

Недостатки:

• Длительность процесса.
• Зависимость от качества подбора экспертов.
• Возможная потеря информации при обобщении ответов.
• Риск формирования искусственного консенсуса.
• Требует хорошей организации и координации.

Метод экспертных комиссий

Метод экспертных комиссий или коллегиальный метод – это форма экспертной оценки, при которой группа экспертов собирается вместе для обсуждения проблемы или вопроса и выработки коллективного решения. Эксперты обмениваются мнениями, аргументируют свою позицию, анализируют различные аспекты проблемы и в результате дискуссии приходят к общему выводу или формируют рекомендации. Решение может быть принято голосованием или консенсусом.

Преимущества:

• Учет различных точек зрения и опыта.
• Возможность всестороннего обсуждения проблемы.
• Совместный анализ информации и выработка обоснованных решений.
• Стимулирование творческого мышления и генерации новых идей.
• Повышение ответственности экспертов за принятое решение.
• Оперативность принятия решений (по сравнению с другими методами).

Недостатки:

• Возможность влияния авторитета отдельных экспертов.
• Риск группового мышления и конформизма.
• Сложность организации эффективной дискуссии.
• Зависимость результата от состава комиссии.

Метод экспертных шкал

Метод экспертных шкал – это способ экспертной оценки, при котором экспертам предлагается оценить характеристики объекта или явления по заранее определенной шкале с фиксированными значениями (баллами). Каждому баллу соответствует определенное качественное описание или количественное значение. Эксперты выбирают баллы, наиболее точно отражающие их мнение об оцениваемом параметре, что позволяет получить количественную оценку качественных характеристик. К примеру, в IT такой метод часто применяют в UX-исследованиях для оценки удобства использования интерфейса приложения, где эксперты выставляют баллы по шкале от 1 до 5 по различным критериям: понятность навигации или визуальная привлекательность.

Преимущества:

• Простота использования и обработки результатов.
• Возможность количественной оценки качественных показателей.
• Сравнение и ранжирование объектов по заданным критериям.
• Широкий спектр применения в различных областях.
• Легкость автоматизации процесса оценки.
• Четкая и понятная система оценивания.

Недостатки:

• Субъективность оценок и зависимость от компетентности экспертов.
• Сложность в определении четких критериев для каждого балла.

Метод парных сравнений

Экспертам предлагается сравнить все возможные пары объектов (вариантов, альтернатив) друг с другом по заданному критерию. Для каждой пары эксперт выбирает один, наиболее предпочтительный объект. На основе результатов сравнений составляется матрица предпочтений, которая позволяет определить относительную важность или приоритетность каждого объекта.

Преимущества:

• Простота и понятность процесса оценки.
• Возможность сравнения объектов по нескольким критериям.
• Высокая точность результатов (по сравнению с другими методами ранжирования).
• Уменьшение субъективности оценок благодаря попарному сравнению.
• Удобство использования для небольшого количества объектов.

Недостатки:

• Увеличение времени и трудоемкости с ростом числа объектов.
• Возможная непоследовательность предпочтений у экспертов.
• Сложность применения для большого числа объектов.
• Требует тщательной подготовки списка объектов для сравнения.

Сценарный анализ с экспертной оценкой

Это метод, сочетающий разработку нескольких возможных сценариев будущего развития событий с экспертной оценкой вероятности и последствий каждого сценария. Эксперты, опираясь на свои знания и опыт, определяют ключевые факторы, которые могут повлиять на развитие ситуации, и разрабатывают различные варианты будущего. Для каждого сценария эксперты оценивают вероятность его реализации и возможные последствия для организации. Метод полезен для стратегического прогнозирования.

Преимущества:

• Помогает подготовиться к неопределенности и различным вариантам развития событий.
• Учитывает взаимосвязь между различными факторами.
• Расширяет горизонты мышления и стимулирует поиск новых возможностей.
• Улучшает процесс принятия решений в условиях риска.
• Позволяет оценить потенциальные последствия различных сценариев.

Недостатки:

• Трудоемкость и сложность разработки реалистичных сценариев.
• Субъективность оценок вероятности и последствий.
• Сложность учета всех возможных факторов и их взаимосвязей.
• Риск упустить важные сценарии.
• Требует высокой экспертизы.

Метод экспертных интервью

Это способ получения экспертной оценки путем проведения структурированных или полуструктурированных интервью с компетентными специалистами в определенной области. Интервьюер задает эксперту вопросы, направленные на выявление его мнения, знаний и опыта по интересующей теме. Полученная информация анализируется для формирования экспертной оценки или выводов.

Преимущества:

• Глубокое понимание проблемы благодаря детализированным ответам.
• Возможность получения информации, недоступной из других источников.
• Гибкость и адаптивность к различным ситуациям и вопросам.
• Выявление скрытых факторов и нюансов.
• Возможность установить доверительные отношения с экспертом.

Недостатки:

• Субъективность оценок и зависимость от компетентности эксперта.
• Трудоемкость и затраты времени на проведение интервью.
• Сложность в обобщении и анализе полученной информации (возможны искажения при интерпретации).
• Влияние личности интервьюера на ответы эксперта.

Метод мозгового штурма

Метод мозгового штурма – это групповой метод генерации идей, направленный на поиск решений проблемы путем поощрения спонтанного и некритичного выражения любых мыслей участниками. Основная задача – сгенерировать как можно больше идей за короткое время, без оценки или обсуждения их реалистичности. На следующем этапе идеи анализируются и отбираются наиболее перспективные.

Преимущества:

• Стимулирование творческого мышления и генерации нестандартных идей.
• Вовлечение широкого круга участников и использование коллективного интеллекта.
• Повышение мотивации и командного духа.
• Быстрый способ получения большого количества идей.
• Простота организации и проведения.

Недостатки:

• Возможность доминирования отдельных участников.
• Трудно обеспечить равное участие всех членов группы.
• Сложность в оценке и отборе наиболее перспективных идей.
• Риск отклонения от темы и потери времени на обсуждение нереалистичных идей.

Метод экспертного анкетирования

Это способ сбора экспертных оценок путем рассылки анкет с заранее сформулированными вопросами группе экспертов. Эксперты анонимно отвечают на вопросы, выражая свое мнение по предложенным темам или оценивая заданные параметры. Полученные ответы анализируются и обобщаются для формирования общей экспертной оценки.

Преимущества:

• Возможность охвата большого числа экспертов.
• Экономия времени и ресурсов по сравнению с другими методами.
• Обеспечение анонимности экспертов.
• Возможность удаленного участия.
• Стандартизация процесса сбора данных.
• Удобство обработки и анализа результатов.

Недостатки:

• Ограниченность вопросов и отсутствие возможности уточнения.
• Зависимость от качества разработанной анкеты.
• Возможная низкая активность экспертов и неполные ответы.
• Сложность в выявлении скрытых факторов и нюансов.

Дискуссия

Дискуссия как метод экспертной оценки предполагает организованный обмен мнениями между экспертами по определенной проблеме или вопросу. В ходе дискуссии эксперты высказывают свои точки зрения, приводят аргументы, анализируют различные аспекты проблемы и приходят к общему выводу или решению путем обсуждения и согласования позиций. Это формат живого обсуждения, где мнения корректируются в режиме реального времени. Модератор обычно направляет дискуссию, чтобы она оставалась в рамках темы и была продуктивной.

Преимущества:

• Всесторонний анализ проблемы за счет разных точек зрения.
• Генерация новых идей и решений в процессе обсуждения.
• Возможность уточнения и корректировки позиций.
• Улучшение понимания проблемы экспертами.
• Стимулирование критического мышления.

Недостатки:

• Возможность доминирования отдельных экспертов.
• Риск отклонения от темы и непродуктивного обсуждения.
• Зависимость результата от состава участников и модератора.
• Сложность в достижении консенсуса и принятии решения.

Как проходит экспертная оценка

Экспертная оценка – это структурированный процесс получения обоснованного мнения от компетентных специалистов для решения конкретной задачи. Вот подробное описание этапов проведения эффективной экспертной оценки:

Этап 1. Определение цели и задачи.

• Четко сформулируйте цель оценки: что именно необходимо оценить (риски, трудозатраты, эффективность, сложность внедрения и т.д.).
• Определите конкретные задачи, которые помогут достичь цели оценки. Что нужно измерить или узнать, чтобы получить необходимую информацию?

Этап 2. Определение критериев и шкал оценки.

• Разработайте критерии, по которым будет проводиться оценка. Это должны быть измеримые параметры (время, стоимость, вероятность) или качественные характеристики (уровень риска, технологическая зрелость).
• Определите шкалу оценки для каждого критерия (балльная, процентная, вербальная, ранговая). Шкала должна быть понятной и однозначной для всех экспертов.

Этап 3. Подбор и привлечение экспертов.

• Определите требования к экспертам: компетенции, опыт, независимость, репутация.
• Сформируйте список потенциальных экспертов, сочетая внутренних и внешних специалистов.
• Пригласите экспертов к участию, объяснив цели и задачи оценки, а также их роль.
• Убедитесь в отсутствии конфликта интересов и обеспечьте баланс мнений.

Этап 4. Подготовка инструментов и материалов.

• Разработайте инструменты для сбора информации: анкеты, таблицы, сценарии интервью, методические рекомендации.
• Инструменты должны быть понятными, нейтральными, обеспечивать структурированный сбор данных и соответствовать поставленным задачам.
• Предоставьте экспертам необходимые материалы и информацию для проведения оценки.

Этап 5. Проведение оценки.

• Организуйте процесс оценки в индивидуальном или групповом формате.
• Соблюдайте выбранную методику: анонимность (при необходимости), последовательность вопросов, единообразие условий.
• Обеспечьте возможность для экспертов задавать вопросы и получать разъяснения.

Этап 6. Обработка и анализ результатов.

• Систематизируйте и обработайте собранные данные: расчет средних значений, выявление расхождений.
• Проанализируйте результаты, используя статистические методы, постройте диаграммы и выявите закономерности.
• При необходимости проведите дополнительный раунд оценки для уточнения расхождений в мнениях (например, при использовании метода Дельфи).

Этап 7. Подготовка отчета и передача результатов.

• Сформируйте итоговый отчет, содержащий выводы, графики, таблицы и рекомендации.
• Обоснуйте выводы, используя результаты анализа экспертных оценок.
• Сформулируйте рекомендации для принятия решений или дальнейших действий.
• Передайте отчет заинтересованным сторонам, обеспечив понятное и доступное представление информации.

Типичные ошибки в экспертной оценке и способы их избежать

Распространенные ошибки в экспертной оценке:

• Оценка вне области компетенции: привлечение экспертов, не обладающих достаточным опытом и знаниями для оценки конкретного объекта или задачи.
• Нечеткая формулировка задачи: неясные или размытые цели оценки приводят к разночтениям в ответах и снижают полезность рекомендаций.
• Смещение мнения: влияние авторитета, коллег или личной заинтересованности на объективность оценок.
• Неполная информация: предоставление экспертам недостаточного объема информации, необходимой для проведения качественной оценки.
• Формализм: оценка «по шаблону», без учета специфики задачи и глубокого анализа.
• Пренебрежение анонимностью: раскрытие личностей экспертов может привести к групповому давлению и искажению результатов.
• Отсутствие повторной верификации: игнорирование необходимости проверки и подтверждения результатов оценки.
• Неправильный подбор экспертов: привлечение недостаточно опытных или заинтересованных людей.
• Слишком узкий круг привлекаемых экспертов: ограничение разнообразия подходов и увеличение вероятности однобокой точки зрения.
• Использование неподходящих методик: снижение точности прогноза.

Экспертная оценка неэффективна в случаях:

• Наличия достоверных данных: когда доступны объективные количественные данные (аналитика, A/B-тесты), они должны иметь приоритет.
• Отсутствия компетентных экспертов: в новых областях может не быть специалистов с достаточным опытом.
• Сложности формализации вопроса: если объект оценки слишком абстрактен, эксперты могут по-разному интерпретировать задачу.
• Сильного влияния интересов: если эксперты аффилированы с определенными решениями, их мнение может быть предвзятым.
• Переоценки экспертного мнения: игнорирование других источников данных или альтернативных подходов.

Способы избежать ошибок и повысить точность:

• Четко формулируйте цель и задачи оценки.
• Тщательно подбирайте экспертов, учитывая их компетенции и независимость.
• Предоставляйте экспертам полную и релевантную информацию.
• Используйте стандартизированные инструменты и методики оценки.
• Обеспечивайте анонимность экспертов (при необходимости).
• Учитывайте контекст и возможные изменения в проекте.
• Анализируйте расхождения в мнениях и уточняйте спорные моменты.
• Проводите повторную экспертизу для проверки устойчивости выводов и выявления искажений. Например, в IT-проектах, где контекст быстро меняется, повторные циклы оценки – не роскошь, а необходимость.
• Комбинируйте экспертные оценки с другими методами анализа данных.

Выводы

Метод экспертных оценок является мощным инструментом, помогающим решать самые разные практические задачи в условиях неопределенности и недостатка данных. Он помогает принимать решения там, где невозможно опереться на статистику, и позволяет включить опыт и интуицию профессионалов в процесс анализа. Особенно он актуален для IT-сферы, где неопределенность – не исключение, а правило.

Важно помнить, что успех экспертной оценки зависит от множества факторов, включая квалификацию привлеченных специалистов, правильность постановки целей и выбора подходящих инструментов. Применяя методы экспертной оценки грамотно, можно не только избежать критических ошибок, но и построить прочную основу для успешной реализации проекта.

Изображение на обложке: Unsplash