Методы экспертных оценок в исследовании систем управления: от классической теории до цифровой автоматизации

Введение: Актуальность, цели и предмет исследования

В условиях динамичной, быстро меняющейся социально-экономической среды и возрастающей сложности систем управления, руководители предприятий и организаций постоянно сталкиваются с проблемой информационной неопределенности. Эта неопределенность возникает тогда, когда объективные, измеримые данные для принятия решений либо отсутствуют, либо являются недостаточными, либо относятся к будущим, еще не наступившим событиям (например, прогнозирование влияния новой регуляторной политики, оценка рисков при внедрении уникальной технологии или разработка долгосрочной стратегии). И что из этого следует? Отсутствие твердых данных диктует необходимость полагаться на человеческий капитал и опыт.

В таких критических ситуациях традиционные расчетные и экспериментальные методы исследования систем управления становятся неэффективными или вовсе неприменимыми. На передний план выходит инструментарий, способный формализовать интуитивно-логический опыт и знания высококвалифицированных специалистов. Этот инструментарий получил название методы экспертных оценок (МЭО).

Целью настоящего исследования является проведение глубокого теоретического и практического анализа сущности, классификации и технологии применения МЭО как ключевого инструмента анализа, прогнозирования и разработки управленческих решений.

Для достижения поставленной цели необходимо решить следующие ключевые задачи:

1. Раскрыть сущность и место МЭО в методологии исследования систем управления.
2. Систематизировать классификацию методов по численности и типу оценки.
3. Детально проанализировать методологию ключевых групповых процедур (Дельфи, мозговой штурм).
4. Изучить проблему субъективности и рассмотреть академические методы ее минимизации, включая математический аппарат оценки согласованности.
5. Определить функциональные области систем управления, где МЭО наиболее эффективны, и проанализировать тенденции их цифровой автоматизации.

Предмет исследования — комплекс методических и технологических подходов, используемых для получения, обработки и интерпретации суждений экспертов в процессе исследования систем управления.

Теоретические основы и классификация методов экспертных оценок

Сущность и место МЭО в методологии исследования систем управления

Методы экспертных оценок представляют собой комплекс логических и математико-статистических процедур, связанных с деятельностью экспертов по переработке информации, необходимой для анализа, прогнозирования и принятия решений. Сущность МЭО заключается в следующем: эксперты проводят интуитивно-логический анализ проблемы, затем их суждения подвергаются количественной оценке, а полученные данные — формальной математической обработке с целью получения консолидированной, наиболее объективной оценки. Какой важный нюанс здесь упускается? Именно строгая математическая обработка отличает МЭО от обычного опроса мнений, переводя их в разряд научного инструментария.

Ключевым фактором, определяющим необходимость применения МЭО, является отсутствие достаточной достоверной информации или невозможность использования объективных, жестко формализованных моделей. МЭО выступают как безальтернативный инструмент в условиях информационной неопределенности и для оценки уникальных, слабоструктурированных проблем.

В контексте исследования систем управления, МЭО позволяют:

1. Устанавливать цели и задачи управления по приоритетности.
2. Прогнозировать последствия управленческих воздействий.
3. Оценивать характеристики объектов (например, качество продукции или уровень риска), которые невозможно измерить прямыми или косвенными методами.

Четкие определения ключевых понятий:

Термин	Определение
Метод экспертных оценок (МЭО)	Комплекс формализованных процедур для получения, анализа и синтеза коллективного мнения специалистов по сложной, слабоструктурированной проблеме.
Экспертиза	Процесс получения мнения, идеи или оценки, основанных на глубоких знаниях, ценном опыте специалиста и технологиях качественного анализа.
Эксперт	Высококвалифицированный специалист, обладающий глубокими знаниями, опытом и интуицией в исследуемой области, способный вынести обоснованное суждение.
Система управления	Совокупность взаимодействующих элементов, обеспечивающих реализацию функций управления, направленных на достижение поставленных целей.

Классификационные признаки и основные виды МЭО

Методы экспертных оценок классифицируются по различным признакам, что позволяет выбрать наиболее подходящий инструмент для конкретной управленческой задачи.

Классификация по численности экспертного состава

1. Индивидуальные методы: Мнение формирует один специалист. Они используются для предварительного анализа или в узкоспециализированных областях, где существует всего несколько экспертов высшего класса.
2. Коллективные (групповые) методы: Мнение формируется в результате совместной или скоординированной работы группы экспертов. Эти методы направлены на повышение объективности и снижение влияния индивидуальных предубеждений (например, метод Дельфи, мозговой штурм).

Классификация по виду оценки

1. Качественные методы: Направлены на получение идей, перечня возможных сценариев, формирование целей (например, мозговой штурм).
2. Количественные методы: Направлены на получение численных оценок качественных характеристик (вероятность события, степень важности фактора).

К основным количественным методам оценки, применяемым для получения оценок качественных характеристик, относят:

• Метод простой ранжировки (или предпочтения): Эксперт упорядочивает объекты (факторы, цели, риски) по степени важности или предпочтения, присваивая им порядковые номера (ранги).
• Метод парных сравнений: Эксперт сравнивает каждый объект с каждым попарно, что позволяет получить более точную и менее зависимую от объема списка оценку.
• Метод задания весовых коэффициентов: Эксперты распределяют фиксированное количество баллов (например, 100) между всеми оцениваемыми признаками или факторами.

Детализация метода задания весовых коэффициентов:
Для повышения сопоставимости оценок экспертам часто предлагается использовать балльные шкалы с фиксированной суммой (например, 10 или 100 баллов). Это обеспечивает нормирование индивидуальных оценок и позволяет быстро перейти к расчету усредненных весов:

W_i = (Σ B_ij) / k

Где W_i — результирующий весовой коэффициент i-го фактора; B_ij — балл, присвоенный i-му фактору j-м экспертом; k — число экспертов.

Общим достоинством экспертных методов является быстрота получения результатов без наличия полной нормативной базы, а также возможность оценивания объектов при невозможности измерить их характеристики объективными методами, что критически важно в инновационных проектах.

Технология проведения ключевых групповых экспертных процедур

Коллективные методы являются краеугольным камнем МЭО, поскольку они позволяют синтезировать знания и минимизировать субъективность отдельного человека.

Метод Дельфи: Принципы анонимности и обратной связи

Метод Дельфи (Дельфийский метод) — это высокоструктурированный, итеративный метод организации коллективного интеллекта, предназначенный для экспертного прогнозирования и формирования консенсуса по сложным проблемам. Его разработка была связана с необходимостью получения надежных долгосрочных прогнозов.

Ключевые принципы, отличающие Дельфи от других групповых методов:

1. Заочность и Анонимность: Эксперты не взаимодействуют друг с другом напрямую. Их мнения собираются и обрабатываются анонимно. Анонимность — критически важный фактор, так как она предотвращает влияние авторитета или репутации наиболее влиятельных участников на суждения менее уверенных.
2. Структурированность: Опрос проводится в несколько раундов (итераций) с использованием тщательно разработанных анкет и опросных листов.
3. Регулярная Обратная Связь: После каждого раунда организаторы доводят до всех экспертов обобщенные результаты предыдущего опроса (например, медиану, квартили, распределение ответов). Эксперты, чьи мнения сильно отклонились от группового, должны обосновать свою позицию или скорректировать суждение в следующем раунде.

Пошаговая технология Дельфи:

1. Формулирование проблемы и отбор экспертов.
2. Первый раунд (Генерация): Эксперты анонимно отвечают на открытые вопросы, выдвигая идеи, прогнозы или сценарии.
3. Второй раунд (Оценка и ранжирование): Организатор систематизирует ответы и просит экспертов оценить важность или вероятность каждого пункта.
4. Третий раунд (Аргументация и Коррекция): Экспертам сообщают групповую статистику (медиана). Те, кто остаются на «крайних» позициях, должны обосновать свое отклонение.
5. Четвертый/Последующие раунды: Повторение процедуры до тех пор, пока не будет достигнут приемлемый уровень согласованности (консенсус).

Метод Дельфи особенно эффективен для долгосрочного прогнозирования (5-15 лет), где требуется формирование общего видения развития технологий, рынков или социальных тенденций.

Метод мозгового штурма и техника «635»

Метод мозгового штурма (Мозговая атака) является коллективным методом, целью которого является максимально активная генерация идей и предложений по решению конкретной проблемы. Метод был изобретен американским копирайтером Алексом Осборном в конце 1930-х годов.

Основное правило мозгового штурма — строгий запрет на любую критику высказываемых предложений на этапе генерации. Это правило стимулирует творческую сторону экспертов, позволяет выдвигать самые смелые и даже абсурдные идеи, которые впоследствии могут стать основой для рациональных решений. Не пора ли нам задуматься, насколько сильно страх критики подавляет инновационное мышление в наших организациях?

Технология «635» (Брейнрайтинг)

Если классический мозговой штурм страдает от риска доминирования одного-двух участников и шума, то Технология «635» (брейнрайтинг), разработанная Берндом Рорбахом в 1968 году, предлагает высокоструктурированный, письменный и тихий подход, сочетающий коллективную работу с индивидуальной концентрацией.

Принципы «635»:

• 6 участников: Оптимальное количество для группы.
• 3 идеи: Каждый участник должен придумать и записать три идеи в свой лист.
• 5 минут: Время, отведенное на запись трех идей.

После того как 5 минут истекли, каждый участник передает свой лист соседу. Сосед читает записанные идеи и за следующие 5 минут придумывает три новые идеи, основанные на уже записанных, или развивает предыдущие.

Эффективность «635»:
За стандартную 30-минутную сессию (6 раундов по 5 минут) группа из шести человек способна сгенерировать 6 × 3 × 6 = 108 записей (идей и их развитий). Эта технология гарантирует, что каждый участник внесет свой вклад, а идеи будут последовательно развиваться, что делает ее незаменимой при поиске инновационных решений в управлении.

Проблема субъективности и методы математической минимизации рисков

Основным и наиболее часто критикуемым недостатком методов экспертных оценок является их субъективность. Эта субъективность может быть вызвана не только недостаточной компетентностью эксперта, но и психологическими факторами, такими как конформизм или риск «группового мышления» (тенденция группы стремиться к консенсусу, подавляя критические оценки).

Для повышения объективности и надежности результатов в академической и управленческой практике разработаны многоступенчатые подходы, включающие качественные и количественные методы минимизации погрешности.

Методы снижения субъективности в многокритериальных оценках

Один из способов снижения субъективности — переход к многокритериальным оценкам. Вместо одного общего вопроса, эксперту предлагают оценить проблему по нескольким четко определенным параметрам (критериям), что заставляет его проводить более детализированный анализ.

Для измерения степени согласия или несогласия экспертов с конкретными утверждениями в многокритериальной оценке широко используется шкала Лайкерта (разработана в 1932 году).

Шкала Лайкерта представляет собой упорядоченный набор ответов, обычно 5- или 7-позиционный (например, «Совершенно не согласен» — «Скорее не согласен» — «Нейтрально» — «Скорее согласен» — «Совершенно согласен»). Использование этой шкалы позволяет:

1. Измерять интенсивность отношения эксперта к утверждению, а не только факт согласия/несогласия.
2. Формализовать качественные суждения для последующей статистической обработки.

Применение многокритериальных оценок, а также методов многомерного шкалирования и факторного анализа, позволяет выявить наиболее существенные факторы, влияющие на управленческое решение, и отсеять нерелевантные или субъективно переоцененные мнения.

Оценка согласованности экспертных мнений: Коэффициент конкордации Кендалла (W)

Независимо от того, насколько компетентны эксперты, результаты оценки могут быть признаны надежными только в том случае, если между их суждениями существует достаточная степень согласованности (конкордации). Для математической проверки согласованности данных, полученных в виде ранжирований, используется коэффициент конкордации Кендалла ($W$).

Коэффициент W является одной из самых надежных метрик для оценки коллективной экспертизы. Он принимает значения от 0 до 1, где 0 означает полное отсутствие согласованности, а 1 — полную согласованность мнений всех экспертов.

Если полученное значение W близко к единице, это свидетельствует о высокой надежности коллективного суждения и позволяет использовать усредненное ранжирование в качестве итогового результата. И что из этого следует? Высокий коэффициент W дает менеджменту уверенность в том, что принятое решение опирается не на мнение одного авторитета, а на консолидированное знание группы.

Формула коэффициента конкордации Кендалла:

W = (12S) / (k² (n³ - n))

Где:

• k — число экспертов.
• n — число объектов (признаков), которые ранжируются.
• S — сумма квадратов отклонений сумм рангов от среднего значения, рассчитываемая по формуле:

S = Σ (Rᵢ - R̅)²

Где Rᵢ — сумма рангов, присвоенных i-му объекту всеми экспертами, а R̅ — средняя сумма рангов, рассчитываемая как R̅ = 0,5 k (n + 1).

Таким образом, математическая обработка данных, и в частности расчет коэффициента W, является обязательным этапом, который переводит экспертные оценки из области интуиции в область проверяемых, научно обоснованных данных.

Применение МЭО в функциональных областях управления и цифровые перспективы

Актуальность методов экспертных оценок в системах управления определяется их способностью решать задачи, где требуется учесть неформализуемые факторы, связанные с развитием, инновациями и неопределенностью.

Сферы эффективного применения МЭО

Экспертные методы актуальны практически для всех функциональных областей менеджмента, однако наибольшую эффективность они демонстрируют в следующих сферах:

1. Стратегическое планирование и прогнозирование:
   МЭО незаменимы для составления средне- (1–5 лет) и долгосрочных (5–15 лет) прогнозов. Они позволяют определить перечень возможных событий (например, появление новой технологии, изменение законодательства), оценить их вероятность и вероятные периоды наступления. В стратегическом планировании МЭО используются для классификации целей и задач управления по уровню важности (построение «дерева целей»).
2. Управление качеством:
   Экспертные методы критически важны для оценки уровня качества продукции или услуг в тех случаях, когда невозможно получить характеристики свойств оцениваемых объектов с помощью прямых измерений. Например, оценка эстетических характеристик, потребительской привлекательности или удобства использования (юзабилити).
3. IT-менеджмент и проектное управление:
   В уникальных или нестандартных проектах, для которых нет исторических данных, МЭО применяются для оценки:
   • Трудоемкости и сроков реализации (особенно для инновационных этапов).
   • Вероятности возникновения специфических рисков (например, рисков интеграции с новым, неиспытанным API).
4. Оценка рисков и инвестиционный анализ:
   В финансовом и инвестиционном анализе МЭО используются для оценки неформализуемых рисков (политические, социальные, репутационные), которые существенно влияют на долгосрочную устойчивость проекта.

Таким образом, МЭО показало широкие возможности для исследования систем управления и разработки управленческих решений, направленных на повышение эффективности функционирования предприятий (например, при оценке потребности в реструктуризации или внедрении инноваций).

Автоматизированные системы экспертного оценивания (АСЭО) и российская практика

Современные тенденции в управлении требуют не только точности, но и скорости принятия решений. Это привело к активной цифровизации и автоматизации процессов экспертного оценивания.

Автоматизированные системы экспертного оценивания (АСЭО) — это программно-аппаратные комплексы, которые обеспечивают организацию групповых экспертных процедур, сбор данных, автоматическую статистическую обработку (включая расчет W) и предоставление результатов руководителю в удобном формате.

Преимущества АСЭО:

• Сокращение времени принятия решений: Руководитель оперативно получает консультацию нескольких высококлассных специалистов.
• Минимизация управленческой ошибки: За счет стандартизации процедуры, исключения личного контакта и автоматического контроля согласованности.
• Обеспечение высококлассного информационного сопровождения: Возможности для оперативного анализа технико-экономических проектов и использования сетевой экспертизы.

Примеры из российской практики и ПО:

Программная реализация АСЭО часто основывается на комбинации реляционного (табличного) представления данных (например, Excel-модули) и более сложных систем для автоматизации статистических расчетов (например, MatLAB).

В российской практике для стратегического финансового планирования и инвестиционного анализа, которые включают автоматизацию части экспертных задач (например, оценка рисков или прогнозирование денежных потоков), широко используются программные комплексы, включенные в Реестр отечественного ПО, такие как:

• Project Expert: Используется для разработки бизнес-планов, оценки инвестиционных проектов и сценарного моделирования.
• BPE24: Применяется для финансового моделирования и бюджетного управления.

Количественный Кейс Эффективности:
Внедрение автоматизированных экспертных систем и ИИ-технологий, основанных на логике МЭО, в системы управления показало измеримое сокращение времени. Например, в одной из систем госуслуг Московской области, где АСЭО использовались для анализа и первичной верификации документов, время на вынесение решения по заявлению было сокращено с 7 до 5 дней, что составляет снижение на ≈28,6%. Это демонстрирует, что цифровизация МЭО является ключевым фактором повышения оперативности и эффективности современных систем управления.

Заключение

Методы экспертных оценок занимают уникальное и безальтернативное место в методологии исследования систем управления. Они являются основным инструментом для анализа, прогнозирования и принятия решений в условиях информационной неопределенности и при работе со слабоформализуемыми, уникальными проблемами (стратегическое прогнозирование, оценка качества, IT-риски).

Надежность и объективность МЭО критически зависят от двух ключевых факторов:

1. Выбор адекватной методики: Применение высокоструктурированных коллективных методов, таких как Метод Дельфи (для консенсуса и прогноза) и техника «635» (брейнрайтинг) (для генерации идей), позволяет преодолеть риск конформизма и группового мышления.
2. Корректность математической обработки: Обязательная проверка согласованности суждений экспертов с помощью статистических инструментов, в частности, коэффициента конкордации Кендалла (W), выступает гарантом надежности и объективности коллективного мнения.

Современные тенденции однозначно указывают на вектор цифровизации. Внедрение Автоматизированных систем экспертного оценивания (АСЭО), подкрепленных специализированным российским ПО, позволяет не только минимизировать субъективность, но и многократно повысить скорость управленческих процессов, обеспечивая оперативное принятие решений в сложных, конкурентных условиях. Таким образом, МЭО эволюционировали из чисто теоретического аппарата в высокотехнологичный, обязательный инструмент современного менеджмента.

Список использованной литературы

1. Антикризисное управление: учебное пособие для студентов вузов / А. Т. Зуб. – М.: Аспект Пресс, 2005. – 319 с.
2. Бабосов Е.М. Социология управления: Учебник для вузов. – Минск: ТетраСистемс, 2006. – 288 с.
3. Глущенко В.В., Глущенко И.И. Исследование систем управления: социологические, экономические, прогнозные, плановые, экспериментальные исследования: Учебное пособие для вузов. – Железнодорожный: ООО НПЦ «Крылья», 2007. – 496 с.
4. Кафидов В.В. Исследование систем управления: Учебное пособие. – М.: Деловая книга: Академический проект, 2005. – 153 c.
5. Малин А.С., Мухин В.И. Исследование систем управления: Учебное пособие. – М.: Издательство ГУ ВШЭ, 2005. – 397 с.
6. Мишин В.М. Исследование систем управления: Учебник для вузов. – М.: ЮНИТИ, 2007. – 527 с.
7. Сироткин Д. Без выбора нет стратегии // Российская Торговля. – 2006. – № 2.
8. Тема 9. Экспертные методы исследования систем управления [Электронный ресурс]. URL: https://studfile.net/ (дата обращения: 23.10.2025).
9. О КЛАССИФИКАЦИИ ЭКСПЕРТНОГО ОЦЕНИВАНИЯ [Электронный ресурс]. URL: https://cyberleninka.ru/ (дата обращения: 23.10.2025).
10. Автоматизированные системы экспертного оценивания — эффективный способ принятия решения [Электронный ресурс]. URL: https://cyberleninka.ru/ (дата обращения: 23.10.2025).
11. Использование экспертных методов при разработке управленческих решений [Электронный ресурс]. URL: https://cyberleninka.ru/ (дата обращения: 23.10.2025).
12. kolesnikova_a.zh_.docx [Электронный ресурс]. URL: https://kubsu.ru/ (дата обращения: 23.10.2025).
13. Метод экспертных оценок: суть, преимущества, особенности [Электронный ресурс]. URL: https://sales-generator.ru/ (дата обращения: 23.10.2025).
14. 1.2. Основные проблемы экспертного оценивания [Электронный ресурс]. URL: https://bglitvak.ru/ (дата обращения: 23.10.2025).
15. Метод Дельфи: как предсказывать будущее бизнеса и принимать верные решения [Электронный ресурс]. URL: https://noboring-finance.ru/ (дата обращения: 23.10.2025).