Исследование систем управления

Методы исследования систем управления, основанные на выявлении мнения людей

МЕТОДЫ СОЦИОЛОГИЧЕСКОГО ИССЛЕДОВАНИЯ СИСТЕМ УПРАВЛЕНИЯ

Эти методы применительно к ИСУ используются в основном в следующих областях:

1. Исследование покупателей для выявления их мнения, потребительских предпочтений, оценки имиджа фирмы; отношение потребителей к разным формам реализации продукции. Используется для сегментирования рынка.
2. Оценка отношения населения к деятельности фирмы (экологическая безопасность, привлекательность как работодателя, представления об уровне производства и т.д.)
3. Выявление мнения миноритарных акционеров: о состоянии корпорации, уровне дивидендов, о перспективах роста курсовой стоимости акций, о возможных намерениях продавать акции или дополнительно купить акции.
4. Выявление мнения разных групп персонала по вопросам организации трудовой деятельности: состояние условий труда, техническая оснащенность, содержательность труда, уровень материального стимулирования, организационная культура.
5. Для оценки взаимоотношений между разными функциональными и профессиональными группами
6. Оценка возможного сопротивления изменениям.

Социологические исследования СУ, как и всякие другие, могут быть классифицированы по определенным признакам:

• по отношению к теории и практике — теоретические, теоретико-прикладные, прикладные;
• по отношению к внешней и внутренней среде системы — внутренние, внешние (в частности маркетинговые);
• по периоду проведения — ретроспективные, в реальном масштабе времени, прогнозные;
• по регулярности проведения — регулярные, эпизодические, разовые;
• по познавательной направленности и глубине исследования — пилотажные (зондажные, направленные на предварительное изучение социальных объектов), описательные (более глубокие, чем пилотажные), аналитические (обеспечивающие получение новых знаний, понимание механизмов социальных явлений, выявление причин и следствий);

• по продолжительности — экспресс, краткосрочные, долгосрочные;

Методы социологического исследования можно под­разделить на регистрационные, сбора данных и анализа информации.

Регистрация единичных событий и сбор данных социального характера, в основном, могут быть осуществлены методами наблюдения и изучения документации (в том числе опросов).

Метод наблюдения обеспечивает сбор первичной информации об изучаемом объекте. Он базируется на пассивной фиксации и регист­рации параметров и свойств изучаемого объекта. При этом воздействие исследователя на объект и ситуацию должно быть минимальным. Метод прямого наблюдения осуществляется в реальном масштабе времени, на основе непосредственного общения и прямых коммуникаций исследователя с изучаемым объектом. Косвенного – в специально выбранные периоды времени и на опосредованных связях и коммуникациях.

Наблюдение может проводиться во время основной деятельности управленцев. Таким способом получают данные, которые не отражены в документах, например, как организуются работы, принимаются решения и т.п.

Опрос — метод сбора информации об изучаемых объектах, ос­нованный на высказываниях и ответах отдельных участников ис­следуемой СУ на определенные вопросы (базирующихся на своем личном опыте, объективных первичных данных). Наиболее распро­страненными способами опросов являются: анкетирование; интер­вьюирование; опросы-беседы.

Анкетирование основано на сборе информации с помощью ан­кет со списком заранее подготовленных вопросов. В ряде случаев к каждому вопросу в анкете могут быть предложены возможные ва­рианты ответов. Данный способ предназначен для выявления кон­кретных фактов при помощи большого круга лиц, а также в случа­ях, когда работники организации находятся на значительных рас­стояниях друг от друга. Наиболее часто анкетирование осуществляется путем непосредст­венной передачи анкет опрашиваемому (например, по месту работы, жительства и т.п.), а также по почте, через прессу, курьера, интер­нет.

К достоинствам данного метода относится:

• возможность включения в анкету тщательно продуманных вопросов;
• возможность получить от опрашиваемого продуманные ответы;
• небольшие затраты на сбор информации;
• возможность опросить большой контингент людей (респондентов).

Недостатками анкетирования являются:

1. отсутствие возможности контролировать ход анкетирования (например: при каких обстоятельствах заполнялась анкета, были ли подсказки, ясны ли вопросы, в какой последовательности давались ответы на вопросы, было ли желание давать объективные ответы);
2. отсутствие возможности давать при необходимости разъяснения к ответам (это значительно повышает требования к четкости и однозначности формулирования вопросов;
3. возможность невозвращения анкет (часто это требует присутствия проведения, что обусловливает целесообразность анкетирования в присутствии опрашиваемого.

Основные требования к анкетам:

• целенаправленность;
• простота;
• четкость;
• однозначность вопросов и однозначность предлагаемых вариантов ответов;
• ограниченность объема (в том числе по количеству вопросов и возможных вариантов ответов;
• психологическая нейтральность вопросов (невозможность практического использования ответов против опрашиваемого);

• логичная последовательность вопросов.

Интервьюирование, будучи одним из способов опроса, также предназначено для сбора информации о СУ и основано на опросе участников проведения исследовательских работ. В нем участвуют интервьюер и интервьюируемый. В отличие от анкетирования во­просы здесь менее стандартизованы и подготовлены. Само по себе интервьюирование может быть письменным, устным, телефонным и с использованием других технических средств.

По форме различают интервью двух типов: формализованное и свободное.

При формализованном интервью интервьюируемый отвечает лишь на заранее подготовленные вопросы интервьюера.

Свободное интервью менее формализовано. При этом интер­вьюер не оказывает четкого влияния на направленность опроса, а только иногда задает интервьюируемому направляющие вопросы. При этом достигается более откровенная атмосфера между сторо­нами, что обеспечивает получение более достоверной информации.

Основные положения проведения свободного интервью:

1. общий план интервью, подготовленный заранее;
2. интервьюер должен обеспечить максимально отсутствие помех, непринужденную, конфиденциальную и доверительную обстановку, включая соблюдение безопасности, интересов интервьюируемого и т.п.;

3. продолжительность интервью должна быть достаточной для сбора информации;
4. ведение записей (письменных, аудио, видео и т.д.) проводить с разрешения интервьюируемого;
5. интервьюер не должен вступать в спор с интервьюируемым или делать ему критические замечания;

Беседы-опросы — менее формализованные способы сбора информации о СУ, чем анкети­рование или интервьюирование. Также предполагается тщательная подготовка опрашиваемо­го к беседе. В частности, следует заготовить наиболее важные вопросы, на которые нужно получить объективные ответы.

В исследовании СУ также может использоваться метод социометрическо­го тестирования. Этот метод основывается на опросе и применяется для определения меры сплоченности коллектива и включенности работника в соответствующую группу персонала. Такое тестирование на основе четырех — десяти вопросов позволяет определить качество взаимодействия тестируемого с группой. Характер вопросов может быть примерно следующий: кого вы в группе уважаете, с кем бы вы не хотели работать и т.п.

При проведении социологических исследований в большинстве случаев вместо всей генеральной совокупности подлежащих изучению объектов отбирается только ее часть — выборочная совокупность, т.е. выборка. Она должна от­ражать все важнейшие особенности генеральной совокупности. Результаты исследования, проведенного на основе такой выборки, с достаточной долей вероятности распро­страняются на генеральной совокупность. Поэтому выборочная совокупность исследуемых объектов должна быть ре­презентативной по отношению к генеральной совокупности.

При проведении социологических исследований может исполь­зоваться несколько способов репрезентативной выборки. Основные из них:

• Случайный отбор — отбирается необходимое количество объектов из генеральной совокупности с помощью генератора таблицы случайных чисел или методом жеребьевки.
• Механический отбор — определяется шаг выборки на основе деления генеральной совокупности объектов G на требуемый объем выборки Н. Далее из каждой полученной группы выбирают один объект, например 1-й, что и обеспечивает отбор Н объектов.
• Районированный (типичный) отбор — предварительно вся генеральная совокупность классифицируется по выделенному признаку на типичные группы. Например, по численности персонала подразделения можно охарактеризовать как крупные, средние и малые, из числа которых осуществляется отбор объектов случайным или механическим способом.
• Серийный (гнездовой) отбор — совокупность случайного, механического и районированного способов отбора с использованием элементов сплошного исследования объектов. Сначала вся генеральная совокупность расчленяется случайным или механическим способом на типичные группы, т.е. районы, и из них отбираются не отдельные объекты, а их серии, которые в дальнейшем подлежат исследованию.
• Отбор на основе квоты — сначала отбираются признаки генеральной совокупности, по которым будут определяться квоты. Такими признаками могут быть, например пол, образование, возраст и т.п. Далее выбранные признаки, в свою очередь, подразделяются на варианты.

ЭКСПЕРТНЫЕ ОЦЕНКИ В ИССЛЕДОВАНИИ СИСТЕМ УПРАВЛЕНИЯ

ЭКСПЕРТНОЕ ОЦЕНИВАНИЕ: ОБЛАСТЬ ПРИМЕНЕНИЯ И ОРГАНИЗАЦИЯ ПРОВЕДЕНИЯ

Метод экспертных оценок используется наиболее часто в тех ситуациях, когда нельзя дать точных объективных оценок на основании конкретного фактического материала. Это может быть обусловлено высокой информационной неопределенностью иссле­дуемых объектов, а также невозможностью их моделирования и описания формализован­ными математическими способами.

Процедура экспертного оценивания включает в себя следующие стадии:

• подготовка экспертного оценивания;
• проведение сбора мнений экспертов;
• обработка оценок, данных экспертами.

Итоговый результат представляет собой усредненную оценку мнений экспертов К, которая в общем виде определяется по формуле:

Наиболее часто экспертные оценки используются:

1. При ранжировании значимости функций, факторов, условий, критериев;
2. Для характеристики состояния среды (особенно внешней);
3. При определении эффективности функционирования системы управления и ее подразделений;
4. При определении эффективности функционирования отдельных работников;
5. При оценке должностного соответствия;
6. При определении возможностей организации и системы управления;
7. При выборе пути развитии организации;
8. При оценке динамики состояния организации и ее основных свойств;
9. При оценке степени возможного риска.

Метод экспертных оценок имеет значительную общность с социологическим: оценка основана на выявлении мнения людей. Но имеются и существенные различия. Мнение респондентов уже само по себе является объективным материалом. Задача заключается в том, чтобы это мнение было наиболее точно отражено в соответствующих документах (анкетах и т.п.). Само по себе оно не обязательно должно быть правильным.

Экспертные оценки должны отражать истину. Поэтому ответы экспертов должен быть правильными, а сами эксперты должны быть компетентны в данном вопросе.

Для экспертного оценивания характерна опреде­ленная субъективность, возможные по­грешности результатов экспертизы, затраты на при­влечение опытных экспертов, влияние авторитетных членов экспертной группы и корпоративных интересов на мнение отдельных экспертов.

Повышение объективности оценок может быть достигнуто за счет соблюдения правил организации, подготовки и проведения экспертных работ.

Для общего руководства экспертными работами следует назна­чать экспертную комиссию. В составе ко­миссии организуют две группы: рабочую и экспертную (рис. 5.2).

			Председатель
			Секретарь
Рабочая группа							Экспертная группа
	руководитель — организатор рабочей группы
								Эксперт
	Технические работники				•«—<«—			Эксперт
	Представители
								Эксперт
	Консультант — эксперт				•щ—

Рис. 23. Типовой состав экспертной комиссии

Рабочая группа осуществляет подготовку материалов для экспертов, отработку результатов работы экспертов и т.п.

Экспертную группу составляют эксперты — специалисты по ре­шаемым проблемам. При ее формировании следует выполнить ряд последова­тельных мероприятий:

• постановку проблемы и определение области деятельности группы;
• составление предварительного списка экспертов — специалистов в данной области деятельности;
• анализ качественного состава предварительного списка экспертов и уточнение списка;
• получение согласия эксперта для участия в работе;
• составление окончательного списка экспертной группы.

Минимальное число экспертов находят по формуле

Н_эмин = 0,5 (3/ж+5), (5.2)

где ж — возможная ошибка результатов экспертизы (0< ж <1). Это как бы коэффициент ожидаемой достоверности. 0 – ожидаются недостоверные ответы. 1 – полностью достоверные ответы. Если ж= 0,7, то 0,5 (3/0,7+5)=4,6.

Подбор конкретных экспертов проводится на основе анализа качества каждого из предлагаемых экспертов. Используются для этой цели разнообразные способы:

• оценка кандидатов в эксперты на основе анализа результатов прошлой деятельности в качестве экспертов по проблемам исследования СУ (этот способ является наиболее объективным);
• коллективная оценка кандидата в эксперты как специалиста в данной области;
• самооценка кандидата в эксперты;
• аналитическое определение компетентности кандидатов в эксперты.

В ходе указанной работы зачастую применяют одновременно несколько способов, например, самооценки и коллективной оценки качеств пред­лагаемого эксперта.

Всех потенциальных экспертов в зависимости от их качества и компетенции можно классифицировать на семь классов (табл. 3).

Таблица 3. Пример градации качества и компетентности экспертов

Класс эксперта	Качество и компетентность эксперта
1-й	Очень высокое
2-й	Высокое
3-й	Выше среднего
4-й	Среднее
5-й	Ниже среднего
б-й	Низкое
7-й	Очень низкое

Выбор числа классов качества экспертов в данном случае обу­словлен «правилом семерки», которым традиционно пользуются при решении проблем управления качеством.

Такая градация позволяет отобрать требуемых экспертов для ра­боты в экспертной группе. Для получения достаточно объективных результатов исследования СУ отбор желательно осуществлять из числа экспертов, относящихся к 1—4-му классам качества. Канди­датов в эксперты более низких классов качества привлекать к экс­пертизам не целесообразно.

Независимо от избранного способа оценки качеств кандидатов эксперты должны соответствовать определенным требованиям:

• профессиональная компетентность и наличие практического и исследовательского опыта в области управления;
• креативность (умение решать творческие задачи);
• научная интуиция;
• заинтересованность в объективных результатах экспертной работы;
• независимость суждений;
• коммуникативность,);
• объективность;
• конформизм;
• высокая общая эрудиция.

Организация сбора мнений экспертов предполагает определение: места, времени, формы и методики сбора мнений; состава и содержательной части документации; порядка занесения мнений экспертов в документы.

Сбор мнений экспертов может осуществляться в индивидуальной, групповой и смешанной формах. При этом могут использоваться следующие методы:

• анкетирование (используется наиболее часто);
• интервьюирование;
• дискуссия;
• мозговой штурм;
• совещание;
• деловая игра.

При анкетировании экспертов важно правильно, просто, однозначно, кратко, но с необходимой полнотой сформулировать вопросы в анкетах, а в тексте пояснительной записки указать, что конкретно требуется от эксперта.

Общие правила экспертных работ:

• применение системного подхода;
• обеспечение преемственности в проведении экспертных работ;
• использование обратной связи с экспертами;
• обеспечение рационального баланса гласности и конфиденциальности экспертных работ и результатов экспертизы;
• создание условий для персонификации суждений экспертов;
• обеспечение условий для соблюдения экспертами полной независимости при выражении своих суждений;
• создание условий для демократического проведения экспертных работ и ответственности субъектов экспертизы;
• однократность проведения экспертизы.

ВИДЫ МЕТОДОВ ЭКСПЕРТНЫХ ОЦЕНОК

Метод «Дельфи».

Метод Дельфи предполагает полный отказ от коллективных обсуждений. Это делается для того, чтобы уменьшить влияние таких психоло­гических факторов, как присоединение к мнению наиболее авто­ритетного специалиста, нежелание отказаться от публично выра­женного мнения, следование за мнением большинства. В методе Дельфи прямые дебаты заменены программой последовательных индивидуальных опросов, проводимых в форме анкетирования. Ответы обобщаются и вместе с новой дополнительной информа­цией поступают в распоряжение экспертов, после чего они уточ­няют свои первоначальные ответы. Такая процедура повторяется несколько раз до достижения приемлемой сходимости совокупно­сти высказанных мнений. Результаты эксперимента показали, что при­емлемая сходимость оценок экспертов достигается после пяти туров опроса.

Процедура Дельфи-метода заключается в следующем:

1. Устанавливается последовательность оценочных туров;
2. Разрабатывается программа последовательных индивидуальных опросов с помощью вопросников, исключающая контакты между экспертами, но предусматривающая ознакомление их с мнениями друг друга между турами; вопросники от тура к туру могут уточняться;
3. В наиболее развитых методиках экспертам присваиваются весовые коэффициенты значимости их мнений, вычисляемые на основе предшествующих опросов, уточняемые от тура к туру и учитываемые при получении обобщенных результатов оценок.

Первое практическое применение метода Дельфи к решению некоторых задач министерства обороны США, осуществленное RAND Corporation во второй половине 40-х гг., показало его эффективность и целесообразность распространения на широкий класс задач, связанный с оценкой будущих событий.

Недостатки метода Дельфи:

• значительный расход времени на проведение экспертизы, связанный с большим количеством последовательных повторений оценок;
• необходимость неоднократного пересмотра экспертом своих ответов, вызывающая у него отрицательную реакцию, что сказывается на результатах экспертизы.

Метод ранжирования

Эксперт осуществляет ранжирование исследуемых объектов в зави­симости от их относительной значимости, когда наиболее предпочтительному объекту присваивается ранг 1, а наименее предпочтительному — последний ранг, равный по абсо­лютной величине числу упорядочиваемых объектов. Более точно упорядочение бывает при меньшем количестве объектов исследова­ния.

При расстановке объектов одним экспертом сумма рангов должна равняться сумме чисел всего натурального ряда количества объектов Н, начиная с единицы.

Результирующие ранги объектов ранжирования по данным оп­росов определяются как сумма рангов для каждого объекта. При этом в итоге первый ранг присваивается тому объекту, который по­лучил наименьшую сумму рангов, а последний — тому, у которого оказалась наибольшая сумма рангов, т.е. наименее значимому объ­екту (пример определения результирующего ранга трех объектов семью экспертами приведен в табл. 4).

Таблица 4Определение результирующего ранга объектов ранжирования
Объект ранжирования, номер	Эксперт, номер							Сумма рангов объектов	Результирующий ранг объекта
	1	2	3	4	5	6	7
1	1	2	2	1	2	1	2	11	2
2	2	1	1	2	1	2	1	10	1
3	3	3	3	3	3	3	3	21	3.

Таким образом, этот метод позволяет определить место иссле­дуемого объекта среди других объектов СУ. Его достоинство состо­ит в простоте, а к недостаткам относятся:

• невозможность с достаточной точностью ранжировать количество объектов, количество которых превышает 15—20;
• нельзя ответить на вопрос: как далеко по значимости находятся исследуемые объекты друг от друга?

После нахождения рангов зачастую требуется определить коэф­фициенты весомости каждого из объектов ранжирования b_{iрангов}, которые при использовании данного экспертного метода можно рассчитать по формуле

b_{iрангов =} (n-r_n +1): S_n

при условии, что сумма всех коэффициентов весомости b_{iрангов} от 1 до n=1, где n — число исследуемых объектов;

r_n — ранг исследуемого объекта по результатам экспертизы;

S_n — сумма всех чисел от 1 до п S_n = [(а₁ +а_n) а_n]: 2.

Например, для девяти объектов исследования:

b_{1 = (9-1+1) : 45}

b_{2 = 8 : 45}

_…

b_{9 = 1: 45}

Таким образом, сумма всех коэффициентов весомости b_{iрангов} от 1 до 9 равна: 1 = 9: 45+8 : 45+6 : 45+ … +1: 45 = 1.

Расчетная формула для определения коэффициентов b_{iрангов}, ос­нованная на положениях теории информации, имеет следующий вид:

где Э — число экспертов.
Метод непосредственного оценивания (балльный метод)

Представ­ляет собой упорядочение исследуемых объектов (например, при отборе параметров для составления параметрической модели) в за­висимости от их важности путем приписывания баллов каждому из них. При этом наиболее важному объекту приписывается наиболь­шее количество баллов по принятой шкале (дается оценка). Наибо­лее распространен диапазон шкалы оценок: от 0 до 1; 0 до 5; 0 до 10; 0 до 100. В простейшем случае оценка может быть 0 или 1.

Иногда оценивание осуществляется в словесной форме. Напри­мер, «очень важный», «важный», «маловажный» и т.п., что иногда пере­водится в балльную шкалу (соответственно 3, 2, 1).

Непосредственное оценивание следует применять при полной уверенности в профессиональной информированности экспертов о свойствах исследуемых объектов. По результатам оценок определя­ются ранг и весомость (значимость) каждого исследуемого объекта (пример оценивания трех объектов по 10-балльной шкале приведен в табл. 5).

Таблица 5 Определение результатов непосредственного оценивания объектов

Объект оценивания	Эксперт № (число экспертов к = 7)							Сумма баллов объектов	Результи­рующий ранг объекта	Весомость объекта
	1	2	3	4	5	6	7
1-й	7	6	5	6	4	7	8	43	2	0,36
2-й	9	10	8	7	5	8	10	57	1	0,47
3-й	4	1	2	4	3	5	2	21	3	0,17

По результатам оценок экспертов место любого объекта можно определить по формуле

где В_i — значимость i-го объекта (i = 1, 2,.., n), рассчитанная на основании оце­нок экспертов (i = 1, 2,…, k); A_ij — оценка (в баллах), данная i-му объекту j-м экспертом.

Метод сопоставления

Данный метод осуществляется парным сравнением или последовательным сопоставлением.

При парном сравнении эксперт сопоставляет исследуемые объек­ты по их важности попарно, устанавливая в каждой паре наиболее важный. Все возможные пары объектов эксперт представляет в виде записи каждой из комбинаций (объект 1 — объект 2, объект 2 — объект 3 и т.д.) или в форме матрицы. Общее количество пар срав­нения определяется следующим образом:

В результате сравнения эксперт высказывает мнение о важности того или иного объекта, т.е. отдает предпочтение одному из них. Иногда эксперты приходят к выводу об эквивалентности каждого из объектов пары. Наиболее удобно осуществлять парные сравнения и их обработку, используя в качестве инструмента матрицы (табл. 6 и 7).

Таблица 6

Матрица оценки объектов методом парного сравнения (эксперт №)

В отдельных случаях при большом количестве исследуемых объ­ектов на результаты парного сравнения влияют психологические факторы, т.е. предпочтение порой получает не тот объект, который действительно достоин этого, а тот, который в перечне пар записан первым или находится по расположению в матрице выше сравни­ваемого. Для исключения психологического влияния иногда прово­дят двойное парное сравнение, т.е. осуществляют еще одно парное сравнение, но при обратном расположении объектов в каждой паре. Количество пар при двойном парном сравнении соответственно в 2 раза больше, чем при одинарном.

При записи каждой комбинации эксперт подчеркивает в каждой паре сравниваемых объектов наиболее важный. На пересечении вертикальных и горизонтальных строк матрицы для каждой пары объектов он ставит 1 или 0 (либо «плюс» или «минус») в зависимо­сти от определенной им значимости того или иного объекта. Весо­мость каждого объекта сравнения рассчитывается по формуле

Ai/ij — количество предпочтений (единиц, или плюсов, подчеркиваний) i-го объекта над другими объектами, указанное j-м экспертом; А — общее количество пар объектов; к — число экспертов.

Таблица 7

Матрица для использования метода парного сравнения при определении значимости укрупненных функций маркетинга на промышленном предприятии (эксперт № 1)

Функция	№	1	2	3	4	5	6	7	8	9	Коли­чество пред­почте­ний
1	2	3	4	5	6	7	8	9	10	11	12
Обеспечить получе­ние заказов на по­ставку продукции	1	X	1	1	1						7
Уточнять технические данные на изделия	2	0	X	1							4
Участвовать в опре­делении ассортимен­та продукции	3	0	0	X							3
Изучать возможно­сти и емкость рынка	4	0			X						4
Заключать контракты на поставку продукции	5					X					6
Разработать план поставок продукции	6						X				4
Оформлять докумен­тацию, связанную с отгрузкой продукции	7							X			3
Организовать работу по отгрузке продукции	8								X		2
Составлять план пе­ревозок и доставки продукции заказчи­кам	9									X	3
	А=9*8:2= 36

Результаты заполнения матриц всеми экспертами и расчетные данные можно представить в сводной матрице (табл. 8).

Таблица 8

Сводная матрица результатов парного сравнения объектов

Наименование объекта исследования	Номер объекта	Количество предпоч­тений i-го объекта, данных экспертами					Сумма пред­почте­ний	Значимос­ть (или весомость, ранг) объ­екта
		1	2	3	. .	к
	1	X			…
	2		X		…
	3			X	…
	…
	Н-1
	Н					X

Расчеты при двойном парном сравнении проводятся по тем же формулам, что и при обычном парном сравнении, однако количе­ство пар увеличивается вдвое.

Метод парных сравнений очень прост и позволяет исследо­вать большее количество объектов по сравнению, например с ме­тодом рангов, и с более высокой точностью.

Рассмотрим использование экспертных методов для целей опре­деления коэффициентов весомости групповых уровней, определяю­щих обобщенный (определяющий) уровень конкурентоспособности конкретного вида продукции — отечественных телевизоров. Знание таких коэффициентов позволит определить приоритетные стимулы приобретения (реализации) потребителями на внутреннем рынке отечественных телевизоров.

В связи с существенным влиянием параметров весомости на ре­зультаты оценки или возможности, их определение следует прово­дить одновременно несколькими методами, в частности методами рангов и парного сопоставления. Сравнение полученных таким обра­зом результатов позволяет увеличить объективность выводов. Указан­ные два экспертных метода для этих целей более предпочтительны.

К другим методам, с помощью которых можно было бы решить данную задачу относятся способы: стоимостных регрессионных за­висимостей (стоимостной); предельных и номинальных значений; эквивалентных соотношений; вероятностный. Каждый из них обла­дает своими особенностями, достоинствами и недостатками. Реаль­но все перечисленные методы определения параметров весомости показателей качества и конкурентоспособности практически нико­гда не использовались из-за присущих им недостаткам. В условиях рынка, когда требуется оценка на базе множества показателей для определенного периода времени, конкретного сегмента и т.п., их применение тем более затруднительно.

При экспертном определении коэффициентов весомости груп­повых уровней конкурентоспособности отечественных телевизоров, с помощью методов рангов и парного сопоставления, необходимо соблюдение всех правил в ходе выполнения экспертных процедур.

Результаты экспертных оценок, данных экспертами, использовав­шим одновременно два экспертных метода приведены в табл. 5.9. На основе суждений экспертов определяются коэффициенты весомости каждого из групповых уровней, определяющих обобщенный (опреде­ляющий) уровень конкурентоспособности отечественных телевизоров.

В результате обработки экспертных данных получена следующая формула для определения уровня конкурентоспособности отечест­венных телевизоров на внутреннем рынке:

К_кот = О.ЗЗЗГ, + 0,0671₂ + 0,267Г₃ + 0,200Г₄ + 0,133Г₅,

где Г₁ — проекгно-технический уровень качества;

Г₂ — технический уровень качества изготовления;

Гз — технический товарно-эксплуатационный уровень качества;

Г₄ — экономико-коммерческий уровень качества;

Г₅ — организационно-экономический уровень качества и социально-психологический уровень.

Таблица 5.9

Определение коэффициентов весомости групп показателей конкурентоспособности промышленной продукции методами попарного сопоставления и ранжирования

Группы показателей конку­рентоспособности про­мышленной продукции	По данным 31 экс­перта(сумма)	Ранг методом парного сопос­тавле­ния	Ранг мето­дом ранжи­рования	Ранг общий по двум методам	Ко­эффи­циент весо­мос­ти
1. Проектно-технический уровень качества	99	1	1	1	0,333
2. Технический уровень качества изготовления продукции	33	5	5	5	0,067
3. Технический товарно-эксплуатационный уро­вень качества продукции	85	2	2	2	0,267
4. Экономико-коммер­ческий уровень качества продукции (единовремен­ные и текущие затраты потребителя)	56	3	3	3	0,200
S. Организационно-экономический уровень качества и социально-психологический уровень продукции	37	4	4	4	0,133

Примечание. Технический товарно-эксплуатационный уровень качества про­дукции охватывает стадии товарооборота, эксплуатации и утилизации; организа­ционно-экономический и социально-психологические уровни продукции здесь представлены совместно.

Коэффициенты при Г₁,…, Г₅ определялись как нормированные в зависимости от полученного по экспертным данным ранга каждой группы при условии, что сумма всех коэффициентов равна 1.

Анализ приведенной формулы показывает, что наиболее при­оритетными для приобретения рассматриваемой продукции явля­ются более высокий проектно-технический уровень (ранг 1) и тех­нико-эксплуатационный уровень качества (ранг 2).

Сущность метода последовательного сопоставления состоит в том, что эксперт располагает все исследуемые объекты в порядке их важности (как метод рангов). Предварительно каждому из объектов приписывается определенное количество баллов, например, по шкале от 0 до 1 (как метод оценивания). Причём самому важному объекту дается балл равный 1, а всем остальным в порядке уменьшения их значимости, т.е. от 1 до 0.

Далее эксперт решает вопрос: будет ли важность объекта, имеющего ранг 1, больше суммы балль­ных оценок всех остальных объектов. Если будет, то величина балльной оценки первого объекта увеличивается до соблюдения этого условия, а если нет, то эксперт уменьшает эту величину до такого числового значения, чтобы она стала меньше суммы оценок всех остальных объектов.

Величины оценок второго, третьего и последующих объектов по важности определяются последовательно аналогично оценке перво­го наиболее важного объекта.

Метод последовательного сопоставления для экспертов наибо­лее трудоемок. Особенно это начинает ощущаться, когда исследует­ся более шести-семи объектов.

ОЦЕНКА СОГЛАСОВАННОСТИ ЭКСПЕРТНЫХ ДАННЫХ

Собранные мнения экспертов обрабатываются как количест­венно (численные данные), так и качественно (содержательная ин­формация). Необхо­димо отметить, что при наличии численных данных, имеющих достаточный информационный материал, при­меняются в основном методы усреднения экспертных суждений.

Однако даже при имеющихся численных данных, но при недоста­точности информации по решаемому вопросу (что нередко бывает при исследовании СУ) наряду с количественными методами обра­ботки экспертных данных используются также методы качественно­го анализа и синтеза.

Мнения экспертов часто не полностью совпа­дают, поэтому необходимо количественно оценивать меру согласованности мнений экспертов и устанавливать причины несовпадения суждений. Для оценки меры согласованности мнений экспертов используется, как правило, коэффициенты конкордации.

Согласованность мнений ком­петентных экспертов при использовании всех указанных эксперт­ных методов, где определяются ранги объектов, можно рассчитать, с помощью коэффициента конкордации (согласия) по формуле

(5.9)
где С — сумма квадратов отклонений сумм рангов по каждому объекту от средней суммы рангов по всем объектам и экспертам, т.е.:

Внимание: в формуле 5.10 не l а k; в табл. 5.10 по первому объекту средняя сумма рангов также 18.

Коэффициент конкордации определяются следующим образом:
W= 12 (16 + 100 + 36 + 64 + 0) : [6² (5³ — 5)] = 0,57.

Итак, мнения экспертов можно признать согласованными, по­скольку полученная величина коэффициента конкордации соответ­ствует условию W≥ 0,5.

При использовании экспертных методов, в которых ранги не определяются, для нахождения конкордации рассчитанные значи­мости объектов следует переводить в ранги. Ранг 1 приписывается объекту, у которого значимость наибольшая и т.д., в противном случае оценку согласованности мнений проводят по другим крите­риям согласия.

В случае определения несогласованности мнений экспертов по коэффициентам конкордации экспертные опросы следует повто­рить.

Рассчитанную величину коэффициента конкордации следует взвешивать по критерию Пирсона (X²) с определенным уровнем значимости (В), т.е. с максимальной вероятностью неправильного результата работы экспертов. Обычно задавать значимость доста­точно в пределах 0,005 — 0,05. В случае получения расчетной величины больше табличной, т.е.

При уровне значимости 0,05 табличная величина Х² _табл равна примерно 9, т.е. мнения экспертов можно окончательно признать с вероятностью 0,95 согласованными, так как Х²_расч > Х² _табл

Обработка экспертных и социологических данных и расчеты мер согласованности требуют довольно трудоемких вычислений, поэтому при проведении сбора и обработки результатов экспертной и социо­логической информации следует шире использовать компьютерную технику. Возможности для этого есть, так как автоматизация прове­дения и обработки результатов подобного рода данных стала предме­том создания ряда продуктов программного обеспечения.

Применение при исследованиях и проектировании систем управления качеством всех рассмотренных экспертных методов, несмотря на их недостат­ки, достаточно эффективно. Причем наибольший эффект достига­ется при одновременном использовании как рассмотренных выше, так и других методов.

В составе нормативно-методической документации (НМД) сис­тем управления предприятия целесообразно иметь документ, опре­деляющий применение экспертных методов при проведении работ с участием экспертов.

ТЕСТИРОВАНИЕ КАК МЕТОД ИССЛЕДОВАНИЯ СИСТЕМ УПРАВЛЕНИЯ

В последнее время в различных сферах деятельности широкое распространение получил метод тестирования. Первоначально в за­рубежной практике с помощью тестов, т.е. комплекса определенных заданий стандартной формы, проводились испытания психического состояния, умственного развития, способностей, волевых и других свойств личности отдельного человека или социальной группы лю­дей. Затем сфера метода тестирования расширилась, его начали применять для определения не только психофизических состояний и особенностей людей, но и при проведении исследований СУ, различного рода экспериментов. Особенно популярным тестирова­ние стало в образовании. В управлении при помощи тестов иссле­дуют, например, проблемы, связанные с определением квалифика­ции и аттестации персонала, распределением функций управления и ресурсов, выбором стиля управления и т.п.

Тест в переводе с английского языка (test) — испытание, мери­ло, критерий. Тест определяют как:

• комплекс высказываний, позволяющий объективно отразить реально существующие отношения между людьми, их свойства, признаки и количественные параметры;
• метод изучения глубинных процессов деятельности человека, основывающийся на его высказываниях или оценках факторов функционирования СУ;
• искусственное строго дозированное воздействие, направленное на объект в процессе проводимого эксперимента и позволяющее по ответной реакции исследовать его состояние и (или) всей СУ.

Со­держание последнего понятия отражает более широкую сферу ис­пользования метода тестирования и объективнее раскрывает сущ­ность тестов.

Исходя из приведенных определений тест — это искусственно созданное воздействие испытательного характера на входе; может воздейство­вать на изучаемый элемент или СУ в целом; вызывает ответную реакцию элемента или СУ в виде высказываний и других «откликов» на выходе.

Тестирование можно рассматривать как метод, использование которого образует экс­периментальный процесс исследования какого-либо элемента или СУ в целом и позволяет установить взаимосвязи между «входными» воздействиями и «выходными» параметрами изучаемого объекта. Тестирование требует соответствующей подготовки, планиро­вания и создания условий для его осуществления.

Натурное тестирование проводится в реальных условиях. Особенно глубокой подготовки и проработки требует широко­масштабное натурное тестирование. Такое тестирование требует высокой ответственности организаторов, оценки допустимости рисков, возможных негативных последствий, в частности социаль­ного, экологического и материального ущербов.

Важную роль играет и тестирование в имитационных условиях. Так, в управлении при проведении исследований часто используются деловые игры, «мозговые» атаки и т.д. Метод тестирования может применяться на всех стадиях исследования, начиная от диагностики и заканчивая стадией внедрения результатов исследования в практику управления.

Основное назначение теста — контроль и установление соответ­ствия между значениями входных и выходных параметров испытуе­мой системы при выполнении ею различных функций и в различ­ных режимах управления (ручном, автоматическом и т.п.). Один из примеров социального теста — «утечка информации» из органов управления СУ для получения сведений об ответных реакциях объ­ектов исследования. Подобного рода тесты имеют целью, напри­мер, выяснить реакцию персонала СУ на то или иное воздействие, ее направленность и интенсивность. Другой пример натурного со­циально-экономического тестирования — установление опытных норм по труду, хронометраж выполняемых персоналом заданий и т.п.

Тестирование является одним из самых эффектив­ных методов исследования СУ. Вместе с тем необходимо отметить, что использование методов тестирования в образовательных систе­мах может в дальнейшем, в процессе практической деятельности, привести к негативным последствиям. Это обусловлено возможным воздействием альтернативных ложных суждений (ответов) на па­мять и сознание тестируемого индивидуума, что с некоторой долей вероятности может повлиять на правильность принятия управлен­ческих решений на подсознательном уровне (например, в условиях дефицита времени).

Правила конструирования и формулирования тестов

Для проведения работ по тестированию необходимо:

• четко определить цели, задачи, условия, требуемые результаты, момент начала и окончания, отразив все эти данные в соответствующем плане;
• установить возможные последствия тестирования;
• определить необходимый объем информации, и методы ее сбора, обработки и использования; разработать сценарии действий всех участников;
• сформулировать методику проведения оценки результатов тестирования;
• определить направления и варианты использования результатов.

Независимо от вида и разработанного порядка тестирования большое значение для получения объективных результатов имеет конструирование и формулирование тестов. Конструктивно тесты в зависимости от их предназначения могут быть заданы и спроектированы в различной форме. В общем случае тест может рассматриваться в рамках:

1. искусственно созданного воздействия испытательного характера;
2. ответной реакции объекта испытания.

Так, для социального тестирования ответная реакция на тест может конструироваться в виде высказываний:

• «да», «нет»;
• «согласен», «не согласен»;
• «правильно», «неправильно»;
• «совершенно верно», «верно», «скорее верно, чем неверно», «трудно сказать», «скорее неверно, чем верно», «неверно», «совсем неверно».

Высказывания могут быть даны также в виде оценок, например:

• «очень высокая», «высокая», «выше среднего», «средняя», «ниже среднего», «низкая», «очень низкая»;
• от 1 до 10 баллов;
• от 0 до 1 балла.

Желательно, чтобы конструктивно ответная реакция на тест по­зволяла обрабатывать результаты тестирования математико-статистическими методами.

Основные правила формулирования тестов:

• целенаправленность;
• однозначность понимания;

• логичность;
• краткость (желательно не более одного придаточного предложения);
• информативность;
• простота, понятность и доступность;
• нейтральность;
• позитивность и негативность высказываемых суждений
• альтернативность (с числом возможных суждений не менее четырех и не более десяти, причем как позитивного, так негативного характера);
• отсутствие намека на ожидаемый ответ;
• сбалансированность;
• наличие ключа к каждому тесту для обработки полученной информации в соответствии с целями тестирования.

К ответным реакциям, отражаемым в виде высказываний или оценок, практически во многом предъявляется требования, анало­гичные тем, которые предъявляются непосредственно к воздействи­ям, при этом дополнительно включаются требования односложно­сти и точности.

Важнейшие характеристики тестового испытания – валидность и надежность.

Валидность – это способность теста обеспечивать измеряемость получаемого результата в соответствии с целями испытания. Валидный тест позволяет отражать и измерять то, что он должен отражать и измерять по замыслу составителя. Валидность теста может быть проверена:

• во-первых, посредством сравнительной оценки полученного с его помощью результата с результатами, полученными другими методами;
• во-вторых, путем сопоставления результатов, получаемых в разных группах тестируемых;
• путем содержательного анализа каждого тестового высказывания.

Надежность теста отражает, главным образом, точность осуществляемых измерений. Требования к надежности устанавливаются в зависимости целей и задач тестирования. Проверка надежности осу­ществляется, как правило, параллельным или повторным тестирова­нием объекта исследования. Кроме того, надежность может опреде­ляться методами корреляционного (на основе корреляции высказы­ваний), дисперсионного и факторного анализа.