Научное исследование, которое провела доктор Мари Анн Ноэр (Marie Anne Nauer), посвящено сравнению результатов анализа почерка и оценки в Центрах Оценки Персонала (Ассессмент-Центры).
В этом исследовании интересны на только сами результаты, но также и подход к организации эксперимента и сопутствующие ему процедуральные наблюдения. Статья опубликована в журнале «Научная Графология», № 5 – 2010 г., стр. 14-20. с разрешения доктора Ноэр.
Валидация конгруэнтности между отчетами Центров оценки персонала (Ассессмент-Центров) и анализом почерка
Автор: Marie Anne Nauer
Третье исследование по валидации конгруэнтности между заключениями Центров оценки персонала и анализом почерка показывает даже лучшие результаты, чем предыдущие успешные исследования. Статистическое сравнение результатов показывает высокий уровень статистической значимости.
Примечание переводчика: Для тех из нас, кто не сталкивается в повседневной жизни с применением статистического анализа, мы сочли возможным напомнить определение статистической значимости (statistical significance). В статистике величину называют статистически значимой, если мала вероятность чисто случайного возникновения её или ещё более крайних величин. Здесь под крайностью понимается степень отклонения от нулевой гипотезы. Разница называется «статистически значимой», если имеются данные, появление которых было бы маловероятно, если предположить, что эта разница отсутствует. Уровень значимости обыкновенно обозначают греческой буквой α (альфа). Популярными уровнями значимости являются 10%, 5%, 1%, и 0.1%. Если тест выдаёт p-величину меньше α-уровня, то нулевая гипотеза отклоняется. Такие результаты называют «статистически значимыми». Например, если кто-то говорит, что «шансы того, что случившееся является совпадением, равны одному из тысячи», то имеется в виду 0.1% уровень значимости.
Одним из важнейших критериев в экспериментальной науке является многократное последовательное получение релевантных результатов. Поэтому наше исследование того же типа, как проделанное дважды ранее1 , было проведено еще раз.
План исследования был следующий:
На основе результатов Центра Оценки2 (ЦО) (которые стали в последние годы весьма распространенными, особенно при проверке кандидатов на высокооплачиваемые должности), стало возможным составить методологию сравнения отчетов ЦО (написанных как психологическая оценка, в форме обычного текста) и анализа почерка тех же кандидатов3 , разумеется, выполненных без знания результатов групповой оценки.
В связи с трудностью сравнения свободного текста, следующим шагом было найти путь трансформации текстов в численные данные с целью дальнейшего статистического сравнения.
1 См. Nauer, Marie Anne (2003)1, (2003)2, (2005). 2 Центр Оценки занимался групповой оценкой, где до 8 кандидатов должны решать различные интеллектуальные проблемы, а также некоторые общественные и управленческие задачи, в группе или самостоятельно. Они оцени - ваются аналогичным числом специалистов, среди которых психологи, специалисты по кадрам и персонал предприятия, заказавшего оценку. 3 Почерки не публикуются, чтобы позволить дальнейшие исследования, основанные на том же материале.
Поэтому отчеты ЦО были проверены на наличие утверждений, которые могли бы быть сделаны графологом на основе анализа почерка, т.е. утверждений, которые могли бы появиться в графологическом заключении. Таким образом, три заключения о трех кандидатах были разобраны на единичные утверждения, чтобы получить стартовые условия. Утверждения выглядели следующим образом4:
4 В течении сравнительного анализа проводилось лишь примерное деление утверждений на категории, с точки зрения психологической логики, категории не обязательно сформированы правильно.)
Центр Оценки: Утверждения по «Поведению в группе» Кандидат…:
1. …частично интегрирован в группе
2. …постоянно присутствует
3. …иногда активен
4. …реагирует больше, чем действует по своей инициативе
5. …открыт в контактах с другими
6. …не выходит на первый план
7. …принимает вклад других участников (и т.д.)
Таким образом было получено 317 утверждений (110 утверждений из первого случая, 95 из второго и 112 из третьего). Чтобы создать базовые условия для сравнения, все утверждения были преобразованы в форму взаимоисключающих вариантов, выглядящих следующим образом:
Поведение в группе Кандидат…:
1 ❏ всегда / частично интегрирован в группе ❏
2 ❏ постоянно / частично присутствует ❏
3 ❏ всегда / иногда активен ❏
4 ❏ больше реагирует / больше действует по своей инициативе ❏
5 ❏ открыт / не открыт в контактах с другими ❏
6 ❏ выходит / не выходит на первый план ❏
7 ❏ принимает / не принимает вклад других участников ❏ (и т.д.)
Данные для сравнения были произведены графологами.
Первый эксперимент5 был произведен группой из 20, в большинстве своем немецких графологов, являющихся членами Профессиональной Ассоциации Графологов, пользуясь случаем ежегодного семинара повышения квалификации, организованного профессиональными ассоциациями. Они работали над кандидатами 1 и 2, но не все из них успели за время семинара сдать свои выводы или заполнить все пункты опросника.
Второй эксперимент6 , был произведен в Цюрихе, пользуясь похожим случаем профессионального семинара, группой из 13 членов Schweizerische Graphologische Gesellschaft SGG (организация требует ученую степень по психологии для членства в ней) и нескольких аспирантов. Они также работали над кандидатами 1 и 2.
5 Nauer, Marie Anne (2003)1, (2005)
6 Nauer, Marie Anne (2003)2, (2005)
Третий эксперимент проводился 8 аспирантами графологии, обладающими также ученой степенью по психологии. Они работали над третьим кандидатом, и должны были произвести заключение в форме свободного текста, поскольку это было частью семинара.
Графологи получили опросники в вышеуказанной форме и высококачественные цветные копии почерков кандидатов; оригинал почерка также был доступен в первых двух случаях. Им был сообщен пол и примерный возраст кандидатов, а также то, что они хотели получить высокую должность в Швейцарской Страховой Компании – больше ничего.
Их попросили независимо друг от друга изучить почерки, и выбрать одну из взаимоисключающих возможностей по каждому пункту опросника, чтобы решить, насколько кандидат сможет влиться в команду.
Пользуясь этой процедурой, было получено 4602 оценок, включая 2927 соответствий и 1675 несоответствий – что означает, как показывает (достаточно сильный) критерий хи-квадрат (chi square test) очень высокую статистическую значимость:
| Уровень Значимости Классификаций | |||
| Эксперимент 1 | Эксперимент 2 | Всего | |
| Кандидат 1 | p≤0.1% *** | p≤0.1% *** | p≤0.1% *** |
| Кандидат 2 | p≤5% * | p≤0.1% *** | p≤0.1% *** |
| Всего (2 канд.) | p≤0.1% *** | p≤0.1% *** | |
| Кандидат 3 | p≤0.1% *** | ||
| Всего (3 канд.) | p≤0.1% *** |
Поскольку оригинальные списки утверждений соответствовали оригинальному тексту заключений Центра Оценки, утверждения были несколько перемешаны с психологической точки зрения. Для удобства, все утверждения были классифицированы в четыре категории, которыми я обычно пользуюсь в своей повседневной практике.
Это деление, основанное на эмпирическом психологическом опыте, может также быть использовано для научной классификации. Мы видим, что любое утверждение может быть отнесено к одной из четырех категорий: Интеллектуальные Компетенции, Оперативные Компетенции, Личные Компетенции и Общественные Компетенции.
| Степень Значимости детализированной Классификации по Областям Компетенций | ||
| Кандидат 1 | Эксперимент 1 (N=5167 ) | Эксперимент 2 (N=1380) |
| Интеллект. Компетенции (N=184/) | p≤2% * p≤0.1% *** | |
| Оператив. Компетенции (N=135/336) | p≤1% ** | p≤1% ** |
| Личные Компетенции (N=93/286) | — | — |
| Обществ. Компетенции (N=104/313) | — | — |
| Кандидат 1 | Эксперимент 1 (N=608) | Эксперимент 2 (N=1230) |
| Интеллект. Компетенции (N=172/307) | p≤1% ** | p≤0.1% *** |
| Оператив. Компетенции (N=131/277) | — | p≤2% * |
| Личные Компетенции (N=133/307) | — | — |
| Обществ. Компетенции (N=172/339) | — | — |
| Всего Кандидат 1 и 2 | Эксперимент 1 (N=1896) | Эксперимент 2 (N=1838) |
| Интеллект. Компетенции (N=629/479) | p≤1% ** | p≤1% ** |
| Оператив. Компетенции (N=471/408) | p≤1% ** | p≤2% * |
| Личные Компетенции (N=379/440) | — | p≤5% * |
| Обществ. Компетенции (N=417/511) | — | — |
| Кандидат 3 | Эксперимент 3 (N=868) | |
| Интеллект. Компетенции (N=258) | p≤2% * | |
| Оператив. Компетенции (N=230) | p≤1% ** | |
| Личные Компетенции (N=191) | p≤0.1% *** | |
| Обществ. Компетенции (N=189) | p≤1% ** | |
| Всего | Эксп. 1 и 28 (N=3734) | Эксп. 1, 2, 3 (N=4602) |
| Интел. Компетенции (N=1108/1366) | p≤0.1% *** | p≤0.1% *** |
| Оператив. Компетенции (N=879/1109) | p≤0.1% *** | p≤0.1% *** |
| Личные Компетенции (N=819/1010) | p≤1% ** | |
| Обществ. Компетенции (N=928/1117) | p≤1% ** |
7 Количество классифицированных утверждений 8 См. также Nauer, Marie Anne (2003)1, (2003)2, (2005).
Нижеследующие диаграммы визуализируют данные кандидатов по компетенциям:
Красные точки показывают совпадения между данными, синие – несовпадения.
Для кандидата 1 интеллектуальные и оперативные компетенции конгруэнтны с высоким уровнем значимости; но этого нельзя сказать про личные и социальные компетенции.
Для кандидата 2 только социальные компетенции не достигают высокого уровня значимости.
Для кандидата 3 наблюдается высокая степень значимости по всем позициям.
Следующая диаграмма (ниже) обобщает данные по трем кандидатам:
Интерпретация Результатов
Кандидаты 1 и 2 – большая статистическая значимость в интеллектуальных и оперативных компетенциях.
Условия и осуществление первого и второго эксперимента подробно обсуждались и были опубликованы9.
Более высокие уровни значимости для интеллектуальной и оперативной компетенций можно понять, учитывая их ясность определения: ясные утверждения легче оценить как в психологическом тесте, так и в почерке. Оценка личных и социальных компетенций существенно зависит от личного психологического понимания оценивающего, зависящего, в свою очередь, от принадлежности оценивающего к различным психологическим школам и их теориям, а также от личных предпочтений.
Третий эксперимент, третий кандидат.
Условия проведения третьего эксперимента были несомненно наилучшими10 — что отразилось на результате – когда, несмотря на относительно низкое число оцененных утверждений, были получены наивысшие уровни значимости по всем категориям.
Можно заключить, что участники третьего эксперимента имели хороший и, по всей видимости, гомогенный базис в психологии (у всех была степень по психологии) и в графологии – они были квалифицированы и способны оценить странности кандидатов даже в личных и социальных компетенциях. Может быть интересным, что большинство студентов (7 из 8!) достигли высокого индивидуального уровня значимости11.
9 Nauer, Marie Anne (2003)1, (2003)2, (2005). 10 Третьей группа, состоящей из аспирантов, было позволено работать дома, в комфортных условиях (тем не менее был контроль посредством проверки протоколов, что они работали независимо). Студенты были мотивированы, поскольку заполнение вопросников зачитывалось как часть дипломных академических требований. У них было врамя на понимание семантического значения утверждений и на внимательное изучение почерка. 11 7 из 8, при том, что в первом эксперименте было 9(10) из 18, а во втором 6(7) из 20.
Выводы
Оценка личных качеств по вопроснику, извлеченному из заключений ЦО, показала высокую степень совпадения между заключениями ЦО и анализом почерка, т.е. между оценкой важных личных качеств, проведенных разными диагностическими инструментами. Это означает, что графологи могут распознавать те же личные свойства, что и специалисты центра оценок, и степень совпадения намного превышает случайную.
Результаты лучше, когда условия выполнения эксперимента удобны, графологи квалифицированы и в психологии и в анализе почерка, а также высоко мотивированы.
7th December 2006 / Dr. Marie Anne Nauer
Scheuchzerstrasse 20, CH-8006 Zurich
m.a.nauer@bluewin.ch
Личный сайт Dr. Marie Anne Nauer
