Новый метод выявления среди кандидатов на летную специальность лиц, непригодных для летного обучения, и «потенциальных аварийщиков»

Коллектив авторов: Якимович Н.В., Городецкий И.Г., Чиронов В.В., Чернобровова Е.М.

«Белые пятна» в прогнозировании успешности обучения

Как известно, после распада Советского Союза в Российской Федерации заметно сократилась учебная база для подготовки пилотов гражданской авиации. Но проблема не ограничилась только уменьшением количества летных училищ, помимо этого возник разрыв между тем, на каких типах самолетов готовили пилотов в училищах ГА и на каких типах самолетов им предстояло летать в будущем в авиакомпаниях. Во многих авиакомпаниях произошла почти полная замена отечественных воздушных судов на суда иностранного производства.

В силу ограниченности материальных средств в училищах ГА авиационные тренажеры для «Аэробусов» и «Боингов» смогли приобрести только крупные авиакомпании, — такие как «Аэрофлот», «Трансаэро», «S7». Однако в подготовке пилотов для этих типов самолетов нуждается гораздо большее количество авиакомпаний, причем для многих из них дорогостоящее обучение пилотов за границей оказывается практически недоступным. В итоге выстраивается очень длинная очередь пилотов на тренажерное обучение в ведущие авиакомпании России. Это негативно отражается на самом процессе обучения: разрыв между теоретической подготовкой к пилотированию и процессом его практического освоения на тренажере составляет иногда несколько месяцев! За это время в памяти молодых пилотов не только стирается часть теоретических знаний, но и снижается мотивация к летному обучению в целом.

Пока государство в лице Росавиации пытается создать корпорацию, которая смогла бы освоить выпуск авиационных тренажеров для иностранных воздушных судов, помощь в сокращении длинной очереди на тренажерную подготовку готовы оказать авиационные психологи. Многолетний опыт обучения пилотов в летных училищах и на тренажерах в авиакомпаниях показывает, что среди обучаемых всегда присутствует определенный процент лиц, которые не способны освоить технику пилотирования даже на самом простом самолете, не говоря уже о большегрузном лайнере. Эти лица напрасно отнимают драгоценное тренажерное время, причем именно им нередко выделяются дополнительные тренажерные сессии, поскольку они не могут показать к концу обучения должного качества пилотирования.

Иногда инструкторы пытаются «натянуть» положительную оценку за тренажерное обучение таким профессионально непригодным лицам из-за «сочувствия», если им известно, что эти молодые люди взяли большой денежный кредит на обучение и его надо возвращать, устроившись на летную работу. Однако он оказывают «медвежью услугу» не только этим «потенциальным аварийщикам», но и пассажирам, которые могут погибнуть вместе с плохо обученными пилотами.

Но выделить заранее таких «необучаемых» летному делу лиц – достаточно сложная задача, которую не способна надежно решить существующая система профессионально-психологического отбора в гражданской авиации. Неспособность психологов надежно предсказать провал в тренажерном обучении для того или иного кандидата обусловлена следующей причиной: в отечественной системе профотбора все психические функции тестируются изолировано друг от друга, и отсутствует тест, который проверял бы способность кандидата выполнять совмещенную деятельность, которая составляет основу деятельности пилотирования воздушного судна. Совмещенная деятельность означает выполнение двух или нескольких профессиональных задач одновременно. Например, при пилотировании самолета пилот должен, во-первых, следить за перемещением силуэта своего самолета относительно стрелок директорных приборов и корректировать направление движения самолета, а во-вторых, должен контролировать параметры полета по высоте, скорости, крену и тангажу, что предполагает анализ количественной информации. Однако до настоящего времени психологические тесты, оценивающие способность к совмещенной деятельности, входили в состав только импортных диагностических систем.

Причем эти тесты, которые за рубежом называют тесты «multitasks» («множественные задачи»), показали самые высокие корреляции с показателями успешности пилотирования в реальных полетах /1/. На этом основании самый надежный прогноз в плане успешности освоения летной профессии и, соответственно, прогноз успешности тренажерного обучения можно получить именно с помощью теста на совмещенную деятельность, а не по набору тестов, исследующих по отдельности память, внимание, мышление и моторику. Более того, эти прогнозы могут даже расходиться как противоположные: человек может отлично выполнять по отдельности функцию слежения за движущимся объектом и хорошо сравнивать количественные показатели, когда занимается только данной задачей, но при необходимости выполнить обе задачи практически одновременно он не сможет их совместить и провалит выполнение задания.

Дело в том, что способность к совмещенной деятельности не сводится к простой сумме отдельных способностей, она представляет собой сложный процесс управления (дирижирования) несколькими психическими процессами, которые должны осуществляться одновременно, т.е. параллельно. Речь идет о специальном регуляторном процессе в работе психики, который у одних людей может оказаться достаточно развитым от рождения (врожденная способность), а у других – совершенно не развитым. Как и остальные врожденные способности, способность к совмещенной деятельности является мало тренируемой, как говорится: «Юлием Цезарем надо родиться!». Лица, не обладающие способностью к одновременному выполнению нескольких задач, не могут оказаться успешными в том виде деятельности, где востребована именно эта способность. Вот почему диагностика способности к совмещенной деятельности так необходима для надежного прогнозирования успешности обучения на авиационном тренажере и освоения летной профессии в целом.

Создание новой методики для надежного прогноза успешности освоения авиационного тренажера.

Интерес к созданию отечественного теста по типу «multitasks» для построения прогнозов успешности обучения на «full flight» тренажере проявила наша передовая во всех отношениях авиакомпания — «Аэрофлот».

По её заказу авторы статьи – специалисты кафедры «Эргономики информационно-измерительных систем» «МАТИ»-РГТУ имени К.Э. Циолковского разработали компьютерный тест под названием «Совмещенная деятельность».

В тесте испытуемому предлагается выполнить на компьютере деятельность, которая требует осуществления двух типов когнитивных задач (слежения и счета) одновременно. Интерфейс теста представляет собой своего рода «деловую игру» под названием «Дозаправка самолета в воздухе». Испытуемый должен взять на себя роль пилота того самолета, который нужно дозаправить топливом непосредственно в полете. Перед его самолетом виртуально «летит» самолет-дозаправщик, т.е. его силуэт постоянно перемещается на экране компьютера. От испытуемого требуется удерживать визир своего самолета в виде перекрестия (красного креста) в центре силуэта самолета-дозаправщика, но при этом производить еще и сравнение чисел, которые появляются над силуэтом самолета. По этим числам нужно определить, в какой из баков самолета (в левый или в правый) следует заливать топливо. Чтобы выбрать нужный бак, необходимо произвести в уме некоторые расчеты, а именно: нужно сложить крайне числа в ряду, состоящим из трех чисел, и сравнить полученную сумму с центральным числом в этом ряду. Если сумма окажется меньше центрального с числа, то нужно виртуально «открыть» левый бак, для чего нажать на левую клавишу «мыши»; если же сумма окажется больше центрального числа, то потребуется нажать на правую кнопку «мыши» для «открытия» правого бака. На рисунке 1 представлен описанный выше интерфейс теста.

Понятно, что добиться одновременного выполнения и задач слежения и задач счета возможно лишь в том случае, когда психика испытуемого способна эффективно распределять сознательный контроль за выполнением действий. Это означает, что обычно сознание сосредоточено на решении задач счета чисел, поэтому задача двигательного слежения за перемещением самолета-дозаправщика должна осуществляться при минимальном сознательном контроле или вообще бессознательно (в автоматическом режиме работы психики). Для такой работы требуется достаточно развитая от природы моторная функция, когда движения мало контролируются сознанием. Иногда такое достигается и за счет длительной тренировки определенных движений.

Процесс выполнения теста «СОВД» является достаточно сложным не только в силу того, что необходимо совмещать выполнение двух типов задач одновременно, но еще и потому, что тест постоянно меняет свой уровень сложности в зависимости от успешности его выполнения испытуемым. Иными совами, тест адаптируется к возможностям испытуемого: если испытуемый начинает успешно справляться с предложенным уровнем сложности заданий, то последующие задания усложняются в плане скорости подачи информации; если же испытуемый, достигнув определенного уровня, начинает снижать качество своей работы, то уровень сложности заданий тоже постепенно понижается. Такой механизм адаптации заданий к возможностям испытуемого позволяет выяснить верхний предел способности испытуемого в выполнении совмещенной деятельности.

Помимо самой процедуры тестирования авторы статьи разработали автоматизированную экспертную систему, которая производит обработку первичных данных, делает расчет нужных показателей по формулам, которые затем нормируются и переводятся в условные баллы. По сумме набранных баллов автоматизированная экспертная система выносит заключение в виде прогноза успешности обучения данного кандидата на комплексном авиационном тренажере.

Верификация прогнозов теста «СОВД» с реальными оценками обучения

Разработанная авторами автоматизированная экспертная система строит прогноз успешности тренажерного обучения по тем же принципам, которые заложены в системе профессионально-психологического отбора для любой профессии. Эти принципы были разработаны Вальдом применительно к построению заключений в медицине и психологии и состоят в следующем:

• сначала выявляется весь возможный диапазон тестовых значений по итоговому показателю (возможные разбросы в сумме баллов по тесту);
• затем этот диапазон делится на три отдельные зоны значений, где верхняя зона приравнивается к положительному прогнозу, средняя зона приравнивается к неопределенному прогнозу, а нижняя зона – к отрицательному прогнозу успешности обучения;
• чтобы провести границы трех зон прогноза, предварительно собираются сведения о реальных результатах обучения на тренажере обследованных кандидатов, затем экспериментальным путем подбирается такая граница верхних тестовых значений, чтобы не менее 95% лиц, попавших по своим результатам в эту зону, имели положительные оценки в обучении (т.к. прогнозы должны сбываться не менее, чем в 95% случаев);
• аналогично подбирается граница зоны отрицательного прогноза, т.е. не менее 95% лиц, отнесенных к этой зоне по результатам тестирования, должны иметь отрицательные оценки в обучении (они могут оказаться отчисленными по летной неуспеваемости); зона, оставшаяся между границами верхней и нижней зоны, должна быть отнесена к зоне прогноза средней успешности обучения (или так называемого «неопределенного прогноза»).

Разработанные с помощью «метода последовательного анализа Вальда», три зоны тестовых значений называют «критериальными нормами». Критериальные и популяционные (статистические) нормы существенно отличаются теми принципами, на которых ведется их расчет. В частности, в популяционных нормах границы трех зон в континууме тестовых результатов проводятся в зависимости от частоты встречаемости того или иного результата в выборке. А границы между зонами в критериальных нормах устанавливаются путем сопоставления предварительных прогнозов, вынесенных по тесту, с реальными оценками успешности обучения с целью добиться такого разграничения тестовых результатов, чтобы прогнозы выделенных зон совпадали с реальностью в 95% случаев. По этой причине критериальные нормы являются такими нормами, которые уже выверены (верифицированы) реальными оценками, полученными на практике.

В ходе разработки автоматизированной экспертной системы авторам теста удалось вывести вполне надежные критериальные нормы, которые дают 95% правильных прогнозов успешности обучения на комплексном тренажере. Но такого успеха удалось достичь благодаря большой работе, проделанной по выделению наиболее информативных показателей теста «СОВД». Информативными показателями по тесту считаются те показатели, которые наиболее коррелируют с реальными оценками успешности обучения на тренажере.

В этой связи был проведен корреляционный анализ между различными показателями, которые могут быть рассчитаны по тесту «СОВД», с объективными оценками, полученными от инструкторов по тренажерной подготовке обследованных пилотов.

Оценки успешности обучения были сведены нами в единую 4-х балльную шкалу, где:

1. балл – получили те пилоты, кто был отчислен по результатам тренажерной подготовки;
2. балла – получили те пилоты, кто имел дополнительные занятия на комплексном тренажере;
3. балла – получили те пилоты, кто имел дополнительные занятия только на процедурном тренажере;
4. балла – получили те пилоты, кто не имел никаких дополнительных занятий и освоил комплексный тренажер в установленные сроки.

Всего было обследовано 34 молодых человека в возрасте от 20-ти до 40-ка лет, которые были направлены после теоретической подготовки на комплексный тренажер самолета «А-320». Однако сведения об успешности их обучения на этом тренажере удалось собрать только на 17 человек, поскольку данная научно-исследовательская работа была ограничена временными рамками, а из-за слишком большой очереди на тренажерные занятия мы не получили сведений об успешности обучения даже на тех, кто обследовался по тесту 4-5 месяцев назад.

По этой причине корреляции были посчитаны на выборке численностью 17 человек. Из десяти показателей теста средневыраженные (статистически недостоверные) корреляционные связи с реальными оценками обучения на тренажере дали только 2 показателя:

• Средний уровень качества выполнения совмещенной деятельности за 5 минут тестирования (в условных единицах);
• Градиент врабатывания, который рассчитывается как отношение максимального уровня выполнения совмещенной деятельности, достигнутого в тесте, к тому времени, которое прошло до момента достижения этого максимума (в условных единицах).

Поскольку каждый из этих информативных показателей отражает вполне определенный аспект совмещенной деятельности, то сложение их может дать интегральный показатель, который будет еще сильнее коррелировать с объективными оценками обучения.

Но учитывая, что каждый из показателей измеряется в своих условных единицах, то для сложения величин показателей пришлось сначала привести их к единой шкале измерения – к пятибалльной системе. Чтобы перевести сырой результат в ту или иную балльную оценку (от 1-го до 5-ти баллов), обычно делается расчет критических перцентилей, которые делят весь континуум тестовых результатов на отдельные зоны в зависимости от накопленной частоты их встречаемости в выборке. После разделения континуума тестовых значений на пять отдельных зон стало возможным перевести каждый индивидуальный результат в балльные оценки. Сначала это было сделано применительно к каждому из двух информативных показателей, а затем посчитана сумма баллов по двум показателям вместе, — так был получен итоговый показатель по тесту.

Автоматизированная экспертная система, сделав расчет итогового показателя в виде суммы баллов по каждому пилоту, применила затем к этой балльной оценке критериальные нормы, о которых рассказывалось ранее, и отнесла её к конкретной зоне прогноза. Таким образом, в заключение каждый пилот получил один из трех видов прогноза согласно ниже приведенной таблице:

Количество баллов по тесту «СОВД»	Прогноз успешности обучения на комплексном тренажере
1 – 2 балла	Обучение неуспешное (обучение вообще не рекомендуется)
3 – 6 баллов	Обучение средне успешное (возможны дополнительные занятия)
7 -10 баллов	Обучение успешное (обучение уложится в установленные сроки)

Еще раз подчеркнем, что прогнозы, полученные по тесту, совпали с оценками успешности обучения на тренажере на уровне не менее 95% случаев. Важно отметить, что тот пилот, который был отчислен после тренажерной подготовки, показал предельно низкие результаты по тесту «СОВД»: его итоговый показатель оказался на уровне «2» баллов.

На обследованной выборке пилотов (n=17) коэффициент корреляции между прогнозами, полученными по тесту, и объективными оценками их тренажерного обучения составил r=0, 602 при уровне значимости р < 0,05 (sig=0,011), что указывает на наличие достоверной статической связи между рассматриваемыми показателями и подтверждает высокую валидность теста.

Достичь 100% совпадения прогнозов по тесту с реальными оценками обучения вряд ли возможно, т.к. помимо способности к совмещенной деятельности на успешность тренажерной подготовки влияют еще и другие личностные факторы. К этим факторам, прежде всего, относятся уровень языковой подготовки пилота (команды на А-320 отдаются на английском языке) и его эмоциональная устойчивость (тревожные личности испытывают повышенное эмоциональное напряжение, что снижает качество их работы на тренажере).