Общий и авиационный английский: изъяны квалификационного тестирования

Не раз и не два я давала себе обещание не возвращаться к теме тестирования в нашей стране, но…

Нацпер поменял руководство в своем учебном заведении, а новое руководство решило, что в трудные времена никакая копеечка не помешает, надо брать деньги с других компаний за пользование «их» тестом. Это ничего, что тест трофейный, и нацпер не разрабатывал его, может какие-то деньги и были вложены в его изменения, но они тест, увы, не улучшили.

Некоторые авиакомпании посчитали, прослезились и решили создать свою тестирующую систему. И это здорово — конкуренция должна способствовать повышению качества продукта.

Получается? Увы, нет. Менеджмент компаний решил — раз в штате есть преподаватели, экзаменаторы-рейтеры, тестированием занимались, пусть они тест и создают. В результате появляются клоны теста, который нельзя признать валидным и надежным. Как такой тест нацпера, да и другие тесты были одобрены регулятором, останется тайной.

Почему я все-таки решила вновь обратиться к этой теме? Мне искренне жаль преподавателей, перед которыми поставлена задача, которую они выполнить не могут. Опыт эксплуатации плохого теста не может помочь создать другой тест, валидный и надежный, для этого нужны другие знания. Сценаристов, которые создают задания, специально готовят.

Уважаемые коллеги, вас к этому подготовили? Вас обеспечили необходимыми инструкциями? Вам выдали спецификации тестовых заданий? Авиакомпания приобрела для вас комплект необходимой литературы (см.  Док. 9835) для самообразования?

Я не буду здесь давать какие-то советы по созданию теста, я просто хочу показать, почему не надо пытаться создать тест с «вопросами повышенной сложности» и т.н. «маршрутами».

Н.П. Мельниченко почти два десятка лет проработала переводчиком в диспетчерской службе международного аэропорта Внуково; несколько лет преподавала фразеологию радиообмена и ведение радиосвязи в Московском Центре автоматизированного управления воздушным движением; в одном из Авиационных учебных центров вела курсы первоначальной подготовки и повышения квалификации преподавателей; стала одним из первых четырех рейтеров в Российской Федерации; сыграла главную роль в разработке теста по общему и авиационному английскому языку — единственному в истории тесту, который был разработан неносителями английского языка в России и получил одобрение Международной организации гражданской авиации.

Надежда Павловна ведет телеграм-канал Aviation English for Radiotelephony, на который подписаны авиационные профессионалы и любители из более чем 50 стран мира.

Очень кратко о том, зачем нужен тест.

Требование к владению языком для пилотов и диспетчеров является квалификационным. Почему это требование появилось? Во второй половине прошлого века ИКАО обратила внимание на то, что владение общим языком является одним из трех языковых факторов, которые влияют на безопасность полетов.

Все вы знаете, что существующей стандартной фразеологии ИКАО недостаточно, когда ситуация выходит за рамки стандартной. В этих случаях пилотам и диспетчерам приходится прибегать к использованию общего языка. Исследовательская группа ИКАО (PRICE SG) определила требования к владению общим и авиационным языком и разработала Шкалу ИКАО именно для того, чтобы в аварийных и просто нестандартных ситуациях, для которых не предусмотрена стандартная фразеология, пилоты и диспетчеры не испытывали лингвистических затруднений.

Как определяется уровень владения языком? Образец речи тестируемого сравнивается с описательными характеристиками (holistic descriptors) каждого уровня Шкалы ИКАО. Для того, чтобы получить образец речи для оценки, необходим тест.

Тест должен быть валидным и надежным.

Валидность это — адекватность, пригодность, обоснованность. Это – комплексная характеристика теста, отражающая обоснованность, значимость его результатов, адекватность теста целям измерения.

Главный вопрос в тестировании: оценивает ли тест то, что является целью тестирования? Если тест не оценивает то, для чего он предназначен, результаты теста не могут считаться значимыми. Значимым результатом языкового квалификационного тестирования может считаться только тот вывод, который позволяет предположить, что тестируемый справится с лингвистическими затруднениями в реальной ситуации использования языка (Target Language Use situation), т.е., в радиообмене.

Надежность теста – характеристика качества теста, отражающая степень постоянства, устойчивости результатов тестирования. Если тест надежен, результат не зависит ни от варианта, ни от рейтера.

Итак, является ли рассматриваемый тест валидным и надежным?

Если тест надежный и валидный, то и образец речи будет пригодным для оценки, т.е., он будет достаточно длительным и будет содержать спонтанную речь.

Про то, что получить образец спонтанной речи невозможно, если материалы тестирования находятся в открытом доступе, я писала неоднократно. Если вы сомневаетесь в этом, наберите в поисковике «подготовка к тесту SELCAL» и вы увидите не менее десятка ресурсов с вопросами, ответами и «маршрутами».

Теперь о валидности. Если разработчик теста не понимает, что это, то как тест получится валидным?

Тестирующая организация должна собрать доказательства валидности теста. Не буду здесь подробно останавливаться на типах валидности, в пример приведу только такое качество теста как аутентичность. Валидный тест всегда аутентичный. Речь идет об аутентичности содержания, аутентичности ситуаций и аутентичности задач.

Аутентичен ли тест, о котором идет речь? Когда мы говорим об аутентичности теста, люди, ничего не понимающие в тестировании, думают, что только имитацию радиообмена можно назвать аутентичным заданием. Это достаточно примитивное понимание аутентичности. Тем более, что имитация радиообмена без управления воздушным судном или без управления воздушным движением никогда полностью аутентичной не будет. Тренажер сделал бы такое задание максимально аутентичным, но не слышала пока ни об одном тесте, который проводили бы на тренажере. С другой стороны, применение Шкалы ИКАО для оценки радиообмена должно сопровождаться описанием критериев оценки. Чтобы оценить образец речи по всем элементам шкалы и всем уровням со второго до пятого нужны другие типы заданий.

Рассмотрим с точки зрения содержания первое задание.

Первое задание обозначено как «интервью». Интервью может быть вполне аутентичным заданием, если вопросы позволяют получить ответ тестируемого, который может интерпретироваться как способность вести радиообмен в аварийных и нестандартных ситуациях, для которых нет стандартной фразеологии.

Какой тип интервью применяется в тесте SELCAL? Не указано. Да и не интервью это вовсе. Это – набор случайных вопросов, никак друг с другом не связанных (см. Док ИКАО 10197).

Приведу несколько примеров.

Вопрос: What is a near miss?

К нему предлагается ответ: A near miss is a situation when two aircraft fly too close to each other. And there is a danger of collision in the air but it doesn’t happen.

Also, most of all aircraft are equipped with TCAS. It is decoded as Traffic Collision Avoidance System. There is a system which provides special guidance to avoid collision in case of near miss.

Я не поменяла ни одной буквы, все претензии в отношении английского языка не ко мне.

Почему тестируемый должен говорить про TCAS, про который у него ничего не спрашивали?

Итак, near miss, — ну да, такой лексический домен есть в Док. 9835. Если не знать о цели тестирования, то такой вопрос формально можно отнести к аутентичным. Но цель тестирования какая? Проверить, знает ли тестируемый определение сближения? Нет!

Задавая вопрос, экзаменатор должен представлять, что он услышит в ответ, и позволит ли этот ответ сделать вывод, что в ситуации сближения у пилота будет достаточно лингвистических средств с этой ситуацией справиться. Услышав в ответе определение термина, можем ли мы сделать вывод, что пилот сможет доложить о сближении диспетчеру, запросить у диспетчера информацию о другом участнике инцидента (тип ВС, эксплуатанта ВС, причину сближения), предъявить претензию органу УВД и т.п.

Можно ли такое задание назвать аутентичным? Нет.

Следующий вопрос: What equipment prevents an aircraft from an impact into terrain?

Предлагаемый ответ: There is a special system which prevents an aircraft from an impact into terrain. It is called as GPWS which means Ground Proximity Warning System. In case of situation when aircraft flies towards terrain this system provides guidance for pilots to avoid impact. If pilots follow system’s commands, aircraft becomes clear of terrain.

Еще раз напоминаю, ошибки в английском языке на совести авторов вопросов и ответов.

Ну выучил пилот наизусть этот ответ, без запинки ответил, а что делать рейтеру? Может рейтер сделать вывод из этого ответа, что пилот поймет, например, команду “Pull up, pull up” в реальной ситуации? Я знаю три катастрофы, когда пилоты не поняли эту команду.

Вопрос: What is a slot time?

Ответ: A slot time is an estimated time of departure.

Может рейтер из этого вопроса и ответа сделать вывод, что пилот поймет диспетчера, что слот истек или отменен, что надо запрашивать новый слот, или сможет ли пилот попросить перенести слот из-за идентификации багажа опоздавших пассажиров стыковочного рейса или другой причины? Нет.

How does jet lag influence passenger and pilot behavior?

In what situations shall pilots override the autopilot?

Допустим, пилот не может ответить на второй вопрос. Как рейтер определит: у пилота отсутствуют предметные знания, или у него нет достаточного словарного запаса, или он не может найти для ответа подходящие грамматические структуры? Языковой тест не должен оценивать уровень предметных знаний. Я знаю много примеров, когда тестируемые с высоким уровнем владения языком вынуждены были пересдавать тест несколько раз только потому, что не обладали какими-то специальными предметными знаниями. Например, пилот-любитель с американским свидетельством, летающий по всему миру, сдавал 3 или 4 раза тест, чтобы получить пятый уровень, именно по этой причине.

С какой целью задаются именно такие вопросы? Как подобные вопросы можно соотнести с потенциальными лингвистическими затруднениями в радиообмене?

Можно с таким же успехом разобрать и все остальные вопросы.

Переходим к вопросам «повышенной сложности».

Вопрос: What in-flight weather-related conditions may make the flight difficult? (What weather conditions may make the flight difficult?)

Ответ: I think that weather is the most important factor that affects flight safety. The most difficult weather conditions are thunderstorm, strong wind, fog, icing, lightning, hail. These conditions can cause aircraft system failures and damage of aircraft structure.

Про английский больше не напоминаю…

Хотела бы я узнать, как туман может привести к отказу систем ВС или повредить конструкцию самолета.

Прослушав такой ответ, может ли рейтер предположить, что в случае грозы пилот сможет запросить обход грозы, в случае обледенения спросить у диспетчера, на каких эшелонах другие борты сообщают об обледенении, и запросить смену эшелона, запросить ветер в точке в случае каких-то сомнительных показаний приборов, и т.п.?

Другой вопрос: Do you think that a passenger without a ticket on board can lead to a diversion? Why? (Paraphrase: How might a stowaway on board be responsible for alterations of the flight’s planned route?)

Предлагаемый ответ: Yes, a passenger without a ticket on board can lead to a diversion for several reasons:

1. Security concerns. An unauthorized person on board can raise significant security alarms. Airlines and authorities take the safety of passengers very seriously, and the presence of an unverified individual could suggest a potential threat.
2. Regulatory compliance. Airlines are required to comply with strict regulations regarding passenger manifest and ticketing. If a passenger is found without a ticket, it could lead to legal and regulatory implications, necessitating a diversion to address the situation properly.
3. Passenger safety. The presence of an unauthorized passenger coud create a disturbance or conflict among passengers and crew, leading to safety concerns that may require the flight to divert to ensure everyone’s safety.
4. Operational protocol. Airlines have specific protocols for handling such situations, which may include diverting the flight to the nearest suitable airport to offload the unauthorized passenger and address any related issues.

In summary, the discovery of a passenger without a ticket can trigger a series of safety, security, and regulatory protocols that could necessitate a flight diversion.

Начнем с вопроса.

Небольшое отступление. Пилоты с хорошим уровнем владения языком, сдававшие этот тест, почти всегда говорили, что экзаменаторы не в состоянии озвучить вопросы, с трудом читают их на экране и взгляд от экрана не отрывают. А вы попробуйте задать этот вопрос, сохраняя визуальный контакт с собеседником! Не получится. Это «странный» английский язык, так не говорят. Поэтому экзаменаторы и сидят, уткнувшись в экран. Им же еще ответ надо сравнить с текстом на мониторе. В этом тесте перед экзаменатором не стоит задача получить в ответ спонтанную речь, главное, сравнить заученный ответ с ответом на мониторе.

Во всех вопросах «повышенной сложности» предусмотрен вариант перефразирования, зачем? Предполагается, что тестируемый не поймет вопрос? Должен ли он в этом случае попросить повторить вопрос или перефразировать? Если тестируемый вопрос не понял, разве не надо упростить вопрос? Без предложенного разработчиками варианта экзаменаторы не обучены это делать?

Многие вопросы «повышенной сложности» никак не похожи на устную речь. Такими вопросами проверяется понимание письменной речи на слух?

Теперь предполагаемый ответ. Если бы я была экзаменатором, я бы не удовлетворилась таким ответом: заученная наизусть письменная речь: громоздкие структуры, большие синтаксические расстояния и т.д. Это что угодно, но не спонтанная устная речь.

Теперь опять об аутентичности вопроса.

Я не знаю документов, которые регламентируют действия экипажа в подобных случаях, но я изучала ситуацию использования языка, т.е. радиообмен. Не помню я ни одного случая, когда из-за безбилетного пассажира ушли на запасной, но знаю примеры реального радиообмена в подобных ситуациях.

Рейс Нью-Йорк – Париж. Над Атлантикой бортпроводники обнаружили пассажира без билета, пилот сообщает об этом диспетчеру, передает информацию о пассажире (пол, приблизительный возраст, расовую принадлежность или национальность, внешность и т.п.), сообщает о своем решении следовать в пункт назначения. Диспетчер подтверждает получение информации и говорит, что сотрудники полиции будут извещены.

Другой случай. Борт из Хитроу летит куда-то в Испанию. При раздаче бортпитания бортпроводники обнаружили мальчика лет 10–12, без билета и документов. Конечно, экипаж принял решение лететь в пункт назначения. Пилот передал необходимую информацию о ребенке, обратным рейсом его вернули, и к этому времени в аэропорту его ждала не только полиция, но и мать.

Может, бывают случаи, когда экипаж примет решение уйти на запасной, но, если не было реальной угрозы безопасности, вряд ли менеджмент авиакомпании похвалит их за это.

Оценивая ответ, может ли рейтер сделать вывод, что в ситуациях, которые я описала, пилот сможет вести радиообмен без затруднений? Можно ли быть уверенным, что пилот может передать информацию о безбилетном пассажире диспетчеру: женщина средних лет, по-английски не говорит, документов при себе нет, только женская сумочка, бортпроводники говорят, что она выглядит не вполне адекватной и т.д.? Совершенно очевидно: тестируемому не была предоставлена возможность продемонстрировать его умения и навыки, которые могут ему понадобиться в реальном радиообмене в подобной ситуации.

Другие примеры:

What will you have to do being forced to land at unfamiliar alternate aerodrome?

Why would airport security services heavily rely on sniffer dogs?

How is “speaking internationally intelligible” within the aeronautical environment provided?

What sources can help pilots retrieve airport related information? (Господи, автор этого вопроса, знает, что значит ‘retrieve’?)

What cases will definitely refuse aircraft to enter the airspace?

Which accents are sufficiently intelligible to provide effective radiotelephony communications?

Смею надеяться, что я в достаточной степени владею английским, чтобы понимать вопросы в тестировании, но некоторые я НЕ ПОНИМАЮ! Вопрос про акценты — это про что? Акцент зависит от уровня владения языком: чем выше уровень, тем меньше выражен акцент, и наоборот.

Что значит «вопрос повышенной сложности»? Рейтеры объяснили мне, что это вопросы на пятый уровень. Неужели? ЧуднОй с точки зрения языка – это вопрос на пятый уровень? Рейтер, с которой я обсуждала это, очень удивилась: «То есть, это не вопрос должен быть на пятый уровень, а ответ?» — Задание должно быть на пятый уровень, а не вопрос.

К сожалению, с заданиями просто беда. Разработчики тестов не знают, как правильно называются задания, они вообще не владеют терминологией тестологии.

Перейдем к «маршрутам», которые называются почему-то ролевой игрой, таковой не являясь.

Маршрут: рейс SDM6639 из Москвы в Ниццу. Ослепление командира лазером с земли. Запрос окулиста по прибытию. Посторонние шумы на частоте вышки, подтверждение информации двойным нажатием.

Итак, имитация радиообмена. Ослепление лазером – может быть вполне аутентичной ситуацией, но она должна быть подробно прописана, надо понимать, на каком этапе полета происходит ослепление лазером. А коммуникативная задача, которая поставлена перед пилотом, аутентична? Разработчики теста представляют радиообмен в подобной ситуации? Судя по коммуникативной задаче, у них нет об этом ни малейшего представления.

Рассмотрим две ситуации.

Первая. ВС на эшелоне, экипаж сообщает об ослеплении лазером. Первое, что спросит диспетчер, в состоянии ли экипаж управлять самолетом. Пилот сообщит, что все ок, летят на автопилоте. Все? Нет. Диспетчеру необходима информация о местоположении источника, направление луча, цвет и длительность воздействия. Диспетчеру эта информация необходима, чтобы посредством общего вызова предупредить другие борты об опасности и передать информацию в полицию или другие соответствующие органы.

Вторая. Борт, выполняя заход, уходит на второй круг и сообщает причину. Диспетчер передает указания в отношении курса и высоты и, конечно, спрашивает у экипажа про проблемы со зрением. Нет, не с целью поинтересоваться, вызвать ли им офтальмолога по прибытии или нет, а чтобы понять, под контролем ли воздушное судно. Если, допустим, командиру или второму пилоту необходимо время для восстановления зрения, диспетчер может обеспечить векторение в зону ожидания и запросить всю информацию об местоположении источника, цвете, продолжительности воздействия лазера и т.п.

А если проблемы со зрением после посадки остаются, то тогда следует обратиться к офтальмологу (в Ницце). Такие правила.

Если перед тестируемым стоит задача передать запрос вызвать офтальмолога, то как рейтеру сделать вывод, что тестируемый справится со всеми коммуникативными задачами, которые возможны в реальном радиообмене при ослеплении ВС лазером?

Не буду разбирать все остальное в тесте, хотя отдельных аутентичных заданий на понимание на слух в этом тесте тоже нет (см. Док. ИКАО 10197).

Я все время задаю себе вопрос, как так получается, что тест, абсолютно не соответствующий требованиям Росавиации, ИКАО, используется национальным перевозчиком и другими авиакомпаниями? Это сознательный обман органа государственной власти провайдером услуг тестирования или полная некомпетентность?

Как быть пилоту, который ничего не должен знать о валидности, аутентичности, спонтанной речи и вообще о тестировании? Пилот прошел «подготовку», выучил ответы наизусть, получил 4 или 5 уровень, а радиообмен в сложных ситуациях он вести может? Как быть его работодателю, если вдруг что-то произойдет? Обратиться в прокуратуру, суд с иском к провайдеру услуг тестирования?

Вроде в Росавиации теперь новые люди, неужели нет возможности обратить более пристальное внимание на тестирование, используя документ ИКАО 10197? Скоро авиакомпании обратятся в Росавиацию за одобрением своих тестов, как их будут одобрять? В Росавиации заглянут хотя бы в свой ФАП-362, Док. ИКАО 9835, Док. ИКАО10197, Циркуляр ИКАО 318 или поверят на слово разработчикам, что тесты их прекрасные: и валидные, и надежные?

Н.П. Мельниченко,
эксперт по авиационному английскому языку