Тестирование по Шкале ИКАО

МКАА “Безопасность полетов” продолжает публикацию выступлений и презентаций на организованной Росавиацией и прошедшей 4-5 марта 2020 года Конференции по совершенствованию обучения английскому языку в учебных заведениях гражданской авиации и тестирования по Шкале ИКАО.

Скачать презентацию Мельниченко Н.П. — Тестирование по Шкале ИКАО

Слайд 1 

Мельниченко Н.П., эксперт Международного консультативно-аналитического агентства «Безопасность полетов»

Здравствуйте.

Слайд 2

Тестирование по Шкале ИКАО – это квалификационное тестирование, которое позволяет сделать вывод о том, может ли пилот или диспетчер выполнять свои профессиональные обязанности. Определение уровня владения английским языком пилотами и диспетчерами называется «тестированием высокой ставки», потому что от результата теста зависит не только судьба конкретного пилота или диспетчера, но и безопасность пассажиров и грузов.

Все ли хорошо у нас с тестированием? Генерального Прокурора уже вспоминали сегодня. И, наверное, вам известны случаи, когда авиакомпания посылает пилота на переучивание на другой тип или для работы по контракту ООН, а его с позором возвращают обратно, потому что при наличии свидетельства с 4 уровнем, английского он не знает.

Совершенно очевидно, что возможность «купить» 4 уровень по Шкале ИКАО, это – реальная угроза безопасности полетов.

Но помимо коррупционной составляющей, по моему мнению, у нас существуют проблемы с адекватным определением уровня владения языком.

Дело в том, что, получив 4 или даже 5 уровень в одной из тестирующих систем, не всегда можно устроиться на работу в некоторые компании без внутреннего собеседования или экзамена по английскому языку. Почему? Если тест утвержден Росавиацией, почему его результат подвергается сомнению? Значит ли это, что представители этой компании, принимавшие участие в одобрении этих тестов, были уверены, что два других теста не являются валидными и надежными? Из трех тестов, которые предназначены для определения уровня не только пилотов, но и диспетчеров, провайдер аэронавигационных услуг признает только свой тест.  Очень странная ситуация!

Слайд 3

Итак, как определяется уровень владения языком по Шкале ИКАО, вернее, как должен определяться? Существует много подходов к тестированию: психометрический, аналитический, холистический, и т.д.

Оценить уровень владения языком позволяет холистический, или целостный, подход. Шкала ИКАО, разработанная PRICESG, содержит описание (holistic descriptors) каждого уровня. Уровень определяется сравнением образца речи с описанием каждого уровня в шкале.

Задача теста в этих условиях – получение образца речи, пригодного для оценки (ratable speech sample). Что значит «пригодный образец речи»? Достаточный по времени, он должен содержать спонтанную, а не заученную или шаблонную речь. В тесте должны быть задания, позволяющие оценить все уровни, которые оценивает данный тест.

Слайд 4

Если речь идет о квалификационном тестировании, то тест должен соответствовать таким критериям как валидность, надежность, практичность.

Типы валидности бывают разные:

Face validity — номинальная, или очевидная валидность (восприятие теста не экспертами, а теми, кто его сдает). Если пилот или диспетчер получает задание или вопрос, который вызывает у него недоумение и раздражение и иногда даже противоречит здравому смыслу, это сказывается отрицательно на результате;

Content validity – валидность контента – аутентичность содержания;

Concurrent validity – параллельная валидность с результатами других измерений, например, с итоговой оценкой в конце курса обучения или результатом другого теста;

Construct validity – валидность конструкта – адекватность заявленным целям измерения.

Другими словами, валидность это — адекватность, пригодность, обоснованность. Это – комплексная характеристика теста, отражающая обоснованность, значимость его результатов, адекватность теста целям измерения.

Надежность теста – характеристика качества теста, отражающая степень постоянства, устойчивости результатов тестирования. Если тест надежен, результат не зависит ни от варианта, ни от рейтера.

Практичность теста – это простота организации теста. Многие думают, что чем сложнее организация, тем тест надежнее. Вовсе нет. Можно потратить много денег на обустройство сервера где-нибудь в горах Норвегии, о местоположении которого будет знать ограниченный круг лиц, но в какой-то момент не очень хорошо владеющий английским языком диспетчер в Македонии обнаружит в себе задатки хакера и вдруг получит 5 уровень. С другой стороны, тест, для проведения которого требуется только ноутбук, флэшка, две гарнитуры, шторка и хорошо обученный рейтер/экзаменатор, может быть и валидным, и надежным, и практичным.

Слайд 5

В 2018 году вышел приказ Росавиации от 26.04.2018 №353-П «Об утверждении Методических рекомендаций о тестировании членов летных экипажей воздушных судов гражданской авиации РФ на определение уровня владения авиационным английским языком по Шкале ИКАО».

Основанием для этих рекомендаций послужили Документ ИКАО 9835 «Руководство по внедрению требований ИКАО к владению языком» и Циркуляр ИКАО 318 («Критерии языкового тестирования для глобального согласования»), в которых содержатся критерии, применяемые при оценке тестирующих систем. Соответствие тестов этим критериям является основанием для включения их в список рекомендуемых, или одобренных Росавиацией тестов для оценки уровня владения английским языком пилотами и диспетчерами. Необходимо при этом помнить, что соответствие критериям языкового тестирования необходимо регулярно подтверждать. Я бы предложила делать это раз в два года. Чтобы исключить предвзятость, правила прохождения этой процедуры должны быть понятными, постоянными и соответствовать международной практике.

Тестирующие организации предоставляли в Росавиацию пакет документов для подтверждения валидности, надежности, практичности и безопасности своих тестов, но проблемы в области тестирования свидетельствуют о том, что информации для оценки тестов было недостаточно.

Опыт участия в исследовании языковых тестов в области авиации профессора Чарльза Олдерсона, которое позже было использовано ИКАО для разработки программы одобрения тестов, и опыт одобрения теста TELLCAP, надеюсь, позволяет мне высказать некоторые соображения по поводу вопросов, ответы на которые должны были содержаться в документах, представленных в Росавиацию, и являться доказательствами валидности и надежности тестов. Главный документ, на основании которого проводится одобрение теста, это паспорт тестирования.

Я перечислю вопросы, ответы на которые должны быть представлены тестирующей организацией в паспорте тестирования, и дам некоторые комментарии в отношении используемых на данный момент тестов. Всю информацию о тестах я собирала только в открытом доступе.

Слайд 6

Первый вопрос: какова цель тестирования?

Целью тестирования является оценивание текущего уровня владения английским языком тестируемых в соответствии со Шкалой ИКАО и рекомендациями Документа 9835 (Приказ Росавиации). Это значит, что тест должен проверять соответствие или несоответствие коммуникативной компетентности пилотов и диспетчеров требованиям ИКАО, изложенным в Приложении 1 ИКАО – Выдача свидетельств авиационному персоналу.

Слайд 7

Второе. Как определялся конструкт теста?

Конструкт – это описание умений и навыков, которые проверяет тест.

Проводился ли анализ потребностей пилотов и диспетчеров, чтобы определить конструкт? Проводился ли анализ ситуации использования языка? Если анализы проводились, представить доказательства. Если не проводились, указать источники, на основании которых базируется конструкт теста.

Слайд 8

Итак, какие умения и навыки должен проверять квалификационный тест в нашем случае? Ответ содержится в Приказе Росавиации, Документе 9835 ИКАО и Циркуляре 318 ИКАО.

Тест должен проверять способность пилотов и диспетчеров решать коммуникативные задачи при ведении радиосвязи в ситуациях, когда недостаточно предписанной стандартной фразеологии.

Слайд 9

Тест не ставит своей целью оценку навыков владения фразеологией радиообмена, при этом допускается включение в тест заданий, в которых фразеология радиообмена используется в побудительных вопросах. В этих случаях фразеология должна использоваться правильно, без ошибок.

Слайд 10

Тест должен оценивать спонтанную, неподготовленную речь. Тест должен быть коммуникативным, произношение, грамматика и словарный запас оцениваются только в речи.

Тест должен оценивать только те коммуникативные навыки, которые необходимы при ведении радиосвязи: говорение и понимание на слух. Для демонстрации этих навыков нельзя использовать чтение или письмо.

Слайд 11

Если тест оценивает навыки понимания посредством специальных аудиозаданий, такая оценка не проводится в ущерб оценке навыков взаимодействия, контроль понимания должен быть интерактивным.

Тест должен включать задания, предусматривающие исключительно речевое взаимодействие.

Слайд 12

Что имеем на самом деле? В одном из тестов оценка понимания на слух включает в себя оценку понимания посредством чтения вопросов и проводится с психометрическим подходом. Психометрический подход подразумевает наличие таких заданий, как множественный выбор (выберите правильный ответ, найдите ошибку, заполните пропуски и т. п.) Потом подсчитываются баллы и делается вывод, какому уровню соответствует результат. Этот подход не позволяет оценить уровень владения языком, т.е. коммуникативную компетентность тестируемого.

На экране перед тестируемым картинка со схемой руления, задание прослушать диктора и четыре ответа, из которых надо выбрать один правильный. Это — множественный выбор, а он иногда бывает случайным выбором, так как правильный ответ уже содержится на экране. Не зря многие пилоты и диспетчеры называют этот тест «рулеткой». И согласитесь, что понять, о чем речь, очень просто, если у тебя перед глазами ответы. Создатели теста вроде бы используют радиообмен, что должно отражать деятельность пилотов и диспетчеров в реальной жизни, но разве они сталкиваются со множественным выбором правильного ответа в реальной жизни? Ни о каком взаимодействии нет и речи, что полностью противоречит приказу Росавиации и документам ИКАО и не имеет никакого отношения к Шкале ИКАО: нет образца речи для сравнения со Шкалой.

Слайд 13

Третье. Очень важно знать, кто входит в коллектив разработчиков? Образование, предыдущий опыт? Какой уровень владения языком? Есть ли в составе авиационные специалисты с лингвистическим образованием и без него? Достаточно ли у разработчиков предметных знаний? Почему ответы на эти вопросы важны? Потому что часто за создание тестов берутся люди, не обладающие достаточными теоретическими знаниями в области тестирования и предметными знаниями в области авиации.

Слайд 14

От того, кто разрабатывает тест, зависит валидность содержания. Содержание теста должно отражать специфику авиационной деятельности. Здесь следует поговорить об аутентичности ситуаций в заданиях некоторых тестов. Что такое аутентичность ситуации? Это реальность этой ситуации в жизни, в нашем случае в профессиональной деятельности пилота? Например, интервью с инспектором SAFA в одном из тестов. В реальности перечень вопросов инспекции SAFA относится к технической исправности воздушного судна и готовности экипажа. В тесте же инспектора SAFA интересует отравление пассажиров и реакция на сообщение об этом диспетчера УВД.

Другая ситуация в этом же тесте – столкновение с птицей. Пилот доложил о столкновении, треснувшем стекле, оценив ситуацию, принял решение продолжать полет.

Я не знаю, что должен делать пилот этой авиакомпании в такой ситуации, но общепринятая практика отличается от ситуации в тестовом задании. В подобных ситуациях, если пилот принял решение продолжать полет, пилот связывается не с диспетчером аэродрома вылета, а с диспетчерской службой авиакомпании и получает от нее необходимую техническую консультацию. В тесте же в беседе с диспетчером пилот диктует номер телефона представителя авиакомпании (судя по номеру телефона, представитель находится на Украине +38…), дама долго ищет представителя, пилот остается на той же частоте, через какое-то время диспетчер сообщает, что решение проблемы может занять 20 часов. На этом тема исчерпана. Да, бывает необходимо связаться с представителем авиакомпании, но эта ситуация, мягко говоря, не очень похожа на реальность.

Слайд 15

В другом тесте якобы имитируется ситуация ожидания при рулении.  Ситуация иллюстрируется на мониторе. Получив указания по рулению, пилот, остановившись перед рабочей полосой, которую должен пересечь, видит перед собой картинку на экране компьютера и слово delay?, т.е. вместо “Request cross runway” он должен спросить про продолжительность задержки. Согласитесь, ситуация нелепая: все задержки, если они ожидаются, обсуждаются до разрешения на запуск двигателей, а не во время руления. Ожидание перед пересечением ВПП не имеет никакого отношения к задержкам, и для этой ситуации есть фразеология.

Примеры подобных тестовых заданий свидетельствуют об очень примитивном понимании аутентичности,  о том, что разработчики теста плохо знакомы с авиационной спецификой, не имеют предметных знаний, а это вызывает у тестируемых дискомфорт при прохождении теста, отрицательно влияет на получение образца речи, вызывает сомнения в справедливости оценки их навыков, в адекватности теста даже, если они ни разу в жизни не слышали слова «номинальная валидность, контекстная валидность».

Слайд 16

Для оценки надежности теста необходимо знать, как осуществляется отбор и подготовка экзаменаторов/рейтеров? Какой уровень владения языком необходим рейтеру, обладает ли он предметными знаниями, имеет ли опыт в тестировании, преподавании общего и авиационного английского языка, знает ли фразеологию радиообмена, документы ИКАО? Какие требования морально-этического плана предъявляются к ним? Какова продолжительность курса подготовки экзаменаторов/рейтеров? Как поддерживается квалификация экзаменаторов/рейтеров?

Уровень владения языком рейтером должен быть не ниже 5 уровня по Шкале ИКАО. Если тестирующая система заявляет, что тест оценивает 6 уровень, то и рейтер должен владеть 6 уровнем. Из четырех тестов только один содержит доступную информацию о том, какие уровни по Шкале ИКАО оцениваются в данном тесте (до 5 уровня).  Судя по обсуждениям в соцсетях «Как получить 6 «пожизненный» уровень?», три из четырех тестирующих систем оценивают 6 уровень. 6 уровень владения языком по Шкале ИКАО, или высший уровень по любой другой шкале – это уровень владения языком образованным носителем языка или двуязычными гражданами, которые считают английский язык одним из родных. Не каждый носитель языка владеет языком на этом уровне, а неносители языка могут владеть языком на высшем уровне только, если они жили в стране языка долгое время, например, ходили в школу и получали высшее образование, получали ученую степень.

Высший уровень владения языком обычно подтверждается беседой и документами, свидетельствующими о праве по рождению (grandfather right) или о длительном пребывании в стране языка, получении образования и использовании неродного языка в повседневной жизни. И я бы очень внимательно присмотрелась к сертификатам с 6 уровнем владения языком.

В некоторых тестах, которые представили демоверсии своих тестов, к поведению рейтеров можно предъявить серьезные претензии. Рейтеры не обучены по вербальным и невербальным проявлениям, реакциям и деталям распознавать подготовленную речь, не имеют инструментария для получения спонтанной речи, в случаях пауз хезитации тестируемых «помогают» вопросами или подсказками. Часто можно наблюдать такой феномен как «принцип синхронности»: как только тестируемый сталкивается с лингвистическим затруднением или неожиданным поворотом событий, речь его замедляется, и сразу замедляется речь экзаменатора. В этих случаях можно с уверенностью утверждать, что подготовка экзаменаторов была недостаточной.

Слайд 17

В паспорте тестирования обязательно описывается история создания теста, подготовительные фазы, указываются конкретные даты и продолжительность. Эта информация важна, потому что процесс работы над тестом сказывается на его качестве.  Эта же информация не позволит тесту с уже испорченной репутацией всплыть под новым названием.

Слайд 18

Для оценки теста необходимо знать, как проводилась апробация бета-версий теста и на какой целевой аудитории? Каким образом регистрировалась реакция целевой аудитории? Были ли внесены изменения в формат, содержание теста после апробации бета-версий?

Слайд 19

Также следует описать, как проводилась внутренняя и внешняя валидация? Когда и кем? Должны быть приложены отчеты или копии с конкретными данными.

Слайд 20

Тестирующая организация должна представить сведения, на основании чего был определен формат теста, количество заданий, время тестирования, типы заданий? Необходимо обосновать последовательность заданий и время, отведенное на каждое задание. Последовательность заданий должна соответствовать принципу «от простого к сложному». Это так называемый пробинг — level check.

Слайд 21

Нужны также доказательства того, что все версии (варианты) теста одинаковой сложности? Как создаются банки заданий? Надо привести спецификации и примеры всех заданий. Подозреваю, что спецификации заданий есть не во всех тестирующих системах, а некоторые разработчики тестов вообще не понимают, что это.

Если бы в некоторых используемых тестах были ответы с обоснованием выбора формы тестового задания, эти задания соответствовали бы задаче теста. К сожалению, вынуждена привести примеры неправильного применения заданий.

Слайд 22 

Например, интервью, оно используется почти во всех тестах. Это должно быть тестовое задание большей или меньшей управляемости (структурированности), которое содержит открытые вопросы или вопросы ограниченного радиуса действия и предполагает развернутые ответы (extended response). В нем не должно быть вопросов с ответами «да» или «нет». Если следует односложный ответ, за ним должны следовать вопросы “Why?”, “How?”, или просьба “Please, explain”.

Что видим в одном из тестов? Набор случайных вопросов, не связанных друг с другом. Например, на вопрос What is a near miss? следует заученная формулировка, развития эта тема не получает. В одной фразе мало информативности. В речевом продукте выше уровня предложения факты или события связаны между собой разными отношениями, такими как сравнение, противопоставление, причинно-следственные связи и т. п. В ответах эти связи отсутствуют. Экзаменатор не предпринимает никаких действий, чтобы получить развернутый ответ и спонтанную речь, в таких ответах нельзя оценить беглость речи, ее организацию и, главное, взаимодействие.

В другом тесте экзаменатор просит описать рабочее место, в ответе тестируемый вспоминает стул и ручку, экзаменатор добавляет, вернее, подсказывает radar screen. Все.  А стрипы, а метеолокатор, а ГГС, SELCAL, резервное оборудование? Как это все используется? От чего зависит, видит ли диспетчер только радиолокационную метку или формуляр сопровождения с полной информацией о ВС? Если бы экзаменатор спросил об этом, можно было бы сделать вывод, сможет ли в реальной ситуации диспетчер передать экипажу информацию, что на трассе такой-то невозможно использовать SELCAL, или о том, вторичный локатор выключен на ТО, и у него нет ответа по высоте. Вряд ли когда-нибудь диспетчер будет говорить о стуле и ручке в радиообмене.

Слайд 23

В некоторых тестах применяется ролевая игра. Это тестовое задание, в инструкции к которому надо описать ситуацию, назначить социальные роли и поставить коммуникативную задачу. Это очень хороший инструмент для оценки спонтанной речи, способности тестируемого решать лингвистические затруднения, взаимодействовать в нештатной ситуации. Если мы говорим о последовательности заданий в тесте как о пробинге “level check”, то это задание для пятого уровня. В некоторых тестах заявлено, что они оценивают пятый уровень, а заданий для этого нет.

Итак, как ролевая игра применяется в одном из тестов? В нем это – имитация радиообмена. Реплики диспетчера и второго члена экипажа записаны заранее, в случаях, когда ответ или запрос пилота не соответствуют сценарию, в дело включается экзаменатор, что подчеркивает неестественность этого радиообмена и мешает эффективному взаимодействию. Так как это — имитация радиообмена, оценить образец речи выше третьего уровня нельзя. Описание 4 и 5 уровней содержат дескрипторы, которые невозможно применить к радиообмену (употребление вводных слов для организации речи (4 и 5), употребление идиом (5), владение навыками вести диалог (4 и 5). Употребление вводных слов и идиом в радиообмене невозможно без нарушения правил ведения радиосвязи, а выстроить диалог тестируемому не позволяет ущербность тестовой задачи. Как оценивается грамматика? Если тестируемый в имитации радиообмена опускает артикли или формальные признаки грамматических конструкций, что можно и нужно делать в радиосвязи, но не является нормой в общем языке, как это оценивать?

Слайд 24

Надо ли воспроизводить радиообмен в тестовых заданиях для оценки уровня владения общим и авиационным языком?

В документе 9835 ИКАО, в работах Чарльза Олдерсона и Дэна Дугласа очень понятно описано, как проводится тестирование в области специальных языков. Совсем не нужно воспроизводить радиообмен в ситуации тестового задания. «Without an aircraft to control, the language ceases to have any referential meaning and becomes no more than another decontextualized token of phraseоlogy» («Без управления самолетом язык перестает нести какое-либо информативное значение и становится подобием фразеологии вне всякого контекста»), — Teasdale. Для оценки владения общим и авиационным языком достаточно предусмотреть ситуацию тестового задания, после выполнения которого рейтер сможет сделать предположения и выводы, о том, справится ли тестируемый при неожиданном повороте событий с лингвистическим затруднением или нет в реальной жизни. Имитация радиообмена для этого не нужна. Если вы все-таки имитируете радиообмен, то необходимо следить за правильным употреблением стандартной фразеологии. Во некоторых тестах фразеология неправильно употребляется не только тестируемыми, но и экзаменаторами: say/report, confirm/report, backtrack to RWY 15, ATIS (ударение) и т.д.

Слайд 25

В паспорте тестирования обязательно должны быть приведены критерии оценки понимания на слух аудиозаданий. Неадекватная оценка понимания на слух сразу ставит под вопрос валидность теста, его пригодность.

Вот пример из одного теста: для аудирования предложено несколько записей радиообмена. Я не буду показывать видеозапись, а перескажу содержание одного отрывка: экипаж сообщает о запахе горящего пластик, просит снижение и посадку на ближайшем аэродроме, диспетчер не понял ничего, вместо указания по снижению позвали переводчика, она спрашивает о технической причине и необходимой помощи после посадки; пилот, простите, обалдев от неадекватности диспетчера и переводчика, объявляет бедствие, сообщает о пожаре и просит вывести его на 30-километровую прямую. Тестируемый прослушал запись дважды, не понял главного (the gist), задал экзаменатору вопрос о причине объявления бедствия, она ему подсказала, то есть он понял важную информацию только с третьего предъявления, услышав знакомый акцент. Про запрос 30-километровой прямой тестируемый в ответе ничего не сказал, а экзаменатор спросила: «What RWY was requested?», конечно, тестируемый назвал номер ВПП. Извините, но это не вопрос контроля понимания. Только «чистый» лингвист может проверять понимание цифр. Это второй уровень, уровень выживания для пилотов и диспетчеров. А понимание важной информации, т.е. соответствие 4 уровню, осталось за кадром. Как вообще в этом задании оценивается понимание?

Вообще о валидности и надежности теста в этом случае говорить затруднительно. Вопросы всех заданий находятся в открытом доступе, при подготовке к тесту идет «натаскивание». На экзамен тестируемый приходит с домашними заготовками.

В другом тесте тестируемый уже подготовлен экзаменатором к нештатной ситуации: во время брифинга экзаменатор обращает внимание тестируемого на конфликт между Кипром и Турцией, и появление военного самолета в имитации радиообмена не стало «неожиданным развитием ситуации» для пилота. Ситуацию была абсолютно предсказуемой и малопригодной для оценки понимания на слух, а ведь именно для этого она и была включена в тестовое задание.

Подобные задания говорят о том, что критерии оценки понимания разработчикам теста не совсем понятны.

Слайд 26

Очень важный критерий для оценки теста — как часто обновляются варианты тестирования? Проводится ли апробация новых вариантов на целевой аудитории? Если меняется формат теста, то необходимо объяснение причины и результаты апробации новой версии.

Слайд 27

Каким образом обеспечивается надежность теста? Как осуществляется проверка надежности теста? Каков коэффициент надежности теста и какой метод применялся для его определения. Как часто проводятся сессии стандартизации оценок каждого рейтера и между рейтерами? Стабильность работы рейтеров – это надежность теста.

Слайд 28

Тестирующая организация должна представить информацию о том, как обеспечивается сохранность вариантов, исключение коррупционной составляющей? Как и в течение какого времени обеспечивается сохранность образцов речи, как осуществляется доступ к ним контролирующих органов? Дело в том, что были случаи, когда при расследовании авиационного происшествия, расследователям были представлены записи экзаменов со следами редактирования и подмены образцов речи в отдельных заданиях.

Слайд 29

Тестирующая организация должна описать схему применения теста:

Как принимается заявка от экзаменуемого?

Кто назначает экзаменатора/рейтера?

Как и кем выбирается вариант теста?

Сколько рейтеров оценивают образец речи?

Как и в каком виде рейтер получает образец речи?

Что происходит, если оценки рейтеров не совпадают?

Возможна ли апелляция со стороны экзаменуемого?

Возможна ли повторная сдача теста?

Как собирается информация об отношении тестируемых к тесту и проводится ли ее анализ для подтверждения номинальной валидности?

Эта информация не должна быть тайной. Прозрачность схемы применения теста позволяет избежать коррупции. Никогда не должны определять уровень тестируемых преподаватели, которые их учили. Оценка должна быть анонимной (blind testing): рейтер не должен знать, чей образец речи он оценивает.

Слайд 30

Проводится ли подготовка к тесту? Если проводится, то каким образом? Подготовка не должна быть натаскиванием на тест. Это должно быть знакомство с форматом, продолжительностью, типами заданий: именно такая подготовка способствует созданию более комфортной обстановки при прохождении самого теста. Демоверсия теста должна быть представлена в открытом доступе.

Слайд 31

Паспорт тестирования с ответами на все перечисленные мной вопросы, два варианта теста и два образца речи с оценочными листами дают полное представление о валидности и надежности теста.

Если бы тестирующие организации представили паспорт тестирования и прошли такую процедуру сертификации, если бы каждый член рабочей группы, опираясь на эти ответы, письменно подтвердил свое согласие с оценкой теста, заполнив формуляр соответствия, рекомендованные тесты действительно соответствовали бы и Приказу Росавиации, и документам ИКАО и более адекватно оценивали бы уровень владения языком пилотами и диспетчерами, а документы с указанием уровня владения языком принимались бы всеми работодателями.

Слайд 32

Спасибо за внимание.