Установление валидности теста по общему и авиационному английскому языку

Под валидностью понимают соответствие тестирующей системы решению именно тех задач, для которых данная тестирующая система создавалась. Известны случаи, когда составители тестов заявляют о валидности их тестирующих продуктов, однако оказывается, что такие тесты либо проверяют не только способность понимать на слух и говорить, как это рекомендует ИКАО, но и читать и писать (а иногда и печатать). В содержании таких тестов зачастую входят задания, только ограниченно или никак не проверяющие умение кандидата воспринимать английскую речь и говорить на английском языке.

Многие тесты, составленные лингвистами, имеющими недостаточное представление о характере работы пилотов и диспетчеров, имеющими поверхностное понимание фразеологии и не владеющими аутентичным авиационным контекстом, отличаются неадекватностью заданий и неспособностью оценить все уровни и профили «Шкалы ИКАО для определения уровня владения языком».

Данная тестирующая система основывается на принципах теории тестологии и учитывает общие критерии (holistic descriptors), предъявляемые к владеющему языком и приведенные в Приложении 1 к Чикагской Конвенции.

Общие критерии включают в себя:

1. способность свободно общаться при отсутствии визуального контакта (телефон, радиотелефон) и при непосредственном общении;
2. способность недвусмысленно и четко общаться по общим, конкретным и связанным с работой темам;
3. использование при общении соответствующих коммуникативных стратегий, позволяющих распознавать и устранять недопонимания посредством проверки, подтверждения или уточнения информации в общем или связанном с работой контексте;
4. успешное и относительно простое решение лингвистических проблем при усложнении или непредвиденном развитии событий в процессе штатной рабочей ситуации или при выполнении знакомой им коммуникативной задачи;
5. умение использовать диалект или акцент, понятные для авиационного сообщества.

Помимо этих требований, ИКАО разработало список характеристик, которым должны соответствовать тестирующие системы (см. раздел «Требования, предъявляемые к тестирующей системе»). В квинтэссенции, перечень требований заключается в следующем:

1. Тест должен быть квалификационным;
2. Тест должен быть индивидуальным;
3. Тест должен быть аутентичным;
4. Тест должен быть адекватным;
5. Тест должен быть качественным;
6. Тест должен быть коммуникативно-ориентированным;
7. Тест должен определять все шесть профилей Шкалы ИКАО;
8. Тест должен быть многовариантным;
9. Задания теста должны иерархически усложняться;
10. Тест должен проверять, в том числе, инициативную и спонтанную речь;
11. Тест должен проверять только два вида речевой деятельности — аудирование и говорение;
12. Тест должен обеспечивать предметную чистоту заданий;
13. Тестирование только знания фразеологии неприемлемо;
14. Непрямое тестирование знания грамматики, умения читать или писать неприемлемо;
15. Тесты, проверяющие языковые компетенции в других специальных контекстах (например, в академических целях или для бизнеса), неприемлемы;
16. Применение компьютера только для упрощения проведения и администрирования тестирования владения языком, а не для выставления оценки.

Методом корреляции формата, продолжительности и содержания заданий с приведенными выше требованиями можно установить следующее:

1. Разработанная «Тестирующая система» проверяет способность свободно общаться при отсутствии визуального контакта (Задания 3 и 5) и при непосредственном общении (Задания 1, 2, 3, 4, 5, 6).
2. Тест устанавливает способность недвусмысленно и четко общаться по общим (Задания 1 и 2), конкретным и связанным с работой темам (Задания 2, 4 и 6).
3. Тестовые задачи позволяют проверять использование при общении соответствующих коммуникативных стратегий, позволяющих распознавать и устранять недопонимания посредством проверки, подтверждения или уточнения информации в общем или связанном с работой контексте (Задания 2, 3, 4, 5 и 6).
4. В тесте представлены задания, заставляющие кандидата решать лингвистические проблемы при усложнении или непредвиденном развитии событий в процессе штатной рабочей ситуации или при выполнении знакомой им коммуникативной задачи (Задания 2, 3, 4, 5 и 6).
5. Тест позволяет определить умение кандидата использовать диалект или акцент, понятные для авиационного сообщества (Задания 1, 2, 3, 4, 5 и 6).
6. Тест является квалификационным, поскольку решает задачи определения 4, 5 и 6 уровней по Шкале ИКАО.
7. Тест является индивидуальным, поскольку рассчитан на одновременное тестирование только одного человека.
8. Тест является аутентичным, поскольку состоит из аутентичных текстов, аутентичных записей радиообмена, тексты для аудирования записаны как носителями языка, так и изучившими английский. Авиационная составляющая теста аутентична решаемым пилотами и диспетчерами задачам в повседневной работе и нестандартных ситуациях.
9. Тест является адекватным, поскольку тестовые задания основаны на доменах, приведенных в Документе ИКАО 9835 “Manual on Implementation of ICAO Language Requirements”.
10. Тест является качественным и практичным, поскольку позволяет с большой долей точности эффективно и надежно оценивать уровень владения общим и авиационным английским языком и прост в применении.
11. Все задания теста являются коммуникативно-направленными.
12. Задания теста позволяют определить при помощи Шкалы ИКАО уровень владения общим и авиационным английским языком по всем элементам системы языка: произношению, грамматике, лексике, беглости речи, пониманию и взаимодействию. Определение уровня должно осуществляться специалистами, прошедшими специальную подготовку по Шкале ИКАО и по применению Тестирующей системы.
13. Задания теста от первого до шестого представляют собой повышающийся по сложности объем решаемых лингвистических заданий в рамках усложняющегося формата. Для адекватного тестирования уровня владения по Шкале ИКАО предусмотрено усложнение задач в пределах каждого из шести заданий.
14. Тест предусматривает проверку способностей кандидата инициировать речь (Задание 6) и говорить спонтанно (Задания 2, 4, 5).
15. В течение теста кандидату не предлагается что-либо читать или записывать. Однако кандидат имеет возможность записать для лучшего запоминания необходимые данные при выполнении Заданий 3, 5 и 6.
16. Тест проверяет только способность кандидата общаться на общие, конкретные и связанные с работой темы. Знания из других областей английского языка, как и знания технических аспектов, не присущих профессии пилота и диспетчера, не проверяются.
17. Владение стандартной фразеологией радиообмена в тесте не проверяется. Однако выполнение кандидатом Задания 5 предполагает умение понимать радиотелефонную связь на английском языке при возникновении нестандартных ситуаций.
18. Владение грамматическими структурами проверяется при прямом общении кандидата и экзаменатора. Письменные задания по грамматике отсутствуют.
19. Тестовые задания не касаются других областей применения языка, кроме авиационной.
20. Компьютер при тестировании применяется для упрощения проведения теста экзаменатором, предъявления предназначенных для прослушивания материалов, а также для записи всего экзамена на цифровой носитель. Компьютер не оснащен никакими системами, которые могут быть использованы для оценки владения языком.

Данная корреляция тестовых заданий и его формата позволяют сделать вывод о валидности Тестирующей системы.