Является ли ЕГЭ инструментом анализа качества образования?

Министерство образования и науки РФ ежегодно после проведения единого государственного экзамена оглашает данные о низком уровне общеобразовательной подготовки учащихся: четверть выпускников школ не знают математики, в то же время не приводит сколько-нибудь развернутых объяснений этому. Не опасаясь говорить о низком качестве подготовки школьников, за которую несет прямую ответственность, министерство, тем не менее, не публикует полностью результаты ЕГЭ и сообщает лишь среднюю обобщенную оценку по предметам. Часть материалов скрывается при этом под грифом «для служебного пользования».
Какие результаты ЕГЭ нам предлагаются в качестве официальных итогов, а какие скрываются и почему? Ответ на этот вопрос мы найдем в отчетах Федерального института педагогических измерений (ФИПИ) — разработчика экзаменационных заданий и автора официального анализа итогов экзамена, а также в структуре информации по результатам экзамена и порядке ее распределения, в итогах ЕГЭ по математике, например, по Омской области за 2005–2008 гг.
Официальные итоги ЕГЭ (см. отчеты ФИПИ [1]–[4]) представляют собой сводные данные об участии регионов в экзамене с разбивкой по учебным дисциплинам. Они дают также характеристику используемых в отчетном году контрольно-измерительных материалов (КИМ) по каждому предмету и результаты выполнения предложенных заданий. К сожалению, работы ФИПИ только констатируют факты тех или иных достижений учащихся и не содержат анализа причин недостижения желаемых результатов (что касается математики). Представляя собой формальное описание результатов (процент участия школьников, процент успеваемости и сравнение ее с прошлым годом, процент выполнения работ по типам заданий), отчеты ФИПИ написаны как под копирку и с точки зрения содержания практически идентичны: по годам лишь несколько меняются цифры. Из года в год в отчетах фигурируют одни и те же скупые и тривиальные выводы.
Почему специалисты ФИПИ не объясняют получаемые на ЕГЭ результаты? Ответ на этот вопрос кроется в самом экзамене. Обратим внимание на то, что представляют собой результаты ЕГЭ. На каждого участника экзамена имеется информация, заложенная бланком регистрации: индивидуальный номер — штрих-код, регион, муниципальное образование, образовательное учреждение, класс, пункт проведения ЕГЭ, номер аудитории, дата проведения экзамена, предмет, вариант, Ф.И.О. участника и его паспортные данные. Результаты экзамена фиксируются фактом проставления одной из четырех альтернатив ответа на задания в части «А» (крестик в бланке), кратким ответом в части «В» (число) и баллами за решение части «С» (оценка). На основе первичных баллов успешность выполнения заданий устанавливается путем выставления тестовых баллов (по стобалльной шкале), а также школьных аттестационных отметок (по пятибалльной шкале). Ежегодно Федеральный центр тестирования (ФЦТ) обрабатывает более полумиллиона школьных работ по математике.
Напомним, что основой анализа больших массивов информации являются группировка (разбиение исследуемой совокупности на группы, однородные по какому-либо признаку) и типология (выделение групп объектов, обладающих набором общих признаков). В нашем случае недостаточно получить обобщенную среднюю оценку по стране или территории. Необходимо выделить группы школьников, описать их результат и объяснить его причины. Об этих задачах говорят и специалисты ФИПИ.
Но для того, чтобы проводить группировку или типологию, необходимо, чтобы объекты анализа обладали какими-то признаками. Какими признаками обладает каждый объект анализа? Их множество, — например, фамилия или пол учащегося (объект — школьник), тип школы или численность учащихся в ней (объект — образовательное учреждение), образовательный уровень населения или национальный состав территории (объект — муниципалитет или субъект федерации) и т.д. В ходе анализа имеет смысл использовать лишь признаки, по которым можно провести осмысленную группировку исследуемой совокупности. Желательно также, чтобы признаки обладали высоким уровнем информативности и достоверности. Назовем такие признаки группирующими. И здесь возникает вопрос: на основе каких данных мы можем присвоить каждому объекту анализа тот или иной признак.
Частично вопрос решается самими устроителями ЕГЭ. Кроме данных, заложенных в бланке регистрации, где есть только один группирующий признак — пол, сведения об участниках дополняются группирующими признаками школ: информацией об образовательных учреждениях, где помимо прочего (наименование, юридический адрес, данные об аттестации и аккредитации и т.д.) указывается их местонахождение (село, город), тип и вид, форма собственности. Тип, вид, форма собственности каждого образовательного учреждения прописаны в уставных документах. Как правило, эти признаки присутствуют уже в названии учреждения. Региональные центры обработки информации (РЦОИ), выполняющие функции организационно-технологического и информационного сопровождения ЕГЭ в субъекте федерации, поддерживают базы данных на образовательные учреждения, что позволяет установить соответствие названных атрибутов. Однако даже после этого их набор для группировки участников экзамена очень мал: пол, тип и вид школы, местность ее нахождения, форма собственности, принадлежность к субъекту федерации. Не случайно аналитики ФИПИ, не имея возможности провести иной группировки, ежегодно повторяют совершенно банальные заключения: городские школьники задания выполняют лучше сельских, выпускники обычных школ — лучше вечерних, учащиеся гимназий, лицеев и школ с углубленным изучением предметов — лучше школ обычных, в крупных населенных пунктах — лучше, чем в малых. При дефиците группирующих признаков специалисты ФИПИ взялись даже за выделение школьников по признаку проживания в населенном пункте с определенной численностью жителей, несмотря на бессмысленность этого занятия. (Порегионального сравнения результатов экзамена ФИПИ не приводит из-за несопоставимости данных, поскольку форма участия регионов была различной. Другая официальная причина отрицательного отношения к публикации межрегиональных сравнений — предотвращение процентомании

¹.) На восьмом году проведения ЕГЭ специалисты ФИПИ впервые озвучили мысль о том, что для расширения сферы применения его результатов необходимо собирать информацию об особенностях учебного процесса (число часов на изучение предмета, используемые УМК и др.). Но насколько реализуем этот замысел?
Очевидно, что итоги экзамена по математике определяются качеством учебной программы и образовательного процесса в каждом конкретном учреждении. Какими индикаторами можно описать эти показатели? Назовем некоторые из них: количество часов математики в учебном плане, профильность обучения, доля учащихся, изучающих математику углубленно, контингент учащихся (общая успеваемость), вид учебника, нагрузка на учителей математики, образовательный, возрастной и квалификационный состав учителей математики, численность учащихся в школе и наполняемость классов, доля участников экзамена, находящихся «на подвозе», текучесть кадров учителей математики и вакансии по предмету.
Начнем с того, что перед нами стоит задача изучить результаты ЕГЭ, и объектом исследования будут школьники. Из группирующих признаков у нас имеются лишь результаты выполнения заданий и пол. Анализ только по признаку «пол» большой смысловой нагрузки не несет. Изучение выполнения различного типа заданий имеет смысл лишь для определения содержания образования и оценки качества контрольно-измерительных материалов. Ничего другого из имеющихся признаков объекта «школьники» извлечь нельзя. На их основе мы можем сколько угодно упражняться в описании достижений учащихся, но не сможем сказать, кто их достиг и почему. Пример такого анализа — работы ФИПИ.
Объяснение причин тех или иных результатов ЕГЭ следует искать с помощью группировок по признакам, относящимся к школам. Использование при анализе объекта «школьники» группирующих признаков школ (например, тип школы), означает то же самое, как если бы мы анализировали усредненные результаты школ выбранного типа в сопоставлении с иными ее признаками. Однако в любом случае перед нами возникнет проблема привлечения дополнительных данных образовательной статистики. И вот здесь-то обнаруживается почти полная несопоставимость итогов ЕГЭ со стандартными формами статистической отчетности системы образования.
Итак, нам необходимо соотнести средний балл школы с ее группирующими признаками. Где взять соответствующие данные? В таблице приведены группирующие признаки школ, которые влияют на уровень подготовки учащихся, и формы статистической отчетности, содержащие эти сведения.
Легко видеть, что в нашем случае сравнение результатов ЕГЭ можно провести с очень ограниченным набором данных официальной статистики. Интересующая нас информация о специфике преподавания математики в каждой конкретной школе либо содержится в статистических отчетах ОШ-1 «Сведения о дневном общеобразовательном учреждении», либо вообще отсутствует. Мало того: Министерство образования и науки РФ и органы управления образования субъектов федерации не имеют возможности оперативно «поднять» данные даже из отчетов ОШ-1 по той простой причине, что они не являются их получателями (отчеты ОШ-1 направляются на хранение в муниципальные органы управления образованием и органы государственной статистики по месту нахождения отчитывающегося учреждения). Органы управления областного уровня тоже работают уже со сводными данными от муниципалитетов по форме 76-рик. Информации по каждой школе отчет 76-рик не содержит. С другой стороны, и из формы ОШ-1 для нашего анализа можно получить очень ограниченный набор сведений, ибо она не нацелена на фиксацию качества образования. Из вышеназванных показателей в ОШ-1 мы обнаружим только тип и вид учреждения, данные о численности учащихся, наполняемости классов, общем числе учащихся, изучающих предметы углубленно, без уточнения, являются ли они в текущем году выпускниками. Кроме ОШ-1 существует еще статистический отчет ОШ-9 о профессиональном обучении учащихся 8–11-х (12-х) классов, который в нашем случае полезной информации не содержит. Каких-либо других первичных форм статистической отчетности школ, установленных Росстатом, больше не существует (не считая финансового отчета ОШ-2).
Образовательный уровень педагогов фиксируется единственным кадровым отчетом 83-рик, который, не являясь первичным, представляет собой муниципальный свод по кадрам. Он описывает образовательный, возрастной и квалификационный уровень учителей и вакансии в целом по муниципалитету и не дает сведений по каждой школе. Статистической отчетности о текучести кадров в учреждениях образования также не существует.
Предположение о том, что на уровень подготовки школьников может оказывать влияние содержание учебников, без сбора соответствующих сведений непосредственно в образовательных учреждениях, мы проверить не в состоянии. Не знаем мы и долю выпускников школы, изучавших математику как профильный предмет. В информации отчета ОШ-1 об углубленном изучении предметов математика отнесена к предметам технического профиля и отдельно извлечена быть не может.
В разделе отчета ОШ-1 о материально-технической базе школ имеются сведения о наличии автотранспорта для перевозки учащихся с количеством посадочных мест. Однако определенно судить, сколько среди выпускников школы — участников ЕГЭ в процессе обучения находилось «на подвозе» тоже невозможно.
О том, насколько нагружены учителя математики часами по предмету, можно выяснить из тарификации, которая является внутришкольным документом. При наличии централизованной бухгалтерии результаты тарификации можно поднять на уровне муниципалитета. Однако на уровне области (края, республики) данные о нагрузке учителей математики по школам в любом случае отсутствуют, и получить их можно с мест только по отдельному запросу.
В результате, что мы имеем?
На уровне муниципалитета сопоставить средний балл школ на ЕГЭ мы можем со сведениями, содержащимися в отчетах ОШ-1, и тарификацией. Если муниципалитет ведет кадровый учет педагогов, можно в оперативном порядке получить данные и об образовательном, квалификационном и возрастном составе учителей в каждой школе. Все остальные сведения необходимо добирать запросами непосредственно в школах.
На уровне областей (краев, республик) сопоставить средний балл школ на ЕГЭ мы можем лишь с типом, видом и местом нахождения школы. Отчеты ОШ-1, как и все остальные данные необходимо запрашивать из муниципалитетов или школ.
Таким образом, и в том и другом случае основная часть сведений, необходимых для нашего анализа, может быть получена только методами специального углубленного статистического исследования, предполагающего большую работу по поиску и сбору исходных данных, где результаты ЕГЭ являются лишь небольшой его частью.
На уровне страны пошкольный анализ результатов ЕГЭ вообще превращается в фикцию (в стране насчитывается почти 40 тысяч средних школ). Данные о каждой конкретной школе даже в рамках существующей статистической отчетности Министерство образования и науки РФ попросту не собирает ². В этой связи замечательна оговорка, которую сделал бывший директор Федерального центра тестирования В.А. Хлебников на круглом столе «Единый государственный экзамен: за и против» в Мосгордуме в 2006 г. На вопрос, зачем Министерству образования и науки нужен ЕГЭ, он ответил, что для министерства «это панацея для поступления в вуз». Сам он видит роль ЕГЭ в том, что министерство должно «иметь информацию о том, чем управляешь» [5] ³.
Различия подходов объясняются тем, что министерские работники, в отличие от ФЦТ, быстро сообразили, что из одних лишь баллов ЕГЭ многого не узнаешь, что они не позволяют делать выводы о причинах невысокого качества образования без привлечения дополнительных сведений, имеющихся, а в большей степени не имеющихся в официальной статистике отрасли. Отсюда и поворот министерства в обосновании необходимости ЕГЭ: зто уже не мифические анализ и принятие управленческих решений, а борьба с коррупцией при приеме в вузы и облегчение жизни школьникам, сдающим один экзамен вместо двух.
В июне 2008 г. депутат Государственной думы А.Е. Локоть обратился с протокольным поручением к профильному комитету запросить в Министерстве образования и науки РФ информацию об итогах сдачи ЕГЭ в 2008 г. Однако, учитывая вышесказанное, можно предположить, что депутаты никогда не смогут получить анализ факторов, определяющих результативность школьников на экзамене. Такой информации попросту не существует. Кроме усредненной оценки по регионам, министерству нечего предложить общественности. Под грифом «для служебного пользования» скрываются не какие-то выявленные с помощью ЕГЭ сокровенные знания о состоянии системы общего образования, а ограниченность ЕГЭ как инструмента анализа, низкое качество контрольно-измерительных материалов и манипуляции результатами ЕГЭ ([6]). Если с долей приближенности ЕГЭ позволяет судить об успешности решения задач, то никаких объяснений достигнутого результата не дает. Основная причина низкой информационно-аналитической ценности ЕГЭ —
его несопоставимость с действующими формами статотчетности и отсутствие ведомственной статистики качества образовательного процесса в школах.
Организаторы ЕГЭ, частично признавая недостатки ЕГЭ, акцентируют внимание на таких его достоинствах, как получение объективной картины состояния общего образования, что якобы было невозможно при прежней системе оценивания. Однако официальные итоги свидетельствуют об обратном. Отчеты ФИПИ не содержат ничего такого, что доселе не было бы известно и что невозможно было бы получить менее затратным путем, работая с выборкой, как это принято, например, в международных исследованиях. По признанию бывшего заместителя министра образования В.А. Болотова результаты международных исследований PISA хорошо соотносятся с баллами ЕГЭ. Скажем, в 2004 г. на ЕГЭ по математике «двойку» получили 20% одиннадцатиклассников. На математических тестах PISA 18% россиян преодолели лишь минимальный уровень сложности — фактически не справились с заданием. Такую же картину можно наблюдать и по естественным наукам. Только в исследованиях PISA по всем предметам участвовало около 6 тыс., а в ЕГЭ — свыше миллиона человек.
Что же можно предложить для улучшения ЕГЭ вообще и по математике в частности в условиях, когда утвержденный законом экзамен вышел из стадии эксперимента в штатный режим?
1. Следует совершенствовать отраслевую статистику, фиксирующую показатели качества образовательного процесса, как промежуточные, так и итоговые.
2. Обеспечить прозрачность экзамена. Конкретные варианты экзамена ежегодно должны формироваться случайным образом из открытого банка заданий. Отказаться от практики создания контрольно-измерительных материалов, отличающихся по типам и расположению задач от спецификации, как главного препятствия прозрачности экзамена.
3. Передать функции анализа итогов ЕГЭ от разработчиков контрольно-измерительных материалов независимым экспертам, сделать результаты ЕГЭ доступными для всех заинтересованных лиц и организаций.

Формы государственной статистической отчетности и иные документы,
содержащие необходимые для анализа сведения

Показатель	Источник данных
Тип и вид школы, форма собственности	Свидетельство об аккредитации, статотчет ОШ-1
Место нахождения школы (город, село)	Статотчет ОШ-1
Величина школы (численность учащихся)	Статотчет ОШ-1
Наполняемость классов (усредненная)	Статотчет ОШ-1
Успеваемость учащихся (доля учащихся обучающихся на «4» и «5»)	Отчетности нет
Профильность обучения и вид учебного плана	Отчетности нет
Углубленное изучение математики	Отчетности нет
Образовательный, возрастной и квалификационный состав учителей (доля учителей с высшим образованием, пенсионного возраста, по разрядам оплаты труда)	Отчетности нет
Число детей, находящихся «на подвозе»	Отчетности нет
Вид учебника	Отчетности нет
Нагрузка на учителей математики (усредненная)	Тарификация
Вакансии учителей математики	Отчетности нет
Текучесть кадров	Отчетности нет

Литература

1. Результаты Единого государственного экзамена (май — июнь 2005 года). Аналитический отчет. — М.: ФИПИ, 2005.
2. Результаты Единого государственного экзамена (май — июнь 2006 года). Аналитический отчет. — М.: ФИПИ, 2006.
3. Результаты Единого государственного экзамена, 2007 год. Аналитический отчет. — М.: ФИПИ (http://fipi.ru/view/sections/138/docs/318.html ).
4. Результаты Единого государственного экзамена (май — июнь 2008 года). — М.: ФИПИ, 2008 (http://fipi.ru/view/sections/138/docs/401.html ).
5. Доклад директора Центра тестирования Минобрнауки России Хлебникова В.А. на круглом столе «Единый государственный экзамен: за и против» в Мосгордуме// http://www.r-komitet.ru/obraz/EGE_Khlebnikov.htm
6. Киселев С.Г., Нуриева Л.М. ЕГЭ и анализ качества обучения математике//Образование и наука. Известия Уральского отделения Российской академии образования, 2008, № 5, с.11–25.

---

¹ Ссылка на желание избежать процентомании, как основание отказа в публикации межрегиональных сравнений не выдерживает критики. Соревнование регионов за результаты ЕГЭ уже идет, поскольку имеется возможность сопоставить средний балл региона с общероссийским. На местах публикуются также сравнительные данные по учреждениям, поэтому борьба за процент проявляется также на уровне школ и муниципалитетов.

² Внедрение Министерством образования РФ компьютерной программы обработки ведомственной статистики «МОРФ – Мониторинг образования Российской Федерации», с помощью которой можно было бы теоретически собирать первичные отчеты школ, уже на протяжении многих лет больших успехов не имеет по причинам организационного и технического порядка. Например, отчет ОШ-1 насчитывает 17 разделов, содержащих таблицы, общая численность ячеек которых составляет более полутысячи. Трудозатраты на ввод данных только отчета ОШ-1 по Омской области (в области свыше тысячи школ всех типов) - более полумиллиона единиц информации. Требуя колоссальных усилий по вводу данных, программа МОРФ не предусматривает какую-либо их аналитическую обработку, превращая работников управлений в простых операторов. Не видя пользы от программы МОРФ, специалисты муниципалитетов и субъектов федерации сводят отчеты вручную и сдают их в бумаге.
³ Насколько прав В.А. Хлебников, можно судить по планам Министерства образования и науки РФ оставить ЕГЭ в качестве обязательного выпускного экзамена только по математике и русскому языку. По всем остальным дисциплинам за ним остаются только функции вступительного экзамена в вузы. Таким образом, единый экзамен перестает быть действительно единым.

Киселев С., Нуриева Л.