До начала проведения туров жюри школьного или муниципального этапов олимпиады должно иметь в своем распоряжении готовые условия задач, отлаженные варианты программы различных типов решений для каждой предлагаемой задачи, набор тестов и методику проверки и оценки решений участников.
С целью достижения объективности в оценке полученных участниками решений рекомендуется при проверке программ использовать тесты. Тесты должны в максимальной степени способствовать выявлению особенностей алгоритма решения задачи и давать возможность жюри дифференцировать полученные участниками решения по степени их корректности и эффективности.
Наборы тестов должны охватывать все возможные случаи, допустимые условием задачи. В наборе должны присутствовать:
- простые тесты;
- тесты на все частные случаи, позволяющие выявить особенности используемых алгоритмов;
- тесты для проверки решений средней сложности (разные тесты в зависимости от размерности входных переменных);
- максимальные тесты (тесты с использованием максимальных значений входных переменных), позволяющие оценить эффективность предложенных алгоритмов или их работоспособность в экстремальных условиях.
Конечно, об использовании на олимпиадах по информатике полной системы тестов для каждой задачи говорить не приходится, но можно разработать тесты, которые полностью проверяют логику возможных алгоритмов, используемых при ее решении. О том, что это можно успешно делать, говорит тот факт, что на заключительных и федеральных окружных этапах всероссийских олимпиад по информатике претензий к тестам во время олимпиады и после нее практически ни у кого не возникало.
Если в условиях задач приведены рекомендуемые ограничения по времени тестирования для каждого теста, то следует учитывать, что данные ограничения годятся для проведения тестирования на компьютерах с определенными характеристиками по быстродействию и объему оперативной памяти. Поэтому в каждом конкретном случае жюри необходимо использовать только те компьютеры, которые соответствуют заданным в условии задачи ограничениям.
Лучший вариант проверки решений участников олимпиады – использование программных проверяющих систем. Несмотря на то, что такие проверяющие системы значительно упрощают процесс проверки решений, подготовка и настройка их для проведения конкретной олимпиады требует достаточной квалификации и не малых усилий. В частности, для обеспечения функционирования такой системы, помимо наборов тестов, требуется предварительно разработать правила оценивания всех решений и проверяющие программы для каждой задачи.
Основная задача проверяющей программы состоит в сравнении полученного для каждого теста результата участника с правильным ответом и формировании оценки за этот тест. Понятно, что для каждой задачи разрабатывается своя проверяющая программа.
Алгоритмы работы проверяющих программ могут быть самые разнообразные. В простейшем случае, когда решение задачи однозначно определено, проверяющая программа только сравнивает полученный ответ с правильным. Если предполагаются различные варианты правильных ответов, то проверяющая программа либо проверяет все варианты путем сравнения, либо дополнительно преобразует полученный ответ к нужной форме, чтобы осуществить необходимые сравнения. Существуют и более сложные алгоритмы проверки, но в любом случае на выходе проверяющей программы формируется оценка в баллах, которую получает решение участника на соответствующем тесте.
Использование на олимпиадах по информатике программных проверяющих систем требует от участников знаний правил взаимодействия с компонентами такой системой и навыки использования всех предоставляемых ей сервисных функций. Чтобы школьники, которые впервые будут участвовать в олимпиаде, смогли всем этим овладеть, перед началом соревнований необходимо специально провести пробный тур, основная цель которого - ознакомиться со своим рабочим местом и приобрести основные навыки работы с программной средой соревнований. Желательно также перед началом тура раздать каждому участнику памятку, в которой описаны все правила взаимодействия с используемой программной средой.
В настоящее время во многих регионах страны вышеназванные программные проверяющие системы уже используются. В случае их отсутствия можно воспользоваться аналогичными системами, бесплатно распространяемыми в интернете. Однако, как правило, свободно распространяемые программные продукты бесплатно не поддерживаются разработчиками и, более того, разработчики не отвечают за их работоспособность и достоверность получаемых результатов.
В этом плане более надежными и удобными с точки зрения их использования являются промышленные системы. Одной из таких систем является информационная система проведения олимпиад, разработанная компанией «Кирилл и Мефодий». Данная система прошла достаточно эффективную апробацию во время проведения интернет-туров заключительных этапов Всероссийской олимпиады в 2006 и 2007 годах и с успехом использовалась во время проведения федерального окружного этапа в форме интернет-олимпиады в 2008 году. По вопросам условий ее приобретения можно обращаться по электронной почте support@rusolymp.ru .
В качестве примера подготовки тестов и проверяющих программ для проверки решений участников в автоматизированном режиме можно ориентироваться на тесты и проверяющие программы, использованные во время проведения региональных, федеральных окружных и заключительных этапов Всероссийской олимпиады в прошлые годы. Вся эта информация размещена на портале Всероссийской олимпиады школьников http://rusolymp.ru/ в разделах соответствующих олимпиад по информатике.
Говоря о системе оценивания решений участников, центральная методическая комиссия по информатике рекомендует каждую задачу независимо от ее сложности оценивать из 100 баллов. Возможны и другие варианты, например, определять максимальное количество баллов с учетом сложности решения задачи. Однако делать это можно только в том случае, если есть полная уверенность в такой оценке сложности задач.
Количество баллов за тест в случае правильной работы программы на этом тесте назначается жюри, исходя из максимального балла оценки решения задачи, общего количества тестов и особенностей конкретного теста. Во многих случаях правильно работающую на каждом тесте программу целесообразно оценивать одинаковым количеством баллов, хотя не исключено иное, но это определяется выбранной системой оценивания задачи.
Если возможны различные по сложности решения одной и той же задачи, которые определяются размерностью входных данных, то в этом случае целесообразно использовать следующее правило: правильное, но не эффективное решение задачи должно набирать ориентировочно от 30 до 60% баллов. Конкретное количество баллов определяется в зависимости от возможных по сложности вариантов решений.
В заключение хотелось бы отметить, что в настоящих методических рекомендациях не возможно предусмотреть все ситуации, которые могут возникнуть при разработке заданий для школьного и муниципального этапов Всероссийской олимпиады школьников по информатике. Поэтому в случае возникновения каких-либо проблем следует, в первую очередь, обращаться в региональную методическую комиссию по информатике. Если возникающие проблемы требуют вмешательства центральной методической комиссии по информатике, то для этого можно использовать адрес электронной почты support@rusolymp.ru .
Список рекомендуемой литературы
1. Арсак Ж. Программирование игр и головоломок. – М.: Наука, 1990. – 224 с.
2. Бентли Д. Жемчужины творчества программистов: пер. с англ. – М.: Радио и связь, 1990. – 224 с.
3. Брудно А.Л., Каплан Л.И. Московские олимпиады по программированию/ Под ред. акад. Б.Н. Наумова.- 2-е изд., доп. и пераб. – М.: Наука, гл. ред. физ.-мат. лит., 1990. – 208 с.
4. Долинский М.С. Алгоритмизация и программирование на Turbo Pascal: от простых до олимпиадных задач: Учебное пособие. – СПб.: Питер Принт, 2004. – 240 с.
5. Задачи по программированию /С.М. Окулов, Т.В. Ашихмина, Н.А. Бушмелева и др.; Под ред. С.М. Окулова. – М.: БИНОМ. Лаборатория знаний, 2006. – 820 с.
6. Кирюхин В.М. Всероссийская олимпиада школьников по информатике. М.: АПК и ППРО, 2005. –212 с.
7. Кирюхин В.М. Информатика. Всероссийские олимпиады. Вып. 1. – М.: Просвещение, 2008. – 220 с. – (Пять колец).
8. Кирюхин В.М., Окулов С. М. Методика решения задач по информатике. Международные олимпиады. – М.: БИНОМ. Лаборатория знаний, 2007. – 600 с.
9. Кирюхин В.М., Цветкова М.С. Всероссийская олимпиада школьников по информатике в 2006 году. – М.: АПК и ППРО, 2006. – 152 с.
10. Меньшиков Ф.В. Олимпиадные задачи по программированию. – СПб.: Питер, 2006. – 315 с.
11. Московские олимпиады по информатике /Под ред. Е.В. Андреевой, В.М. Гурвица и В.А. Матюхина. – М.: МЦНМО, 2006. – 256 с.
12. Окулов С. М. Основы программирования. – М.: БИНОМ. Лаборатория знаний, 2005. – 440 с.
13. Окулов С. М. Программирование в алгоритмах. – М.: БИНОМ. Лаборатория знаний. 2002. – 341 с.
14. Окулов С.М., Пестов А.А., Пестов О.А. Информатика в задачах. – Киров: Изд-во ВГПУ, 1998. - 343 с.
15. Окулов С.М., Пестов А.А. 100 задач по информатике. – Киров: Изд-во ВГПУ, 2000. – 272 с.
16. Пинаев В.Н. Олимпиадные задачи по программированию: Учебное пособие / РГАТА. – Рыбинск, 1997. – 41 с.
17. Уэзерелл Ч. Этюды для программистов. – М.: Мир, 1982. – 288 с.
18. Шень А. Программирование: теоремы и задачи. – М.:МЦНМО, 1995. – 264 с.