Никита Логин рассказал о работе компьютерщиков в Лаборатории учебных корпусов

В субботу 24 апреля состоялся очередной совместный семинар московских и пермских сотрудников Лаборатории учебных корпусов, на котором обсуждались вопросы разработки общей платформы. О том, какая работа делалась и делается компьютерщиками в Лаборатории, нам рассказал стажер-исследователь Никита Логин.

Image by Gerd Altmann from Pixabay

Free

В прошлом году Никита Логин на «десятку» защитил выпускную квалификационную работу «Платформа для оценки знаний английского языка с использованием корпусного материала» (руководитель - Э.С.Клышинский), связанную с работой в Лаборатории. В работе был представлен подход к созданию тестовых вопросов с использованием ресурсов учебного корпуса на базе специально разработанной веб-платформы для тестирования LangExBank. 

О проблемах автоматического создания тестовых вопросов можно прочитать в статье Никиты «Запутать нельзя угадать: как нейросети генерируют ложные приманки для тестов», опубликованной в сентябре 2020 в издании «Системный Блокъ».

Составлять тесты сложно: кроме правильного ответа надо придумать хотя бы три неправильных. Причем придумать их с умом: чтобы варианты не были слишком очевидно неверными — но и не оказались бы при этом подходящей альтернативой верному варианту. Хорошая новость в том, что скоро эту головоломную работу смогут выполнить за вас нейросети.

Логин Никита Вячеславович
Научно-учебная лаборатория учебных корпусов: Стажер-исследователь

Вот что Никита (теперь уже Никита Вячеславович) рассказал о компьютерных проблемах, решаемых в Лаборатории.

Никита Логин:

«Если говорить о «доисторическом» периоде Лаборатории учебных корпусов, то у её истоков стояли три человека: Ольга Ильинична Виноградова, Елизавета Кузьменко и Андрей Кутузов, которые и создали корпус REALEC, а также разработали систему разметки ошибок для него. В 2019 г. корпусом занимались, кажется, уже около 8 студентов и 4 преподавателей. Тогда основными задачами были создание инструмента для помощи при написании текстов ADWISER, создание автоматического корректора и разметчика ошибок, а также создание платформы для размещения тестовых вопросов, полученных на основе текстов корпуса.

Сейчас автокорректор получил название heptabot и доступен в свободном доступе для всех желающих, ADWISER готов и постоянно пополняется новыми моделями, тестовая платформа обрела название LangExBank и постоянно развивается.

Powered by Text-To-Text Transfer Transformer model, heptabot is designed and built to be a practical example of a powerful user-friendly open-source error correction engine based on cutting-edge technology.

Теперь основной проблемой является организация общей платформы, на которой будут объединены все ресурсы, разработанные в рамках лаборатории.

Я занимаюсь платформой для тестов LangExBank с самого начала её разработки. Платформа включает в себя программу для получения тестовых вопросов, строящихся на основе предложений корпуса с ошибкой, базу данных вопросов и результатов тестирования, а также пользовательский интерфейс для проведения тестов и прохождения их. LangExBank была задумана как более простая и удобная в использовании альтернатива платформы онлайн-тестирования Moodle для конкретных задач преподавания английского языка в Школе лингвистики (подготовка к Независимому экзамену по английскому языку на основе материала нашего корпуса).

На сегодня Moodle — одна из самых популярных платформ электронного обучения. Она переведена более чем на 100 языков, и ею пользуются крупные университеты во всем мире. Известна сложностью организации: неопытный пользователь может потратить на создание одной лекции целый день.

 На Западе, где стандартизированные тесты играют особенно большую роль в вертикальной социальной мобильности, профессия создателя тестовых материалов является одной из самых востребованных и высокооплачиваемых в сфере образования. Неудивительно, что последнее время появляются попытки её автоматизировать. 

В ближайшее время будут решаться задачи автоматического определения уровня тестового вопроса и добавления адаптивного функционала на платформу».