Корпуса Universal Dependencies, или зачем нам еще один формат синтаксической разметки?

Любой языковой корпус — это, с одной стороны, инструмент для исследования языка, а с другой — платоформа и ресурс для разработки лингвистических систем и компонентов. И для первого, и для второго используют синтаксическую разметку — чаще всего это синтаксис составляющих (который использовали еще в Penn Treebank) или синтаксис зависимостей (который очень любят в Пражской школе, PDT). Эти два подхода попробовали объединить в проектах Prague Czech-English Dependency Treebank — перевод текстов Penn Treebank (WSJ) на чешский язык, и Basic Stanford Dependencies — перевод разметки Penn Treebank в формат зависимостей. Именно тогда появилась идея Универсальных зависимостей (Universal Dependencies). Она была призвана облегчить работу над мультиязычным машинным переводом и обеспечить лучшую совместимость банков синтаксических деревьев. Последнее, в свою очередь, позволит переносить инструменты обработки текста с одного корпуса на другой, не обращая внимания на конкретный язык.

Что такое Universal Dependencies (UD)? Сами разработчики формулируют идеологию Универсальных зависимостей так: UD — разметка синтаксических зависимостей, упорядоченно представляющая межъязыковые соответствия, основанная на известных пользователю понятиях и существующих стандартах разметки.

UD не претендует на признание в качестве новой лингвистической теории, но разрабатывается с учетом современных знаний о типологии языков и релевантных соответствиях/различиях между языками; UD не является идеальным формальным представлением для парсинга, но полезна для сравнительного сопоставления результатов парсинга в разных языках; UD — не самое оптимальное решение для отдельных языков, но облегченный вариант разметки. В общем, на первый взгляд, UD — эсперанто в мире разметки (кстати, это показатель - когда начинают создавать lingua franca, интуитивно кажется, что предыдущих языков и правда стало очень много).

На сегодняшний день UD team — это мультиязычный некоммерческий проект, в котором участвуют десятки лингвистов со всего мира. В 2016 году был выпущен UD 1.4, в котором сейчас почти 50 языков и почти 70 трибанков. Русские корпуса в проекте представлены конвертированными СинТагРус (в создании которого принимала участие и выпускница нашей магистратуры Кира Дроганова) и Google Russian Treebank. Самое главное, чего удалось достичь — свести все многообразие синтаксически отношений к вполне обозримым 44-м.

По словам Ольги Ляшевской, сейчас перед разработчиками стоит несколько новых задач: во-первых, переход на стандарт UD v.2.0, во-вторых, разработка общих подходов к разметке славянских языков, и в-третьих, обучение моделей (MaltParser, MST Parser) и автоматическая разметка больших корпусов с N-граммами. Не стоит забывать о желании включить русские данные в CONLL Shared Task 2017, создать новый корпус UD-RSTB и свести СинТагРус к единой разметке.

Как видно, перспектив и планов много. И, как говорят в новостных службах, мы будем следить за развитием событий в области Универсальных зависимостей.

Видео доклада Ольги Ляшевской: