• A
  • A
  • A
  • АБB
  • АБB
  • АБB
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта
Контакты

Адрес: 105066, г. Москва,
Старая Басманная ул., д. 21/4

Как до нас добраться

 

Телефон: +7 (495) 772-95-90 доб. 22734

E-mail: ling@hse.ru

По вопросам, связанным с сайтом: portalhseling@gmail.com

Руководство

Руководитель Рахилина Екатерина Владимировна

Заместитель руководителя Ахапкина Яна Эмильевна

Книга
Введение в науку о языке

Кибрик А. Е., Федорова О. В., Татевосов С. Г. и др.

Буки Веди, 2019.

Статья
ДОСТАЛИ ТАК УПОТРЕБЛЯТЬ ИНФИНИТИВ! О НОВОЙ КАУЗАТИВНОЙ КОНСТРУКЦИИ В РУССКОМ ЯЗЫКЕ

Полински М., Левонтина И. Б.

Диалог. Компьютерная лингвистика и интеллектуальные технологии. 2019. № 18. С. 361-373.

Глава в книге
Lexical Diversity and Colour Hues in Russian Poetry: A Corpus-Based Study of Adjectives

Lyashevskaya O., Vlasova E.

In bk.: Quantitative Approaches to Versification. Institute of Czech Literature of the Czech Academy of Sciences, 2019. P. 131-141.

Корпуса Universal Dependencies, или зачем нам еще один формат синтаксической разметки?

В минувшую пятницу на семинаре школы лингвистики выступила профессор Ольга Ляшевская. Она рассказала о перспективах развития формата Universal Dependencies и участии НИУ ВШЭ в этом проекте.

Любой языковой корпус — это, с одной стороны, инструмент для исследования языка, а с другой — платоформа и ресурс для разработки лингвистических систем и компонентов. И для первого, и для второго используют синтаксическую разметку — чаще всего это синтаксис составляющих (который использовали еще в Penn Treebank) или синтаксис зависимостей (который очень любят в Пражской школе, PDT). Эти два подхода попробовали объединить в проектах Prague Czech-English Dependency Treebank — перевод текстов Penn Treebank (WSJ) на чешский язык, и Basic Stanford Dependencies — перевод разметки Penn Treebank в формат зависимостей. Именно тогда появилась идея Универсальных зависимостей (Universal Dependencies). Она была призвана облегчить работу над мультиязычным машинным переводом и обеспечить лучшую совместимость банков синтаксических деревьев. Последнее, в свою очередь, позволит переносить инструменты обработки текста с одного корпуса на другой, не обращая внимания на конкретный язык.

Что такое Universal Dependencies (UD)? Сами разработчики формулируют идеологию Универсальных зависимостей так: UD — разметка синтаксических зависимостей, упорядоченно представляющая межъязыковые соответствия, основанная на известных пользователю понятиях и существующих стандартах разметки.

UD не претендует на признание в качестве новой лингвистической теории, но разрабатывается с учетом современных знаний о типологии языков и релевантных соответствиях/различиях между языками; UD не является идеальным формальным представлением для парсинга, но полезна для сравнительного сопоставления результатов парсинга в разных языках; UD — не самое оптимальное решение для отдельных языков, но облегченный вариант разметки. В общем, на первый взгляд, UD — эсперанто в мире разметки (кстати, это показатель - когда начинают создавать lingua franca, интуитивно кажется, что предыдущих языков и правда стало очень много).

На сегодняшний день UD team — это мультиязычный некоммерческий проект, в котором участвуют десятки лингвистов со всего мира. В 2016 году был выпущен UD 1.4, в котором сейчас почти 50 языков и почти 70 трибанков. Русские корпуса в проекте представлены конвертированными СинТагРус (в создании которого принимала участие и выпускница нашей магистратуры Кира Дроганова) и Google Russian Treebank. Самое главное, чего удалось достичь — свести все многообразие синтаксически отношений к вполне обозримым 44-м.

По словам Ольги Ляшевской, сейчас перед разработчиками стоит несколько новых задач: во-первых, переход на стандарт UD v.2.0, во-вторых, разработка общих подходов к разметке славянских языков, и в-третьих, обучение моделей (MaltParser, MST Parser) и автоматическая разметка больших корпусов с N-граммами. Не стоит забывать о желании включить русские данные в CONLL Shared Task 2017, создать новый корпус UD-RSTB и свести СинТагРус к единой разметке.

Как видно, перспектив и планов много. И, как говорят в новостных службах, мы будем следить за развитием событий в области Универсальных зависимостей.

Видео доклада Ольги Ляшевской: