• A
  • A
  • A
  • АБB
  • АБB
  • АБB
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта
Мероприятия
Книга
Рукописи. Редкие издания. Архивы. Из фондов Отдела редких книг и рукописей

Лифшиц А. Л., Мастерков А., Мастеркова А. и др.

Вып. 10. М.: Новый хронограф, 2017.

Статья
Una eina per a una llengua en procés d'estandardització: el traductor automàtic català-sard

Alòs i Font H., Fronteddu G., Tyers F. M.

Linguamática. 2017. Vol. 9. No. 2. P. 3-20.

Глава в книге
О выражении множественных непрямых объектов в адыгейском глаголе

Багирокова И. Г., Ландер Ю. А., Мороз Г. А.

В кн.: Становление и развитие младописьменных языков. К 120-летию со дня рождения выдающегося языковеда, основоположника адыгейского языкознания Д.А. Ашхамафа: материалы Международной научной конференции (Майкоп, 21-23 июня 2017 г.). Майкоп: 2017. С. 23-27.

Препринт
Nominative object in modern North Russian dialects

Ronko R.

Linguistics. WP BRP. НИУ ВШЭ, 2017. No. 61.

Корпуса Universal Dependencies, или зачем нам еще один формат синтаксической разметки?

В минувшую пятницу на семинаре школы лингвистики выступила профессор Ольга Ляшевская. Она рассказала о перспективах развития формата Universal Dependencies и участии НИУ ВШЭ в этом проекте.

Любой языковой корпус — это, с одной стороны, инструмент для исследования языка, а с другой — платоформа и ресурс для разработки лингвистических систем и компонентов. И для первого, и для второго используют синтаксическую разметку — чаще всего это синтаксис составляющих (который использовали еще в Penn Treebank) или синтаксис зависимостей (который очень любят в Пражской школе, PDT). Эти два подхода попробовали объединить в проектах Prague Czech-English Dependency Treebank — перевод текстов Penn Treebank (WSJ) на чешский язык, и Basic Stanford Dependencies — перевод разметки Penn Treebank в формат зависимостей. Именно тогда появилась идея Универсальных зависимостей (Universal Dependencies). Она была призвана облегчить работу над мультиязычным машинным переводом и обеспечить лучшую совместимость банков синтаксических деревьев. Последнее, в свою очередь, позволит переносить инструменты обработки текста с одного корпуса на другой, не обращая внимания на конкретный язык.

Что такое Universal Dependencies (UD)? Сами разработчики формулируют идеологию Универсальных зависимостей так: UD — разметка синтаксических зависимостей, упорядоченно представляющая межъязыковые соответствия, основанная на известных пользователю понятиях и существующих стандартах разметки.

UD не претендует на признание в качестве новой лингвистической теории, но разрабатывается с учетом современных знаний о типологии языков и релевантных соответствиях/различиях между языками; UD не является идеальным формальным представлением для парсинга, но полезна для сравнительного сопоставления результатов парсинга в разных языках; UD — не самое оптимальное решение для отдельных языков, но облегченный вариант разметки. В общем, на первый взгляд, UD — эсперанто в мире разметки (кстати, это показатель - когда начинают создавать lingua franca, интуитивно кажется, что предыдущих языков и правда стало очень много).

На сегодняшний день UD team — это мультиязычный некоммерческий проект, в котором участвуют десятки лингвистов со всего мира. В 2016 году был выпущен UD 1.4, в котором сейчас почти 50 языков и почти 70 трибанков. Русские корпуса в проекте представлены конвертированными СинТагРус (в создании которого принимала участие и выпускница нашей магистратуры Кира Дроганова) и Google Russian Treebank. Самое главное, чего удалось достичь — свести все многообразие синтаксически отношений к вполне обозримым 44-м.

По словам Ольги Ляшевской, сейчас перед разработчиками стоит несколько новых задач: во-первых, переход на стандарт UD v.2.0, во-вторых, разработка общих подходов к разметке славянских языков, и в-третьих, обучение моделей (MaltParser, MST Parser) и автоматическая разметка больших корпусов с N-граммами. Не стоит забывать о желании включить русские данные в CONLL Shared Task 2017, создать новый корпус UD-RSTB и свести СинТагРус к единой разметке.

Как видно, перспектив и планов много. И, как говорят в новостных службах, мы будем следить за развитием событий в области Универсальных зависимостей.

Видео доклада Ольги Ляшевской: