Методы кросс-языкового поиска документов (Денис Зубарев, ISPRASOPEN-2019) — различия между версиями
Материал из 0x1.tv
StasFomin (обсуждение | вклад) (Новая страница: «;{{SpeakerInfo}}: {{Speaker|Денис Зубарев}} <blockquote> </blockquote> {{VideoSection}} {{vimeoembed||800|450}} {{youtubelink|}}{{letscomment}} {{S…») |
StasFomin (обсуждение | вклад) (Batch edit: replace PCRE (\n\n)+(\n) with \2) |
||
(не показано 18 промежуточных версий этого же участника) | |||
;{{SpeakerInfo}}: {{Speaker|Денис Зубарев}} <blockquote> Cравниваются различные методы кросс-языкового поиска похожих документов. Для сравнения используется русско-английская языковая пара. Сравниваются известные методы, такие как CL-ESA, с методами, основанными на кросс-языковых эмбеддингах. Для поиска документов используется приближенный поиск ближайшего соседа (ANN), использующий расстояния между векторами, представляющими документы. Также применяется более традиционный подход с использованием инвертированного индекса, с дополнительным шагом: отображение ключевых слов с одного языка на другой с помощью кросс-языковых эмбеддингов. Для экспериментальной оценки всех методов используются русские статьи из Википедии, которые имеют аналоги в англоязычной версии. Проведенные эксперименты показывают, что подход с инвертированным индексом показывает лучшие результаты по двум метрикам: полнота и средняя точность (MAP). ---- In this paper, we compare different methods for cross-lingual similar document retrieval. We focus on Russian-English language pair. We compare well-known methods like Cross Lingual Explicit Semantic Analysis (CL-ESA) with methods based on cross-lingual embeddings. We use approximate nearest neighbor (ANN) search to retrieve documents based entirely on distances between learned document embeddings. Also we employ a more traditional approach with usage of inverted index, with extra step of mapping top keywords from one language to other with the help of cross-lingual word embeddings. We use Russian-English aligned Wikipedia articles to evaluate all approaches. Conducted experiments show that an approach with inverted index achieves better performance in terms of recall and MAP than other methods. </blockquote> {{VideoSection}} {{vimeoembed|378876582|800|450}} {{youtubelink|}}|NnzlkB7r3nU}} {{letscomment}} {{SlidesSection}} [[File:Методы кросс-языкового поиска документов (Денис Зубарев, ISPRASOPEN-2019).pdf|left|page=-|300px]] {{----}} [[File:{{#setmainimage:Методы кросс-языкового поиска документов (Денис Зубарев, ISPRASOPEN-2019)!.jpg}}|center|640px]] {{LinksSection}} * https://www.ispras.ru/proceedings/isp_31_2019_5/isp_31_2019_5_127/ <!-- * [ Talks page on site] --> <!-- <blockquote>[©]</blockquote> --> {{vklink|1575}} <references/> <!-- topub --> {{stats|disqus_comments=0|refresh_time=2021-08-31T17:28:56.394385|vimeo_plays=2|youtube_comments=0|youtube_plays=10}} [[Категория:ISPRASOPEN-2019]] [[Категория:Draft]]Natural Language Processing]] |
Текущая версия на 12:21, 4 сентября 2021
- Докладчик
- Денис Зубарев
Cравниваются различные методы кросс-языкового поиска похожих документов.
Для сравнения используется русско-английская языковая пара.
Сравниваются известные методы, такие как CL-ESA, с методами, основанными на кросс-языковых эмбеддингах. Для поиска документов используется приближенный поиск ближайшего соседа (ANN), использующий расстояния между векторами, представляющими документы.
Также применяется более традиционный подход с использованием инвертированного индекса, с дополнительным шагом: отображение ключевых слов с одного языка на другой с помощью кросс-языковых эмбеддингов. Для экспериментальной оценки всех методов используются русские статьи из Википедии, которые имеют аналоги в англоязычной версии.
Проведенные эксперименты показывают, что подход с инвертированным индексом показывает лучшие результаты по двум метрикам: полнота и средняя точность (MAP).
In this paper, we compare different methods for cross-lingual similar document retrieval. We focus on Russian-English language pair. We compare well-known methods like Cross Lingual Explicit Semantic Analysis (CL-ESA) with methods based on cross-lingual embeddings. We use approximate nearest neighbor (ANN) search to retrieve documents based entirely on distances between learned document embeddings. Also we employ a more traditional approach with usage of inverted index, with extra step of mapping top keywords from one language to other with the help of cross-lingual word embeddings. We use Russian-English aligned Wikipedia articles to evaluate all approaches. Conducted experiments show that an approach with inverted index achieves better performance in terms of recall and MAP than other methods.
Видео
Посмотрели доклад? Понравился? Напишите комментарий! Не согласны? Тем более напишите.
Презентация
Примечания и ссылки
Plays:12 Comments:0