Извлечение терминологии

Информация об извлечении терминологии

Описание

Терминология — это сумма терминов, которые определяют конкретную тему. Извлечение терминологии — это процесс извлечения терминологии из текста.

Идея состоит в том, чтобы сравнить частоту использования слов в том или ином документе с их частотой в языке. Слова, которые встречаются в документе очень часто, но редко в языке, вероятно, являются терминами.

Технология

Применяется статистика Пуассона, оценка максимального правдоподобия и обратная частота документа между частотой слов в том или ином документе и общим объемом в 100 миллионов слов на каждый язык. Применяется вероятностное средство частеречной разметки для учета вероятности того, что определенная последовательность слов может составлять термин. С помощью минимизации относительной энтропии создаются n-граммы слов.

Почему мы разработали это приложение?

Translated разработала эту технологию, чтобы помочь переводчикам в определении трудностей текста и упростить процесс создания глоссариев.

Мы также используем ее для улучшения результатов поиска в традиционных поисковых системах (например, Google), давая более точную оценку степени, в которой ключевое слово имеет отношение к документу.

Мне это нужно!

Если вас заинтересовала эта технология, узнайте больше о Translated Labs и наших услугах по обработке естественного языка.