Wydobywanie terminologii

Informacje o wydobywaniu terminologii

Wprowadzenie

Terminologia to zbiór terminów określających dany temat. Wydobywanie terminologii to proces wyszukiwania terminów w tekście.

Chodzi o porównanie częstotliwości słów występujących w danym dokumencie z częstotliwością używania ich w konkretnym języku. Terminami są prawdopodobnie wyrazy bardzo często pojawiające się w dokumencie, natomiast rzadko w języku.

Technologia

Technologia ta wykorzystuje rozkład Poissona, ocenę maksymalnej wiarygodności i odwrotną proporcjonalność pomiędzy częstotliwością występowania słów w danym dokumencie a częstotliwością ich występowania w ogólnym korpusie językowym, liczącym po 100 milionów słów na dany język. Wykorzystuje ona probabilistyczny moduł tagujący części mowy, który pozwala uwzględnić prawdopodobieństwo, że określona sekwencja słów może być traktowana jako termin. Tworzy n-gramy słów, minimalizując entropię względną.

W jakim celu opracowaliśmy tę funkcję?

Firma Translated opracowała tę technologię, aby pomóc tłumaczom zidentyfikować trudne partie dokumentu i uprościć proces tworzenia glosariuszy.

Używamy go również do poprawy wyników wyszukiwania w tradycyjnych wyszukiwarkach (np. Google), lepiej szacując, w jakim stopniu słowo kluczowe jest istotne dla danego dokumentu.

Chcę z tego skorzystać

Jeśli interesuje Cię ta technologia, przeczytaj więcej o  Translated Labs i naszych usługach przetwarzania języka naturalnego.