Terminológiakinyerés

Információk a terminológia kinyeréséről

Bevezetés

A terminológia azon kifejezések összessége, amelyek egy adott témát azonosítanak. A terminológiakinyerés az a folyamat, amelynek során egy szövegből kinyerjük a terminológiát.

A lényeg az, hogy összehasonlítjuk a szavak gyakoriságát egy adott dokumentumban a nyelvben történő előfordulásuk gyakoriságával. Azok szavak, amelyek nagyon gyakran jelennek meg a dokumentumban, de a nyelvben csak ritkán, valószínűleg kifejezések.

Technológia

A Poisson-statisztikákat, maximum likelihood módszert és a dokumentum inverz gyakoriságát használja egy adott dokumentumban szereplő szavak gyakorisága és egy nyelvenként 100 millió szót tartalmazó általános korpusz között. Probabilisztikus címkézést használ, amellyel megállapítja annak valószínűségét, hogy az egymást egy adott sorrendben követő szavak egy kifejezést alkotnak-e. N-gramokat hoz létre a szavakból a relatív entrópia minimalizálásával.

Miért fejlesztettük ki ezt az eszközt?

A Translated azért fejlesztette ki ezt a technológiát, hogy a fordítói tisztában legyenek a dokumentumban fellelhető nehezebb részekkel, és egyszerűsítse a szószedetek létrehozásának folyamatát.

Arra is használjuk, hogy javítsuk a keresési találatokat a hagyományos keresőmotorokban (pl. Google), mivel jobban megbecsülhető, hogy egy kulcsszó mennyire releváns egy dokumentumban.

Szeretném alkalmazni!

Ha érdekli ez a technológia, olvasson részletesebben a Translated Labsről és a természetesnyelv-feldolgozással kapcsolatos szolgáltatásainkról.