Terminologie-extractie

Informatie over het extraheren van terminologie

Introductie

Terminologie is de som van de termen die een specifiek onderwerp identificeren. Terminologie extraheren is het proces waarbij terminologie uit een tekst wordt gehaald.

Het idee is om de frequentie van woorden in een bepaald document te vergelijken met hun frequentie in de taal. Woorden die zeer vaak in het document voorkomen, maar zelden in de taal, zijn waarschijnlijk termen.

Technologie

Het maakt gebruik van Poisson-statistieken, de maximale waarschijnlijkheidsschatting en de inverse documentfrequentie tussen de frequentie van woorden in een bepaald document en een algemene corpus van 100 miljoen woorden per taal. Het gebruikt een probabilistische part-of-speech-tagger om rekening te houden met de waarschijnlijkheid dat een bepaalde reeks woorden een term zou kunnen zijn. Het creëert n-gram woorden door de relatieve entropie te minimaliseren.

Waarom hebben we dit ontwikkeld?

Translated heeft deze technologie ontwikkeld om haar vertalers te helpen zich bewust te zijn van de uitdagingen in een document en om het proces van het maken van woordenlijsten te vereenvoudigen.

We gebruiken het ook om zoekresultaten te verbeteren in traditionele zoekmachines (vooral Google) door een betere schatting te geven van in welke mate een zoekwoord relevant is voor een document.

Ik wil het hebben!

Als u geïnteresseerd bent in deze technologie, lees dan meer over Translated Labs en onze diensten voor natuurlijke taalverwerking.