Jezikovne tehnologije - ILIJA MUKAETOV

UVOD

Jezikovna tehnologija je področje umetne inteligence, ki se ukvarja z interakcijami računalnika in človekovega naravnega jezika. Jezikovne tehnologije omogočajo procesiranje besedil, ki so zapisane v naravnem jeziku. To procesiranje poteka na različnih ravneh in z različnimi metodami (preproste metode - s pomočjo statistike, srednje zahtevne metode - krnjenje in zahtevne metode - rudarjenje besedil). Pri nalogah jezikovnih tehnologij ima zelo velik vpliv tudi področje razumevanja naravnih jezikov, ki se ukvarja z nalogo, da stroji prebrano besedilo znajo procesirati in razumeti njen pomen.

Slika 1: interakcija računalnika in naravnega jezika

ZGODOVINA

       Človek se je v 50-ih letih prejšnjega stoletja prvič začel spraševati o strojih, da lahko prevajajo naravni jezik. Prvi uspeli poskus se je zgodil leta 1954, ko so avtomatsko prevedli 60 ruskih stavkov v angleški jezik.
       ELIZA in SHRDLU sta ena izmed prvih programov, nastala v 60-ih, ki sta omogočila procesiranje naravnega jezika, vendar sta zelo enostavna, saj imata omejeno besedišče, uporabljata zelo malo informacij o človeških mislih in čustvih. ELIZA je na primer funkcionirala le ob prisotnosti osnovnega znanja, saj je vsebovala zelo majhno bazo podatkov o znanju.
       V 80-ih letih 20. stoletja so ustvarili prvo strojno prevajanje s pomočjo statistike. V istem času so pisali ročno pravila uspešnim programom za procesiranje naravnega jezika. Prelomnica se je zgodila, ko so ustvarili in predstavili algoritme strojnega učenja za procesiranje besedil, kot posledica so programi, v nadaljnjem razvoju strojnega prevajanja, postali bolj napredni, pametnejši.
      Trenutne raziskave se ukvarjajo z nenadzorovanim oziroma delno nadzorovanim učenjem algoritmov. To pomeni, da se algoritmi učijo iz podatkov, ki niso ročno ali delno ročno napisani in nimajo zaželjenih odgovorov. Čeprav so rezultati manj natančni od rezultatov nadzorovanega učenja algoritmov, ima nenadzorovano učenje prednost, da nudi bistveno več podatkov (podatke svetovnega spleta), kakor podatki nadzorovanega učenja algoritmov.

Slika 2: ELIZA

GLAVNE NALOGE

Jezikovne tehnologije se ukvarjajo z ogromnim številom nalog. Vsebujejo naloge, ki neposredno delujejo kot aplikacije in nam služijo, obstajajo pa tudi naloge, ki se uporabljajo kot pripomoček k reševanju drugih, zahtevnejših nalog. Ukvarjajo se:

S strojnim prevajanjem: stroj avtomatično prevede besedilo iz enega naravnega jezika v drug jezik. Ta naloga velja za eno izmed težjih, saj zahteva različne vrste znanj, ki jih človek ima (slovnica, semantika, svetovna dejstva,...), da se problem reši primerno.
Z generacijo naravnih jezikov: pretvorba baze podatkov računalnika v naravni jezik.

Z razumevanjem naravnih jezikov: pretvorba delov besedila v bolj formalna zastopanja, ki jih bo računalnik bolje razumel.
Z t.i. sentence breaking-om: stroj išče meje (pika, klicaj, vprašaj,...) v danemu besedilu.
Z odgovarjanjem na vprašanja: na vprašanje, ki je bilo zastavljeno v naravnem jeziku, se stroj odzove z odgovorom. Odzovejo se na vprašanja, ki imajo specifičen odgovor in prav tako na vprašanja, ki nudijo več možnih odgovorov. Dandanes se ukvarjajo z učenjem strojev, da se lahko odzovejo na kompleksnejša vprašanja.
Z prepoznavanjem maternega jezika, z procesiranjem govora, z označevanjem delov govora,...

Slika 3: primer, v katerem so vidni elementi jezikovne tehnologije

ZAKLJUČKI

Glavni cilj jezikovnih tehnologij je, da neki sistem poveže svoje odgovore s cilji ustvarjalcev ali s potrebami uporabnikov. Človeški nivo naravnega jezika je eden izmed ciljev/problemov, ki ga hoče umetna inteligenca doseči (da računalnik postane enako inteligenten kot človek). Da umetna inteligenca doseže ta nivo, pa se mora zateči v jezikovne tehnologije. Potemtakem, prihodnost jezikovne tehnologije je zelo odvisna od razvoja umetne inteligence.

VIRI

Wikipedija, jezikovne tehnologije [online]. 2015. [Datum zadnjega spreminjanja maj 2015]. Dostopno na spletnem naslovu: https://sl.wikipedia.org/wiki/Jezikovne_tehnologije
Wikipedia, natural language processing [online]. 2015. [Datum zadnjega spreminjanja december 2015]. Dostopno na spletnem naslovu: https://en.wikipedia.org/wiki/Natural_language_processing
Wikipedija, umetna inteligenca [online]. 2015. [Datum zadnjega spreminjanja marec 2015]. Dostopno na spletnem naslovu: https://sl.wikipedia.org/wiki/Umetna_inteligenca
Wikipedia, natural language understanding [online]. 2015. [Datum zadnjega spreminjanja november 2015]. Dostopno na spletnem naslovu: https://en.wikipedia.org/wiki/Natural_language_understanding

SLIKE

Slika 1 [online]. 2015. Dostopno na spletnem naslovu: http://sdtimes.com/alation-launches-data-query-system-based-on-natural-language-processing/
Slika 2 [online]. 2015. Dostopno na spletnem naslovu: https://upload.wikimedia.org/wikipedia/commons/9/98/GNU_Emacs_ELIZA_example.png
Slika 3 [online]. 2015. Dostopno na spletnem naslovu: https://upload.wikimedia.org/wikipedia/commons/8/8b/Automated_online_assistant.png