O le fa'a'ole'ese e aofia ai le fa'afetaia o manatu, upu, po'o ata o se isi tagata, o se faiga na iloiloina le mautonu i siosiomaga faaleaoaoga ma tomai faapitoa. E mafai ona le iloa e tamaiti aʻoga e ono toe faʻafuaseʻi upu a se isi tagata e aunoa ma se faʻailoga talafeagai. Talu ai e lē o faaaogāina faailoga o upusii pe a toe faaupuina se mea, e faigofie lava ona sola ese mai i le puʻeina e se tagata suʻesuʻe ma faaauau i le ata mulimuli. Peita'i, e le'o fa'ataunu'uina atoa, ae maise ua sili atu ona lelei le iloa e tagata su'esu'e fa'akomepiuta le toe fa'aliliuina i aso nei.
O le su'eina o le toe fa'aliliuina e mafai ona avea ma se lu'itau, aua e aofia ai le fa'ailoaina o mea e tutusa ma eseesega i le va o tusitusiga. I vaega o lo'o mulimuli mai, o le a tatou su'esu'e i se talanoaga atoatoa e uiga i metotia masani ma metotia fa'aaogaina e iloatino ai fa'ata'ita'iga o fa'aupuga.
E fa'afefea ona iloa e tagata su'esu'e fa'akomepiuta le toe fa'aliliuina: Su'esu'e metotia talafeagai
I le tulaga fa'aa'oa'oga i aso nei, ua fa'atuputeleina le fa'atupuina o su'esu'ega fa'akomepiuta, ua sili atu nai lo le na'o le fa'ailogaina o tusitusiga kopi e su'e ai fo'i mea ua toe fa'aupuina. O lenei tusiga o loʻo suʻesuʻeina auala e faʻatagaina ai nei meafaigaluega e faʻamaonia lelei ai le toe faʻamatalaina.
1. Fa'afetauiga o manoa
O lenei metotia e aofia ai le faʻatusatusaina o tusitusiga i le uiga poʻo le tulaga o upu e faʻamaonia ai fetaui tonu. Ole maualuga maualuga ole tutusa ile fa'asologa o uiga po'o le filifiliga o upu ile va o tusitusiga e lua e mafai ona fa'aalia ai le toe fa'aliliuina. O nei mea faigaluega e fa'aaogaina algorithms lavelave e mafai ona mafaufau i le uiga o upu, ma fa'ateleina ai le faigata mo mea fa'apolopolo, toe fa'aliliuina e le iloa.
2. Cosine tutusa
Cosine tutusa o se tasi lea o auala e iloa ai e tagata su'esu'e fa'akomepiuta le toe fa'aliliuina. E fuaina le tutusa i le va o ni tusitusiga se lua e faʻavae i luga o le faʻailoga i le va o latou faʻataʻitaʻiga vector i se avanoa maualuga. E ala i le fa'atusaina o tusitusiga e fai ma vete o upu alalaupapa po'o fa'apipi'i, e mafai e nei mea faigaluega ona fa'atatau le sikoa tutusa o le cosine e fa'amanino atili ai lo latou agava'a e su'esu'e mea ua toe fa'amatala.
3. Fa'ata'ita'iga fa'aoga upu
O nei fa'ata'ita'iga e fa'aogaina ai upu po'o fasifuaitau i le va o tusitusiga e lua e iloa ai a latou feso'ota'iga. I le fa'atusatusaina o vaega o lo'o fa'aogaina, e mafai ona e iloa fa'amatala fa'atusa e fa'atatau i mea e tutusa ma eseesega i fa'asologa fa'afetaui.
4. Su'esu'ega semantic
O lenei faiga e aofia ai le su'esu'eina o le uiga ma le anotusi o upu ma fasifuaitau i tusitusiga. O metotia e pei o le latent semantic analysis (LSA), upu embeddings (e pei o le Word2Vec poʻo le GloVe), poʻo faʻataʻitaʻiga loloto aʻoaʻoga e pei o le BERT e mafai ona puʻeina sootaga vaʻaia i le va o upu ma iloa ai le toe faʻamatalaina e faʻavae i luga o le tutusa o latou faʻatusa.
5. Suesueina o masini
E mafai ona a'oa'oina fa'ata'ita'iga masini a'oa'oga i fa'amaumauga fa'ailoga o ta'i fa'amatala ma le le fa'aupuina o tusitusiga. O nei faʻataʻitaʻiga e mafai ona aʻoaʻoina faʻataʻitaʻiga ma foliga e iloagofie ai faʻaupuga ma e mafai ona faʻaoga e faʻavasegaina ai mea fou o tusitusiga e pei o le toe faʻaupuina pe leai.
6. Su'esu'ega N-gram
N-grams o vaega o upu e sosoo tonu le tasi ma le isi. A e siaki pe faafia ona aliali mai nei vaega i tusitusiga eseese ma faatusatusa i latou, e mafai ona e mauaina ni fasifuaitau po o se faasologa tutusa. Afai e tele ni mamanu faapena, e mafai ona faauigaina atonu na toe faaupuina le tusitusiga.
7. Latalata fa'alua su'esu'ega
Ole auala mulimuli e iloa ai e tagata su'esu'e fa'akomepiuta le toe fa'amatala lelei.
Algoritimi su'esu'e lata-fa'alua e masani ona fa'aaogaina i le toe fa'aliliuina o le su'esu'ega e fa'asino ai vaega o tusitusiga e fa'aalia ai se maualuga maualuga o le tutusa pe toetoe a tutusa. O nei algorithms o loʻo faʻatulagaina faʻapitoa e iloa ai mea faʻapipiʻi e ala i le faʻatusatusaina o tusitusiga tutusa i luga o se tulaga auiliili.
O le a le auala e masani ona faʻaaogaina e le polokalama faakomepiuta puipuia?
O fofo fa'atekonolosi e fa'aogaina e 'au'aunaga fa'apolofesa fa'apolofesa e fa'atatau ile su'esu'ega n-gram. E ala i le fa'aogaina o tekonolosi fa'avae n-gram, o nei 'au'aunaga e ausia ai se tulaga maualuga maualuga. O se tasi lea o auala sili e iloa ai e tagata su'esu'e fa'akomepiuta le toe fa'aliliuina, e mafai ai ona fa'ailoa ma fa'ailoga upu tonu ua toe tusia.
Fa'ainisinia o le auala e iloa ai e tagata su'esu'e fa'akomepiuta le toe fa'aliliuina
E masani ona fa'aogaina e 'au'aunaga e puipuia le fa'a'ole'ese o tamatamai lima e fa'atusatusa ai pepa. E aofia ai le su'eina o le n-grams e mana'omia mai pepa e fa'amaonia ma fa'atusatusa i le n-grams o pepa uma i totonu o latou fa'amaumauga.
faataitaiga
Se'i faapea e iai se fuaiupu: « Le mont Olympe est la plus haute montagne de Grèce. »
le n-karama (mo se faʻataʻitaʻiga 3-grams) o lenei fuaiupu o le a faapea:
- Le mont Olympe
- mauga Olympe est
- Olympe est la
- e sili
- la plus haute
- mauga maualuga
- haute montagne de
- montagne de Grèce
Mataupu 1. Suiga
Afai e suia le upu i le isi upu, o nisi lava o le n-karama fetaui ma e mafai ona iloa le upu sui e ala i nisi auiliiliga.
Suia le fuaiupu: "Le mauga Olympe est la plus haute montagne de Péloponnèse. »
| Muamua 3-kalama | 3-kalama o tusitusiga ua suia |
| Le mont Olympe mauga Olympe est Olympe est la e sili la plus haute mauga maualuga haute montagne de montagne de Grèce | Le mauga Olympus mauga Olympe est Olympe est la e sili la plus haute mauga maualuga haute montagne de Montagne de Péloponnèse |
Mataupu 2. Suia le faasologa o upu (poo fuaiupu, parakalafa)
Pe a suia le faasologa o le fuaiupu, e tutusa lava le 3-kalama ina ia mafai ona iloa le suiga.
Suia le fuaiupu: "La plus haute montagne de Grèce est Le mont Olympe. »
| Muamua 3-kalama | 3-kalama o tusitusiga ua suia |
| Le mont Olympe mauga Olympe est Olympe est la e sili la plus haute mauga maualuga haute montagne de montagne de Grèce | La plus haute mauga maualuga haute montagne de montagne de Grèce de Grèce est Grèce est Le est Le mont Le mont Olympe |
Mataupu 3. Faaopoopo upu fou
A fa'aopoopo i ai upu fou, o lo'o i ai pea nisi 3-grams e tutusa ina ia mafai ai ona iloa le suiga.
Suia le fuaiupu: « Le mont Olympe est mai mamao la plus haute montagne de Grèce. »
| Muamua 3-kalama | 3-kalama o tusitusiga ua suia |
| Le mont Olympe mauga Olympe est Olympe est la e sili la plus haute mauga maualuga haute montagne de montagne de Grèce | Le mont Olympe mauga Olympe est Olympe est de est de loin mamao lava loin la plus la plus haute mauga maualuga haute montagne de montagne de Grèce |
Tulaga 4. Aveese nisi o upu
A aveese le upu, o loʻo i ai pea nisi 3-grams e tutusa ina ia mafai ona iloa le suiga.
Suia le fuaiupu: « L'Olympe est la plus haute montagne de Grèce. »
| Muamua 3-kalama | 3-kalama o tusitusiga ua suia |
| Le mont Olympe mauga Olympe est Olympe est la e sili la plus haute mauga maualuga haute montagne de montagne de Grèce | L'Olympe est la e sili la plus haute mauga maualuga haute montagne de montagne de Grèce |
Faʻataʻitaʻiga lalolagi
A mae'a le fa'amaoniga i totonu o se pepa moni, o vaega fa'aliliuina e masani ona iloa e ala i fa'ailoga fa'alavelave. O nei fa'alavelave, e fa'ailoa ai upu ua suia, ua fa'amamafaina e fa'aleleia atili ai le va'aia ma le fa'ailoga.
I lalo, o le ae mauaina se faʻataʻitaʻiga o se pepa moni.
- O le vaega muamua e sau mai se faila ua faʻamaonia e faʻaaoga ai le OXSICO 'au'aunaga e puipuia ai fa'asoga:
- O le fa'amatalaga lona lua e mai le ulua'i fa'amaumauga:
A maeʻa se suʻesuʻega loloto e iloa ai o le vaega filifilia o le pepa na toe faʻamatalaina e ala i le faia o suiga nei:
| Tusitusiga muamua | Fa'aliliuina tusitusiga | suiga |
| lagolago mea fou o loʻo faʻaalia foi | tua i luga fou e ese mai le faamatalaina | Sui |
| poto tau tamaoaiga ma agafesootai, faiga lelei | fa'atamaoaigaina ma fa'alapotopotoga lautele, fa'atonu lelei | Sui |
| talosaga (manatu) | fautuaga | Suia, tapeina |
| uiga | postures | Sui |
| manuia | tagata mānumālō | Sui |
| faiga (Perenc, Holub-Ivan | faagasologa o le mafaufau (Perenc, Holub - Ivan | Faaopoopoga |
| lagolago-faiga fou | fiafia | Sui |
| fatuina o se tau | : faia o se tulaga | Sui |
| fiafia | manuia | Sui |
| atiina ae le poto | fa'alauiloa atina'e | Sui |
iʻuga
| Fa'a'ole'ole, e masani ona le iloa i mataupu o le toe fa'aliliuina, o lo'o tumau pea le popolega tele i le a'oga. O fa'atekonolosi fa'atekonolosi ua fa'aauupegaina ai su'esu'ega fa'akomepiuta ma le tomai e fa'ailoa lelei ai mea ua toe fa'aupuina. Aemaise lava, su'esu'e fa'akomepiuta latou te iloa fa'amatala fa'amatala e ala i metotia eseese e pei o le fa'afetauiina o manoa, tutusa o le cosine, ma su'esu'ega n-gram. E fa'ailoa mai, o le su'esu'ega o le n-gram e tu mai mo lona maualuga sa'o fua faatatau. O nei aga'iga'i i luma ua matua fa'aitiitia ai le fa'alavelave o mea fa'akomepiuta ma toe fa'aupuina e le maua, ma fa'aleleia atili ai le amio sa'o. |
