SRPS ISO 24614-2:2018

Upravljanje jezičkim resursima – Podela pisanog teksta na reči – Deo 2: Podela na reči u kineskom, japanskom i korejskom jeziku

Language resource management — Word segmentation of written texts — Part 2: Word segmentation for Chinese, Japanese and Korean

Apstrakt

Osnovni pojmovi i opšti principi podele na reči definisani u ISO 24614-1 primenjuju se na kineski, japanski i korejski jezik. Tekst je neophodno podeliti na tokene, reči, fraze ili neke druge tipove manjih tekstualnih jedinica pogodnih za određene softverske aplikacije nad jezičkim resursima, kao što su obrada prirodnog jezika, pronalaženje informacija i mašinsko prevođenje. ISO 24614-1 se ograničava na podelu teksta na reči ili neke druge jedinice podele na reči (WSU – Word Segmentation Unit). Ovaj zadatak se razlikuje od morfološke ili sintaksičke analize per se, iako umnogome zavisi od morfosintaksičke analize. Takođe se razlikuje od zadatka uređivanja okvira za kreiranje leksikona i prepoznavanja leksičkih jedinica, odnosno odred¬nica/lema i leksema. Okvir za kasnije zadatke dat je u ISO 24611, ISO 24613 i ISO 24615.
ISO 24614-1 utvrđuje pravila za detaljno opisivanje WSU za kineski, japanski i korejski jezik. Neka pravila su zajednička za sva tri jezika, pri čemu svaki jezik ima sopstvena različita pravila za identifikovanje WSU. Razmotrene su zajedničke odlike, a pravila koja su različita data su za kineski, japanski i korejski jezik.