中文是一種非常龐雜的說話，讓盤算機懂得中文說話更是艱苦。在中文分詞進程中，有兩浩劫題一向沒有完整沖破。

　　1、歧義辨認

　　歧義是指一樣的一句話，大概有兩種大概更多的切分辦法。比方：外面的，由於外面和面的都是詞，那末這個短語便可以分紅外面的和表.面的。這類稱為交織歧義。像這類交織歧義非常常見，前面舉的韓國電視劇的例子，實在就是由於交織歧義引發的錯。韓國電視劇能夠分紅韓國 和電視劇大概韓國電視 劇。因為沒有人的常識去懂得，盤算機很難曉得到底哪一個計劃準確。

　　交織歧義相對組合歧義來講是還算比擬輕易處置，組合歧義就必須依據全部句子來斷定瞭。比方，在句子這個門把手壞瞭中，把手是個詞，但在句子請把手拿開中，把手就沒有是一個詞;在句子將軍錄用瞭一位中將中，中將是個詞，但在句子產量三年中將增加兩倍中，中遷就沒有再是詞。這些詞盤算機又若何去辨認?

　　假如交織歧義和組合歧義盤算機都能辦理的話，在歧義中另有一個困難，是真歧義。真歧義意義是給出一句話，由人去斷定也沒有曉得哪一個應當是詞，哪一個應當沒有是詞。

　　2、新詞辨認

　　新詞，專業術語稱為未登錄詞。也就是那些在字典中都沒有收錄過，但又確切能稱為詞的那些詞。最典范的是人名，人能夠很輕易懂得句子王軍虎去廣州瞭中，王軍虎是個詞，由於是一小我的名字，但如果讓盤算機去辨認就艱苦瞭。假如把王軍虎做為一個詞收錄到字典中去，全球有那末多名字，並且時時刻刻都有新增的人名，收錄這些人名自己就是一項偉大的工程。縱然這項事情能夠完成，照樣會存在題目，比方：在句子王軍虎頭虎腦的中，王軍虎還能不克不及算詞?

　　新詞中除人名之外，另有機構名、地名、產物名、商標名、簡稱、省略語等都是很難處置的題目，並且這些又恰好是人們常常應用的詞，是以對付搜刮引擎來講，分詞體系中的新詞辨認非常主要。今朝新詞辨認精確率已成為評價一個分詞體系利害的主要標記之一。有興致的同夥能夠用百度搜刮引擎做個測驗考試，輸入分歧的癥結字,檢察百度的返回成果，從中懂得百度的分詞辦法，如許的進修效力是才最高的。