請問,能否提供一份中文詞典? 謝謝.

之前確實沒有考慮 stopwords 帶來的問題。

絕對同意你的說法… 基本上如不是特殊的應用，我會選擇只用 bi-gram 了。固定的字典和簡單的算法解決不了人名、新詞的問題。使用全自動的方法又會有機會抓到一些攪笑或不能出街的詞…

例如 “是” “的” “和”
它們都有各自再組成的詞語
“是非” “的士” “和服” 等等

但 stopwords 都是在分詞之前進行

而基另一個事實: 語言是活的
新詞/特有詞的出現會令到只使用字典算法的程式出問題; 不過其實一般來說 bi-gram + 常用詞典 雙重應用的分詞已經不太差

查詢是否不需要分詞？其實簡單地將查詢處理就可以呢？

小弟最近正在找一些關於「詞庫」的資源，其中也包含了

「stopword」、「數字」、「人名」、「路名」等詞

請問您是否知道這方面的資源哪可取得呢？ 謝謝您。

function count_chinese($content) {
$content_len = mb_strlen($content);

for ($i=0; $i< $content_len; $i++){
$words[$j++] = mb_substr($content, $i, 1);
}

return array_count_values($words);
}

Of course you will need more logic on english/stopword, but it is still trivial. You may review my previous attempt here (not finished…).