百度搜索引擎中文分詞與文本粒度

    百度搜索引擎的目的就是在滿足絕大部分用戶的需求下提供***精que***豐富的搜索結(jié)果，對于搜索引擎而言，用戶停留時間越短，越說明搜索引擎的***性和準(zhǔn)確性，不管是百度的輕應(yīng)用、知心搜索，還是谷歌的語義搜索、蜂鳥算法，或是360的我的搜索，都是為了能夠幫助人們更方便的找到所求。

    而對于搜索引擎而言，想要給用戶***需求的就需要去判斷用戶搜索詞的意圖。而搜索引擎盡管非常***，數(shù)據(jù)庫非常龐大，但它畢竟不是那么智能，不能直接判斷出搜索詞的意思，盡管谷歌已公布可以借助更加復(fù)雜的搜索請求***的理解人類語言的概念，而不是一些零散的單詞，這樣的搜索能提供更加***的結(jié)果，即整句搜索。但這只是一小步，搜索引擎不論是進(jìn)行索引還是網(wǎng)頁排序仍需要對文本進(jìn)行切分，即中文分詞。分詞仍然是***基礎(chǔ)也是***重要的。而在中文分詞過程中文本粒度起到關(guān)鍵性的作用。

    文本粒度

    所謂文本粒度，對于搜索引擎而言：粒度是衡量文本所含信息量的大小。文本含信息量越多，粒度就越大，反之就小。有人會說那簡單啊，當(dāng)然詞越長含有的信息量就越大，你確定？那木木SEO告訴你一個小玩意：肌聯(lián)蛋白是目前已知的***da蛋白質(zhì)，名字足足有189819個字母，是名副其實***da的單詞。這個單詞的信息量是有多大？閑話不多說，先來看下面幾組詞中，哪些的粒度大，哪些的粒度小。

    蘿卜、葡萄、乒乓

    龍井、籃球、紅色、橡皮檫

    踢球、拔河、談戀愛、登山

    高清電視機(jī)、南非雙人游、呼叫中心系統(tǒng)

第1組詞由兩個字組成，但是僅表達(dá)一個意思，這些詞的粒度是小的。而第二組詞雖然也基本由兩個字組成，也只有一個意思，但這些詞還可以拆分，如籃和球、橡皮和檫、踢和球等，這類詞粒度要稍微大一些。而后面的第四組，不要說粒度就更大了。