解名缰 鸟倦飞

东风何处是人间

2011 年 03 月 02 日 | 分类于 R生活

再次神经短路,突然想看看宋词里面什么样的意象是最常见的,比如可以做个频率分析什么的。当然文本挖掘需要分词,我没法在其中花太多时间,于是想出了一个土办法。宋词的句子都很短,如果穷举可能的字的组合的话并不是太多,况且最常见的词语一般是两三个字,这样可能的组合就更少了。比如“犹解嫁东风”这句话,可能的二字组合是“犹解”“解嫁”“嫁东”“东风”,三字组合是“犹解嫁”“解嫁东”“嫁东风”,词的字数越多,可能的组合就越少。如果把每句话可能的字的组合都列举出来,就可以整体统计频率了。

当然里面会有很多无意义的字的组合,不过这类“词语”本身的出现就是一个偶然,所以可以预期的是它们整体的频数会很低,是入不了“大雅之堂”的。话不多说,直接上代码和结果。

数据:《全宋词》文本

代码:

l = scan("Ci.txt", "character", sep = "\n");
l.len = nchar(l);

# 某些行是作者和标题,所以选取长度大于10的行;
# 另外这个文本文件不太规整,有些网址什么的,
# 所以也要排除那些长度太长的。
ci = l[l.len > 10 & l.len < 500];

# 句子用标点符号分割。
sentences = strsplit(ci, ",|。|!|?|、");
sentences = unlist(sentences);
sentences = sentences[sentences != ""];
s.len = nchar(sentences);

# 单句太长了说明有可能是错误的字符,去除掉。
sentences = sentences[s.len <= 10];
s.len = nchar(sentences);

# 暴力挨个拆分,比如“犹解嫁东风”的所有二字组合为
# “犹解”“解嫁”“嫁东”“东风”,
# 无意义的词其频数自然就落在后面了。
splitwords = function(x, x.len) substring(x, 1:(x.len - 1), 2:x.len);

words = mapply(splitwords, sentences, s.len, SIMPLIFY = TRUE, USE.NAMES = FALSE);
words = unlist(words);
words.freq = table(words);
words.freq = sort(words.freq, decreasing = TRUE);
data.frame(Word = names(words.freq[1:100]), Freq = as.integer(words.freq[1:100]));

结果(排在第一的是无效字符,这跟数据源有关):

   Word Freq           Word Freq
1       1485        51  天上  368 
2   东风 1382        52  杨柳  362 
3   何处 1230        53  西湖  356 
4   人间 1202        54  桃花  354 
5   风流  857        55  扁舟  353 
6   归去  812        56  消息  351 
7   春风  802        57  憔悴  344 
8   西风  779        58  何事  339 
9   归来  771        59  芙蓉  338 
10  江南  765        60  神仙  334 
11  相思  753        61  一片  334 
12  梅花  732        62  桃李  333 
13  千里  676        63  人生  332 
14  回首  656        64  十分  331 
15  明月  651        65  心事  329 
16  多少  648        66  黄花  328 
17  如今  642        67  一声  325 
18  阑干  630        68  佳人  324 
19  年年  613        69  长安  321 
20  万里  590        70  东君  319 
21  一笑  582        71  断肠  316 
22  黄昏  550        72  而今  315 
23  当年  542        73  鸳鸯  314 
24  天涯  537        74  为谁  313 
25  相逢  528        75  十年  310 
26  芳草  527        76  去年  309 
27  尊前  516        77  少年  308 
28  一枝  512        78  海棠  307 
29  风雨  505        79  寂寞  306 
30  流水  472        80  无情  306 
31  依旧  472        81  不是  305 
32  风吹  471        82  时候  304 
33  风月  461        83  肠断  303 
34  多情  457        84  富贵  303 
35  故人  451        85  蓬莱  303 
36  当时  450        86  昨夜  303 
37  无人  445        87  行人  302 
38  斜阳  438        88  今夜  301 
39  不知  430        89  谁知  300 
40  不见  429        90  不似  299 
41  深处  422        91  江上  298 
42  时节  403        92  悠悠  296 
43  平生  398        93  几度  295 
44  凄凉  398        94  青山  295 
45  春色  394        95  何时  294 
46  匆匆  383        96  天气  293 
47  功名  383        97  惟有  293 
48  一点  378        98  一曲  291 
49  无限  377        99  月明  291 
50  今日  369        100 往事  290

不知各位看官看到上面这些既熟悉又悠远的话语又将作何感想?或许,她们就是我们千百年来的精神寄托吧。

订阅 评论RSS

blog comments powered by Disqus