今天看了跟中心极限定理有关的一些内容，从中了解到了不少之前没有考虑过的问题，而书中也解答了一些我一直留存的疑问，所以一并记录在这里。

平均后的变异程度

中心极限定理考察的对象是一列随机变量样本均值的分布。定理的表述有很多种，在这里只考虑最简单的情形：样本独立同分布。我们直觉会认为，样本均值会比原始的随机变量更稳定、更集中，最后成为一个方差逐渐趋于0的正态分布。经过一定的标准化处理，极限分布就是标准正态分布。但事实上，对变量进行平均，并不一定能减小分布的变异程度。例如，对于柯西分布来说，将两个独立的柯西分布进行平均，其结果仍然是一个同分布的柯西分布，所以相应地，均值的极限分布与单个的变量分布相同。

此外还有“越平均越变异”的分布。书中举的例子是标准正态分布的平方倒数，即，其中。对于这个分布来说，与是同分布的，所以样本量越大，均值的分布越分散。

下面的三组箱线图是对这三种分布的一个对比，横轴是样本量，纵轴是均值分布的箱线图。可以看出，对于正态分布，样本量越大，均值抽样分布的离散程度越小；对于柯西分布，离散程度几乎不变；对于第三种分布，很明显离散程度迅速变大。需要注意的是，绘制箱线图的数据只取了中间的一半，因此实际的分布会比箱线图所反映出的更加分散。

样本量要多大才正态？

如果我们记的分布函数是，那么中心极限定理说的其实就是当时，对任意的有。于是这里就出现了一个问题：到底n要多大才与标准正态比较接近？

我一直以为这个问题是无解的，因为我感觉没有一个普世的准则对所有的分布都有效。直到今天才看到书中引用了一个定理，对这个问题进行了解答。定理是这样说的：

Berry-Esseen定理：假设独立同分布（分布函数为F），且具有有限的三阶矩，那么存在一个与F无关的常数C，使得对任意的x，都有

目前已知该定理对C=0.7975成立，对C<0.4097不成立，但C可能的最小值依然是未知的。这个定理最强大的地方在于它对任意的x和任意的n都是成立的，所以不管x是否在变动，以及不管n有多大，你都可以给出当前均值分布与正态分布的绝对误差！从另一个方面说，只要你指定一个允许的误差，你就能计算出满足这个误差上界所需的样本量大小。

因为对称，所以正态？

益辉在这篇文章中指出了一个问题，那就是很多教科书在对中心极限定理举例时都喜欢拿对称的分布来做，而一旦原始分布不对称，往往要当样本量很大时均值分布才接近正态。当时我就想，是什么原因使得对称分布有这样的优越性？同样是直到今天，我才在书中找到了对这个疑惑的一个合理的解释。

注意到之前的Berry-Esseen定理中，等号右边是，但既然是小于等于号，我们就不禁要问，收敛的速度有没有可能更快？要回答这个问题，我们就需要用到下面的这个定理：

假设独立同分布（分布函数为F），具有有限的三阶矩，且不是一个格点分布，那么

其中表示k阶中心矩，上式中的第二项称为一阶Edgeworth正态近似修正。

这个定理的意思是，趋近于的速度由两部分决定，一部分是的速度，另一部分是比更快的速度。而如果第一部分等于0，那么趋近的速度就可以更快。要达到这个目的，唯一的可能是让等于0，而这恰恰意味着分布的偏度等于0，也就是说是对称的分布。至此，真相大白。

In short, because we are greedy.

今天看到一篇文章，是介绍一门编程语言Julia的。文章底下的评论有些扎眼，建议移步看它的英文原文。文章的作者，同时也是这门语言的创始人之一，Stefan Karpinski，目前是加州大学圣踏芭芭拉分校的一名博士生，但曾经在若干家企业工作过。他自称是一名数据科学家和应用数学家，最近发表的一篇论文题目叫作Non-Parametric Discrete Mixture Model Recovery via NNMF。看到这里我隐约感觉到，这门语言有可能是我感兴趣的。

为什么又来了一种语言？作者给出的回答就是第一段的那句话——因为我们贪得无厌。我们想要C的速度，想要Python的通用性，想要R的统计，想要Matlab的代数运算，想要很多很多以及更多。Julia是否能成为这样的一门编程语言我目前还无法预知，但它目前的一些特性确实让我眼前一亮。

与R及Matlab相似的语法

Julia的官方网站是http://julialang.org/，源代码放置在github上，地址是https://github.com/JuliaLang/julia。从中可以看到一些示例的代码，典型的Matlab风格，但好在与R的差距并不是很大，像我依葫芦画瓢也能写出一些比较简单的代码来，比如下面就是用一个暴力的二重循环来生成一个1000*1000的均匀分布随机数矩阵，并计算所有元素之和。

Julia:

function fun1j()
    m = zeros(1000, 1000)
    s = 0
    for i = 1:1000
        for j = 1:1000
            m[i, j] = rand()
            s = s + m[i, j]
        end
    end
    s
end

与之等价的R程序是

R:

fun1r = function() {
    m = matrix(0, 1000, 1000)
    s = 0
    for(i in 1:1000)
    {
        for(j in 1:1000)
        {
            m[i, j] = runif(1)
            s = s + m[i, j]
        }
    }
    s
}

速度

速度应该是所有的编程语言都要考虑的内容。我们都知道R的痛点在哪儿，像上面的这个R程序照常理是要挨板子的，但我们还是看看它的运行时间。在我的电脑上（就不贴硬件参数了），运行时间大概为：

R:

> system.time(fun1r())
  用户  系统   流逝
5.769 0.004 5.782

然后在Julia中，

Julia:

julia> @elapsed fun1j()
0.09904909133911133

是的你没看错，只有不到0.1秒。

但这并不是一次有意义的对比，因为上述过程是可以被向量化的。我们用R来把这段程序优化一下：

R:

fun1optr = function() {
    m = matrix(runif(1000 * 1000), 1000, 1000)
    sum(m)
}

> system.time(fun1opt())
  用户  系统   流逝
0.048 0.000 0.051

同样地，Julia也进行改写：

Julia:

function fun1optj()
    m = rand(1000, 1000)
    sum(m)
end

julia> @elapsed fun1optj()
0.008805990219116211

相信结果已经很清楚了。

有理数

这可能只是一项很小的功能，但有些时候还是很方便的。Julia用//表示有理数除法，比如

julia> 1//2
1//2

julia> 11//22
1//2

julia> 987//654 + 12//34 * 56//78
84917//48178

并行

Julia是一门刚诞生不久的语言，因此它尽可能地采用了最新的设计理念来应对当前的问题，其中对并行的支持是很重要的一点。

要让Julia使用多个CPU或多个核，需要在启动时加上相应的参数，例如下面的命令表示让Julia程序启用2个处理器：

$ ./julia -p 2

Julia提供了许多内置的函数来支持多核的运算，在此引用Julia文档中的一个例子，具体的信息可以在这个页面中获取。

M = {rand(1000,1000) | i=1:10}
pmap(svd, M)

以上程序就是对10个大矩阵进行并行的奇异值分解。

接下来的事

由于时间所限，这里举的都是非常基础的一些例子，而Julia的开发应该说也还是刚刚起步。目前Julia只支持类UNIX系统，如Linux和Mac，已经编译好的二进制文件可以在这里下载。

Julia会不会成为R的一个良好替代，现在还都是未知，但有一点是肯定的，那就是无论一门语言多么优秀，其生命力永远是由用它的人决定的。R的成功，一部分源于其本身的设计，而更重要的是其背后存在一个强大的开源社区。这里有一个关于R与Julia的讨论，其中Julia的另一名开发者Viral Shah说了一句特别有意思的话："What should julia do in order to provide an alternative to R? In my opinion, it is R's libraries and its community that define it - rather than the language design or its implementation."

R与Julia的未来发展会如何？我们拭目以待。

如果只需要基本的读取/写入操作，那么其中的read.xlsx()和write.xlsx()应该就能满足大部分的需求了，其用法也很简单，看看帮助文档就了解了。此外，还有两个相应的函数read.xlsx2()和write.xlsx2()，按作者的话说，这两个函数使用了不同的实现方式，效率上会更高一些。

除了基本的读写操作之外，如之前所说，xlsx包还能进行格式方面的设置。下面是一个简单的例子，说明了如何创建工作簿和工作表，如何操作单元格等。感兴趣的朋友不妨运行一下下面的例子，看看最终的效果。

ind = read.table(url("http://yixuan.cos.name/cn/wp-content/uploads/2012/01/ind.txt"),
                 sep = "\t");

library(xlsx);
# Create a new workbook
wb = createWorkbook();
# Create a new sheet with a name
sheet1 = createSheet(wb, "第一页");
# Set the zoom ratio when you open the Excel file
setZoom(sheet1, 50, 100);
# Set the width of columns
setColumnWidth(sheet1, 1:100, 2.8);

# Create rows
rows = createRow(sheet1, 1:40);
# Create cells for each row
cells = createCell(rows, 1:73);
# Merge the first row into one cell
addMergedRegion(sheet1, 1, 1, 1, 73);
# Create the style for title cell
title_cell_style = CellStyle(wb,
    alignment = Alignment(horizontal = "ALIGN_CENTER"),
    font = Font(wb, "blue", 50, isBold = TRUE));
# Create the style for black cells
black_cell_style = CellStyle(wb,
    border = Border(),
    fill = Fill(foregroundColor= "black"));
# Get the first row
first_row = getRows(sheet1, 1);
# Get the title cell from first row
title_cell = getCells(first_row, 1)[[1]];
# Set the value of the title cell
setCellValue(title_cell, "Read/Write Excel!");
# Set the style of the title cell
setCellStyle(title_cell, title_cell_style);
# Set the style of black cells
tmp = mapply(function(x, y) setCellStyle(cells[[x, y]], black_cell_style),
       ind[, 1] + 3, ind[, 2] + 5);
# Save the workbook into a file
saveWorkbook(wb, "test.xlsx");

总的来说，xlsx包是我目前见过的功能最全的操作Excel的R包，它只依赖于Java环境和rJava、xlsxjars两个包，在多种平台下都能运行，局限是写操作只支持Excel 2007格式（*.xlsx），对于机器上只有MS Office 2003的人来说可能会有些不便。（LibreOffice和OpenOffice.org都可以打开Excel 2007文件）

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59

library(grid);
getData = function()
{
    pushViewport(viewport());
    grid.rect();
    px = NULL;
    py = NULL;
    mousedown = function(buttons, x, y)
    {
        if(buttons == 2) return(invisible(1));
        eventEnv$onMouseMove = mousemove;
        NULL
    }
    mousemove = function(buttons, x, y)
    {
        px <<- c(px, x);
        py <<- c(py, y);
        grid.points(x, y);
        NULL
    }
    mouseup = function(buttons, x, y) {    
        eventEnv$onMouseMove = NULL;
        NULL
    }
    setGraphicsEventHandlers(onMouseDown = mousedown,
                             onMouseUp = mouseup);
    eventEnv = getGraphicsEventEnv();
    cat("Click down left mouse button and drag to draw the number,
		right click to finish.\n");
    getGraphicsEvent();
    dev.off();
    s = seq(0, 1, length.out = length(px));
    spx = spline(s, px, n = 500)$y;
    spy = spline(s, py, n = 500)$y;
    return(cbind(spx, spy));
}
 
traceCorr = function(dat1, dat2)
{
    cor(dat1[, 1], dat2[, 1]) + cor(dat1[, 2], dat2[, 2]);
}
 
# recogTrain = list();
# for(i in 1:10)
# {
#     recogTrain[[i]] = getData();
# }
# save(recogTrain, file = "train.RData");
 
load("train.RData");
guess = function(verbose = FALSE)
{
    test = getData();
    coefs = sapply(recogTrain, traceCorr, dat2 = test);
    num = which.max(coefs);
    if(num == 10) num = 0;
    if(verbose) print(coefs);
    cat("I guess what you have input is ", num, ".\n", sep = "");
}

有玩成功了的同志在评论里吼一嗓子啊（貌似4很难识别对），谢谢。

而我没有意料到的是大家对这件事的关注度会这么高，以至于果壳网把那篇帖子推到了首页，甚至还有一些朋友说希望能有进一步的采访等等，这都是我始料未及的。对此我觉得有必要对其中的一些细节进行解释，以避免不必要的误会。

首先，很多人肯定都会提到“自动作词机”，就比如拿生日、QQ、物理常数等套用里面的排序来“写词”。但我想说的是，这其实不是我的创意，也不是我写那篇博文的初衷。如果大家看过果壳的那篇帖子，就会发现大家开始“狂欢”是因为39楼“达芬奇的鸡蛋”的创意，而词频统计本身并没有任何特殊之处。事实上，大家可能听说过“文本挖掘”这个名词，它就是对文本数据进行分析，来得到有用的结论。文本挖掘是个很复杂的过程，牵涉到分词、词频统计、特征选择、聚类等等，如果大家对这一块内容有所了解的话，就会知道词频统计是一个很平凡的过程。

关于自动作词机，这其实也是一个很早就有的概念，甚至网上流传，刘慈欣老师在90年代就编写过类似的软件。而就宋词来说，也有相应的文章进行过讨论，比如《一种宋词自动生成的遗传算法及其机器实现》，感兴趣的朋友可以到http://wenku.baidu.com/view/bf7c8a00b52acfc789ebc9be.html进行浏览。

第二个大家可能觉得比较新鲜的地方是利用理科的知识来研究文学的内容。我需要说的是，这个其实也很常见，而且可以追溯到更久以前，一个典型的例子是李贤平老师的《<红楼梦>成书新说》，浏览的地址是http://www.docin.com/p-277121750.html。事实上，有很多学者都尝试过对《红楼梦》的词频进行分析，以试图找出前八十回和后四十回的差异。

第三点我需要说的是，可能有些朋友觉得我得到宋词的词频是一件技术含量很高的活儿，但从技术层面上来讲，我做的那些东西也并无任何高级之处（当然需要有一些编程经验）。我个人对R语言比较感兴趣，所以这些分析都是用R语言实现的。但对于其它的编程语言或统计软件，要实现的话都是有章可循的。果壳的帖子中25楼的朋友就给出了一个很好的解决方案。事实上，目前已经有不少专门进行文本挖掘的软件，比如R语言的rmmseg4j软件包等，如果有对技术感兴趣的朋友，可以参考这个帖子：http://cos.name/cn/topic/105321。

所以上面说的这些东西中心思想是什么呢？意思就是说，无论是想法、研究还是技术，其实很早以前就有人做过了，太阳底下并无新鲜事，大家需要知道这背后的一些事实。

然后是标题的第二部分。今天有一些朋友发邮件或是给我博客留言，说希望能有一些采访，我把我的想法一并在这里说了吧。首先，真的非常感谢几位对这个话题的关注以及对我的肯定，我自己非常感激。但非常遗憾，我想我还不能接受。一方面是我之前说的，有几位朋友觉得是我弄出的自动写诗机，但实际上不是的，而且我自己也没有打算往这一方向去做。另一方面就是最近我的学业压力比较大，没有太多的精力投入在这些事情上。我这个博客的目的，是记录自己学习的过程，同时如果可能的话，希望我做的东西能引起大家对统计学和R语言的兴趣。至于其他的方面，可能并不是我考虑的初衷。

如果还有朋友仍然对这一话题有兴趣，那么请看下面的广告。

========================趁着还没到2012年插播一段广告========================

好了，我不想把这篇博文弄得和紧张兮兮的新闻发布会一样，而且我也还远没到那个层次。请大家抬头看一下我博客的域名：cos.name，这个域名是属于统计之都网站的。统计之都（Capital of Statistics）是一个由志愿者团队维护的非赢利网站，旨在推进国内统计学的发展和应用。我目前是统计之都的管理员之一，而在这个团队中还有很多厉害的牛人，比如网站的创始人谢益辉大师兄。更多的成员可以在网站的关于页面中找到，他们中的每一个都有自己擅长的领域，都是很棒的人。

之前大家普遍转载的是我个人博客中的《东风何处是人间》，但我其实对数据和结果都进行了一些修订，发在了统计之都网站上，文章的标题是《统计词话（一）》。在果壳的帖子里面有朋友对《全唐诗》的词频也感兴趣，而这部分也已经有网友做过了，就在《统计词话（一）》的评论中，那位网友的博客地址是http://yixf.name。

统计之都中还有更多有意思的文章，比如对上帝他老人家的一些思考，以及yinyin网的社会网络分析等。《统计词话》在计划中还会有续篇，我会把我一些新的想法继续发在网站上。

总而言之，我相信真正有生命力也最值得关注的是统计学本身，而不仅仅是统计词频或者作诗这一个小的方面。

========================趁着还没到2012年插播一段广告========================

嗯，就这么多，最后还是要谢谢大家！

上周五给数据挖掘小组做了关于大型计算的报告，讲了讲R调用数据库、R对象缓存和并行计算等方面的内容。讲完之后发现自己演讲的能力还是有待提高。充分的准备是一方面，与观众的互动是一方面，总体来说还是要提高自身的素质。

周六和云熹踏上前往上海的高铁，300km/h，音速的四分之一，一时间恍如隔梦。路上看掉半本《追风筝的人》，脑中一片眩晕，我果然还是对苦难的描写没有抵抗力。到宾馆时已经快九点，开始为第二天的报告抱佛脚。之后见到涛涛、丽云、一硕、龙哥、舰哥，一群人挤在房间里，很有家的感觉。

第二天的报告，见识了中国最年轻的博导，不禁感慨人和人之间还是有差距的。当然在师姐的气场下，周老师和“老牟”都成了师姐的信徒——这当然是玩笑话。轮到我们讲时，已经快到12点，好在整体比较紧凑，没有背负太多的罪名。到了下午，会议全部结束时，所有人都松了口气，在此必须要对会务组表示由衷的感谢。因为自己经历过，所以清楚办会的辛苦。之前见到丽云时，我们都说她脸色不太好，想是好几天没有好好休息了吧。而翔兄舰兄作为历届的主席，个中辛苦也只有他们自己清楚。

晚上李舰师兄和林祯舜师兄请我们去酒吧喝酒聊天，露天的座椅，微凉的夜色，酒醉微醺，谈笑风生。每每听及师兄回忆人大的旧事，心中便是一阵神往，这感觉之前也曾有过，那是在读益辉05年的博客。

第二日早上睡得昏昏沉沉，却也到了再见的时分。太云说搞不好我和涛涛十年之后才能再见，我骂他这不咒我们吗。不过真的到了告别的那一刻，才发现一种失落感涌上心头。我跟师姐说，我现在特别怕听到“以后还有机会再见”之类的话，因为我知道很多机会都是在还有机会中消失的。这两天身心俱疲，以至于整日板着张脸，我也不想这样，所以只能在这里跟各位赔个不是了。有时并非不想接受朋友的好意，实是无福消受太多。

大家来来往往，聚聚散散，本也是常态了。不过掐指数来，范兄半年没见了，益辉菁菁一年半，小楠两年。真心希望明年我也离开之时，大家又能齐聚一堂，指点江山。

相逢的人会再相逢。

T. N. Subramaniam, and Donald E. G. Malm, How to Integrate Rational Functions, The American Mathematical Monthly, Vol. 99, No.8 (1992), 762-772.

目前这个包还很小很天真，能进行的运算无非是加减乘除乘方导数和积分，下面的代码差不多概括了主要的用法：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32

> r1 = rationalfun(c(1, 1), c(1, rep(0, 8), 1));
> r1;
 1 + x
-------
1 + x^9
> simplify(r1);
                       1
-----------------------------------------------
1 - x + x^2 - x^3 + x^4 - x^5 + x^6 - x^7 + x^8
> r2 = rationalfun(c(1, 1), c(1, rep(0, 6), 1));
> r3 = rationalfun(c(0, 1), c(1, rep(0, 6), 1));
> r4 = r2 - r3;
> r4
   1
-------
1 + x^7
> r4^2
       1
----------------
1 + 2*x^7 + x^14
> deriv(r4)
     -7*x^6
----------------
1 + 2*x^7 + x^14
> integral(r4)
0.142857142857143 * log(abs(x + 1)) + 0.0890699716941046 * log(x^2 +
    1.24697960371747 * x + 1) + 0.223380423562293 * atan((x +
    0.623489801858734)/0.78183148246803) - 0.031788704850902 *
    log(x^2 - 0.445041867912629 * x + 1) + 0.27855083205195 *
    atan((x - 0.222520933956314)/0.974927912181824) - 0.128709838271774 *
    log(x^2 - 1.80193773580484 * x + 1) + 0.123966782605016 *
    atan((x - 0.90096886790242)/0.433883739117558) + 0

是不是有一种在进行符号运算的错觉？

另：读牛人写的包总能发现令人震惊的东西，rationalfun里面很多代码都是依赖或改编自polynom包的，里面发现了这样一个函数：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

as.function.polynomial <-
function(x, ...)
{
    a <- rev(coef(x))
    w <- as.name("w")
    v <- as.name("x")
    ex <- call("{", call("<-", w, 0))
    for(i in seq_along(a)) {
        ex[[i + 2]] <- call("<-", w, call("+", a[1], call("*", v, w)))
        a <- a[-1]
    }
    ex[[length(ex) + 1]] <- w
    f <- function(x) NULL
    body(f) <- ex
    f
}

这个函数的作用就是用一个系数向量来生成一个多项式函数，里面as.name()，call()，body()之类的黑魔法用得不亦乐乎……

Welcome you all!