关于古籍电子化的一些思考

本网：墨客网  |  阅读次数：817次  |  更新时间：2017-09-20 17:40:42

　　古籍电子化正在改变中国文史哲古代研究的局面，这一点已经越来越清楚了。这里仅就自己在使用有关成果时的一些想法草成此文，由于长期从事汉语史的研究，所以不免于偏向语言学，这可能是一些片面之词，不揣冒昧写出来以就正于广大古籍电子化的专家学者。

一

　　汉字随着时代的发展有越来越多的趋势，笔者在《汉语新论》中曾经指出：“据说，最早的字书是《史籀篇》，可惜已经亡佚了。小篆李斯有《仓颉篇》、赵高有《爰历篇》、胡毋敬有《博学篇》，是当时的字形规范及识字课本，可惜都已亡佚了，据《汉书·艺文志》记载，汉人所增订的《仓颉篇》“断六十字为一章，凡五十五章”，共有小篆3300字。许慎统计自《仓颉》到《训纂》等14种字书，共收字5340字。现存的有关小篆的字书是《说文解字》，有9353个字（不计重文，如计重文1163，则有10516个字）。反映汉代一般用字的有西汉元帝时的《急就篇》，流传至今的不同本子字数各异，如34章本就有2144个字，不过其末尾的128字为后人所加。也就是说，当时的最常用字不过两千字左右，常用字则为三千字左右。”“中国学者按数理语言学的齐普夫定律计算过汉字容量应该是12366个。但是实际上汉字的总数自秦以后是不断增加的。三国魏张揖的《广雅》收字18154个，晋吕忱的《字林》收12824个，梁顾野王的《玉篇》收16817个，隋陆法言的《切韵》收12158个，宋陈彭年的《广韵》收26194个，而丁度的《集韵》收字53525个，为以前工具书之最（《康熙字典》收字47073个，《中华大字典》收字48000多个，都不及《集韵》，但是《集韵》往往一个字收了许多的异体字，有的七八个，有的甚至超过十个）。《汉语大字典》收字54678个，还有一本《中华字海》，据说收字超过8.5万。当然这里绝大多数是极其罕用的字（有的其实只是个别人、特殊的社会集团所写的‘错字’或‘异体字’，有的则是早已‘死亡’的字）。实际运用的只是其中的一小部份，比如传统的十三经，只使用了6544个汉字，《红楼梦》则仅使用了4462个汉字。据新华社技术研究所的统计，1986年全年90627篇稿件中，使用了6001个汉字。看来，在任何一个共时阶段，一般用字都不会超过7000的（这也是国家语委等单位所颁布的《现代汉语通用字表》的字数）。当然，从历史的积淀来研究，我们就必须考虑到古今字、异体字、繁简字、正俗字等等问题并由此出发进行论证。”计算机汉字库的不断变更也说明了中文信息处理的进步。而有关字频研究的成果也证明了本文前述说法。

　　现代汉语字频词频的研究成果很多，而古代汉语则相对较少。《国学宝典》据约十亿字的语料推出了前5000字的汉字使用次数资料，书同文公司则据《四库全书》和《四部丛刊》约八亿字的语料出版了《古籍汉字字频统计》一书，书中对30136个汉字的使用次数、使用频率等进行了统计。笔者在自己的科研项目中也对十三经的6536个汉字使用情况做过统计，现将其中的前50词使用情况列在下面（《国学宝典》仅以前5000字的出现次数为总数）。

国学宝典前50字字频

汉 字	字 数	占总字数的百分比
之	4919015	1.7833
不	325%1693	1.284
以	2551477	.925
人	2378126	.8622
一	2305774	.8359
为	2280907	.8269
有	2193204	.7952
其	1881838	.6822
而	1824822	.66616
也	1745517	.6328
者	1629565	.5908
无	1504830	.25%56
子	1443096	.5235
是	1442580	.523
曰	1437511	.5212
大	1380053	.5003
十	1356877	.4919
中	1196329	.4337
所	1193504	.4327
三	1147590	.416
二	1142691	.4143
上	1078124	.3909
如	1072444	.3888
于	1033983	.3749
此	1033057	.3745
年	993623	.3602
得	966202	.3503
道	942913	.3418
下	94150%6	.3414
天	931698	.3378
事	921094	.3339
书	905197	.3282
日	901350%	.3268
王	898950	.3259
生	883723	.3204
自	882562	.32
来	875973	.3150%
时	25%5960	.3103
文	25%2833	.3092
至	817310	.2963
在	811009	.294
可	79825%1	.2895
言	793101	.2875
行	789282	.2861
见	787022	.225%3
云	783283	.284
故	50%0271	.2756
与	739983	.2683
知	739051	.2679
四	737863	.2675
	275832419	23.95156

书同文前50字字频

汉字	出现次数	万分之	累计覆　盖率	序号
之	19891628	252.2099	2.5221	1
不	09733996	123.4193	3.7562	2
以	09486560	120.2059	4.9583	3
也	07881524	99.9314	5.9576	4
而	07697614	97.5996	6.9336	5
其	06896797	87.4458	7.8087	6
人	06750929	85.5964	8.6640	7
為	06625021	83.8731	9.5028	8
有	06209740	78.7345	10.2901	9
者	05587903	70.8501	10.9986	10
一	05279990	66.9460	11.6681	11
曰	05235232	66.3785	12.3319	12
子	04979575	58,0653	12.9125	13
於	04305732	54.5932	13.4585	14
十	04185422	53.0678	13.9891	15
大	03590583	45.5257	14.4444	16
所	03516804	44.5902	14.8903	17
二	03437197	43.5809	15.3261	18
三	03338241	42.3262	15.7494	19
中	03184692	40.3793	16.1532	20
無	03175745	40.2659	16.5558	21
丨	03166824	40.1528	16.9573	22
年	03163339	40.1686	17.3584	23
則	03054578	38.7156	17.7456	24
下	02960595	37.5379	18.1210	25
天	02919091	37.0117	18.4911	26
上	02887089	36.6059	18.8571	27
此	02834051	35.9335	19.2169	28
王	02754461	34.9243	19.5657	29
書	02619030	33.2072	19.8978	30
是	02602664	32.9997	20.2278	31
公	02576421	32.6669	20.5545	32
事	02519440	31.9444	20.8739	33
自	02480552	31.4514	21.1884	34
在	02428095	30.7863	21.4963	35
可	02422115	30.7104	21.8034	36
言	02368329	30.0285	22.1037	37
至	02344512	29.7265	22.4009	38
五	02342263	29.6980	22.6979	39
如	02338972	29.6563	22.9945	40
日	02325150	29.4810	23.2893	41
山	02299699	29.1583	23.5809	42
四	02293069	29.0742	23.8716	43
故	02268200	28.7589	24.1592	44
文	02232019	28.3002	24.4422	45
與	02204117	27.9464	24.7217	46
又	02194105	27.8195	24.9999	47
得	02190762	27.7771	25.2776	48
時	02172369	27.5439	25.5531	49
行	02106107	26.7037	25.8201	50

十三經前50詞語頻率表

1	之	22979	3.619817552
2	也	14356	2.261460498
3	不	12036	1.895997391
4	子	11986	1.888121031
5	以	10740	1.691842139
6	人	9856	1.552588093
7	其	9764	1.538095591
8	曰	9641	1.518719745
9	而	8621	1.691842139
10	有	6601	1.039837054
11	公	6392	1.006913869
12	于	6036	0.950834185
13	者	5830	0.918383582
14	為	5424	0.854427538
15	大	4988	0.785745679
16	君	4480	0.705721861
17	於	4411	0.694852484
18	則	3916	0.616876519
19	王	3728	0.587261405
20	侯	3617	0.569775886
21	月	3408	0.536852701
22	夫	3350	0.527716123
23	無	3289	0.518106964
24	何	3117	0.491012286
25	如	3035	0.478095055
26	齊	2808	0.44233638
27	晉	2625	0.413508903
28	三	2520	0.396968547
29	天	2506	0.394763166
30	國	2467	0.388619605
31	二	2462	0.387831969
32	師	2454	0.386571751
33	與	2441	0.384523898
34	十	2378	0.374599684
35	使	2227	0.350813077
36	矣	2220	0.349710386
37	是	2151	0.338841009
38	言	2142	0.337423265
39	可	2125	0.334745302
40	我	2119	0.333800139
41	諸	2110	0.332382394
42	禮	2107	0.331909813
43	命	2024	0.318835055
44	事	2020	0.318204946
45	乎	2014	0.317259783
46	下	1996	0.314424293
47	故	1991	0.313636657
48	上	1963	0.309225896
49	焉	1916	0.301822117
50	一	1854	0.292055431

　　《国学宝典》前50字的覆盖率是23.95156%，书同文公司的是25.8201%，而十三经的则是37.70571083%。估计是因为十三经都是上古语料，且使用字数较少，而《国学宝典》与书同文公司的语料则时代跨度相对较大，用字更多。所以覆盖率相对较小。

　　前50字对比如下：

　　《宝典》有而《十三经》没有的汉字是（汉字后面的数字是该字在《十三经》中的序数）：中68、所58、此109、年66、得116、道106、书150、日78、生157、自62、来87、时152、文140、至81、在61、行60、见113、云408（另有雲1390，合计其序数当在352或353）、知108、四56。

　　《寶典》有而《十三经》與書同文都没有的汉字是：道106、生157、来87、見113、云408（353）、知108。

　　书同文有而《十三经》没有的是：所58、中68、丨、年66、此109、書150、自62、在61、至81、五70、日78、山244、四56、文140、又178、得116、時152、行60。

　　书同文有而《十三经》與《寶典》都没有的汉字是：丨、五70、山244、又178。

　　我们看到，其实三处差别不算太大，其他则基本只差几位或几十位，只有几个字相差才有一百多位（相差最大的是云字，相差了287位）。这说明几千年所使用的文言文其常用字还是比较稳定的，与先秦变化不大（另外书同文公司所统计的字符“丨”其他两处均未见不知何故。）。

　　从发展来讲，我们希望能按照语料的不同时代以及其性质进行统计，比如按照上古、中古、近古，或者更详细一点来划分，如先秦、两汉、魏晋南北朝、隋唐、宋、元明清。而且要分清是文言文还是古白话或者近代汉语（如一些翻译的佛经、 和尚以及道学家的语录、一些笔记小说以及话本、戏曲等等）。当然，即使是文言文也有不同的文体，而且还有骈文、赋、诗词。诗也要分古体、近体等等。只有这样我们的字频统计才会更有意义。

　　如果我们要做一个古今对比，也很有意思。下面是现代汉语使用频率前50字的表：

ID	字	频度%
1	的	3.235992
2	国	1.386861
3	人	1.055654
4	一	1.052022
5	中	1.00115
6	学	0.9439352
7	在	0.865377
8	大	0.772002
9	有	0.7666595
10	年	0.7550798
11	了	0.7341573
12	是	0.6876276
13	和	0.6010425
14	不	0.5645136
15	为	0.5436964
16	上	0.5385381
17	会	0.4849027
18	家	0.4707702
19	生	0.4635855
20	业	0.453611
21	地	0.4523478
22	出	0.4295567
23	个	0.4058709
24	工	0.4055287
25	这	0.3971071
26	以	0.3925278
27	成	0.3864221
28	发	0.3853957
29	作	0.3852641
30	我	0.3833956
31	日	0.3710789
32	来	0.3550251
33	科	0.3527355
34	行	0.3506827
35	到	0.3476299
36	市	0.3384976
37	多	0.3297075
38	要	0.3248914
39	时	0.3196016
40	经	0.3164961
41	高	0.3096009
42	外	0.2837833
43	员	0.283678
44	公	0.2811252
45	对	0.276967
46	海	0.2749405
47	部	0.2743352
48	们	0.2721508
49	分	0.2708613
50	进	0.2704929
		27.6048753%

　　如果我们以更多的汉字来进行比较，就可以发现同西方传统的语言年代学不同的结论。

二

　　关于汉语有没有“词”以及如何划分语素、词、短语，这是一个争论问题。，我们不想在此进行阐释。我们主张以单字、骈字、三字串、四字格来进行划分统计。所谓骈字，就是经常出现在一起的两个字，清代的《骈字类编》就是很有名的工具书。只要是经常连用就没有必要去区分词还是短语。同样三字串就是经常在一起连用的三个汉字的字符串，四字格则是成语、俗语、惯用语最常见的格式。这需要我们建立相应的字符串库以便统计。

　　对于骈字，2011年初，网友yixuan统计了《全宋词》中的高频词语，并在自己的博客上列出了一个特别的排行榜：

　　1　 空　1485　　　 2　 东风　1382　　 3　 何处　1230　　 4　 人间　1202　　 5　 风流　857
　　6　 归去　812　　　7　 春风　802　　　8　 西风　779　　　9　 归来　771　　　10　 江南　765
　　11　相思　753　　　12　梅花　732　　　13　千里　676　　　14　回首　656　　　15　 明月　651　　
　　16　多少　648　　　17　如今　642　　　18　阑干　630　　　19　年年　613　　　20　 万里　590　　
　　21　一笑　582　　　22　黄昏　550　　　23　当年　542　　　24　天涯　537　　　25　 相逢　528 310　
　　26　芳草　527　　　27　尊前　516　　　28　一枝　512　　　29　风雨　505　　　30　 流水　472　
　　31　依旧　472　　　32　风吹　471　　　33　风月　461　　　34　多情　457　　　35　 故人　451　
　　36　当时　450　　　37　无人　445　　　38　斜阳　438　　　39　不知　430　　　40　 不见　429　
　　41　深处　422　　　42　时节　403　　　43　平生　398　　　44　凄凉　398　　　45　 春色　394　
　　46　匆匆　383　　　47　功名　383　　　48　一点　378　　　49　无限　377　　　50　 今日　369　
　　51　天上　368　　　52　杨柳　362　　　53　西湖　356　　　54　桃花　354　　　55　 扁舟　353　
　　56　消息　351　　　57　憔悴　344　　　58　何事　339　　　59　芙蓉　338　　　60　 神仙　334　　
　　61　一片　334　　　62　桃李　333　　　63　人生　332　　　64　十分　331　　　65　 心事　329　　　　
　　66　黄花　328　　　67　一声　325　　　68　佳人　324　　　69　长安　321　　　70　 东君　319　　　　
　　71　断肠　316　　　72　而今　315　　　73　鸳鸯　314　　　74　为谁　313　　　75　 十年　　　　
　　76　去年　309　　　77　少年　308　　　78　海棠　307　　　79　寂寞　306　　　80　 无情　306　　　　
　　81　不是　305　　　82　时候　304　　　83　肠断　303　　　84　富贵　303　　　85　 蓬莱　303　　　
　　86　昨夜　303　　　87　行人　302　　　88　今夜　301　　　89　谁知　300　　　90　 不似　299　　　　
　　91　江上　298　　　92　悠悠　296　　　93　几度　295　　　94　青山　295　　　95　 何时　294　　　　
　　96　天气　293　　　97　惟有　293　　　98　一曲　291　　　99　月明　291　　　100　往事　290

　　于是一些网友便以各种各样的数字带入这个“密码”来填词。比如网友“达芬奇的鸡蛋”将圆周率的数字，与“宋词”的高频词表序号一一对照，“创作”出一首《清平乐·圆周率》：“回首明月，悠悠心事空，西湖何事寂寞中，风吹斜阳匆匆，芳草平生斜阳，风吹寂寞今日，一枝富贵年年，断肠长安不知。我们发现，这些网友的所谓“词”只是灵活地利用了这些常用骈字，再加上一些自己选择的单字而成的。尽管不够地道，但是究竟有那么一些味道。

三

　　关于句子，如何定义同样是众说纷纭。印欧语言所谓简单句是一个主语与一个谓语组成的，谓语必须要有一个动词作核心，即S=NP+VP，一个句子只能有一个谓语动词，而且必须跟主语保持一致。但汉语并非如此。连动句的动词没有任何形态上的差异，而且一个句子中的多个动词其施事很可能并不一样。如《左传》“谏而不入”这个句子谏与入（=纳）的施事就不相同。更不用说“鸡声茅店月，人迹板桥霜”这样纯粹由名词组成的句子了。汉语句子的任何成分都可以省略。因此相关的争论时时可见。中国第一部语法著作《马氏文通》的作者在《例言》中说，“是书本旨，专论句读”。但正如吕叔湘、王海棻在《马氏文通读本》中所说的那样，“句读可以说是全书中最不容易弄懂的部分”。我们同样不想对此置喙，我们知道，国学网为了制作辅助标点系统已经建立了一个非常庞大的句库，在进行时代、文体辨析与分类后我们可以对独词句、两字句、三字句……等进行研究，并确定相应的句型、句类，并说明其功能。我们相信这将有巨大的意义，因为许多汉语语法学者，如王力先生，正是在对句型的分析中发展出自己的体系，做出其巨大的贡献。

作者单位：黑龙江大学古籍所