关于古籍电子化的一些思考
古籍电子化正在改变中国文史哲古代研究的局面，这一点已经越来越清楚了。这里仅就自己在使用有关成果时的一些想法草成此文，由于长期从事汉语史的研究，所以不免于偏向语言学，这可能是一些片面之词，不揣冒昧写出来以就正于广大古籍电子化的专家学者。
一
汉字随着时代的发展有越来越多的趋势，笔者在《汉语新论》中曾经指出：“据说，最早的字书是《史籀篇》，可惜已经亡佚了。小篆李斯有《仓颉篇》、赵高有《爰历篇》、胡毋敬有《博学篇》，是当时的字形规范及识字课本，可惜都已亡佚了，据《汉书·艺文志》记载，汉人所增订的《仓颉篇》“断六十字为一章，凡五十五章”，共有小篆3300字。许慎统计自《仓颉》到《训纂》等14种字书，共收字5340字。现存的有关小篆的字书是《说文解字》，有9353个字（不计重文，如计重文1163，则有10516个字）。反映汉代一般用字的有西汉元帝时的《急就篇》，流传至今的不同本子字数各异，如34章本就有2144个字，不过其末尾的128字为后人所加。也就是说，当时的最常用字不过两千字左右，常用字则为三千字左右。”“中国学者按数理语言学的齐普夫定律计算过汉字容量应该是12366个。但是实际上汉字的总数自秦以后是不断增加的。三国魏张揖的《广雅》收字18154个，晋吕忱的《字林》收12824个，梁顾野王的《玉篇》收16817个，隋陆法言的《切韵》收12158个，宋陈彭年的《广韵》收26194个，而丁度的《集韵》收字53525个，为以前工具书之最（《康熙字典》收字47073个，《中华大字典》收字48000多个，都不及《集韵》，但是《集韵》往往一个字收了许多的异体字，有的七八个，有的甚至超过十个）。《汉语大字典》收字54678个，还有一本《中华字海》，据说收字超过8.5万。当然这里绝大多数是极其罕用的字（有的其实只是个别人、特殊的社会集团所写的‘错字’或‘异体字’，有的则是早已‘死亡’的字）。实际运用的只是其中的一小部份，比如传统的十三经，只使用了6544个汉字，《红楼梦》则仅使用了4462个汉字。据新华社技术研究所的统计，1986年全年90627篇稿件中，使用了6001个汉字。看来，在任何一个共时阶段，一般用字都不会超过7000的（这也是国家语委等单位所颁布的《现代汉语通用字表》的字数）。当然，从历史的积淀来研究，我们就必须考虑到古今字、异体字、繁简字、正俗字等等问题并由此出发进行论证。”计算机汉字库的不断变更也说明了中文信息处理的进步。而有关字频研究的成果也证明了本文前述说法。
现代汉语字频词频的研究成果很多，而古代汉语则相对较少。《国学宝典》据约十亿字的语料推出了前5000字的汉字使用次数资料，书同文公司则据《四库全书》和《四部丛刊》约八亿字的语料出版了《古籍汉字字频统计》一书，书中对30136个汉字的使用次数、使用频率等进行了统计。笔者在自己的科研项目中也对十三经的6536个汉字使用情况做过统计，现将其中的前50词使用情况列在下面（《国学宝典》仅以前5000字的出现次数为总数）。
国学宝典前50字字频
| 汉 字 | 字 数 | 占总字数的百分比 |
| 之 | 4919015 | 1.7833 |
| 不 | 325%1693 | 1.284 |
| 以 | 2551477 | .925 |
| 人 | 2378126 | .8622 |
| 一 | 2305774 | .8359 |
| 为 | 2280907 | .8269 |
| 有 | 2193204 | .7952 |
| 其 | 1881838 | .6822 |
| 而 | 1824822 | .66616 |
| 也 | 1745517 | .6328 |
| 者 | 1629565 | .5908 |
| 无 | 1504830 | .25%56 |
| 子 | 1443096 | .5235 |
| 是 | 1442580 | .523 |
| 曰 | 1437511 | .5212 |
| 大 | 1380053 | .5003 |
| 十 | 1356877 | .4919 |
| 中 | 1196329 | .4337 |
| 所 | 1193504 | .4327 |
| 三 | 1147590 | .416 |
| 二 | 1142691 | .4143 |
| 上 | 1078124 | .3909 |
| 如 | 1072444 | .3888 |
| 于 | 1033983 | .3749 |
| 此 | 1033057 | .3745 |
| 年 | 993623 | .3602 |
| 得 | 966202 | .3503 |
| 道 | 942913 | .3418 |
| 下 | 94150%6 | .3414 |
| 天 | 931698 | .3378 |
| 事 | 921094 | .3339 |
| 书 | 905197 | .3282 |
| 日 | 901350% | .3268 |
| 王 | 898950 | .3259 |
| 生 | 883723 | .3204 |
| 自 | 882562 | .32 |
| 来 | 875973 | .3150% |
| 时 | 25%5960 | .3103 |
| 文 | 25%2833 | .3092 |
| 至 | 817310 | .2963 |
| 在 | 811009 | .294 |
| 可 | 79825%1 | .2895 |
| 言 | 793101 | .2875 |
| 行 | 789282 | .2861 |
| 见 | 787022 | .225%3 |
| 云 | 783283 | .284 |
| 故 | 50%0271 | .2756 |
| 与 | 739983 | .2683 |
| 知 | 739051 | .2679 |
| 四 | 737863 | .2675 |
| 275832419 | 23.95156 |
书同文前50字字频
| 汉字 | 出现次数 | 万分之 | 累计覆 盖率 | 序号 |
| 之 | 19891628 | 252.2099 | 2.5221 | 1 |
| 不 | 09733996 | 123.4193 | 3.7562 | 2 |
| 以 | 09486560 | 120.2059 | 4.9583 | 3 |
| 也 | 07881524 | 99.9314 | 5.9576 | 4 |
| 而 | 07697614 | 97.5996 | 6.9336 | 5 |
| 其 | 06896797 | 87.4458 | 7.8087 | 6 |
| 人 | 06750929 | 85.5964 | 8.6640 | 7 |
| 為 | 06625021 | 83.8731 | 9.5028 | 8 |
| 有 | 06209740 | 78.7345 | 10.2901 | 9 |
| 者 | 05587903 | 70.8501 | 10.9986 | 10 |
| 一 | 05279990 | 66.9460 | 11.6681 | 11 |
| 曰 | 05235232 | 66.3785 | 12.3319 | 12 |
| 子 | 04979575 | 58,0653 | 12.9125 | 13 |
| 於 | 04305732 | 54.5932 | 13.4585 | 14 |
| 十 | 04185422 | 53.0678 | 13.9891 | 15 |
| 大 | 03590583 | 45.5257 | 14.4444 | 16 |
| 所 | 03516804 | 44.5902 | 14.8903 | 17 |
| 二 | 03437197 | 43.5809 | 15.3261 | 18 |
| 三 | 03338241 | 42.3262 | 15.7494 | 19 |
| 中 | 03184692 | 40.3793 | 16.1532 | 20 |
| 無 | 03175745 | 40.2659 | 16.5558 | 21 |
| 丨 | 03166824 | 40.1528 | 16.9573 | 22 |
| 年 | 03163339 | 40.1686 | 17.3584 | 23 |
| 則 | 03054578 | 38.7156 | 17.7456 | 24 |
| 下 | 02960595 | 37.5379 | 18.1210 | 25 |
| 天 | 02919091 | 37.0117 | 18.4911 | 26 |
| 上 | 02887089 | 36.6059 | 18.8571 | 27 |
| 此 | 02834051 | 35.9335 | 19.2169 | 28 |
| 王 | 02754461 | 34.9243 | 19.5657 | 29 |
| 書 | 02619030 | 33.2072 | 19.8978 | 30 |
| 是 | 02602664 | 32.9997 | 20.2278 | 31 |
| 公 | 02576421 | 32.6669 | 20.5545 | 32 |
| 事 | 02519440 | 31.9444 | 20.8739 | 33 |
| 自 | 02480552 | 31.4514 | 21.1884 | 34 |
| 在 | 02428095 | 30.7863 | 21.4963 | 35 |
| 可 | 02422115 | 30.7104 | 21.8034 | 36 |
| 言 | 02368329 | 30.0285 | 22.1037 | 37 |
| 至 | 02344512 | 29.7265 | 22.4009 | 38 |
| 五 | 02342263 | 29.6980 | 22.6979 | 39 |
| 如 | 02338972 | 29.6563 | 22.9945 | 40 |
| 日 | 02325150 | 29.4810 | 23.2893 | 41 |
| 山 | 02299699 | 29.1583 | 23.5809 | 42 |
| 四 | 02293069 | 29.0742 | 23.8716 | 43 |
| 故 | 02268200 | 28.7589 | 24.1592 | 44 |
| 文 | 02232019 | 28.3002 | 24.4422 | 45 |
| 與 | 02204117 | 27.9464 | 24.7217 | 46 |
| 又 | 02194105 | 27.8195 | 24.9999 | 47 |
| 得 | 02190762 | 27.7771 | 25.2776 | 48 |
| 時 | 02172369 | 27.5439 | 25.5531 | 49 |
| 行 | 02106107 | 26.7037 | 25.8201 | 50 |
十三經前50詞語頻率表
| 1 | 之 | 22979 | 3.619817552 |
| 2 | 也 | 14356 | 2.261460498 |
| 3 | 不 | 12036 | 1.895997391 |
| 4 | 子 | 11986 | 1.888121031 |
| 5 | 以 | 10740 | 1.691842139 |
| 6 | 人 | 9856 | 1.552588093 |
| 7 | 其 | 9764 | 1.538095591 |
| 8 | 曰 | 9641 | 1.518719745 |
| 9 | 而 | 8621 | 1.691842139 |
| 10 | 有 | 6601 | 1.039837054 |
| 11 | 公 | 6392 | 1.006913869 |
| 12 | 于 | 6036 | 0.950834185 |
| 13 | 者 | 5830 | 0.918383582 |
| 14 | 為 | 5424 | 0.854427538 |
| 15 | 大 | 4988 | 0.785745679 |
| 16 | 君 | 4480 | 0.705721861 |
| 17 | 於 | 4411 | 0.694852484 |
| 18 | 則 | 3916 | 0.616876519 |
| 19 | 王 | 3728 | 0.587261405 |
| 20 | 侯 | 3617 | 0.569775886 |
| 21 | 月 | 3408 | 0.536852701 |
| 22 | 夫 | 3350 | 0.527716123 |
| 23 | 無 | 3289 | 0.518106964 |
| 24 | 何 | 3117 | 0.491012286 |
| 25 | 如 | 3035 | 0.478095055 |
| 26 | 齊 | 2808 | 0.44233638 |
| 27 | 晉 | 2625 | 0.413508903 |
| 28 | 三 | 2520 | 0.396968547 |
| 29 | 天 | 2506 | 0.394763166 |
| 30 | 國 | 2467 | 0.388619605 |
| 31 | 二 | 2462 | 0.387831969 |
| 32 | 師 | 2454 | 0.386571751 |
| 33 | 與 | 2441 | 0.384523898 |
| 34 | 十 | 2378 | 0.374599684 |
| 35 | 使 | 2227 | 0.350813077 |
| 36 | 矣 | 2220 | 0.349710386 |
| 37 | 是 | 2151 | 0.338841009 |
| 38 | 言 | 2142 | 0.337423265 |
| 39 | 可 | 2125 | 0.334745302 |
| 40 | 我 | 2119 | 0.333800139 |
| 41 | 諸 | 2110 | 0.332382394 |
| 42 | 禮 | 2107 | 0.331909813 |
| 43 | 命 | 2024 | 0.318835055 |
| 44 | 事 | 2020 | 0.318204946 |
| 45 | 乎 | 2014 | 0.317259783 |
| 46 | 下 | 1996 | 0.314424293 |
| 47 | 故 | 1991 | 0.313636657 |
| 48 | 上 | 1963 | 0.309225896 |
| 49 | 焉 | 1916 | 0.301822117 |
| 50 | 一 | 1854 | 0.292055431 |
《国学宝典》前50字的覆盖率是23.95156%，书同文公司的是25.8201%，而十三经的则是37.70571083%。估计是因为十三经都是上古语料，且使用字数较少，而《国学宝典》与书同文公司的语料则时代跨度相对较大，用字更多。所以覆盖率相对较小。
前50字对比如下：
《宝典》有而《十三经》没有的汉字是（汉字后面的数字是该字在《十三经》中的序数）：中68、所58、此109、年66、得116、道106、书150、日78、生157、自62、来87、时152、文140、至81、在61、行60、见113、云408（另有雲1390，合计其序数当在352或353）、知108、四56。
《寶典》有而《十三经》與書同文都没有的汉字是：道106、生157、来87、見113、云408（353）、知108。
书同文有而《十三经》没有的是：所58、中68、丨、年66、此109、書150、自62、在61、至81、五70、日78、山244、四56、文140、又178、得116、時152、行60。
书同文有而《十三经》與《寶典》都没有的汉字是：丨、五70、山244、又178。
我们看到，其实三处差别不算太大，其他则基本只差几位或几十位，只有几个字相差才有一百多位（相差最大的是云字，相差了287位）。这说明几千年所使用的文言文其常用字还是比较稳定的，与先秦变化不大（另外书同文公司所统计的字符“丨”其他两处均未见不知何故。）。
从发展来讲，我们希望能按照语料的不同时代以及其性质进行统计，比如按照上古、中古、近古，或者更详细一点来划分，如先秦、两汉、魏晋南北朝、隋唐、宋、元明清。而且要分清是文言文还是古白话或者近代汉语（如一些翻译的佛经、 和尚以及道学家的语录、一些笔记小说以及话本、戏曲等等）。当然，即使是文言文也有不同的文体，而且还有骈文、赋、诗词。诗也要分古体、近体等等。只有这样我们的字频统计才会更有意义。
如果我们要做一个古今对比，也很有意思。下面是现代汉语使用频率前50字的表：
| ID | 字 | 频度% |
| 1 | 的 | 3.235992 |
| 2 | 国 | 1.386861 |
| 3 | 人 | 1.055654 |
| 4 | 一 | 1.052022 |
| 5 | 中 | 1.00115 |
| 6 | 学 | 0.9439352 |
| 7 | 在 | 0.865377 |
| 8 | 大 | 0.772002 |
| 9 | 有 | 0.7666595 |
| 10 | 年 | 0.7550798 |
| 11 | 了 | 0.7341573 |
| 12 | 是 | 0.6876276 |
| 13 | 和 | 0.6010425 |
| 14 | 不 | 0.5645136 |
| 15 | 为 | 0.5436964 |
| 16 | 上 | 0.5385381 |
| 17 | 会 | 0.4849027 |
| 18 | 家 | 0.4707702 |
| 19 | 生 | 0.4635855 |
| 20 | 业 | 0.453611 |
| 21 | 地 | 0.4523478 |
| 22 | 出 | 0.4295567 |
| 23 | 个 | 0.4058709 |
| 24 | 工 | 0.4055287 |
| 25 | 这 | 0.3971071 |
| 26 | 以 | 0.3925278 |
| 27 | 成 | 0.3864221 |
| 28 | 发 | 0.3853957 |
| 29 | 作 | 0.3852641 |
| 30 | 我 | 0.3833956 |
| 31 | 日 | 0.3710789 |
| 32 | 来 | 0.3550251 |
| 33 | 科 | 0.3527355 |
| 34 | 行 | 0.3506827 |
| 35 | 到 | 0.3476299 |
| 36 | 市 | 0.3384976 |
| 37 | 多 | 0.3297075 |
| 38 | 要 | 0.3248914 |
| 39 | 时 | 0.3196016 |
| 40 | 经 | 0.3164961 |
| 41 | 高 | 0.3096009 |
| 42 | 外 | 0.2837833 |
| 43 | 员 | 0.283678 |
| 44 | 公 | 0.2811252 |
| 45 | 对 | 0.276967 |
| 46 | 海 | 0.2749405 |
| 47 | 部 | 0.2743352 |
| 48 | 们 | 0.2721508 |
| 49 | 分 | 0.2708613 |
| 50 | 进 | 0.2704929 |
| 27.6048753% |
如果我们以更多的汉字来进行比较，就可以发现同西方传统的语言年代学不同的结论。
二
关于汉语有没有“词”以及如何划分语素、词、短语，这是一个争论问题。，我们不想在此进行阐释。我们主张以单字、骈字、三字串、四字格来进行划分统计。所谓骈字，就是经常出现在一起的两个字，清代的《骈字类编》就是很有名的工具书。只要是经常连用就没有必要去区分词还是短语。同样三字串就是经常在一起连用的三个汉字的字符串，四字格则是成语、俗语、惯用语最常见的格式。这需要我们建立相应的字符串库以便统计。
对于骈字，2011年初，网友yixuan统计了《全宋词》中的高频词语，并在自己的博客上列出了一个特别的排行榜：
1 空 1485 2 东风 1382 3 何处 1230 4 人间 1202 5 风流 857
6 归去 812 7 春风 802 8 西风 779 9 归来 771 10 江南 765
11 相思 753 12 梅花 732 13 千里 676 14 回首 656 15 明月 651
16 多少 648 17 如今 642 18 阑干 630 19 年年 613 20 万里 590
21 一笑 582 22 黄昏 550 23 当年 542 24 天涯 537 25 相逢 528 310
26 芳草 527 27 尊前 516 28 一枝 512 29 风雨 505 30 流水 472
31 依旧 472 32 风吹 471 33 风月 461 34 多情 457 35 故人 451
36 当时 450 37 无人 445 38 斜阳 438 39 不知 430 40 不见 429
41 深处 422 42 时节 403 43 平生 398 44 凄凉 398 45 春色 394
46 匆匆 383 47 功名 383 48 一点 378 49 无限 377 50 今日 369
51 天上 368 52 杨柳 362 53 西湖 356 54 桃花 354 55 扁舟 353
56 消息 351 57 憔悴 344 58 何事 339 59 芙蓉 338 60 神仙 334
61 一片 334 62 桃李 333 63 人生 332 64 十分 331 65 心事 329
66 黄花 328 67 一声 325 68 佳人 324 69 长安 321 70 东君 319
71 断肠 316 72 而今 315 73 鸳鸯 314 74 为谁 313 75 十年
76 去年 309 77 少年 308 78 海棠 307 79 寂寞 306 80 无情 306
81 不是 305 82 时候 304 83 肠断 303 84 富贵 303 85 蓬莱 303
86 昨夜 303 87 行人 302 88 今夜 301 89 谁知 300 90 不似 299
91 江上 298 92 悠悠 296 93 几度 295 94 青山 295 95 何时 294
96 天气 293 97 惟有 293 98 一曲 291 99 月明 291 100 往事 290
于是一些网友便以各种各样的数字带入这个“密码”来填词。比如网友“达芬奇的鸡蛋”将圆周率的数字，与“宋词”的高频词表序号一一对照，“创作”出一首《清平乐·圆周率》：“回首明月，悠悠心事空，西湖何事寂寞中，风吹斜阳匆匆，芳草平生斜阳，风吹寂寞今日，一枝富贵年年，断肠长安不知。我们发现，这些网友的所谓“词”只是灵活地利用了这些常用骈字，再加上一些自己选择的单字而成的。尽管不够地道，但是究竟有那么一些味道。
三
关于句子，如何定义同样是众说纷纭。印欧语言所谓简单句是一个主语与一个谓语组成的，谓语必须要有一个动词作核心，即S=NP+VP，一个句子只能有一个谓语动词，而且必须跟主语保持一致。但汉语并非如此。连动句的动词没有任何形态上的差异，而且一个句子中的多个动词其施事很可能并不一样。如《左传》“谏而不入”这个句子谏与入（=纳）的施事就不相同。更不用说“鸡声茅店月，人迹板桥霜”这样纯粹由名词组成的句子了。汉语句子的任何成分都可以省略。因此相关的争论时时可见。中国第一部语法著作《马氏文通》的作者在《例言》中说，“是书本旨，专论句读”。但正如吕叔湘、王海棻在《马氏文通读本》中所说的那样，“句读可以说是全书中最不容易弄懂的部分”。我们同样不想对此置喙，我们知道，国学网为了制作辅助标点系统已经建立了一个非常庞大的句库，在进行时代、文体辨析与分类后我们可以对独词句、两字句、三字句……等进行研究，并确定相应的句型、句类，并说明其功能。我们相信这将有巨大的意义，因为许多汉语语法学者，如王力先生，正是在对句型的分析中发展出自己的体系，做出其巨大的贡献。
作者单位：黑龙江大学古籍所
