中国语料库研究的历史与现状

中国语料库研究的历史与现状     语言学的研究必须以语言事实作为根据,必须详尽地、大量地占有材料,才有可能在理论上得出比较可靠的结论。传统的语言材料的搜集、整理和加工完全是靠手工进行的,这是一种枯燥无味、费力费时的工作。计算机出现后,人们可以把这些工作交给计算机去作,大大地减轻了人们的劳动。后来,在这种工作中逐渐创造了一整套完整的理论和方法,形成了一门新的学科——语料库语言学(corpus linguistics),并成为了自然语言处理的一个分支学科。
    语料库语言学主要研究机器可读自然语言文本的采集、存储、检索、统计、语法标注、句法语义分析,以及具有上述功能的语料库在语言定量分析、词典编纂、作品风格分析、自然语言理解和机器翻译等领域中的应用。多年来,机器翻译和自然语言理解的研究中, 分析语言的主要方法是句法语义分析。因此,在很长一段时间内,许多系统都是基于规则的,而根据当前计算机的理论和技术的水平很难把语言学的各种事实和理解语言所需的广泛的背景知识用规则的形式充分地表达出来,这样,这些基于规则的机器翻译和自然语言理解系统只能在极其受限的某些子语言(sub- language)中获得一定的成功。为了摆脱困境,自然语言处理的研究者者们开始对大规模的非受限的自然语言进行调查和统计,以便采用一种基于统计的模型来处理大量的非受限语言。不言而喻,语料库语言学将有可能在大量语言材料的基础上来检验传统的理论语言学基于手工搜集材料的方法所得出的各种结论,从而使我们对于自然语言的各种复杂现象获得更为深刻全面的认识。
    本文首先简要介绍国外语料库的发展情况,然后,比较详细地介绍中国语料库的发展情况和主要的成绩,使我们对于语料库研究得到一个鸟瞰式的认识。
    一、国外语料库概况
    现在,美国Brown大学建立了BROWN语料库(布朗语料库),英国Lancaster大学与挪威Oslo大学与Bergen大学联合建立了 LOB 语料库。欧美各国学者利用这两个语料库开展了大规模的研究,其中最引人注目的是对语料库进行语法标注的研究。他们设计了基于规则的自动标注系统 TAGGIT 来给布朗语料库的 100 万词的语料作自动标注,正确率为 77%. 他们还设计了 CLAWS 系统来给 LOB 语料库的100万词的语料作自动标注,根据统计信息来建立算法,自动标注正确率达 96%, 比基于规则的 TAGGIT 系统提高了将近 20%. 最近他们同时考察三个相邻标记的同现频率,使自动语法标注的正确率达到 99.5%。这个指标已经超过了人工标注所能达到的最高正确率。
    现在,国外的主要语料库还有:
    London-Lund口语语料库:收篇目87篇,每篇5000词,共为43.4万词,有详细的韵律标注(prosodic marking)。
    AHI语料库:美国Heritage出版社为编纂Heritage词典而建立,有400万词。
    OTA牛津文本档案库(Oxford Text Archive):英国牛津大学计算中心建立,有10亿字节。
    BNC英国国家语料库(British National Corpus):1995年正式发布,使用TEI编码(Text Encoding Initiative)和SGML通用标准置标语言的国际标准(The Standard Generalized Mark up Language, ISO 8879, 1986年公布)。
    ACL/DCI美国计算语言学学会数据采集计划:美国计算语言学学会(The association for  Computational Linguistics, ACL)倡议的数据采集计划(Data Collection Initiative, DCI),其宗旨是向非赢利的学术团体提供语料,以免除费用和版权的困扰,用标准通用置标语言SGML统一置标,以便于数据交换。
    LDC语言数据联合会 (Linguistic data Consortium): 设在美国宾州大学,实行会员制,有163 个语料库 (包括Text的以及 speech的),共享语言资源。
    RWC日语语料库:日本新情报处理开发机构RWCP研制,包括《每日新闻》4年的全文语料,语素标注量达1亿条。
    亚洲各语种对译作文语料库:日本国立国语研究所研制,中野洋主持,北京外国语大学参加。
    为了推进语料库研究的发展,欧洲成立了TELRI和ELRA等专门学会。TELRI 是跨欧洲语言资源基础建设学会(Trans-European Language Resources Infrastructure )的首字母缩写,John Sinclair担任主席,由欧洲共同体提供经费,其目的在于建立欧洲诸语言的语料库,现已经建成柏拉图(Plato)的《理想国》(Politeia) 多语语料库,建立了计算工具和资源的研究文档TRACTOR (Research Archive of Computational Tools and Resources),正在语料库的基础上建立欧洲语言词库EUROVOCA。TELRI每年召开一次Seminar 。最近的一次Seminar在Lubljana, (Slovenia)召开(22.September – 26.September.2000),主题是从语料库中自动抽取知识(Automatic knowledge extraction)。ELRA是欧洲语言资源学会 (European Language Resources Associationi)的首字母缩写,由Zampolli担任主席, ELRA负责搜集、传播语言资源并使之商品化,对于语言资源的使用提供法律支持。ELRA建立了欧洲语言资源分布服务处ELDA (European Language resources Distribution Agency),负责研制并推行ELRA的战略和计划。ELRA还组织语言资源和评价国际会议LREC (Language Resources & Evaluation Congress), 每两年一次。第一次会议于1998年在西班牙的Grenade举行;第二次会议在Athens(Greece)召开(31.May – 02.June.2000),第三次会议于2002年在西班牙的Las Palmas de Gran Canaria 召开(27.May – 02.June 2002)。
    二、我国语料库的发展概况
    (一)早期的汉语语料库
    1、我国语料库研究的先河
    在我国,从20世纪20年代开始,就有学者建立文本的语料库,采用统计的方法来研究汉字的频率,其目的在于制定基础汉字的字表。当然,这样的语料库不是机器可读的,规模也很小,它是现代语料库的雏形,开我国语料库研究的先河,在我国语料库的发展史上是功不可没功的。着名教育学家陈鹤琴为了教学的目的,在对语料统计的基础上,编写了《语体文应用字汇》,于1925年完成,于1928年由商务印书馆出版,陈书前有“绪论”,说明“ 中文应用字汇”曾有多种,其中包括P.克仑茨(Pastor P. Kronz)的研究和他自己的编写的《常用四千字表》。陈鹤琴做过两次统计,第一次统计使用了六种材料,包含554,478个汉字的语料,得不同汉字 4261个;第二次使用包含34,818个汉字的语料,得出与4261个汉字相异的汉字458个。第二次统计所得的成果毁于战火,在《语体文应用字汇》中印出的只是第一次统计的结果。
    陈鹤琴用的语料分如下六类:
    儿童用书:127,293字;
    报刊(以通俗报刊为主):153,344字;
    妇女杂志:90,142字;
    小学生课外作品:51,807字;
    古今小说:71,267字;
    杂类:60,625字。
    书末附有“字数次数对照表”,这是按汉字在语料中出现的绝对频率排列的字表。
    我国着名教育家陶行知先生为《语体文应用字汇》写了序言。序言中说:“他们(指“近代教育家”)对于一门一门的功课,甚至一篇文章,一个算题,一项运动,都要依据目标去问他们的效用。他们的主张是要所学的,即是所用的。......到了后来他们连学生学的字也要审查起来了。学生现在所学的字,个个字都是有用的字吗?自从这个问题发生就有好几位学者开始研究应用字汇。我国方面也有几位先生研究这个问题,其中以陈鹤琴先生的研究最有系统。他和他的助理九人先后费了二三年工夫,检查了几十万字的语体文,编成这本《语体文应用字汇》。这册报告未付印以前已经做了《平民千子课》用字的根据。将来小学课本用字当然也可以拿他来做一个很好的根据。虽然不能十分完备,但我想这本字汇对于成人及国民教育一定是有很大的贡献的。”(见陈鹤琴《语体文应用字汇》,商务印书馆,1928年)。
    2、早期的机器可读语料库
    从1979年以来,中国就开始进行机器可读语料库的建设,早期在中国建立的主要的机器可读语料库有:
    汉语现代文学作品语料库(1979年),527万字,武汉大学。
    现代汉语语料库(1983年),2000万字,北京航天航空大学。
    中学语文教材语料库(1983年),106万8千字,北京师范大学。
    现代汉语词频统计语料库(1983年),182万字,北京语言学院。
    我们以北京语言学院的汉语词频统计语料库来说明早期语料库的情况。
    1979年,北京语言学院(现在改名为“北京语言文化大学”)针对对外汉语教学的特点,把“现代汉语词汇统计研究”作为重点科研课题,开始进行规模较大的汉语单词的频率统计研究。
    这项研究工作,采用人工与计算机相结合的方式,对179篇样文、182万字的语料进行了词语切分、词频统计和数据分析的工作,统计的总词汇量为 1,315,752词次,含不同单词31,159个,其中包括十年制语文课本(52万字,374,654词次)的字频和词频的定量分析,统计结果编成《现代汉语频率词典》出版。
    他们选取的语料可以分为如下四类:
    报刊政论:44万字,占语料总量的24.4%。
    科技和科普文章:29万字,占语料总量的19.8%。
&nbs

[1] [2] [3] [4] [5] [6] [7] 下一页