对鲁迅小说所用字和词进行定量统计,各体文学论文.docx

《对鲁迅小说所用字和词进行定量统计,各体文学论文.docx》由会员分享，可在线阅读，更多相关《对鲁迅小说所用字和词进行定量统计,各体文学论文.docx（10页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、对鲁迅小说所用字和词进行定量统计,各体文学论文词汇统计分析是对词汇使用进行量的描绘叙述，揭示词汇的各种统计特性，并可据此编成各种频度表或词频词典和常用词表，这对语言教学、语言研究和信息处理都有着较高的实用价值。从词汇研究的角度来看，词汇统计研究已有很长的历史了。一般以为，近代大规模词汇统计始于1898年，德国学者F.W.Kaeding编制的世界上小讲:(呐喊14篇，(彷徨11篇，(故事新编8篇。本次统计选用的是(呐喊(含 自序 )与(彷徨，原因有两点。一是希望分析用语料的选用与(鲁迅小讲汉英平行语料库内容同步，更重要的是(故事新编是鲁迅先生在不同时期根据远古神话和历史传讲写就，故未包含在本次分

2、析语料之中。在本文， (鲁迅小讲 是指鲁迅在(呐喊和(彷徨所写的内容。 比照语料采用的是北京语言大学汉语国际教育技术研发中心所提供的(汉语常用词词频表(简称为 (北语词表 )和(汉字字频词典(简称为 (北语字表 )，以作定量对照分析。语料采集的方式是对(呐喊和(彷徨两部小讲集作扫描处理，以PDF格式存储;ABBYY软件作文字辨别(OCR)，经校对修正后，构成电子文本;用中国科学院计算技术研究所张华平博士研制的汉语词法分析系统ICTCLAS整合版(2008)进行两种形式的中文分词:有标记分词和无标记分词。 有标记分词用于进行词性统计，而无标记分词用作词频分析。 采用日本早稻田大学Laurence

3、 Anthony教授开发的antconc，对(鲁迅小讲用字和无标记分词进行字频与词频统计(结果见图1与图2)，并将统计结果导入excel与北语两表进行整理比拟。 三、字表与词表统计分析与比拟结果31字表统计与比拟: (鲁迅小讲总字数(tokens)，据antconc统计，为122，971个(不含标点)，单字(types)3051个。频度最高100字依次是: 的、了、一、是、不、他、我、有、在、来、也、这、人、讲、着、子、里、上、去、大、得、然、到、个、么、们、看、时、便、就、那、而、还、又、出、没、你、要、道、但、自、她、都、家、和、只、见、起、地、为、下、头、以、可、阿、过、于、天、小、面、

4、很、却、后、老、想、样、回、知、多、生、之、什、好、些、已、己、中、眼、经、走、前、两、似、事、太、年、四、所、心、声、几、十、从、三、吃、无、手、话、气、对 。 (北语字表字频累计总字形数为71，632，779个，单字5499个。频度最高100字依次是: 的、一、他、我、是、了、不、在、这、人、她、有、个、们、来、你、到、上、讲、那、着、地、子、里、就、时、得、么、为、要、可、也、过、去、和、大、会、出、下、道、以、看、对、没、自、样、想、把、好、起、生、后、而、然、能、中、都、心、斯、还、事、什、天、小、尔、只、面、开、家、些、从、头、情、儿、手、种、发、意、于、多、但、话、很、现、己、当

5、、如、前、又、所、走、身、之、回、知、特、用、无、经、已 。 (鲁迅小讲频率最高的前10字: 的、了、一、是、不、他、我、有、在、来 占(鲁迅小讲全部语料的18.68%;前100字占53.4045%。(北语字表频率最高的前10字 的、一、他、我、是、了、不、在、这、人 占全部语料的17.46%;前100字占48.92%。两词表频度最高10字一样率80%，而前100字两者的一样率为83%，即83个字共同出如今两表中。华而不实各有17字为对方所缺。 (鲁迅小讲前100、字中独有的17字为: 眼、便、吃、几、见、老、两、年、气、却、三、声、十、四、似、太、阿 (北语字表独有的17字为: 种、当、儿、

6、尔、发、会、开、能、情、如、身、斯、特、现、意、用、把 。(北语字表收字5499个，华而不实2491个未被(鲁迅小讲使用;(鲁迅小讲用字3051个，未被(北语字表收录的有42字:胤、秕、髀、孛、鹁、猹、淝、镄、苻、祓、喤、楫、鶺、桕、髁、哙、圹、馗、髡、醴、鸰、熳、伲、钕、恧、荠、蓐、殳、姒、凇、窣、佟、抟、仵、怃、窸、羲、祆、獬、砉、魆、荸。 32词表统计比拟 本次分析所比拟的是(北语词表和经ictclas分词所生成的(鲁迅小讲词表中的双音节以上的词，未包括单音节词。原因是(北语词表对单音节词的频数标记统一为 0 ，无法获得定量数值，只能舍弃。(鲁迅小讲词表中单音节词为2297个;(北语词表

7、中单音节词为2628个。双音节及以上的词数与比例，见表1。 【表】 (鲁迅小讲词表中非单音节词的总词形数(tokens)为28176个，词类数(types)6879个;出现频度最高的100词依次是: 没有、一个、什么、知道、他们、自个、起来、已经、我们、由于、然而、时候、觉得、似乎、如今、这样、而且、似的、看见、孩子、于是、能够、固然、所以、有些、很多、仿fo、之后、东西、眼睛、怎么、终于、那里、后来、女人、还是、大家、母亲、突然、一定、这里、但是、先前、以为、自然、那时、大约、声音、下去、可是、或者、一点、人们、出来、辫子、立即、一般、太太、老爷、还有、一面、忽而、这些、听到、实在、如何、家

8、里、脸上、仍然、渐渐、第一、里面、回来、一样、至于、你们、儿子、高兴、不过、应该、出去、渐渐、接着、今天、同时、第二、这么、那么、意思、太爷、本来、嫂子、就是、屋子、讲道、只是、非常、中国、其实、只要 。 (北语词表中非单音节词的累计总词形数(tokens)为66169729个，词类数(types)55061个;频度最高的100词依次是: 中国、发展、我们、经济、新华社、工作、国家、问题、一个、人民、他们、企业、进行、生产、国际、同志、记者、全国、技术、建设、北京、领导、我们国家、美国、这个、改革、会议、社会、一些、本报、今天、群众、地区、没有、世界、关系、自个、组织、社会、部门、研究、今年、

9、解决、管理、代表、思想、政治、方面、教育、举行、情况、要求、去年、公司、政策、这些、第一、能够、参加、提高、生活、有关、市场、产品、重要、文化、活动、人员、主席、苏联、日本、以为、加强、单位、提出、通过、合作、如今、农民、总理、计划、这样、历史、需要、当前、两国、农业、主要、就是、工业、增加、很多、报道、科学、农村、不能、委员会 。 使用频度最高100词中，两表共有13词: 自个、今天、能够、没有、他们、我们、如今、很多、一个、这些、这样、中国、第一 。一样率为13%，大大低于两字表最高100字的一样率。 从词性看，(北语词表100词的名词与动词为主，合计占81%;而(鲁迅小讲词表100词中，

10、如表2所示，名、动、代、副、连五类合计占81%。若根据一般语法分类，把时间、方位词和处所词归为名词，那么，(北语词表100词主要为名词、动词和代词3类，而(鲁迅小讲词表主要是名词、动词、代词、副词和连词5类。 【表】 34(鲁迅小讲词表词性分布 据antconc统计，(鲁迅小讲用词总词形数(tokens)为92066个，词类(types)为9176个，华而不实单音节词为2297个。总体语料中的词性分布(见表3)与前100词趋同，前5类依次为动词、名词、副词、助词和代词。 【表】 四、结果与讨论 本研究运用多种文本处理和分析工具，对鲁迅小讲所用字和词进行了定量统计，并将结果与北京语言大学的相关语

11、料进行了比照。从高频字看，两种语料虽形符数(tokens)差异极大，但一样度高达83%。不管语言作品的内容怎样或数量多少，高频字是语言的基础要素。100个高频词在两种语料中覆盖率均在50%左右。 从高频词看，两类语料的差异显著。100词中，两表共有仅有13个，一样率大大低于高频字。这种差异因语料来源差异所致。从高频词内容看，北语语料来源于政论与新闻，时事性、社会性与国际性突出，尤其是 苏联 一词，反映了90年代以前时政语言的相貌。鲁迅小讲属文学语言，充满动感，描绘叙述性和白话性显著。两者在词汇选择上的宏大差异是显而易见的。 从词性分布看，开放性词类数量使用总是居前。有研究指出，数量居前三位的是

12、名词、动词和形容词三类，占总词频的48%。本统计结果表示清楚，鲁迅小讲中，名词、动词和形容词三类占总词频数的接近48%，但是数量在前三位的依次是动词(25.23%)，名词(17.54%)和副词(13.00%)，三者覆盖全部语料的55.77%。若根据一般语法分类，把方位词(2.23%)，时间词(1.26%)和处所词(0.59%)归为名词，顺次未出现变动，而覆盖率则接近60%(59.85%)。排在这三者之后的是助词(9.54%)和代词(8.78%)，其后是，形容词(5.23%)。 出现这种差异的原因在于，政论与新闻文体重点在状态、事实、讲理和经过，以静态书面语为主，名词使用频度高;而小讲充满动感，

13、动词使用频数要高于名词。形容词是名词的修饰语，而副词以修饰动词为主，自然会随着修饰对象使用的增加而增加。但是，本次分析所发现的这种现象，是普遍性还是特殊性，尚需进一步研究。 五、问题 本文初次对鲁迅小讲字词进行了统计分析，并用相关字与词语料进行了比照，具有抛砖引玉的意义。在研究经过中发现了一些需要改良的问题。字频与词频统计要分别进行字的切分和词的划分。前者操作简单，只要用任何文本处理工具都能够完成，不需人工干涉。而词的划分或分词，只要依靠专门的工具软件，才能实现。若人工操作，标准难以统一。 本次研究采用汉语词法分析器(ictclas)，由中国科学院计算所开发，主要采用北大(人民日报语料库进行参

14、数训练，词性标记集主要以北大(人民日报语料库的词性标记集为蓝本，并参考了北大(汉语语法信息词典中给出的汉语词的语法信息。因而，用非小讲文件进行参数训练的分词工具用于鲁迅小讲语料分词，误差率就不可避免地会提高。理想的做法是，可针对性地用专门的语料进行训练，构成自带词典，然后进行分词，会大大降低误差率。尽管认识到误差，但本统计分析对误差未作调整，目的是使研究具有可重复性，以求证实或证伪。 其次，对照语料选用的是北语语料。尽管统计分析结果显示文学类与非文学类语料之间在字频和词频方面的异与同，但是，若能选用同时代或不同时代典型作家的语料进行比照，则更能突显鲁迅小讲遣词用字的特点。 以下为参考文献: 1

15、冯志伟数理语言学M上海:知识出版社，1985 2刘云汉语词汇统计研究述评J汉语学习，2018 3杨奔20世纪的当代汉语词汇统计研究J玉林师范学院学报(哲社版)，2002(1) 4刘群，张华平，张浩计算所汉语词性标记集EB/OL 5王惠汉语词汇统计研究EB/OL 6(当代汉语常用词表课题组当代汉语常用词表Z北京:商务印书馆，2008 7杨坚定，孙鸿仁鲁迅小讲汉英平行语料库EB/OL 8汉语国际教育技术研发中心(a)汉语常用词词频表EB/OL 9汉语国际教育技术研发中心(b)汉字字频词典EB/OL 10ABBYY开发组 11张华平ICTCLAS汉语分词系统EB/OL 12Anthony，LAntConc324wEB/OL 13苏新春、杨尔弘2005年度汉语词汇统计的分析与考虑J厦门大学学报(哲社版)，2006(6)