作文自动评分总结.docx

《作文自动评分总结.docx》由会员分享，可在线阅读，更多相关《作文自动评分总结.docx（6页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、精品名师归纳总结李艳老师和葛诗利老师 高校英语作文自动评分中分级词表的效度讨论中提出了作文分级词表的思想,而这可以通过改进或者调整已有的词表来获得。目前自然语言处理中精确率最高的、也是最基本的讨论就是词汇分析,词汇分析一般包括词长分布、词汇分布和词汇丰富性等。词汇分布：一篇作文中的词汇占某一分级词表每个级别词汇的比例。Laufer&Nation的 3 个级别的词表。CLEC 中国学习者英语语料库SPSS 软件包的单因素方差分析（ANOV A ） SPSS 多元线性回来分数档的精确率和召回率,总体精确率和误判率个分数精确率 =本为 X 档作文并且被评为 X 档作文的数量全部被评为X 档作文的总数

2、 *100精确率越高,说明作文被评为该分数档的可信度越高Laufer&Nation以词族为运算单位,词频概貌文秋芳 以类符为运算单词,称为词频广度倪岚 以形符为运算单位词频分布精确率都是 30%左右徐剑和梁茂成 对集中英汉机器翻译系统的测评翻译系统在译文输出方面已经比较成熟,源语言的语义识别方面仍不如人意。80 岁月,机器翻译讨论863 智能型英汉翻译系统“译星一号”评估标准： 系统功能,操作的难易度及译文质量（包括译文的忠实度、译语的可懂度和译文的可接受性）欧共体评估： 识别（译文的得懂度、 忠实度、 连贯度、 有用性、 读取速度和译文的可接受性） 和语言方面（句子结构和语义的连贯性、词汇评

3、判、翻译错误）可懂度、忠实度和译文的可接受性梁茂成和李刚 英汉机器翻译中人称代词的处理徐州师范高校外语系汉语术语分析语,词序、虚词等来表达各种语法关系。英语属于综合语,通过词本身的形状变化来表示英语中人称代词的使用频率要远远高于汉语汉语属于孤立性语言,英语为粘着性语言缘由：1. 汉语表示所属关系的物主代词往往可以省略2. 英语中大量使用反身代词反身代词：（译星对反身代词处理较为得当）1. 英语较汉语大量使用反身代词2. 汉语反身代词具有独立的指称功能,英语就依附于其他代词或名次,无独立的指称功能。英汉其次人称代词的差异You 是你仍是你们？ 英语代词的预指功能人称代词在机器翻译中的处理1. 调

4、整语法信息库（代词的主要作用是代替名词）2. 条件句可编辑资料 - - - 欢迎下载精品名师归纳总结自动评分技术陆军,梁颖红,陆玉清,李斌,姚建民多分类器融合技术在自动作文评分中的应用分类器：贝叶斯、 K 近邻和支持向量机自动作文评分（ Automated Essay Scoring , AES ）国外主观题自动评分系统：E-rater、IEAIntelligent Essay Assessor 、PEGProject Essay Grade国内最早涉足作文评分领域：梁茂成教授中国学习者英语语料库（Chinese Learner English Corpus ）对作文中的错误进行了具体标注、分

5、类和统计作文内容的特点（作文中的单词和短语,即通常的Uni-Gram 、Bi-Gram 和 Tri-Gram 模型） 考察作文的主题和内容语言学特点：浅层的语言学特点（句子个数、句子平均长度、单词平均长度、单词个数）考察作文的形式复杂的语言学特点（作文中的语法、单词的词性、连接词、各种类型错误个数）考察作文的语法、连贯性和错误特点挑选：文档频率（ Document Frequency ,DF）、信息增益（ Information Gain , IG）、统计量（ Chi-square Statistic, CHI ）文本分类算法朴实贝叶斯（ Na.ve Bayes）假定各种特点之间相互独立。性能

6、不稳固,易受分类任务的影响。K 近邻（ K-Nearest Neighbor ）要求有较高质量的训练集,K 值确定比较难支持向量机（ Support Vector Machine , SVM ）基于结构风险最小化理论评判分类结果的好坏：精确率p、召回率 r 和 F1 测度F12pr / pr E-rater 商用机器评分系统,精确率计入相邻分数全部分类方法的成效都要低于它们在其他方面的分类成效缘由：四级作文本身的特点和各分数作文的篇章数的分布情形终止语：语言学特点更能表达作文的水平NLP 技术曹亦微,杨晨 使用潜语义分析的汉语作文自动评分讨论评分方式1. 依靠精确的分析和提取反映文章质量的指标

7、进行评分,指标大多是语法层面上的。（PEG）2. 另一种是整体评分,综合使用了文章的词语使用、论述结构、句法结构以及内容和语义等方面的特点（ e-rater：统计方法 +自然语言处理技术） 。潜语义（ LSA , latent Semantic Analysis ）葛诗利,陈潇潇 文本聚类在高校英语作文自动评分中应用文本聚类把作文按内容的相像程度集合到一起,形成一棵内密外疏的聚类树。识别跑题作文文秋芳：“作文内容能够说明作文总体质量56%的差异”内容评判：采纳文本自动层级聚类优点：不需要事先基于大规模标注训练集构建评判模型可编辑资料 - - - 欢迎下载精品名师归纳总结PEG 侧重结构分析,较

8、高的评分精确率,忽视内容,更多的注意表面结构IEA只基于埋伏语义分析测量的是“文本的内容和同学作文中所传达的只是,而不是作文的风格或语言” ,适用于本族语作文（基本没有较大语言失误）单独的埋伏语义分析用于外语作文评分明显不够BETSY 基于文本分类技术E-rater, IntelliMetric ,语言质量和内容兼顾,适用外语作文自动评分E-rater 内容分析采纳了向量空间模型,作文第一转化为词频的向量,再合并语言质量得分层级聚类：自底向上（Bottom-up 合并聚类）和自顶向下（Top-down 分割聚类） 常见文档聚类算法：k-means 算法（分割）凝结层级算法（ Hierarchi

9、cal Agglomerative Clustering, HAG层级算法） 建立特点向量TF-IDF （ Term Frequency-Inverse Document Frequency ）葛诗利,陈潇潇 高校英语作文自动评分讨论中的问题及计策四个难题：评分标准、针对性、通用性和人机界面的划分作文自动评分讨论使用技术：运算机统计技术、 自然语言处理技术、 信息检索技术和人工智能技术马希文运算机解决问题前提条件：第一, 必需把待解决的问题形式化其次, 这种问题必需是可运算的第三, 这种问题必需有一个合理的复杂度,要防止指数爆炸语言：人工选取特点和机器统计加权非英语专业高校生作文语言使用特点：

10、词汇、短语、句法、搭配和错误PEG 统计文章长度、各种词类的数量、词长的变化（浅层文本特点）IEA 使用词汇统计,实义词的统计E-rater 基于词汇统计（内容） ,浅层文本特点（语言） 把内容评分转换为词汇向量的统计比较针对语言使用的评分,低分段评分精确率特别高,中、高分段,特别是高分段精确率较低梁茂成、文秋芳 国外作文自动评分系统评述及启示信度（ reliability ）效度（ validity ）PEG（ Project Essay Grade）重语言形式实现步骤：变量提取多元回来分析多元回来得到的beta 值代入运算机程序换算出作文得分IEA （ Intelligent Essay

11、Assessor）重作文内容矢量空间模型（ Vector Space Model VSM ）过滤干扰信息,提取数据中的潜在语义结构潜在语义结构词汇项（即词汇）文档矩阵term-by-document matrix之后对矩阵进行奇特值分解（Singular Value Decomposition , SVD ）把原先矩阵分解为三个不同矩阵,再重建一个新的维度较少的矩阵E-rater 既重形式又重内容一个模块结构的混合评分系统基于线性回来模型三个模块：第一模块,话语（discourse）结构,即篇章结构,依靠搜寻提示词（In summary）实现可编辑资料 - - - 欢迎下载精品名师归纳总结其次

12、模块,句法多样性（syntactic variety ）分析语言质量第三模块,内容（ content）分析模块,通过矢量空间模型,观看作文中是否包含了足够的与作文题目高度相关的主题词。不足：a) 对语言质量的分析主要考虑的学问作文的句法多样性,（语言质量的分析应当包括：词汇、句法、语言的精确性）b) 与 IEA 相比,内容质量分析模块明显尚有提高的余的（E-rater 基于主题词分析技术, IEA使用埋伏语义分析法是一种降维技术,可以有效去除文本中的干扰信息）c) 篇章结构分析模块靠搜寻作文中的In conclusion 等话语标记语,简单被考生识破,导致不利的反拨作用（wash back e

13、ffect ）评判评分的合理：评分的效度评分模型中的内核技术问题多元回来统计技术,以多个文本特点作为自变量,以人工评分作为因变量（基本技术） 自然语言处理技术,挖掘变量信息检索技术分析同学作文的内容质量韩宁 几个英语作文自动评分系统的原理与评述PEG 最早目标变量 trin ,相关变量 prox IEA需要较少的训练集E-rater（ETS Education Testing Service ,目前正在使用）和CriterionCriterion 作文评分和评判服务系统,综合了E-rater 和 Critique （诊断文章中的语法和用法错误）IntelliMetric, 核心技术是基于人工智

14、能理论开发的,是一种仿照人脑摸索的过程并将专家的聪明合成起来的学习机器分析和每篇文章每个具体分数点相相伴的语言的特点分数量表和评分规章分析的变量多非线性,多维度,建立在多个数学模型之上并且支持语言的作文评分My Access ！为语言教学服务针对美国的训练体系和训练环境的写作评判工具,同学可以得到快速的结构化的反馈和诊断报告BETSY 目前属于治理学讨论生招生委员会GMAC （ Graduate of Management Admission Council ）核心原理是：贝叶斯方法反垃圾邮件： 全部受到的邮件要与经分类的邮件进行相像性比较,凡和垃圾邮件特别相像的要被拒之门外。文献分类： 多元

15、贝努利模型 （将每篇作文看做是所关注的作文的优劣特点的特例,关注是否一个特定的特点在一篇文章中存在）和多项模型 （把每篇作文看做是我们所关注的作文的优劣特点的样本,关注一个特定的特点在一篇文章中是否多次显现）共同点：第一, 需要大量训练集其次, 除了给出总分之外,强调在写作各个方面供应尽可能具体的反馈信息第三, 与人工评分之间的一样性可编辑资料 - - - 欢迎下载精品名师归纳总结葛诗利,陈潇潇 中国 EFL 学习者自动作文评分探究Write 熟悉 Workbench（ WWB ）工具包,给读者在拼写、措词及可读性方面供应反馈,包括拼写检查程序,措词程序和运算可读性程序E-rater 采纳了基

16、于 NLP 的工具包,如：词性标注器、句法分析器、篇章分析器和词汇相像性度量器,采纳了基于语料库的方法建模。前三个模块 +第四个模块 （用来挑选和加权对作文评分具有猜测力的特点）+第五个模块 （运算最终得分）E-rater 仍旧侧重于内容AES 目标：为同学供应一个基于网络的写作环境,反馈很重要IEA 前提条件： 100 篇已评分的作文作为训练预料。样板作文和学问源材料。未评分作文集的内部比较陈潇潇,葛诗利 自动作文评分讨论综述作文自动评分系统：基于统计、自然语言处理以及人工智能（1999 年付诸有用） 优点：牢靠性、客观性、经济性、准时性、互动性PEG 标准多元回来回来系数评分特点：1. 作

17、文长度写作的流畅性。2. 介词、关系代词说明句子结构的复杂性、多样性。3. 词长变化说明文章的措辞情形（由于特别用词一般都比较长） 评分原理：1. 从经过人工评分的作文中统计出上述prox 指标,2. 然后以这些 prox 指标为自变量,和人工分数3. 做标准多元回来,得出回来系数,建立回来方程。4. 再将待测作文的 prox 指标代入回来方程,进行自动评分。其假定 前提： 作文的质量好坏可以通过统计得来的prox 指标表达IEA（智能评分系统）基于潜在语义分析工作原理：1. 将一个文件和其所使用的单词放到一个二维语义空间矩阵,借助单值分解的矩阵代数法进行转换,得到新矩阵（横行是单词,纵列是单

18、词所在的上下文,数字代表单词频率）2. 依据词频,给予每个词权重,词频越高,权重越低3. 再经过一次 SVD 转换,把矩阵分成三个单维的子矩阵4.余弦相关指标,检验同学作文和标准答案的相像性程度E-rater （电子评分员）关注语言形式句法分析器篇章分析器作文主题分析器和论点主题分析器模型构建评分逐步线性回来,在56 个变量中进行挑选,建立回来方程问题：不能判别语法正确、但内容空洞的作文IntellMetric评估了语义、句法、篇章3 个层次 300 多个特点BETSY概率论,文章非为优、良、合格、不合格80%预备率 与测试结果不同朴实贝叶斯：朴实假设条件独立C-rater （ Concept

19、ual Rater 内容性评分工具） 不需要训练集,只需要标准答案可编辑资料 - - - 欢迎下载精品名师归纳总结Automark （简答题自动评分） 评分过程：1. 把回答文字的标点和拼写法规范成标准形式。2. 进行句子分析,分析每一个句子的语义与上下文联系3. 与模板进行匹配,看同学作文的语法成分和评分模板里的哪一类最为匹配4. 得出匹配结果模板信息：包括拼写、输入、句法、语义四方面的错误SEAR （ Schema Extract Analyses and Report,提取要素评分法）李亚男 汉语作为其次语言测试的作文自动评分讨论讨论样本少数名族汉语水平考试三级作文讨论方法多元线性回来分

20、析,45 个可量化的评分要素作为自变量,老师分数为因变量, 利用逐步回来（ stepwise）和强迫输入回来（enter）提取变量,进行多元线性回来分析,样本随机组内进行交叉验证。得出8 个回来方程,选取其中给一个作文自动评分方程。TOEFL （ the Test of English as a Foreign Language,托福）GRE（ Graduate Record Examinations ）IELTS （ the International English Language Testing System ,雅思）GMAT （ Graduate Management Admission Test ） SAT 美国高考TOEIC （Test of English for International Communication,托业）可编辑资料 - - - 欢迎下载