词法分析器实验报告及源代码.pdf

《词法分析器实验报告及源代码.pdf》由会员分享，可在线阅读，更多相关《词法分析器实验报告及源代码.pdf（9页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、数学与软件科学学院数学与软件科学学院 实验报告实验报告学期：13 至 14_ 第_2学期 2014年年 3 3 月月 1717 日日课程名称:编译原理专业:2011 级 5_班实验编号：01 实验项目：词法分析器词法分析器指导教师_王开端姓名：张世镪学号：66实验成绩：一、目的一、目的学习编译原理，词法分析是编译的第一个阶段，其任务是从左至右挨个字符地对源程序进行扫描，产生一个个单词符号，把字符串形式的源程序改造成单词符号串形式的中间程序。执行词法分析的程序称为词法分析程序，也称为词法分析器或扫描器。词法分析器的功能是输入源程序，输出单词符号做一个关于 C 的词法分析器，C+实现二、任务及要求

2、二、任务及要求1词法分析器产生下述 C 的单词序列这个 C C 的所有的单词符号，以及它们的种别编码和内部值如下表：单词符号及种别编码单词符号mainintcharifelseforwhile标识符 ID整型常数 NUM种别编码12345671020单词符号,:；种别编码282930313233343536=+-*/()21222324252627！&|37383940414243关键字 main int char if else for while 都是小写并都是保留字。算符和界符=+*/&!&|,:;()ID 和 NUM 的正规定义式为：IDletter(letter|didit)*NUM

3、digit digit*lettera|z|A|Zdigit 0|9如果关键字、标识符和常数之间没有确定的算符或界符作间隔，则至少用一个空格作间隔。空格由空白、制表符和换行符组成。三、大概设计三、大概设计1.设计原理词法分析的任务：从左至右逐个字符地对源程序进行扫描，产生一个个单词符号。理论基础：有限自动机、正规文法、正规式词法分析器又称扫描器：执行词法分析的程序2.词法分析器的功能和输出形式功能:输入源程序、输出单词符号程序语言的单词符号一般分为以下五种：关键字、标识符、常数、运算符、界符。3.输出的单词符号的表示形式:(单词种别，单词符号的属性值)单词种别用整数编码，关键字一字一种，标识符

4、统归为一种，常数一种，各种符号各一种。4.状态转换图实现三、程序设计三、程序设计1.词法分析器的流程图开始输入源文件路径否路径是否有效是打开源文件初始化文件指针识别指针内容文件结束？否是空格，空白或换行吗是跳过该字符是结束否是字母吗是将字符加入字符数组Word否是数字吗否是界符吗否将字符加入字符数组Word是将字符加入字符数组Word是指向下一字符识别指针内容是输出 word为界符输出 Word内容为不可识别将字符加入字符数组Word将字符加入字符数组Word指向下一字符指向下一字符是字母惑数字吗回退否将word 与关键字表 key进行匹配输出 word 为普通标示符是数字吗否输出 word为

5、常数指向下一字符否匹配？是输出 word为关键字2.总体模块设计/*用来存储目标文件名*/string file_name;/*提取文本文件中的信息。*/string GetText();/*获得一个单词符号,从位置 i 开始查找。各模块设计1.首先根据上面单词符号表及ID 和 NUM 的正规定义式，构造出状态转换图；2.定义相关的变量和数据结构。关键字作为特殊标识符处理，把它们预先安排在一张表格中（称为关键字表），当扫描程序识别出标识符时，查关键字表。如能查到匹配的单词，则该单词为关键字，否则为一般标识符。关键字表为一个字符串数组，其描述如下：char KEY_WORDS7=main,int

6、,char,if,else,for,while；用以存放单词符号二元式的数据结构可如下定义：class Word_Analyzerpublic:char ContentMAXLENGTH;int val;void print();5.按照编译程序一遍扫描的要求，把词法分析器Scaner 作为一个独立的子程序来设计，通过对 Scaner 的反复调用识别出所有的单词符号；6.当Scaner识别出一个单词符号时，则将该单词符号的二元式写入到输出文件中。若Scaner无法识别出一个单词符号时，则调用错误处理程序 PrintError，显示当前扫描到的字符及其所在行、列位置，并跳过该字符重新开始识别单词

7、符号。四、程序测试四、程序测试测试该设计词法分析器，可对下面的源程序进行词法分析：main()int i=10;while(i)i=i-1;输出如下二元式代码序列：(1,main)(26,()(27,)(30,)(2,int)(10,i)(21,=)(20,10)(34,;)(7,while)(26,()(10,i)(27,)(10,i)(21,=)(10,i)(23,-)(20,1)(34,;)(31,)五、结论五、结论该词法分析器功能良好，可以完成预定的要求。六、程序代码六、程序代码#include#include#include#include using namespace std;/

8、*用来存储目标文件名*/string file_name;/*提取文本文件中的信息。*/string GetText();/*获得一个单词符号,从位置 i 开始查找。irst,vi.secondendl;outfilenn*n;();return;/*此函数接受一个字符串数组，对它进行词法分析，返回一个 pair 型数组*/vectorpairanalyst(vector vec)vectorpair temp;int i;for(i=0;i|veci=|veci=!)&veci+1=)string jk=veci;(vec+i,0,1);pair pp(4,jk);(pp);continue

9、;if(veci=+&veci+1=+)|(veci=-&veci+1=-)string jk=veci;(vec+i,0,1);pair pp(4,jk);(pp);continue;if(IsBoundary(veci,0)pairpp(5,veci);(pp);else if(IsOperation(veci,0)pairpp(4,veci);(pp);elseif(veci0=0)pairpp(3,veci);(pp);else pairpp(2,veci);(pp);elseif(veci0=0)pair pp(3,veci);(pp);else if(IsKey(veci)pair pp(1,veci);(pp);else pair pp(2,veci);(pp);return temp;/*此函数判断传递的参数是否为关键字，是的话，返回真，反之返回假*/bool IsKey(string str)stringp16=char,double,int,long,double,float,for,while,do,break,continue,switch,short,case,return,if;vector ppp(p,p+16);int u;for(u=0;u();u+)if(!(pppu)return true;return false;/*finished*/