编译原理实验二计算机linuxUnix相关_计算机-计算机原理.pdf

《编译原理实验二计算机linuxUnix相关_计算机-计算机原理.pdf》由会员分享，可在线阅读，更多相关《编译原理实验二计算机linuxUnix相关_计算机-计算机原理.pdf（11页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、编译原理二 -词法分析器 一.问题描述 词法分析程序的功能：输入源程序，输出单词符号，如图所示：_ 词法分析器 _ 源程序 单词符号 处理过程：在扫描源程序字符串时，一旦识别出关键字、分隔符、标识符、无符 号常数中之一，即以单词形式（各类单词均采用相同的结构，即二元式编码形式）输出。每次调用词法分析程序，它均能自动继续扫描下去，形成下一个单词，直 至整个源程序全部扫描完毕，并形成相应的单词串形式的源程序。二.需求分析 1.对给定的程序通过词法分析器能够识别一个个单词符号，并以二元式（单词类 型，单词符号）显示；2.可以将要分析的程序保存到文件中进行读取；3.删除无用的空白字符、回车符、及其它非

2、实质性符号。三.程序设计 本程序规定：关键字begi n,e nd,if,the n,else,while,write,read.do,call,co nst,char,un til,procedure,repeat 符号处理过程在扫描源程序字符串时一旦识别出关键字分隔符标识符无符号常数中之一即以单词形式各类单词均采用相同的结构即二元式编码形式输出每次调用词法分析程序它均能自动继续扫描下去形成下一个单词直至整个源程序号并以二元式单词类型单词符号显示可以将要分析的程序保存到文件中进行读取删除无用的空白字符回车符及其它非实质性符号程序设计本程序规定关键字运算符其他标记如字符串表示以字母开头的标识符

3、空格回车换行符跳过对于判断读入一串字符将码在字母范围的字符存入数组中将该数组与设置好的关键字比较如果相等则输出是关键字否则继续读入直至下一字符既非数字也非字母输出为标识符数字的判断若跟在字母后面则一起输出为标识符否则输出为数（2）运算符：+,-,*,/,=（4）其他标记 如字符串，表示以字母开头的标识符。（5）空格、回车、换行符跳过。对于一段可能的输入代码，其结果在屏幕上显示如下：（1,无符号整数）（begin,关键字）（if,关键字）（+,运算符）（；,界符）（a,普通标识符）关键字或标识符的判断：读入一串字符，将 ASCII 码在字母范围的字符存入数组 中，将该数组与设置好的关键字比较，如

4、果相等则输出是关键字，否则继续读入 直至下一字符既非数字也非字母，输出为标识符；数字的判断：若跟在字母后面则一起输出为标识符，否则输出为数字；界符、运算符的判断：直接判断其 ASCII 码 运行过程为：1预处理：把源文件一个字符一个字符的读入词法分析程序设置的输入字符 结构体数组中（输入缓冲区），读入过程要删除多余的空格；2源程序字符数组中获得单词,编码为二元式.：二元式采用结构体数组存储 把单词类型和词元记录下来。为了方便和适用起见，首先建立一个文本，进而在文本中进行pascal语言输入。输入完毕之后，就可以进行从文本中取字符，进而把它放在一个数组中。之后再 数组中进行取字符，之前要定义一个

5、数组，定义一个指针指向数组，为first。之 后就用一个循环依次从数组中取字符，假如是字符就放在 buf中，first+;次进行下去，期间要时刻与关键字指针数组进行比较如果相等就立马输出，并显 示是关键字此时将buf置为初值，first重新指向首地址。符号处理过程在扫描源程序字符串时一旦识别出关键字分隔符标识符无符号常数中之一即以单词形式各类单词均采用相同的结构即二元式编码形式输出每次调用词法分析程序它均能自动继续扫描下去形成下一个单词直至整个源程序号并以二元式单词类型单词符号显示可以将要分析的程序保存到文件中进行读取删除无用的空白字符回车符及其它非实质性符号程序设计本程序规定关键字运算符其他

6、标记如字符串表示以字母开头的标识符空格回车换行符跳过对于判断读入一串字符将码在字母范围的字符存入数组中将该数组与设置好的关键字比较如果相等则输出是关键字否则继续读入直至下一字符既非数字也非字母输出为标识符数字的判断若跟在字母后面则一起输出为标识符否则输出为数四.流程图 Y 是界符 输出”界符 ERROR 输出”运算符 符号处理过程在扫描源程序字符串时一旦识别出关键字分隔符标识符无符号常数中之一即以单词形式各类单词均采用相同的结构即二元式编码形式输出每次调用词法分析程序它均能自动继续扫描下去形成下一个单词直至整个源程序号并以二元式单词类型单词符号显示可以将要分析的程序保存到文件中进行读取删除无用

7、的空白字符回车符及其它非实质性符号程序设计本程序规定关键字运算符其他标记如字符串表示以字母开头的标识符空格回车换行符跳过对于判断读入一串字符将码在字母范围的字符存入数组中将该数组与设置好的关键字比较如果相等则输出是关键字否则继续读入直至下一字符既非数字也非字母输出为标识符数字的判断若跟在字母后面则一起输出为标识符否则输出为数 ERROR 五.调试分析 刚开始的时候，我的程序没有采用文件形式，结果只能输入一行代码分析一行，很不实用，后来我想到可以将分析结果保存到数组中，并将结果和结果之间用 空格分隔开，这样在输出时就可以连续输出了，我将这一思想运用到了文件系 统中，经过改进，现在的程序可以分析保

8、存在文件中的比较长的代码了。六.用户手册 现将要处理的代码段保存于文件中，在本程序中，我保存的位置是D:hello.txt 文件内容如下图所示：点击运行程序需要先输入待分析代码的文件位置，在本程序中是D:hello.txt 输入后程序自动分析并输出结果。符号处理过程在扫描源程序字符串时一旦识别出关键字分隔符标识符无符号常数中之一即以单词形式各类单词均采用相同的结构即二元式编码形式输出每次调用词法分析程序它均能自动继续扫描下去形成下一个单词直至整个源程序号并以二元式单词类型单词符号显示可以将要分析的程序保存到文件中进行读取删除无用的空白字符回车符及其它非实质性符号程序设计本程序规定关键字运算符其

9、他标记如字符串表示以字母开头的标识符空格回车换行符跳过对于判断读入一串字符将码在字母范围的字符存入数组中将该数组与设置好的关键字比较如果相等则输出是关键字否则继续读入直至下一字符既非数字也非字母输出为标识符数字的判断若跟在字母后面则一起输出为标识符否则输出为数七.运行结果 点击运行程序，其分析结果如下:八.程序代码:#in elude#in cludevstri ng using n amespace std;#defi ne MAX 22 char ch=;stri ng key15=begi n,e nd,if,the n,else,while,write,read,do,call,co

10、nst,char,un til,procedure,repeat;int Iskey(stri ng c)/关键字判断 int i;for(i=0;iMAX;i+)if(pare(c)=0)return 1;return 0;符号处理过程在扫描源程序字符串时一旦识别出关键字分隔符标识符无符号常数中之一即以单词形式各类单词均采用相同的结构即二元式编码形式输出每次调用词法分析程序它均能自动继续扫描下去形成下一个单词直至整个源程序号并以二元式单词类型单词符号显示可以将要分析的程序保存到文件中进行读取删除无用的空白字符回车符及其它非实质性符号程序设计本程序规定关键字运算符其他标记如字符串表示以字母开头

11、的标识符空格回车换行符跳过对于判断读入一串字符将码在字母范围的字符存入数组中将该数组与设置好的关键字比较如果相等则输出是关键字否则继续读入直至下一字符既非数字也非字母输出为标识符数字的判断若跟在字母后面则一起输出为标识符否则输出为数 int IsLetter(char c)/判断是否为字母 if(c=a)|(c=A)return 1;else return 0;int IsDigit(char c)/判断是否为数字 if(c=0&c=9)return 1;else return 0;void fenxi(FILE*fpin)string arr=;while(ch=fgetc(fpin)!=E

12、OF)arr=;if(ch=|ch=t|ch=n)else if(IsLetter(ch)while(IsLetter(ch)|IsDigit(ch)if(ch=A)ch=ch+32;arr=arr+ch;ch=fgetc(fpin);fseek(fpin,-1L,SEEK_CUR);符号处理过程在扫描源程序字符串时一旦识别出关键字分隔符标识符无符号常数中之一即以单词形式各类单词均采用相同的结构即二元式编码形式输出每次调用词法分析程序它均能自动继续扫描下去形成下一个单词直至整个源程序号并以二元式单词类型单词符号显示可以将要分析的程序保存到文件中进行读取删除无用的空白字符回车符及其它非实质性符号

13、程序设计本程序规定关键字运算符其他标记如字符串表示以字母开头的标识符空格回车换行符跳过对于判断读入一串字符将码在字母范围的字符存入数组中将该数组与设置好的关键字比较如果相等则输出是关键字否则继续读入直至下一字符既非数字也非字母输出为标识符数字的判断若跟在字母后面则一起输出为标识符否则输出为数if(Iskey(arr)coutarrt$关键字 endl;else coutarrt$普通标识符 endl;else if(IsDigit(ch)while(IsDigit(ch)|ch=.&IsDigit(fgetc(fpin)arr=arr+ch;ch=fgetc(fpin);fseek(fpin,

14、-1L,SEEK_CUR);coutarrt$无符号实数 endl;else switch(ch)case+:符号处理过程在扫描源程序字符串时一旦识别出关键字分隔符标识符无符号常数中之一即以单词形式各类单词均采用相同的结构即二元式编码形式输出每次调用词法分析程序它均能自动继续扫描下去形成下一个单词直至整个源程序号并以二元式单词类型单词符号显示可以将要分析的程序保存到文件中进行读取删除无用的空白字符回车符及其它非实质性符号程序设计本程序规定关键字运算符其他标记如字符串表示以字母开头的标识符空格回车换行符跳过对于判断读入一串字符将码在字母范围的字符存入数组中将该数组与设置好的关键字比较如果相等则输

15、出是关键字否则继续读入直至下一字符既非数字也非字母输出为标识符数字的判断若跟在字母后面则一起输出为标识符否则输出为数case/:coutcht$运算符 case(:case):case:case:case;:case.:case,:case:case:coutcht$界符 endl;break;case:ch=fgetc(fpin);if(ch=)cout:=t$运算符 endl;else cout=t$运算符 endl;运算符 :ch=fgetc(fpin);if(ch=)cout=)coutt$输入控制符 endl;else coutt$运算符 endl;符号处理过程在扫描源程序字符串时一

16、旦识别出关键字分隔符标识符无符号常数中之一即以单词形式各类单词均采用相同的结构即二元式编码形式输出每次调用词法分析程序它均能自动继续扫描下去形成下一个单词直至整个源程序号并以二元式单词类型单词符号显示可以将要分析的程序保存到文件中进行读取删除无用的空白字符回车符及其它非实质性符号程序设计本程序规定关键字运算符其他标记如字符串表示以字母开头的标识符空格回车换行符跳过对于判断读入一串字符将码在字母范围的字符存入数组中将该数组与设置好的关键字比较如果相等则输出是关键字否则继续读入直至下一字符既非数字也非字母输出为标识符数字的判断若跟在字母后面则一起输出为标识符否则输出为数fseek(fpin,-1L

17、,SEEK_CUR);break;case:ch=fgetc(fpin);if(ch=)cout=t$运算符 endl;else if(ch=)coutt$输出控制符)coutt$运算符 endl;elsecoutt$运算符 endl;fseek(fpin,-1L,SEEK_CUR);break;default:coutcht$无法识别字符 endl;void main()char in_fn30;FILE*fpin;cout 请输入源文件名(包括路径和后缀名)for(;)符号处理过程在扫描源程序字符串时一旦识别出关键字分隔符标识符无符号常数中之一即以单词形式各类单词均采用相同的结构即二元式编

18、码形式输出每次调用词法分析程序它均能自动继续扫描下去形成下一个单词直至整个源程序号并以二元式单词类型单词符号显示可以将要分析的程序保存到文件中进行读取删除无用的空白字符回车符及其它非实质性符号程序设计本程序规定关键字运算符其他标记如字符串表示以字母开头的标识符空格回车换行符跳过对于判断读入一串字符将码在字母范围的字符存入数组中将该数组与设置好的关键字比较如果相等则输出是关键字否则继续读入直至下一字符既非数字也非字母输出为标识符数字的判断若跟在字母后面则一起输出为标识符否则输出为数coutn*分析如下*、in_fn;if(fpin=fopen(in_fn,r)!=NULL)break;else

19、cout 文件路径错误！请输入源文件名(包括路径和后缀名)fenxi(fpin);fclose(fpin);九实验总结分析 通过这次实验，我对词法分析器有了一定的了解，进一步的巩固了这部分的知 识。懂得了词法分析器的工作原理。在编程过程中，遇到了不少的问题，在同 学的帮助下，问题一步一步的得到了解决。先从实现最简单的扫描和输出，再 实现扫描的范围扩大和输出的结果更加具体，虽然词法分析器的功能实现了，但是只能只能区分部分关键字。在算法上虽然是弄懂了词法分析器，但具体实 现起来还有一些不足。由于编程能力和时间的不足，这个分析器还有待完善 符号处理过程在扫描源程序字符串时一旦识别出关键字分隔符标识符无符号常数中之一即以单词形式各类单词均采用相同的结构即二元式编码形式输出每次调用词法分析程序它均能自动继续扫描下去形成下一个单词直至整个源程序号并以二元式单词类型单词符号显示可以将要分析的程序保存到文件中进行读取删除无用的空白字符回车符及其它非实质性符号程序设计本程序规定关键字运算符其他标记如字符串表示以字母开头的标识符空格回车换行符跳过对于判断读入一串字符将码在字母范围的字符存入数组中将该数组与设置好的关键字比较如果相等则输出是关键字否则继续读入直至下一字符既非数字也非字母输出为标识符数字的判断若跟在字母后面则一起输出为标识符否则输出为数