词法分析器实验报告.docx
词法分析器实验报告词法分析器设计一、 实验目的：对 C 语言的一个子集设计并实现一个简单的词法分析器，掌握利用状态转换图设计词法分析器的基本方法。利用该词法分析器完成对源程序字符串的词法分析。输出形式是源程序的单词符号二元式的代码， 并保存到文件中。二、实验内容：1. 设计原理词法分析的任务：从左至右逐个字符地对源程序进行扫描，产生一个个单词符号。理论基础：有限自动机、正规文法、正规式词法分析器(Lexical Analyzer) 又称扫描器(Scanner)：执行词法分析的程序2. 词法分析器的功能和输出形式 功能:输入源程序、输出单词符号程序语言的单词符号一般分为以下五种：关键字、标识符、常数、运算符, 界符3. 输出的单词符号的表示形式:单词种别用整数编码，关键字一字一种，标识符统归为一种，常数一种，各种符号各一种。4. 词法分析器的结构输入列表预处理子程序输入缓冲区扫描器扫描缓冲区单词符号5. 状态转换图实现字符/数字*开始0字符1其他2数字数字*3其他4+-*/#，.;5<>76字符/数字8*错误9：1011其中2，4，5，7，8，9，11是结束状态错误12三、程序设计1. 总体模块设计/*用来存储目标文件名*/ stringfile_name;/*提取文本文件中的信息。*/ stringGetText();/*获得一个单词符号,从位置 i 开始查找。并且有一个引用参数 j，用来返回这个单词最后一个字符在 str 的位置。*/string GetWord(string str,int i,int& j);/*这个函数用来除去字符串中连续的空格和换行int DeleteNull(string str,int i);/*判断 i 当前所指的字符是否为一个分界符，是的话返回真，反之假*/ bool IsBoundary(string str,int i);/*判断 i 当前所指的字符是否为一个运算符，是的话返回真，反之假*/ bool IsOperation(string str,int i);/*此函数将一个 pair 数组输出到一个文件中*/ void OutFile(vector<pair<int,string> > v);/*此函数接受一个字符串数组，对它进行词法分析，返回一个 pair 型数组*/vector<pair<int,string> > analyst(vector<string> vec);/*此函数判断传递的参数是否为关键字，是的话，返回真，反之返回假*/ bool IsKey(string str);2. 各模块设计（1）.首先根据上面单词符号表及 ID 和 NUM 的正规定义式，构造出状态转换图；（2）.定义相关的变量和数据结构。关键字作为特殊标识符处理，把它们预先安排在一张表格中（称为关键字表），当扫描程序识别出标识符时，查关键字表。如能查到匹配的单词，则该单词为关键字，否则为一般标识符。关键字表为一个字符串数组，其描述如下：char KEY_WORDS7=main,int,char,if,else, for,while；用以存放单词符号二元式的数据结构可如下定义： class Word_Analyzerpublic:char ContentMAXLENGTH ; intval ;void print(); ;（3）.按照编译程序一遍扫描的要求，把词法分析器 Scaner 作为一个独立的子程序来设计，通过对 Scaner 的反复调用识别出所有的单词符号；（4）.当 Scaner 识别出一个单词符号时，则将该单词符号的二元式写入到输出文件中。若Scaner 无法识别出一个单词符号时，则调用错误处理程序PrintError，显示当前扫描到的字符及其所在行、列位置，并跳过该字符重新开始识别单词符号。四、程序代码#include <iostream> #include <vector> #include <string> #include <fstream>using namespace std;/*用来存储目标文件名*/string file_name;/*提取文本文件中的信息。*/ string GetText();/*获得一个单词符号,从位置 i 开始查找。/并且有一个引用参数 j，用来返回这个单词最后一个字符在 str 的位置。*/string GetWord(string str,int i,int& j);/*这个函数用来除去字符串中连续的空格和换行/第一个参数为目标字符串，第二个参数为开始位置/返回值为连续的空格和换行后的第一个有效字符在字符串的位置*/ int DeleteNull(string str,int i);/*判断 i 当前所指的字符是否为一个分界符，是的话返回真，反之假*/ bool IsBoundary(string str,int i);/*判断 i 当前所指的字符是否为一个运算符，是的话返回真，反之假*/ bool IsOperation(string str,int i);/*此函数将一个 pair 数组输出到一个文件中*/void OutFile(vector<pair<int,string> > v);/*次函数将参数 str,digit 添加到 temp 中*/void add(string str,int digit,vector<pair<int,string> > temp);/*此函数接受一个字符串数组，对它进行词法分析，返回一个pair 型数组*/vector<pair<int,string> > analyst(vector<string> vec);/*此函数判断传递的参数是否为关键字，是的话，返回真，反之返回假*/ bool IsKey(string str);int main()cout<<"*n"cout<<"*编译原理课程设计-词法编译器 ver 1.0*n"cout<<"*n"cout<<endl; string com1=" "string com2="n"string fileline=GetText(); int begin=0,end=0; vector<string> array;dobegin=DeleteNull(fileline,begin); string nowString; nowString=GetWord(fileline,begin,end); if(end=-1)break;if(nowSpare(com1)&&nowSpare(com2) array.push_back(nowString);begin=end+1;while(true); vector<pair<int,string> > mid_result; mid_result=analyst(array); OutFile(mid_result);cout<<"*n"cout<<"*程序已完成词法分析，分析结果已经存储在文件"<<file_name<<"中！ *n"cout<<"*n"cout<<"感谢使用，谢谢再见！"<<endl; system("pause");return 0;/*提取文本文件中的信息*/ string GetText()string file_name1;cout<<"请输入源文件名（包括路径和后缀名）：" cin>>file_name1;ifstream infile(file_name1.c_str(),ios:in); if (!infile)cerr<<无" 法打开文件!"<<file_name1.c_str()<<" !"<<endl;exit(-1);cout<<endl; char f1000;infile.getline(f,1000,EOF); infile.close();printf(f); cout<<endl;return f;/*获得一个单词符号,从位置 i 开始查找。/并且有一个引用参数 j，用来返回这个单词最后一个字符在原字符串的位置。*/string GetWord(string str,int i,int& j)string no_use("() , ; n+=*/-<>""); j=str.find_first_of(no_use,i);if(j=-1)return ""if(i!=j)j-;return str.substr(i,j-i+1);/*这个函数用来除去字符串中连续的空格和换行/第一个参数为目标字符串，第二个参数为开始位置/返回值为连续的空格和换行后的第一个有效字符在字符串的位置*/ int DeleteNull(string str,int i)for(;i+)if(stri!=' '&&stri!='n') return i;/*判断 i 当前所指的字符是否为一个分界符，是的话返回真，反之假*/bool IsBoundary(string str,int i)int t;char arr7=',','','','','(',')',':'for (t=0;t<7;t+) if(stri=arrt)return true; return false;/*判断 i 当前所指的字符是否为一个运算符，是的话返回真，反之假*/bool IsOperation(string str,int i)int t;char arr8='+','-','*','/','=','<','>','&'for (t=0;t<8;t+) if(stri=arrt)return true; return false;/*此函数将一个个字符串数组输出到一个文件中*/void OutFile(vector<pair<int,string> > v)cout<<"请输入目标文件名（包括路径和后缀名）："cin>>file_name;ofstream outfile(file_name.c_str(),ios:out); if (!outfile)cerr<<无" 法打开文件!"<<file_name.c_str()<<" !"<<endl;exit(-1);cout<<endl; int i;for(i=0;i<v.size();i+)outfile<<"<"<<vi.first<<" ,""<<vi.second<<"">"<<endl; cout<<"<"<<vi.first<<" ,""<<vi.second<<"">"<<endl;outfile<<"nn*n" outfile.close();return;/*此函数判断传递的参数是否为关键字，是的话，返回真，反之返回假*/bool IsKey(string str)string p7="main","int","char","if","else","for","while"vector<string> ppp(p,p+7); int u; for(u=0;u<ppp.size();u+)if(!pare(pppu) return true;return false;/*此函数接受一个字符串数组，对它进行词法分析，返回一个pair 型数组*/vector<pair<int,string> > analyst(vector<string> vec)vector<pair<int,string> > temp; int i; for(i=0;i<vec.size();i+)if(veci.size()=1)if(veci=">"&&veci+1="=")string jk=veci; jk.append(vec+i,0,1); pair<int,string> pp(37,jk); temp.push_back(pp); continue;if(veci="<"&&veci+1="=")string jk=veci; jk.append(vec+i,0,1); pair<int,string> pp(38,jk); temp.push_back(pp); continue;if(veci="="&&veci+1="=")string jk=veci; jk.append(vec+i,0,1); pair<int,string> pp(39,jk); temp.push_back(pp); continue;if(veci="!"&&veci+1="=")string jk=veci; jk.append(vec+i,0,1); pair<int,string> pp(40,jk); temp.push_back(pp); continue;if(veci="&"&&veci+1="&")string jk=veci; jk.append(vec+i,0,1); pair<int,string> pp(42,jk);temp.push_back(pp); continue;if(veci="|"&&veci+1="|")string jk=veci; jk.append(vec+i,0,1); pair<int,string> pp(43,jk); temp.push_back(pp); continue;if(IsBoundary(veci,0)if(veci=",")pair<int,string> pp1(32,veci); temp.push_back(pp1);if(veci="")pair<int,string> pp2(34,veci); temp.push_back(pp2);if(veci="")pair<int,string> pp3(30,veci); temp.push_back(pp3);if(veci="")pair<int,string> pp4(31,veci); temp.push_back(pp4);if(veci="(")pair<int,string> pp5(26,veci); temp.push_back(pp5);if(veci=")")pair<int,string> pp6(27,veci); temp.push_back(pp6);if(veci=":")pair<int,string> pp7(33,veci); temp.push_back(pp7);else if(IsOperation(veci,0)if(veci="+")pair<int,string> pp8(22,veci); temp.push_back(pp8);if(veci="-")pair<int,string> pp9(23,veci); temp.push_back(pp9);if(veci="*")pair<int,string> pp10(24,veci); temp.push_back(pp10);if(veci="/")pair<int,string> pp11(25,veci); temp.push_back(pp11);if(veci="=")pair<int,string> pp12(21,veci); temp.push_back(pp12);if(veci=">")pair<int,string> pp13(35,veci); temp.push_back(pp13);if(veci="<")pair<int,string> pp14(36,veci); temp.push_back(pp14);if(veci="&")pair<int,string> pp26(41,veci); temp.push_back(pp26);else if(veci0<='9'&&veci0>='0')pair<int,string> pp24(10,veci); temp.push_back(pp24);elsepair<int,string> pp25(10,veci); temp.push_back(pp25);else if(veci0<='9'&&veci0>='0')pair<int,string> pp23(3,veci); temp.push_back(pp23);else if(IsKey(veci)if(veci="main")pair<int,string> pp15(1,veci); temp.push_back(pp15);if(veci="int")pair<int,string> pp16(2,veci); temp.push_back(pp16);if(veci="char")pair<int,string> pp17(3,veci); temp.push_back(pp17);if(veci="else")pair<int,string> pp18(4,veci); temp.push_back(pp18);if(veci="if")pair<int,string> pp19(5,veci); temp.push_back(pp19);if(veci="for")pair<int,string> pp20(6,veci); temp.push_back(pp20);if(veci="while")pair<int,string> pp21(7,veci); temp.push_back(pp21);elsepair<int,string> pp22(10,veci); temp.push_back(pp22);return temp;/*finished*/五、运行调试六、实验心得该词法分析器功能良好，可以完成预定的要求。此次实验让我了解了如何设计、编制并调试词法分析程序，并加深了我对词法分析器原理的理解；熟悉了直接构造词法分析器的方法和相关原理，并学会使用 c 语言直接编写词法分析器； 同时更熟练的掌握用 c 语言编写程序，实现一定的实际功能。通过这次实验，我对词法分析器有了进一步的了解，把理论知识应用于实验中。也让我重新熟悉了 C 语言的相关内容，加深了对C 语言知识的深化和用途的理解。通过这次语义分析的实验, 我对高级语言的学习有了更深的认识 ，了解得更透彻。 同时我了解了高级语言转化为目标代码或汇编指令的过程,。对今后的学习将起很大的作用, 对以后的编程有很大的帮助. 本次实验虽然只是完成了一个简单的程序，并且程序的主要框架课本上有给出，但在组织程序结构和深入了解上学到了很多，加深了对编译原理的理解,掌握乐编译程序的实现方法和技术。巩固了前面所学的知识。
