2023年词法分析器实验报告.docx
词法分析器实验报告词法分析器设计一、实验目的：对C语言的一个子集设计并实现一个简朴的词法分析器,掌握运用状 态转换图设计词法分析器的基本方法。运用该词法分析器完毕对源程 序字符串的词法分析。输出形式是源程序的单词符号二元式的代码， 并保存到文献中。二、实验内容：1 .设计原理词法分析的任务：从左至右逐个字符地对源程序进行扫描，产生一个个单词 符号。理论基础:有限自动机、正规文法、正规式词法分析器(Lexical A n a 1 y zer)又称扫描器(S c anner)：执行词法 分析的程序2 .词法分析器的功能和输出形式功能:输入源程序、输出单词符号程序语言的单词符号一般分为以下五种：关键字、标记符、常数、运算符, 界符3 .输出的单词符号的表达形式：单词种别用整数编码，关键字一字一种,标记符统归为一种，常数一种，各种w h i I e(true);o vect o r<pa i r<in t , string> > mid_ r es u It;o mid_resul t = a n alyst (array);Ou t Fi I e (m i d_ r esult);co u * * * * * *n":co u程序已完毕词法分析，分析结果已经存储在文献”<< fi 1 e_namV”中！ ！ *n”；c ou <"丈*火 夫 * * * * * * n ；ocoutcc”感谢使用，谢谢再见！ " VVendl;s y s t em (n p a u sen);return 0; o/*提取文本文献中的信息大/st r ing G e tTe x t ()s t r i ng f i I e namel;cout<”请输入源文献名(涉及途径和后缀名)：，c i n>>f il e _namel;if s t r e am inf i le (f ile_ name 1 . c _ s tr () , i os :in);i f (! in f i le)0(c e 无法丁开文而” "<<f ile_ n a mel. c _ s tr ()«" ! ! ! " << endl;oexit(- 1 );o )c ou t <<endl;o c h ar f 10O0;inf i le. ge t I i ne ( f , 10 0 0 , EO F );i nfi I e.close ();oprint f (f):o c out<< e nd I ;return f;。/*获得一个单词符号，从位置i开始查找。0 / /并且有一个引用参数j,用来返回这个单词最后一个字符在原字符串的位 置。*/o s tr i n g Ge t Wo r d (st r ing st r , in t i,int& j )0 (os t ring no_use ("() , ; n+=* / -<> " );oj= s t r . fin d _f irst_o f (n o _usez i );i f (j = = -D r eturn "n;i f ( i ! =j)j-；o return s tr. substr (iz j- i +1): o/ *这个函数用来除去字符串中连续的空格和换行/第一个参数为目的字符串，第二个参数为开始位置/返回值为连续的空格和换行后的第一个有效字符在字符串的位置* /i nt D e leteNull (st r ing strz in t i) (o f o r (; ; i + + )if (s t r i ! =* &&str i! = * n ')retur n i：0)0°/*判断i当前所指的字符是否为一个分界符，是的话返回真，反之假*/ obool I sBou n dar y ( s tring str, i nt i)0 int t;0 cha r ar r 7 = 1, 1, ' ; 10 for (t=0; t<7; t+)if(st r i =arr t)0return t r ue;ret u rn false:/*判断i当前所指的字符是否为一个运算符，是的话返回真，反之假火/bo o 1 Is 0 p e rat i on (s t ring str, int i)int t ;char arr8=+, '='> < &，;for ( t =0; t <8; t+)i f (str i=a r rt)r etu r n true;ret urn fals e ;/*此函数将一个个字符串数组输出到一个文献中*/ovo i d OutFile (vector<pair<i n t, s t ring> > v)c outVV”请输入目的文献名(涉及途径和后缀名)：”；cin>> file name;of s t r e am o utf il e ( f i le_ name, c_str () , i os: :out);i f (! o utfile)(ocrr<< "无法开文献！ *'«f il e _ n am e , c_ s tr () <<n !"<< end I ;oexit(- 1 );)cout<< e ndl;o in t i;o f or(i=0;i<v.si z e () ; i+)o o ooutf i I e <<»»<»'<<v i. f i rs t <<" ," <<v i . s econd«" ">"<<end I ;o oco u t<< " <"<<v i . f irst<<" ,""<< v i . s e con d«'f">"<< e n d I ;outf i 1_” nn* o outf i le. cl o s e ();r e tu r n ;0 /火此函数判断传递的参数是否为关键字，是的话，返回其，反之返回假文/obo o I I s K e y (st r i ng str)(string p 7 =nma in", " int " , "char", "if", ne I s e " , " for*', "while" ;0 ovect o r<s t ri n g> ppp (p,p+7);0 oi n t u;0 f or (u = 0;u<ppp. si z e () ;u+4-)0 0 if ( ! s t r. c o mpare (ppp u)ore t u r n true;0 r eturn f a Ise:/ *此函数接受一个字符串数组，对它进行词法分析，返回一个pa i r型数组大 /o v ec t or<pai r < i nt, s t ri n g> > a n al y st ( v ec t or<string> v e c)(o vector<pair<intz st r ing> > temp;o int i;f or (i= 0 ; i < v ec. size () ; i+)0o i f (vec i . s ize () =1)(oi f ( veci = = n>n&&ve c i + 1 = = "=")0 (o o ostri n g j k=vec i;o o j k.append (vec + i , 0,1);o opa i r<intz string> pp(37, j k );o o o t emp .push_back ( p p);o ocontinu e ;oif (vec i="<n&&veci + l="=")0 0(o o os t r i ng j k = ve c i ;o o ojk. a ppe n d (vec + + i , 0,1);o o p a ir<int, stri n g> pp (38z j k );o o o temp. pus h _back (pp);o o c o ntinue;o o oi f (v e c i = = n = n&& v ec i + 1 ="= n )0(o o stri ng j k = vec i:jk. append ( v e c + + i , 0,1);p a i r<int, str i n g > p p (39 , j k );o o o t em p . pus h _b a c k ( p p );o o co n tin ue;o )oif ( v e c i =" ! n&& vec i + 1 = " =n)ost r ing j k=vec i;o o o j k.append (vec + + i , 0, 1 );o o pair< i nt,stringp p ( 4 0, j k );o o otem p .pus h _bac k (pp);c o nt i nue;0 0 )o o if (ve c i =n& &&ve c i + 1 ="& ")(o o string j k =vec i;o o j k . app e nd (vec + + i, 0,1):o o p air< i nt, st r ing> p p ( 4 2, jk);o o o temp , p ush_ b ack ( p p);o ©continue;o o i f ( v ec i =* I *'&&v e c i+ 1 = " I ',)o o st r i ng j k=ve c i ;符号各一种。4.词法分析器的结构5.状态转换图实现j k .append(vec+i ,0,1);pair<in t , s tr i ng> p p (43, j k );ot e m p . p u sh_b a ck (pp);ocont i n ue;i f (IsBound a r y (vec i , 0)0 oif ( V eci=' ")0(opai r <intz string> p p 1 (32z vec i);otemp.p u sh_back ( p pl);oi f (vec i = = H")(o o opair< i nt z s t r i n g> pp2 (34, vec i );tem p . push_b a ck (pp2 );o oi f (vec i = " ")0 0 o pai r <int, s t ring> p p 3 (30, vec i ):t e mp.push_ba c k (pp3);0 0 )o oif (ve c i ="")0 0pair< i nt, s t ring> pp4 (31, ve c i);ot e m p . p us h _bac k (pp4);0 0 )o oif ( v e c i ='* (")o(o pai r <int, strin g > pp5 (26, ve c i );otemp. push_bac k (p p 5);0o o if (v e c i =")")opai r < i nt, s t r ing> p p6 (27z vec i);temp .pus h _b a c k (pp6);ooif (v e c i ="：”)o o oo©pair<intz s t ring> pp7 (33, v e c i);o temp.push_b a ck(pp7);00 )e I se i f (IsOp e ration (vec i , 0 )o oif(vec i =" + ")0 0 000o o p a i r< i nt, str i n g> p p 8 (22, vec i );o o temp. push_back (pp8);if (vec i="一")o o opair<intz s t r i ng> pp9 (23,veci);t e mp. p ush_bac k ( p p9 );00)0 if (ve c i =»*1)0 0 0 0 0 0 0 0 p a i r<i n t , st r ing> p p 10 ( 2 4z v e c i);0 0 0t e mp. p ush_ba c k (pplO);00 0 oi f ( v ec i =" / ")00000 0 0 op a ir<i n t, s t ring> ppll (2 5 , vec i );0 0 0tem p . push_ b a c k ( p pl 1 );0000)i f (v e c i="=")00 0 00 0 0 pa i r< i nt r st r i n g > p p 12 (21, v e c i);0 0 0 temp .pu s h _ba c k ( p p 1 2 );if (veci = = ">")o p a i r< i nt, s t r ing> ppi 3 (35, v e c i);tem p . push_back(ppi 3 );)oif ( v ec i = '*< ")(pai r <int, stri n g> ppi 4 ( 3 6, v ec i );tem p .pus h _back (ppl4);)if (veci= " &”)pa i r<i n t , string> pp2 6 (41, v ec i);temp. push_b a c k (p p 2 6);0 )oel s e if ( v ec i 0 <= 9 ' & &v e c i 0 >= * 0 *)pair<i n t, s tri n g> p p 24 (1 0 z vec i);temp, pus h_back (pp24 );e I se|pa i r< i nt, s t r in g > pp25 (10, v ec i);temp, p u sh_ back (pp25);)e I se if(veci 0<= ' 9,&&veci 0>= ' 0 1 )(p air<in t , s trin g > pp2 3 (3, vec i);t emp.p ush_back (pp2 3 );)e I se i f (I s K ey (v e c i)(i f (vec i = = ,'mai n n)pa i r<i n t , str i n g > ppl5 (1, vec i);t e mp. pus h _ b ack ( p pl 5 );00 )o o o i f ( v e c i = int ")00 (o pair< i ntz strin g> p p 16 (2, vec i);otemp, p u sh_ b ac k ( p p 16);oo o i f (vec i ="cha r n)0 0 0 o o o p a ir<int, s trin g > p pl7 (3, vec i);o o ©temp.pu sh_b ack(ppl7)；00 )o i f ( v ec i ='* e Ise ")0 0o o o p air<int, s t ring> ppi 8 (4z vec i);o o otemp.push_back(pp 1 8);oif (v e c i =nif *)o opa i r <int, str ing> ppl9 ( 5 , v e c i):o otemp .p u sh_b a ck (pp 19);O O 0 o o if (v e c i =nf or")00 opai r <int, s t ri n g > p p2 0 (6Z v ec i);o o tem p .p u sh_b a ck (pp20);oo i f (veci=Hwhile ")0 0 0 0oopa i r < i n t , st r ing> pp21 (7, vec i);ootem p . p us h _b a ck (pp21);0 0)elsepa i r<i n t, s t rin g > p p 22 (1 0 z v ec i );otemp. p u sh_back (pp2 2 );0)o r et u rn t em p ;o)0/ * f i n i s h e d*/五、运营调试六、实验心得该词法分析器功能良好，可以完毕预定的规定。本次实验让我了解了如何设 计、编制并调试词法分析程序，并加深了我对词法分析器原理的理解；熟悉了直 接构造词法分析器的方法和相关原理，并学会使用c语言直接编写词法分析器; 同时更纯熟的掌握用c语言编写程序,实现一定的实际功能。通过这次实验,我对 词法分析器有了进一步的了解，把理论知识应用于实验中。也让我重新熟悉了C 语言的相关内容，加深了对C语言知识的深化和用途的理解。通过这次语义分析 的实验，我对高级语言的学习有了更深的结识，了解得更透彻。同时我了解 了高级语言转化为目的代码或汇编指令的过程,。对此后的学习将起很大的作用， 对以后的编程有很大的帮助.本次实验虽然只是完毕了一个简朴的程序,并且程 序的重要框架课本上有给出，但在组织程序结构和进一步了解上学到了很多，加 深了对编译原理的理解,掌握乐编译程序的实现方法和技术。巩固了前面所学的 知识。字符/数字开始a 0 字符I ' 其他J 2数字( 、J1II.,一数字a 3 , 其他a 4+字符/数字710错误a11其中2, 4, 5, 7, 8,9, 11是结束状态错误A12三、程序设计1.总体模块设计/*用来存储目的文献名*/string f ile_name；/ *提取文本文献中的信息。*/st r i n g Ge t Te x t ();/*获得一个单词符号,从位置i开始查找。并且有一个引用参数j,用来返回这个单词最后一个字符在str的位置。*/s t ring G e t Wo r d ( s tri n g s tr, i n t i, int& j);/*这个函数用来除去字符串中连续的空格和换行i n t DeleteNull (s t r i n g st r , in t i);/*判断i当前所指的字符是否为一个分界符，是的话返回真，反之假*/ bool I s B o undary (s t ring str, int i);/*判断i当前所指的字符是否为一个运算符,是的话返回真,反之假* /bo o 1 I s 0 p e rati o n (strin g str, int i);/*此函数将一个pai r数组输出到一个文献中*/ void OutFile(vector<p a i r < i nt, string> > v);/*此函数接受一个字符串数组，对它进行词法分析,返回一个pair型数组*/ vector<pa i r< in t , s tring> > anal y s t (vec t o r<stri n g> v e c)；/*此函数判断传递的参数是否为关键字,是的话,返回真，反之返回假* /b oo 1 I s Key (st ring str)；2.各模块设计(1) . 一方面根据上面单词符号表及ID和NUM的正规定义式，构造出状态 转换图；(2) .定义相关的变量和数据结构。关键字作为特殊标记符解决，把它们预 先安排在一张表格中(称为关键字表)，当扫描程序辨认出标记符时查关键字表。 如能查到匹配的单词，则该单词为关键字，否则为一般标记符。关键字表为一个 字符串数组,其描述如下：char KEY_W0RDS7 = " main" , int， char" , " if" , els e " , for", " w hile ;用以存放单词符号二元式的数据结构可如下定义：class Word_A n a lyz e r(public:ochar Co n tent MAXLENGTH;in t v a 1 ;void p r i nt ();；(3) .按照编译程序一遍扫描的规定，把词法分析器Scaner作为一个独立 的子程序来设计,通过对S caner的反复调用辨认出所有的单词符号；(4) .当Scane r辨认出一个单词符号时,则将该单词符号的二元式写入到输 出文献中。若S caner无法辨认出一个单词符号时，则调用错误解决程序Prin t Error,显示当前扫描到的字符及其所在行、列位置，并跳过该字符重新开始辨 认单词符号。四、程序代码(5) incl u d e < i ostream>(6) in c lude <vect o r>(7) elude < s tring>(8) i nc I ude < f s t r e am>0using names p ace s td;0/*用来存储目的文献名*/str i ng file_n a me;o/*提取文本文献中的信息。*/s t ring G e tTex t ();/*获得一个单词符号，从位置i开始查找。/并且有一个引用参数j ,用来返回这个单词最后一个字符在s t r的位置。*/ ost r ing Ge t W o r d (s t ring s t r, int i, i n t & j );0/*这个函数用来除去字符串中连续的空格和换行/第一个参数为目的字符串，第二个参数为开始位置/返回值为连续的空格和换行后的第一个有效字符在字符串的位置*/ int DeleteNull (st ring str, int i);/*判断i当前所指的字符是否为一个分界符，是的话返回其，反之假火/ob o o 1 I s Boun d a r y ( s t ring str, i n t i);00 / *判断i当前所指的字符是否为一个运算符，是的话返回真，反之假*/o b o ol IsO p eration (str ing str, int i);0/火此函数将一个pair数组输出到一个文献中文 /v oid Ou t File (v e ctor<pair<int, strin g > > v);°/*次函数将参数str, digi t添加到temp中*/ ovoid add (string st r , in t d i git, vecto r <pa i r<intz str i n g> > t emp);/*此函数接受一个字符串数组，对它进行词法分析，返回一个pair型数 组* /o v ector<pair<intz s tri n g> > analy s t (vect o r<s t ring> vec);0o/*此函数判断传递的参数是否为关键字，是的话，返回其，反之返回假文 /bo o 1 Is K ey (st r in g str);0int main ()(o ocou t<<”*编译原理课程设计一词法编译器ver 1 .0*n”；o COU t <<"* * * * * * * * *c o u t << e ndl;s trin g com 1 st r in g com2 = "nn: string f i I eline=GetT e xt ();i nt b e g in=0, e nd=0:ve c tor<stri n g > a rr a y;be g in=Del e teN u 1 I (fileline, be g in);string n o w S tr i ng;no w Strin g = GetWord (filel i n e, begin, end);if (end =-l)brea k ：if (n o w S trin g . c omp a re (coml) & & n owStrin g . c ompa r e ( c om2)a rray. p ush_back ( n owString);be g in=end+l;
