2023年词法分析器实验报告.docx

《2023年词法分析器实验报告.docx》由会员分享，可在线阅读，更多相关《2023年词法分析器实验报告.docx（20页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、词法分析器实验报告词法分析器设计一、实验目的：对C语言的一个子集设计并实现一个简朴的词法分析器,掌握运用状 态转换图设计词法分析器的基本方法。运用该词法分析器完毕对源程 序字符串的词法分析。输出形式是源程序的单词符号二元式的代码， 并保存到文献中。二、实验内容：1 .设计原理词法分析的任务：从左至右逐个字符地对源程序进行扫描，产生一个个单词 符号。理论基础:有限自动机、正规文法、正规式词法分析器(Lexical A n a 1 y zer)又称扫描器(S c anner)：执行词法 分析的程序2 .词法分析器的功能和输出形式功能:输入源程序、输出单词符号程序语言的单词符号一般分为以下五种：关键

2、字、标记符、常数、运算符, 界符3 .输出的单词符号的表达形式：单词种别用整数编码，关键字一字一种,标记符统归为一种，常数一种，各种w h i I e(true);o vect o rpa i r mid_ r es u It;o mid_resul t = a n alyst (array);Ou t Fi I e (m i d_ r esult);co u * * * * * *n:co u程序已完毕词法分析，分析结果已经存储在文献” fi 1 e_namV”中！ ！ *n”；c ou 丈*火 夫 * * * * * * n ；ocoutcc”感谢使用，谢谢再见！ VVendl;s y s

3、 t em (n p a u sen);return 0; o/*提取文本文献中的信息大/st r ing G e tTe x t ()s t r i ng f i I e namel;coutf il e _namel;if s t r e am inf i le (f ile_ name 1 . c _ s tr () , i os :in);i f (! in f i le)0(c e 无法丁开文而” f ile_ n a mel. c _ s tr () ! ! ! endl;oexit(- 1 );o )c ou t endl;o c h ar f 10O0;inf i le. ge

4、 t I i ne ( f , 10 0 0 , EO F );i nfi I e.close ();oprint f (f):o c out e nd I ;return f;。/*获得一个单词符号，从位置i开始查找。0 / /并且有一个引用参数j,用来返回这个单词最后一个字符在原字符串的位 置。*/o s tr i n g Ge t Wo r d (st r ing st r , in t i,int& j )0 (os t ring no_use () , ; n+=* / - );oj= s t r . fin d _f irst_o f (n o _usez i );i f (j =

5、 = -D r eturn n;i f ( i ! =j)j-；o return s tr. substr (iz j- i +1): o/ *这个函数用来除去字符串中连续的空格和换行/第一个参数为目的字符串，第二个参数为开始位置/返回值为连续的空格和换行后的第一个有效字符在字符串的位置* /i nt D e leteNull (st r ing strz in t i) (o f o r (; ; i + + )if (s t r i ! =* &str i! = * n )retur n i：0)0/*判断i当前所指的字符是否为一个分界符，是的话返回真，反之假*/ obool I sBou

6、 n dar y ( s tring str, i nt i)0 int t;0 cha r ar r 7 = 1, 1, ; 10 for (t=0; t &，;for ( t =0; t 8; t+)i f (str i=a r rt)r etu r n true;ret urn fals e ;/*此函数将一个个字符串数组输出到一个文献中*/ovo i d OutFile (vectorpair v)c outVV”请输入目的文献名(涉及途径和后缀名)：”；cin file name;of s t r e am o utf il e ( f i le_ name, c_str () ,

7、i os: :out);i f (! o utfile)(ocrr 无法开文献！ *f il e _ n am e , c_ s tr () n ! end I ;oexit(- 1 );)cout e ndl;o in t i;o f or(i=0;iv.si z e () ; i+)o o ooutf i I e v i. f i rs t , end I ;o oco u t v i . f irst , e n d I ;outf i 1_” nn* o outf i le. cl o s e ();r e tu r n ;0 /火此函数判断传递的参数是否为关键字，是的话，返回其，反之

8、返回假文/obo o I I s K e y (st r i ng str)(string p 7 =nma in, int , char, if, ne I s e , for*, while ;0 ovect o r ppp (p,p+7);0 oi n t u;0 f or (u = 0;uppp. si z e () ;u+4-)0 0 if ( ! s t r. c o mpare (ppp u)ore t u r n true;0 r eturn f a Ise:/ *此函数接受一个字符串数组，对它进行词法分析，返回一个pa i r型数组大 /o v ec t orpai r a

9、n al y st ( v ec t or v e c)(o vectorpair temp;o int i;f or (i= 0 ; i n&ve c i + 1 = = =)0 (o o ostri n g j k=vec i;o o j k.append (vec + i , 0,1);o opa i r pp(37, j k );o o o t emp .push_back ( p p);o ocontinu e ;oif (vec i=n&veci + l=)0 0(o o os t r i ng j k = ve c i ;o o ojk. a ppe n d (vec + + i

10、 , 0,1);o o p a ir pp (38z j k );o o o temp. pus h _back (pp);o o c o ntinue;o o oi f (v e c i = = n = n& v ec i + 1 = n )0(o o stri ng j k = vec i:jk. append ( v e c + + i , 0,1);p a i r p p (39 , j k );o o o t em p . pus h _b a c k ( p p );o o co n tin ue;o )oif ( v e c i = ! n& vec i + 1 = =n)ost

11、 r ing j k=vec i;o o o j k.append (vec + + i , 0, 1 );o o pair i nt,stringp p ( 4 0, j k );o o otem p .pus h _bac k (pp);c o nt i nue;0 0 )o o if (ve c i =n& &ve c i + 1 =& )(o o string j k =vec i;o o j k . app e nd (vec + + i, 0,1):o o p air p p ( 4 2, jk);o o o temp , p ush_ b ack ( p p);o continu

12、e;o o i f ( v ec i =* I *&v e c i+ 1 = I ,)o o st r i ng j k=ve c i ;符号各一种。4.词法分析器的结构5.状态转换图实现j k .append(vec+i ,0,1);pair p p (43, j k );ot e m p . p u sh_b a ck (pp);ocont i n ue;i f (IsBound a r y (vec i , 0)0 oif ( V eci= )0(opai r p p 1 (32z vec i);otemp.p u sh_back ( p pl);oi f (vec i = = H)(o

13、 o opair pp2 (34, vec i );tem p . push_b a ck (pp2 );o oi f (vec i = )0 0 o pai r p p 3 (30, vec i ):t e mp.push_ba c k (pp3);0 0 )o oif (ve c i =)0 0pair pp4 (31, ve c i);ot e m p . p us h _bac k (pp4);0 0 )o oif ( v e c i =* ()o(o pai r pp5 (26, ve c i );otemp. push_bac k (p p 5);0o o if (v e c i

14、=)opai r p p6 (27z vec i);temp .pus h _b a c k (pp6);ooif (v e c i =：”)o o oopair pp7 (33, v e c i);o temp.push_b a ck(pp7);00 )e I se i f (IsOp e ration (vec i , 0 )o oif(vec i = + )0 0 000o o p a i r p p 8 (22, vec i );o o temp. push_back (pp8);if (vec i=一)o o opair pp9 (23,veci);t e mp. p ush_bac

15、 k ( p p9 );00)0 if (ve c i =*1)0 0 0 0 0 0 0 0 p a i r p p 10 ( 2 4z v e c i);0 0 0t e mp. p ush_ba c k (pplO);00 0 oi f ( v ec i = / )00000 0 0 op a ir ppll (2 5 , vec i );0 0 0tem p . push_ b a c k ( p pl 1 );0000)i f (v e c i=)00 0 00 0 0 pa i r p p 12 (21, v e c i);0 0 0 temp .pu s h _ba c k (

16、p p 1 2 );if (veci = = )o p a i r ppi 3 (35, v e c i);tem p . push_back(ppi 3 );)oif ( v ec i = * )(pai r ppi 4 ( 3 6, v ec i );tem p .pus h _back (ppl4);)if (veci= &”)pa i r pp2 6 (41, v ec i);temp. push_b a c k (p p 2 6);0 )oel s e if ( v ec i 0 = * 0 *)pair p p 24 (1 0 z vec i);temp, pus h_back (

17、pp24 );e I se|pa i r pp25 (10, v ec i);temp, p u sh_ back (pp25);)e I se if(veci 0= 0 1 )(p air pp2 3 (3, vec i);t emp.p ush_back (pp2 3 );)e I se i f (I s K ey (v e c i)(i f (vec i = = ,mai n n)pa i r ppl5 (1, vec i);t e mp. pus h _ b ack ( p pl 5 );00 )o o o i f ( v e c i = int )00 (o pair p p 16

18、(2, vec i);otemp, p u sh_ b ac k ( p p 16);oo o i f (vec i =cha r n)0 0 0 o o o p a ir p pl7 (3, vec i);o o temp.pu sh_b ack(ppl7)；00 )o i f ( v ec i =* e Ise )0 0o o o p air ppi 8 (4z vec i);o o otemp.push_back(pp 1 8);oif (v e c i =nif *)o opa i r ppl9 ( 5 , v e c i):o otemp .p u sh_b a ck (pp 19)

19、;O O 0 o o if (v e c i =nf or)00 opai r p p2 0 (6Z v ec i);o o tem p .p u sh_b a ck (pp20);oo i f (veci=Hwhile )0 0 0 0oopa i r pp21 (7, vec i);ootem p . p us h _b a ck (pp21);0 0)elsepa i r p p 22 (1 0 z v ec i );otemp. p u sh_back (pp2 2 );0)o r et u rn t em p ;o)0/ * f i n i s h e d*/五、运营调试六、实验心得

20、该词法分析器功能良好，可以完毕预定的规定。本次实验让我了解了如何设 计、编制并调试词法分析程序，并加深了我对词法分析器原理的理解；熟悉了直 接构造词法分析器的方法和相关原理，并学会使用c语言直接编写词法分析器; 同时更纯熟的掌握用c语言编写程序,实现一定的实际功能。通过这次实验,我对 词法分析器有了进一步的了解，把理论知识应用于实验中。也让我重新熟悉了C 语言的相关内容，加深了对C语言知识的深化和用途的理解。通过这次语义分析 的实验，我对高级语言的学习有了更深的结识，了解得更透彻。同时我了解 了高级语言转化为目的代码或汇编指令的过程,。对此后的学习将起很大的作用， 对以后的编程有很大的帮助.本

21、次实验虽然只是完毕了一个简朴的程序,并且程 序的重要框架课本上有给出，但在组织程序结构和进一步了解上学到了很多，加 深了对编译原理的理解,掌握乐编译程序的实现方法和技术。巩固了前面所学的 知识。字符/数字开始a 0 字符I 其他J 2数字( 、J1II.,一数字a 3 , 其他a 4+字符/数字710错误a11其中2, 4, 5, 7, 8,9, 11是结束状态错误A12三、程序设计1.总体模块设计/*用来存储目的文献名*/string f ile_name；/ *提取文本文献中的信息。*/st r i n g Ge t Te x t ();/*获得一个单词符号,从位置i开始查找。并且有一个引

22、用参数j,用来返回这个单词最后一个字符在str的位置。*/s t ring G e t Wo r d ( s tri n g s tr, i n t i, int& j);/*这个函数用来除去字符串中连续的空格和换行i n t DeleteNull (s t r i n g st r , in t i);/*判断i当前所指的字符是否为一个分界符，是的话返回真，反之假*/ bool I s B o undary (s t ring str, int i);/*判断i当前所指的字符是否为一个运算符,是的话返回真,反之假* /bo o 1 I s 0 p e rati o n (strin g st

23、r, int i);/*此函数将一个pai r数组输出到一个文献中*/ void OutFile(vectorp a i r v);/*此函数接受一个字符串数组，对它进行词法分析,返回一个pair型数组*/ vectorpa i r anal y s t (vec t o r v e c)；/*此函数判断传递的参数是否为关键字,是的话,返回真，反之返回假* /b oo 1 I s Key (st ring str)；2.各模块设计(1) . 一方面根据上面单词符号表及ID和NUM的正规定义式，构造出状态 转换图；(2) .定义相关的变量和数据结构。关键字作为特殊标记符解决，把它们预 先安排在一

24、张表格中(称为关键字表)，当扫描程序辨认出标记符时查关键字表。 如能查到匹配的单词，则该单词为关键字，否则为一般标记符。关键字表为一个 字符串数组,其描述如下：char KEY_W0RDS7 = main , int， char , if , els e , for, w hile ;用以存放单词符号二元式的数据结构可如下定义：class Word_A n a lyz e r(public:ochar Co n tent MAXLENGTH;in t v a 1 ;void p r i nt ();；(3) .按照编译程序一遍扫描的规定，把词法分析器Scaner作为一个独立 的子程序来设计,通

25、过对S caner的反复调用辨认出所有的单词符号；(4) .当Scane r辨认出一个单词符号时,则将该单词符号的二元式写入到输 出文献中。若S caner无法辨认出一个单词符号时，则调用错误解决程序Prin t Error,显示当前扫描到的字符及其所在行、列位置，并跳过该字符重新开始辨 认单词符号。四、程序代码(5) incl u d e (6) in c lude (7) elude (8) i nc I ude 0using names p ace s td;0/*用来存储目的文献名*/str i ng file_n a me;o/*提取文本文献中的信息。*/s t ring G e t

26、Tex t ();/*获得一个单词符号，从位置i开始查找。/并且有一个引用参数j ,用来返回这个单词最后一个字符在s t r的位置。*/ ost r ing Ge t W o r d (s t ring s t r, int i, i n t & j );0/*这个函数用来除去字符串中连续的空格和换行/第一个参数为目的字符串，第二个参数为开始位置/返回值为连续的空格和换行后的第一个有效字符在字符串的位置*/ int DeleteNull (st ring str, int i);/*判断i当前所指的字符是否为一个分界符，是的话返回其，反之假火/ob o o 1 I s Boun d a r y

27、 ( s t ring str, i n t i);00 / *判断i当前所指的字符是否为一个运算符，是的话返回真，反之假*/o b o ol IsO p eration (str ing str, int i);0/火此函数将一个pair数组输出到一个文献中文 /v oid Ou t File (v e ctorpair v);/*次函数将参数str, digi t添加到temp中*/ ovoid add (string st r , in t d i git, vecto r pa i r t emp);/*此函数接受一个字符串数组，对它进行词法分析，返回一个pair型数 组* /o v

28、ectorpair analy s t (vect o r vec);0o/*此函数判断传递的参数是否为关键字，是的话，返回其，反之返回假文 /bo o 1 Is K ey (st r in g str);0int main ()(o ocou t”*编译原理课程设计一词法编译器ver 1 .0*n”；o COU t * * * * * * * * *c o u t e ndl;s trin g com 1 st r in g com2 = nn: string f i I eline=GetT e xt ();i nt b e g in=0, e nd=0:ve c tor a rr a y;be g in=Del e teN u 1 I (fileline, be g in);string n o w S tr i ng;no w Strin g = GetWord (filel i n e, begin, end);if (end =-l)brea k ：if (n o w S trin g . c omp a re (coml) & & n owStrin g . c ompa r e ( c om2)a rray. p ush_back ( n owString);be g in=end+l;