编译技术编译原理 (12).pdf
编译技术词 法 分 析词法分析器语法分析器符号表源程序本讲纲要词法分析器的生成器Lex用Lex建立词法分析器的步骤Lex编译器Lex源程序lex.llex.yy.cC编译器lex.yy.ca.outa.out输入流记号序列词法分析器的生成器Lex的工作原理根据描述匹配模式的正则表达式构造出DFA，而后基于此DFA生成词法分析程序的主控制结构词法分析器的生成器Lex的工作原理根据描述匹配模式的正则表达式构造出DFA，而后基于此DFA生成词法分析程序的主控制结构Lex的实现宿主语言：C,C+等每个匹配动作相关的代码被放在对应的状态的处理代码块中词法分析器的生成器Lex的工作原理根据描述匹配模式的正则表达式构造出DFA，而后基于此DFA生成词法分析程序的主控制结构Lex的实现宿主语言：C,C+等每个匹配动作相关的代码被放在对应的状态的处理代码块中Lex工具lex,flexJLexTP Lex词法分析器的生成器Lex程序包括三个部分声明翻译规则辅助过程词法分析器的生成器Lex程序包括三个部分声明翻译规则辅助过程词法分析器的生成器Lex程序包括三个部分声明翻译规则辅助过程词法分析器的生成器Lex程序包括三个部分声明翻译规则辅助过程Lex程序的翻译规则p1动作1p2动作2pn动作n词法分析器的生成器Lex程序包括三个部分声明翻译规则辅助过程Lex程序的翻译规则p1动作1p2动作2pn动作n例-声明部分%/*常量LT,LE,EQ,NE,GT,GE,WHILE,DO,ID,NUMBER,RELOP的定义*/%/*正规定义*/delim t n wsdelim+letterA Za zdigit09idletter(letter|digit)*numberdigit+(.digit+)?(E+?digit+)?例-声明部分%/*常量LT,LE,EQ,NE,GT,GE,WHILE,DO,ID,NUMBER,RELOP的定义*/%/*正规定义*/delim t n wsdelim+letterA Za zdigit09idletter(letter|digit)*numberdigit+(.digit+)?(E+?digit+)?例-声明部分%/*常量LT,LE,EQ,NE,GT,GE,WHILE,DO,ID,NUMBER,RELOP的定义*/%/*正规定义*/delim t n wsdelim+letterA Za zdigit09idletter(letter|digit)*numberdigit+(.digit+)?(E+?digit+)?例-声明部分%/*常量LT,LE,EQ,NE,GT,GE,WHILE,DO,ID,NUMBER,RELOP的定义*/%/*正规定义*/delim t n wsdelim+letterA Za zdigit09idletter(letter|digit)*numberdigit+(.digit+)?(E+?digit+)?例-翻译规则部分ws/*没有动作，也不返回*/whilereturn(WHILE);doreturn(DO);idyylval=install_id();return(ID);number yylval=install_num();return(NUMBER);“”yylval=LT;return(RELOP);“=”yylval=LE;return(RELOP);“=”yylval=EQ;return(RELOP);“”yylval=NE;return(RELOP);“”yylval=GT;return(RELOP);“=”yylval=GE;return(RELOP);例-翻译规则部分ws/*没有动作，也不返回*/whilereturn(WHILE);doreturn(DO);idyylval=install_id();return(ID);number yylval=install_num();return(NUMBER);“”yylval=LT;return(RELOP);“=”yylval=LE;return(RELOP);“=”yylval=EQ;return(RELOP);“”yylval=NE;return(RELOP);“”yylval=GT;return(RELOP);“=”yylval=GE;return(RELOP);例-翻译规则部分ws/*没有动作，也不返回*/whilereturn(WHILE);doreturn(DO);idyylval=install_id();return(ID);number yylval=install_num();return(NUMBER);“”yylval=LT;return(RELOP);“=”yylval=LE;return(RELOP);“=”yylval=EQ;return(RELOP);“”yylval=NE;return(RELOP);“”yylval=GT;return(RELOP);“=”yylval=GE;return(RELOP);例-翻译规则部分ws/*没有动作，也不返回*/whilereturn(WHILE);doreturn(DO);idyylval=install_id();return(ID);number yylval=install_num();return(NUMBER);“”yylval=LT;return(RELOP);“=”yylval=LE;return(RELOP);“=”yylval=EQ;return(RELOP);“”yylval=NE;return(RELOP);“”yylval=GT;return(RELOP);“=”yylval=GE;return(RELOP);例-翻译规则部分ws/*没有动作，也不返回*/whilereturn(WHILE);doreturn(DO);idyylval=install_id();return(ID);number yylval=install_num();return(NUMBER);“”yylval=LT;return(RELOP);“=”yylval=LE;return(RELOP);“=”yylval=EQ;return(RELOP);“”yylval=NE;return(RELOP);“”yylval=GT;return(RELOP);“=”yylval=GE;return(RELOP);例-辅助过程部分install_ id()/*把词法单元装入符号表并返回指针。yytext指向该词法单元的第一个字符，yyleng给出的它的长度*/例-辅助过程部分install_ id()/*把词法单元装入符号表并返回指针。yytext指向该词法单元的第一个字符，yyleng给出的它的长度*/install_num()/*类似上面的过程，但词法单元不是标识符而是数*/用 Lex 定义常规表达式.匹配任意字符，除了n-指范围A-Za-z0-9$行的结尾 模式可能出现的次数，例如A1,3表示可能出现1次或3次否定,操作符只能出现在左中括号后的第一个字符位置处abc *|?+等常用的闭包，逻辑或等操作23用 Lex 定义常规表达式.匹配任意字符，除了n-指范围A-Za-z0-9$行的结尾 模式可能出现的次数，例如A1,3表示可能出现1次或3次否定,操作符只能出现在左中括号后的第一个字符位置处abc *|?+等常用的闭包，逻辑或等操作24Lex中重要的外部变量yytext:外部字符数组，其内容是当前被某个规则匹配的字符串yyleng:当前yytext中的字符的个数Lex中重要的外部变量yytext:外部字符数组，其内容是当前被某个规则匹配的字符串yyleng:当前yytext中的字符的个数例：a-zA-Z+printf(“word=%s,length=%d”,yytext,yyleng)；Lex中重要的外部变量yytext:外部字符数组，其内容是当前被某个规则匹配的字符串yyleng:当前yytext中的字符的个数例：a-zA-Z+printf(“word=%s,length=%d”,yytext,yyleng)；a-zA-Z+printf(“%s”,yytext);可简写a-zA-Z+ECHO;Lex中重要的变量yyin 类型:FILE*词法分析的输入文件yyout 类型:FILE*词法分析的输出文件以上两个经常和函数yywrap()连用，如果函数的返回值是1，就停止解析。因此它可以用来解析多个文件。代码可以写在第三段，这就能够解析多个文件。方法是使用 yyin 文件指针指向不同的文件，直到所有的文件都被解析。最后，yywrap()可以返回 1 来表示解析的结束。Lex中重要的变量yyin 类型:FILE*词法分析的输入文件yyout 类型:FILE*词法分析的输出文件yylineno 给出当前的行数信息以上两个经常和函数yywrap()连用，如果函数的返回值是1，就停止解析。因此它可以用来解析多个文件。代码可以写在第三段，这就能够解析多个文件。方法是使用 yyin 文件指针指向不同的文件，直到所有的文件都被解析。最后，yywrap()可以返回 1 来表示解析的结束。Lex中识别规则二义性处理能匹配最多字符的规则优先Lex中识别规则二义性处理能匹配最多字符的规则优先integer keyword action.;az+identifier action.;当输入为integers时，匹配az+Lex中识别规则二义性处理能匹配最多字符的规则优先能匹配相同数目的字符的规则，书写顺序在前的优先Lex中识别规则二义性处理能匹配最多字符的规则优先能匹配相同数目的字符的规则，书写顺序在前的优先假设需要计算输入文本中she和he的个数she s+;REJECT;he h+;REJECT;n|.;.匹配任意字符，除了 n简单的例子删除输入中每行结尾处所有空白符%t+$;简单的例子删除输入中每行结尾处所有空白符%t+$;如果要将字符串中的空格或者制表符转换为单个空格，需要增加一条规则：%t+$;t+printf(“”);上机实验例子%int num_lines=0,num_chars=0;%n +num_lines;+num_chars;.+num_chars;%main()yylex();printf(#of lines=%d,#of chars=%dn,num_lines,num_chars);example.l上机实验例子hello worldwo ai tian an men hello world i love37lex.yy.exe#of lines=3,#of chars=49example.l谢 谢！
