编译原理词法分析实验源代码

编译原理-词法分析器的设计

一．设计说明及设计要求

一般来说，编译程序的整个过程可以划分为五个阶段：词法分析、语法分析、中间代码生成、优化和目标代码生成。本课程设计即为词法分析阶段。词法分析阶段是编译过程的第一个阶段。这个阶段的任务是从左到右一个字符一个字符地读入源程序，对构成源程序的字符流进行扫描和分解，从而识别出一个个单词（也称单词符号或符号）。如保留字（关键字或基本字）、标志符、常数、算符和界符等等。

二．设计中相关关键字说明

1．基本字：也称关键字，如C语言中的 if , else ,

while , do ,for,case,break, return 等。

2．标志符：用来表示各种名字，如常量名、变量名和过程名等。

3．常数：各种类型的常数，如12，6.88，和“ABC”

等。

4．运算符：如 + ，- , * , / ,%, < , > ,<= , >= 等。5．界符，如逗点，冒号，分号，括号，# ，〈〈，〉〉等。

三、程序分析

词法分析是编译的第一个阶段，它的主要任务是从左到右逐个字符地对源

程序进行

扫描，产生一个个单词序列，用以语法分析。词法分析工作可以是独立的一遍，把字符流的源程序变为单词序列，输出在一个中间文件上，这个文件做为语法分析程序的输入

一、实验目的及要求

1．掌握LL(1)分析法的基本原理； 2．掌握LL(1)分析表的构造方法；

3．用LL（1）分析法分析高级语言表达式。 4、了解LL（1）分析器的工作过程。 文法：无二义性的算术表达式的文法

（1）把词法分析作为语法分析的子程序实现（5分） （2）独立的语法分析程序（4分）

（3）对表达式文法消除左递归、构造LL（1）分析表 （4）LL（1）分析表可以直接输入（4分），也可以用程序实现（5分） （5）给一个表达式，给出分析过程（分析栈、输入串、所用规则）（4分） （6）生成一个棵语法树（5分）用二叉树的形式表示出来

二、实验内容及原理 1、 实验原理

（1）、LL（1）文法的定义

LL(1)分析法属于确定的自顶向下分析方法。LL(1)的含义是：第一个L表明自顶向下分析是从左向右扫描输入串，第2个L表明分析过程中将使用最左推导，1表明只需向右看一个符号便可决定如何推导，即选择哪个产生式(规则)进行推导。

LL(1)文法的判别需要依次计算FIRST集、FOLLOW集和SELLECT集,然后判断是否为LL(1)文法,最后再进行句子分析。

需要预测分析器对所给句型进行识别。即在LL(1)分析法中，每当在符号栈的栈顶

昆明理工大学信息工程与自动化学院学生实验报告

（ 201 — 201 学年 第 1 学期 ）

课程名称：编译原理 开课实验室： 年 月 日

一、实验目的

实验目的: 设计、编制并调试一个词法分析程序，加深对词法分析原理的理解。掌握在对程序设计语言源程序进行扫描过程中将其分解为各类单词的词法分析方法；

二、实验原理及基本技术路线图（方框原理图）

三、所用仪器、材料（设备名称、型号、规格等） 1台pc和Microsoft Visual C++软件

四、实验方法、步骤

程序源代码：

#include<stdio.h> #include<string.h> #include<iostream.h> char prog[80],token[8];

char ch;

int syn,p,q,m=0,n,sum=0;

char *rwtab[5]={"else","if","then","while","do"};

char *operat[9]={"+","-",

 

编译原理

实      验      报      告  

课程名称  实验项目名称  

学号  姓名  

编译原理实验  词法分析器  XXXXXXXXXX  XXX  计算机  

科学与技术学院  

班级  专业  

XXXXXX  计算机  科学与技术  XXX  

学生所在学院  指导教师  

实验室名称地点    

                                              

集美大学计算机工程学院实验报告

课程名称：编译原理 实验编号： 实验一 班级：计算1214 上机实践日期：2014.11 一、实验目的

1、深入理解有限自动机及其应用； 2、掌握词法分析程序的开发。；

3、掌握根据语言的词法规则构造识别其单词的有限自动机的方法； 4、深入理解词法分析程序自动生成原理。 二、实验环境

Windows7 x64、VC6.0 三、实验原理

词法分析是编译过程的第一阶段。它的任务就是对输入的字符串形式的源程序按顺序进行扫描，根据源程序的词法规则识别具有独立意义的单词（符号），并输出与其等价的Token序列。

有限自动机是描述程序设计语言单词构成的工具，而状态转换图是有限自动机的比较直观的描述方法。我们使用确定的有限状态自动机，简记为DFA。 PL/0的语言的词法分析器将要完成以下工作：

（1）跳过分隔符（如空格，回车，制表符）； （2）识别诸如begin，end，if，while等保留字；

（3）识别非保留字的一般标识符，此标识符值（字符序列）赋给全局量id，而全局量sym赋值为SYM_IDENTIFIER。

（4）识别数字序列，当前值赋给全局量NUM，sym则置为SYM_NUMBER； （5）识别:=，<=，>

编译原理实验报告

实验名称：编写词法分析程序 实验类型：设计性实验 指导教师：***** 专业班级：软件工程1401 姓 名：**** 学 号：********** 实验地点：东六E座301 实验成绩：_________________

日期： 2016 年 5 月

日

8

实验一 编写词法分析程序

一、实验目的

1. 通过设计、调试词法分析程序，掌握词法分析程序的设计工具（有穷自

动机），进一步理解自动机理论

2. 掌握正则文法和正则表达式转换成有穷自动机的方法及有穷自动机实现

的方法

3. 确定词法分析程序的输出形式及标识符与关键字的区分方法 4. 加深对理论知识的理解 二、实验设计 1. 设计原理：

对源程序代码从头到尾扫描，将符合词法语言规则的单词输出，包括：标识符、保留字、无符号整数、分界符、运算符、注释分离；判断程序的词法是否正确

TEST语言的词法规则如下：

1）、标识符：字母打头，后接任意字母或数字。

2）、保留字：标识符的子集，包括：if,else,for,while,do, in

编译原理实验报告

词法分析器与语法分析器

I. 问题描述

设计、编制并调试一个词法分析子程序，完成识别语言单词的任务；

设计、编制、调试一个语法分析程序，并用它对词法分析程序所提供的单词序列进行语法检查和结构分析。

ii. 设计简要描述

界面需求：

为了更加形象的模拟过程，此实验使用图形界面。要求从图形界面上输入输入串，点击词法分析，可以将词法分析后识别的单词符号显示，点击语法分析，可以将语法分析的堆栈过程显示，并且显示结果（是否是符合文法的句子），清空则可以将所有置空。

功能分析：

1、由用户输入输入串； 2、用户点击“词法分析”，可以将词法分析后识别的单词符号显示。 3、用户点击语法分析，可以将语法分析的堆栈过程显示，并且显示结果（是

否是符合文法的句子）

4、用户点击清空，则将界面所有组件置为空

思路描述：

一、设计构想：

本实验决定编写一个简易C语言的词法分析器和语法分析器。使其能够识别while，if等关键字，可以判断赋值语句、条件语句、循环语句。

二、文法分析

1、需要识别的关键字及其识别码有：

关键字 识别码 关键字 识别码 关键字 识别码 ma

编译原理实验—词法分析器

姓名：王吉军

学号：09208015

班级：软件92

一、实验目的

通过动手实践，使学生对构造编译系统的基本理论、编译程序的基本结构有更为深入的理解和掌握；使学生掌握编译程序设计的基本方法和步骤；能够设计实现编译系统的重要环节。同时增强编写和调试程序的能力。

二、实验内容及要求

对某特定语言A ，构造其词法规则。

该语言的单词符号包括：

保留字(见左下表)、标识符（字母大小写不敏感）、整型常数、界符及运算符(见右下表) 。

功能要求如下所示：

·按单词符号出现的顺序，返回二元组序列，并输出。

·出现的标识符存放在标识符表，整型常数存放在常数表，并输出这两个表格。

·如果出现词法错误，报出：错误类型，位置（行，列）。

·处理段注释（/* */），行注释（//）。

·有段注释时仍可以正确指出词法错误位置（行，列）。

三、实验过程

1、词法形式化描述

使用正则文法进行描述，则可以得到如下的正规式:

其中ID表示标识符，NUM表示整型常量，RES表示保留字，DEL表示界符，OPR表示运算符。

A→(ID | NUM | RES | DEL | OPR) *

ID→letter(letter | didit)*

NUM→digit digit*

letter→a| … |

实验报告

编译原理与技术

ytinrete

程序设计1

题目：词法分析程序的设计与实现。

实验内容：设计并实现C语言的词法分析程序，要求如下。 （1）、可以识别出用C语言编写的源程序中的每个单词符号，并以记号的形式输出每个单词符号。 （2）、可以识别并读取源程序中的注释。 （3）、可以统计源程序汇总的语句行数、单词个数和字符个数，其中标点和空格不计算为单词，并输出统计结果 （4）、检查源程序中存在的错误，并可以报告错误所在的行列位置。 （5）、发现源程序中存在的错误后，进行适当的恢复，使词法分析可以继续进行，通过一次词法分析处理，可以检查并报告源程序中存在的所有错误。 实验要求：

方法1：采用C/C++作为实现语言，手工编写词法分析程序。

方法2：通过编写LEX源程序，利用LEX软件工具自动生成词法分析程序。

算法思路：

首先通过遍历，统计行号和字符数，并记录所有的注释。

其次，再次读取，利用一个字符数组作为buffer保存一行的数据，在对其中的数据进行处理，完成之后再读下一行，跳过注释。

对于整行数据的处理，依靠空格将其分成单个单词再具体处理。 对于查错问题实在是一个难题，只能根据一些规则判定有错并记录。

程序源代码：

//假

※<实验一 词法分析>

一、实验目的：

通过设计编制调试一个具体的词法分析程序，加深对词法分析原理的理解。并掌握在对程序设计语言源程序进行扫描过程中将其分解为各类单词的词法分析方法。

编制一个读单词过程，从输入的源程序中，识别出各个具有独立意义的单词，即基本保留字、标识符、常数、运算符、分隔符五大类。并依次输出各个单词的内部编码及单词符号自身值。（遇到错误时可显示“Error”，然后跳过错误部分继续显示）

二、实验预习提示

1、 词法分析器的功能和输出格式

词法分析器的功能是输入源程序，输出单词符号。词法分析器的单词符号常常表示成以下的二元式(单词种别码，单词符号的属性值)。本实验中，采用的是一类符号一种别码的方式。 2、 单词的BNF表示

<标识符- <字母<字母数字串

<字母数字串-<字母<字母数字串|<数字<字母数字串|

<下划线<字母数字串|ε

<无符号整数- <数字<数字串<数字串- <数字<数字串 |ε<加法运算符- + <减法运算符- - <大于关系运算符-

<大于等于关系运算符- = 3、“超前搜索”方法

词法分析时，常常会用到超前搜索方法。如当前待分析字符串为“a+”,当前字符为’’，此时，分析器倒底是将其分析为大于关系运算符还是大于等于关系运算符呢？显然，只有知道下一个字符是什么才能下结论。于是分析器读入下一个字符’+’，这时可知应将’’解释为大于运算符。但此时，超前读了一个字符’+’，所以要回退一个字符，词法分析器才能正常运行。

在分析标识符，无符号整数等时也有类似情况。

4、模块结构