编译原理词法分析总结

编译原理实验报告

词法分析器与语法分析器

I. 问题描述

设计、编制并调试一个词法分析子程序，完成识别语言单词的任务；

设计、编制、调试一个语法分析程序，并用它对词法分析程序所提供的单词序列进行语法检查和结构分析。

ii. 设计简要描述

界面需求：

为了更加形象的模拟过程，此实验使用图形界面。要求从图形界面上输入输入串，点击词法分析，可以将词法分析后识别的单词符号显示，点击语法分析，可以将语法分析的堆栈过程显示，并且显示结果（是否是符合文法的句子），清空则可以将所有置空。

功能分析：

1、由用户输入输入串； 2、用户点击“词法分析”，可以将词法分析后识别的单词符号显示。 3、用户点击语法分析，可以将语法分析的堆栈过程显示，并且显示结果（是

否是符合文法的句子）

4、用户点击清空，则将界面所有组件置为空

思路描述：

一、设计构想：

本实验决定编写一个简易C语言的词法分析器和语法分析器。使其能够识别while，if等关键字，可以判断赋值语句、条件语句、循环语句。

二、文法分析

1、需要识别的关键字及其识别码有：

关键字 识别码 关键字 识别码 关键字 识别码 ma

实验报告

编译原理与技术

ytinrete

程序设计1

题目：词法分析程序的设计与实现。

实验内容：设计并实现C语言的词法分析程序，要求如下。 （1）、可以识别出用C语言编写的源程序中的每个单词符号，并以记号的形式输出每个单词符号。 （2）、可以识别并读取源程序中的注释。 （3）、可以统计源程序汇总的语句行数、单词个数和字符个数，其中标点和空格不计算为单词，并输出统计结果 （4）、检查源程序中存在的错误，并可以报告错误所在的行列位置。 （5）、发现源程序中存在的错误后，进行适当的恢复，使词法分析可以继续进行，通过一次词法分析处理，可以检查并报告源程序中存在的所有错误。 实验要求：

方法1：采用C/C++作为实现语言，手工编写词法分析程序。

方法2：通过编写LEX源程序，利用LEX软件工具自动生成词法分析程序。

算法思路：

首先通过遍历，统计行号和字符数，并记录所有的注释。

其次，再次读取，利用一个字符数组作为buffer保存一行的数据，在对其中的数据进行处理，完成之后再读下一行，跳过注释。

对于整行数据的处理，依靠空格将其分成单个单词再具体处理。 对于查错问题实在是一个难题，只能根据一些规则判定有错并记录。

程序源代码：

//假

※<实验一 词法分析>

一、实验目的：

通过设计编制调试一个具体的词法分析程序，加深对词法分析原理的理解。并掌握在对程序设计语言源程序进行扫描过程中将其分解为各类单词的词法分析方法。

编制一个读单词过程，从输入的源程序中，识别出各个具有独立意义的单词，即基本保留字、标识符、常数、运算符、分隔符五大类。并依次输出各个单词的内部编码及单词符号自身值。（遇到错误时可显示“Error”，然后跳过错误部分继续显示）

二、实验预习提示

1、 词法分析器的功能和输出格式

词法分析器的功能是输入源程序，输出单词符号。词法分析器的单词符号常常表示成以下的二元式(单词种别码，单词符号的属性值)。本实验中，采用的是一类符号一种别码的方式。 2、 单词的BNF表示

<标识符- <字母<字母数字串

<字母数字串-<字母<字母数字串|<数字<字母数字串|

<下划线<字母数字串|ε

<无符号整数- <数字<数字串<数字串- <数字<数字串 |ε<加法运算符- + <减法运算符- - <大于关系运算符-

<大于等于关系运算符- = 3、“超前搜索”方法

词法分析时，常常会用到超前搜索方法。如当前待分析字符串为“a+”,当前字符为’’，此时，分析器倒底是将其分析为大于关系运算符还是大于等于关系运算符呢？显然，只有知道下一个字符是什么才能下结论。于是分析器读入下一个字符’+’，这时可知应将’’解释为大于运算符。但此时，超前读了一个字符’+’，所以要回退一个字符，词法分析器才能正常运行。

在分析标识符，无符号整数等时也有类似情况。

4、模块结构

昆明理工大学信息工程与自动化学院学生实验报告

（ 201 — 201 学年 第 1 学期 ）

课程名称：编译原理 开课实验室： 年 月 日

一、实验目的

实验目的: 设计、编制并调试一个词法分析程序，加深对词法分析原理的理解。掌握在对程序设计语言源程序进行扫描过程中将其分解为各类单词的词法分析方法；

二、实验原理及基本技术路线图（方框原理图）

三、所用仪器、材料（设备名称、型号、规格等） 1台pc和Microsoft Visual C++软件

四、实验方法、步骤

程序源代码：

#include<stdio.h> #include<string.h> #include<iostream.h> char prog[80],token[8];

char ch;

int syn,p,q,m=0,n,sum=0;

char *rwtab[5]={"else","if","then","while","do"};

char *operat[9]={"+","-",

我做编译原理写的,希望对你有帮助。

词法分析实验报告

一、实验目的

1. 掌握词法分析的原理。

2. 熟悉保留字表等相关的数据结构与单词的分类方法。

3. 掌握词法分析器的设计与调试。

二、实验内容

根据编译中的分词原理,用C++语言编写一个C语言的词法分析程序:.

三、实验要求

1. 输入:任意一个C语言程序的源代码。

2. 处理:对输入进行分析,分离出保留字、标识符、常量、算符和界符。

3. 输出:对应的二元式

四、实验环境

Windows XP Professional SP3，Visual Studio 2010

五、关键代码

// Scanner.cpp

#include "stdafx.h"

#include "CuteC.h"

#include "Scanner.h"

#include "CuteCView.h"

int CScanner::m_constListIndex=0;

int CScanner::g_place=0;

// CScanner

IMPLEMENT_DYNAMIC(CScanner, CWnd)

CScanner::CScanner()

{

}

CScanner::CScann

集美大学计算机工程学院实验报告

课程名称：编译原理 实验编号： 实验一 班级：计算1214 上机实践日期：2014.11 一、实验目的

1、深入理解有限自动机及其应用； 2、掌握词法分析程序的开发。；

3、掌握根据语言的词法规则构造识别其单词的有限自动机的方法； 4、深入理解词法分析程序自动生成原理。 二、实验环境

Windows7 x64、VC6.0 三、实验原理

词法分析是编译过程的第一阶段。它的任务就是对输入的字符串形式的源程序按顺序进行扫描，根据源程序的词法规则识别具有独立意义的单词（符号），并输出与其等价的Token序列。

有限自动机是描述程序设计语言单词构成的工具，而状态转换图是有限自动机的比较直观的描述方法。我们使用确定的有限状态自动机，简记为DFA。 PL/0的语言的词法分析器将要完成以下工作：

（1）跳过分隔符（如空格，回车，制表符）； （2）识别诸如begin，end，if，while等保留字；

（3）识别非保留字的一般标识符，此标识符值（字符序列）赋给全局量id，而全局量sym赋值为SYM_IDENTIFIER。

（4）识别数字序列，当前值赋给全局量NUM，sym则置为SYM_NUMBER； （5）识别:=，<=，>

编译原理实验报告

实验名称：编写词法分析程序 实验类型：设计性实验 指导教师：***** 专业班级：软件工程1401 姓 名：**** 学 号：********** 实验地点：东六E座301 实验成绩：_________________

日期： 2016 年 5 月

日

8

实验一 编写词法分析程序

一、实验目的

1. 通过设计、调试词法分析程序，掌握词法分析程序的设计工具（有穷自

动机），进一步理解自动机理论

2. 掌握正则文法和正则表达式转换成有穷自动机的方法及有穷自动机实现

的方法

3. 确定词法分析程序的输出形式及标识符与关键字的区分方法 4. 加深对理论知识的理解 二、实验设计 1. 设计原理：

对源程序代码从头到尾扫描，将符合词法语言规则的单词输出，包括：标识符、保留字、无符号整数、分界符、运算符、注释分离；判断程序的词法是否正确

TEST语言的词法规则如下：

1）、标识符：字母打头，后接任意字母或数字。

2）、保留字：标识符的子集，包括：if,else,for,while,do, in

编译原理_第二章 词法分析(1)

第二章 词法分析

第二章

词法分析

主要内容: 主要内容: 词法分析过程涉及的几个问题 模式的形式化描述模式的形式化描述-正规式与正规集 记号的识别记号的识别-有限自动机 从正规式到词法分析器 词法分析器生成器简介

2010-7-22

编译原理

编译原理_第二章 词法分析(1)

第二章 词法分析

一,词法分析过程涉及的几个问题词法分析是编译过程中的第一个阶段. 词法分析是编译过程中的第一个阶段. 执行词法分析的程序称为词法分析程序, 执行词法分析的程序称为词法分析程序,也称 为词法分析器或扫描器. 为词法分析器或扫描器. 任务是 任务是:从左至右逐个字符地对源程序进行扫 产生一个个单词符号, 描,产生一个个单词符号,把字符串形式的源 程序改造成为单词符号串形式的中间程序. 程序改造成为单词符号串形式的中间程序. 功能是输入源程序 输出单词符号, 是输入源程序, 功能是输入源程序,输出单词符号,并检查词 法错误. 法错误.2010-7-22 编译原理 2

编译原理_第二章 词法分析(1)

第二章 词法分析

1,词法分析器的三种工作方式: ,词法分析器的三种工作方式:

词法分析器作为主程序; 词法分析器作为主程序; 词法分析器作为子

 

编译原理

实      验      报      告  

课程名称  实验项目名称  

学号  姓名  

编译原理实验  词法分析器  XXXXXXXXXX  XXX  计算机  

科学与技术学院  

班级  专业  

XXXXXX  计算机  科学与技术  XXX  

学生所在学院  指导教师  

实验室名称地点    

                                              

编译原理_第二章 词法分析(1)

第二章 词法分析

第二章

词法分析

主要内容: 主要内容: 词法分析过程涉及的几个问题 模式的形式化描述模式的形式化描述-正规式与正规集 记号的识别记号的识别-有限自动机 从正规式到词法分析器 词法分析器生成器简介

2010-7-22

编译原理

编译原理_第二章 词法分析(1)

第二章 词法分析

一,词法分析过程涉及的几个问题词法分析是编译过程中的第一个阶段. 词法分析是编译过程中的第一个阶段. 执行词法分析的程序称为词法分析程序, 执行词法分析的程序称为词法分析程序,也称 为词法分析器或扫描器. 为词法分析器或扫描器. 任务是 任务是:从左至右逐个字符地对源程序进行扫 产生一个个单词符号, 描,产生一个个单词符号,把字符串形式的源 程序改造成为单词符号串形式的中间程序. 程序改造成为单词符号串形式的中间程序. 功能是输入源程序 输出单词符号, 是输入源程序, 功能是输入源程序,输出单词符号,并检查词 法错误. 法错误.2010-7-22 编译原理 2

编译原理_第二章 词法分析(1)

第二章 词法分析

1,词法分析器的三种工作方式: ,词法分析器的三种工作方式:

词法分析器作为主程序; 词法分析器作为主程序; 词法分析器作为子