标题：词法分析器

本人最近在学习编译原理，刚刚学到词法分析器，心想着挺好玩，就想着自己写一个，奈何一没有系统的学过c语言，只是粗略的看过一遍K&R的c语言书，所以水平尚浅，代码有许多冗长之处，二是刚学这一块，有些概念还不太清楚，本着练习c语言的目的将词法分析器写完。大家借鉴借鉴就好，如果有需要的小伙伴可自取自行修改。我看的编译原理是鲁斌的一本编译原理与实践（不建议小伙伴看，这本书代码很不全，而且有错误，但是本校还没发书，所以只好用这本），编写的是L语言----一种类Pascal语言。

废话不多说，上正题：
词法分析器，又称为扫描器，功能是输入源程序，进行词法分析，输出单词符号。

对于一个词法分析器来说，应该执行的功能为：
1：对源程序进行预处理工作，包括滤掉源程序中的无用程序，如注释，空格，换行，等不影响程序语法，语义的结构。（至少可以滤掉空格，其他可自行添加）
2：对源程序出现的非法字符进行检查
3：可建立符号表，用于记录源程序中的标识符和常数的信息，包括名称，各种属性等。

词法分析器主要依据语法规则进行工作，本篇用到的所有词法皆在L_Word.txt文件里，下面以图片形式给出。
描述词法分析器规则的有效工具主要是正规式和有限自动机（本人还没学到这，但写词法分析器也没用到）

实现的功能：
能够识别关键字，标识符，整数，浮点数，指数，一些运算符和界符。
能够对输入的源代码进行分析，输出各种标识符，及其他们的种别编码，及其在符号表中的地址（本篇输出的都是零，也就是word.addr，没有实现，小伙伴可自行实现）
注：
1：没有实现过滤注释的功能。
2：没有实现符号表
3：没有实现字符类型，布尔类型

另外注明一点：宏定义#define MAXWORD 100 处，如果将MAXWORD定义的小了，可能经词法分析器输出的要比源程序的词少，具体原因没有找（懒）

各种文件如下：

L_Word.txt文件如下：

代码部分

代码分为三部分
第一部分为头文件
L_h文件，内有要用到的库函数及宏

#pragma once
#include <stdio.h>
#include <ctype.h>
#include <string.h>#define MAXWORD 100    //定义最长的标识符不可以超过100/*token结构，词法分析器识别出的信息用此结构标识*/
typedef struct WordToken {int code;     //单词种别编码，L语言编码在L_Word.txt文件中int addr;     //单词在符号表中登记项的指针，仅用于标识符和常数，其他情况下是零
}WT;/*L语言关键字*/
extern char Keywordtab[27][10];void sort(char ch[]);int reserve(char str[]);

代码所用关键字为Key.cpp，内含关键字和三种运算符and or not

#pragma once
char Keywordtab[27][10] = { "begin","end", "integer", "char", "bool","real","input", "output",
"program","read","write","for", "to", "while", "do", "repeat","until", "if", "then", "else",
"true","false","var","const","and","or","not" };

主要代码文件为sort.cpp

#pragma once
#include "L.h"/*用来识别不同类型单词符号*/
void sort(char ch[]) {int reserve(char str[]);int p = 0;while (ch[p] != '\0') {while (ch[p] == ' ')p++;int i = 0;char str[MAXWORD] = {};WT word;word.addr = 0;if (isalpha(ch[p])) {      //如果首字符是字母WT word;word.addr = 0;do {str[i++] = ch[p++];} while (isalpha(ch[p]) || isdigit(ch[p]));str[i] = '\0';word.code = reserve(str);    //是-1没找到关键字if (word.code == -1)word.code = 39;printf("%s\t%d\t%d\n", str, word.code, word.addr);}else if (isdigit(ch[p])) {word.addr = 0;do {str[i++] = ch[p++];} while (isdigit(ch[p]));   //出循环时，ch[p]已不是数字if (ch[p] == '.') {          //判断如12.7型的浮点数str[i] = ch[p];i++, p++;while (isdigit(ch[p]))str[i++] = ch[p++];str[i] = '\0';word.code = 41;printf("%s\t%d\t%d\n", str, word.code, word.addr);}else if (ch[p] == 'e') {str[i] = ch[p];i++, p++;if (ch[p] == '-') {           //判断例如12e-7型的指数str[i] = ch[p];i++, p++;while (isdigit(ch[p]))str[i++] = ch[p++];str[p] = '\0';word.code = 41;printf("%s\t%d\t%d\n", str, word.code, word.addr);}else                         //判断例如2e3型的指数{while (isdigit(ch[p]))str[i++] = ch[p++];str[i] = '\0';word.code = 41;printf("%s\t%d\t%d\n", str, word.code, word.addr);}}else                             //判断例如148型的整数{str[i] = '\0';word.code = 40;printf("%s\t%d\t%d\n", str, word.code, word.addr);}}/*有争议的字符*/else if (ch[p] == '/'){if (ch[p + 1] == '*') {str[0] = ch[p];str[1] = ch[p+1];str[2] = '\0';word.code = 53;printf("%s\t%d\t%d\n", str, word.code, word.addr);p = p + 2;}else{str[0] = ch[p];str[1] = '\0';word.code = 28;printf("%s\t%d\t%d\n", str, word.code, word.addr);p++;}}else if (ch[p] == '*'){if (ch[p + 1] == '/') {str[0] = ch[p];str[1] = ch[p+1];str[2] = '\0';word.code = 54;printf("%s\t%d\t%d\n", str, word.code, word.addr);p = p + 2;}else{str[0] = ch[p];str[1] = '\0';word.code = 34;printf("%s\t%d\t%d\n", str, word.code, word.addr);p++;}}else if (ch[p] == '<'){if (ch[p + 1] == '=') {str[0] = ch[p];str[1] = ch[p+1];str[2] = '\0';word.code = 35;printf("%s\t%d\t%d\n", str, word.code, word.addr);p = p + 2;}else if (ch[p + 1] == '>'){str[0] = ch[p];str[1] = ch[p+1];str[2] = '\0';word.code = 37;printf("%s\t%d\t%d\n", str, word.code, word.addr);p = p + 2;}else{str[0] = ch[p];str[1] = '\0';word.code = 30;printf("%s\t%d\t%d\n", str, word.code, word.addr);p++;}}else if (ch[p] == '>'){if (ch[p + 1] == '=') {str[0] = ch[p];str[1] = ch[p+1];str[2] = '\0';word.code = 36;printf("%s\t%d\t%d\n", str, word.code, word.addr);p = p + 2;}else{str[0] = ch[p];str[1] = '\0';word.code = 31;printf("%s\t%d\t%d\n", str, word.code, word.addr);p++;}}else if (ch[p] == ':'){if (ch[p + 1] == '=') {str[0] = ch[p];str[1] = ch[p+1];str[2] = '\0';word.code = 38;printf("%s\t%d\t%d\n", str, word.code, word.addr);p = p + 2;}else{word.code = 46;printf("%c\t%d\t%d\n", ch[p], word.code, word.addr);p++;}}/*无争议字符*/else {switch (ch[p]){case '=': word.code = 29; str[0] = ch[p]; str[1] = '\0'; break;case '-': word.code = 33; str[0] = ch[p]; str[1] = '\0'; break;case '+': word.code = 32; str[0] = ch[p]; str[1] = '\0'; break;case '(': word.code = 44; str[0] = ch[p]; str[1] = '\0'; break;case ')': word.code = 45; str[0] = ch[p]; str[1] = '\0'; break;case '.': word.code = 47; str[0] = ch[p]; str[1] = '\0'; break;case ';': word.code = 48; str[0] = ch[p]; str[1] = '\0'; break;case ',': word.code = 49; str[0] = ch[p]; str[1] = '\0'; break;case '_': word.code = 50; str[0] = ch[p]; str[1] = '\0'; break;case '\'': word.code = 51; str[0] = ch[p]; str[1] = '\0'; break;case '\"': word.code = 52; str[0] = ch[p]; str[1] = '\0'; break;}printf("%s\t%d\t%d\n", str, word.code, word.addr);p++;}}
}
int reserve(char str[])
{for (int i = 0; i<27; i++){if (strcmp(str, Keywordtab[i]) == 0){return i + 1; //关键字的种别码为i+1 的值 }}return -1;                           //没有找到关键字
}

主函数如下：

#pragma once
#include "L.h"
int main()
{char ch[] = "var x , y , z : real;  x := y + z * 60;";printf("经词法分析器分析结果后如下：\n");sort(ch);
}

结果如下：

上述代码在vs2015上运行
本人写博客目的只为加深对词法分析器的理解，代码或有错误，感兴趣的小伙伴可自行下载。

转载请注明出处：https://blog.csdn.net/m0_46311920/article/details/114664047

词法分析器的构成（含源代码）相关推荐

DFA的构造C语言,DFA的编程实现含源代码实验报告剖析
<DFA的编程实现含源代码实验报告剖析>由会员分享,可在线阅读,更多相关<DFA的编程实现含源代码实验报告剖析(20页珍藏版)>请在人人文库网上搜索. 1.实验一(一)程序设计 ...
C语言会场安排问题贪心算法,贪心算法解决会场安排问题多处最优服务次序问题(含源代码).doc...
贪心算法解决会场安排问题多处最优服务次序问题(含源代码) 西安年月日-,n},其中每个活动都要求使用同一资源,如演讲会场等,而在同一时间内只有一个活动能使用这一资源.每个活动i都有一个要求使用该资源 ...
基于python学生考勤_学生考勤系统(含源代码).pdf
网页资讯视频图片知道文库贴吧采购地图 | 百度首页登录加入VIP 意见反馈下载客户端 7/7/2019 C++学生考勤系统(含源代码) - 百度文库计算机应用技术系课程设计报告 ...
学生成绩管理系统html代码,学生成绩管理系统(含源代码)30.doc
学生成绩管理系统(含源代码)30 西安邮电学院高级语言课程设计报告题目: 学生成绩管理系统系部名称 : 电子信息与工程系专业名称 : 电子科学与技术班级 : 科技0701 ...
视频教程-10分钟搞定 php+H5手机网页微信支付在线视频教程（含源代码）-微信开发
10分钟搞定 php+H5手机网页微信支付在线视频教程(含源代码) 04年进入计算机行业.拥有6年net和php项目开发经验,8年java项目开发经验. 现前端全栈工程师,主攻产品设计,微信开发等. ...
家族查询系统c语言源程序,家谱管理系统(含源代码).docx
家谱管理系统(含源代码) 家谱管理系统--C语言(数据结构)目的和要求:树形结构是一种非常重要的非线性结构,它用于描述数据元素之间的层次关系,人类家谱是树形结构的典型体现,通过此项训练让学生掌握树形结 ...
【归档】爬取马蜂窝景点信息（含源代码）
爬取马蜂窝景点信息(含源代码) 爬取热门目的地信息 MafengwoCrawler()._get_mdd() 爬取目的地内景点信息 MafengwoCrawler().crawler_mdd() 爬取 ...
大学生考勤系统C语言代码,C++学生考勤系统(含源代码)
<C++学生考勤系统(含源代码)>由会员分享,可在线阅读,更多相关<C++学生考勤系统(含源代码)(26页珍藏版)>请在人人文库网上搜索. 1.C+吾言程序设计课程设计报告书题 ...
视频教程-微信小程序商城-界面设计实战教学(含源代码)-微信开发
微信小程序商城-界面设计实战教学(含源代码) 04年进入计算机行业.拥有6年net和php项目开发经验,8年java项目开发经验. 现前端全栈工程师,主攻产品设计,微信开发等. 黄菊华 ¥90.00 ...
学生考勤系统设计c语言源程序文件的后缀是,C++学生考勤系统(含源代码).doc
C++学生考勤系统(含源代码).doc /C语言程序设计课程设计报告书题目班级学号姓名指导教师周期以下由验收老师填写成绩年月日一.课程设计的目的与要求 (一)课程设计目的与任务C作为 ...

词法分析器的构成（含源代码）

标题：词法分析器

各种文件如下：

代码部分

转载请注明出处：https://blog.csdn.net/m0_46311920/article/details/114664047

词法分析器的构成（含源代码）相关推荐

最新文章

热门文章