antlr4 mysql_Antlr4 入门
一.ANTRL 是什么
ANTLR 是用JAVA写的语言识别工具,它用来声明语言的语法,简称为“元语言”(meta-language)。
ANTLR 语法识别一般分为二个阶段:
1.词法分析阶段 (lexical analysis)
对应的分析程序叫做 lexer ,负责将符号(token)分组成符号类(token class or token type)
2.解析阶段
根据词法,构建出一棵分析树(parse tree)或叫语法树(syntax tree)
ANTLR
的直观印象,就像是在走迷宫,或者说是电路板更准确,最终只有一条最优路可通达开始与结束,中间的各种叉路与开关,就是我们所编写的规则,下面是我编写的一个SQL查询的简单实现,截取一部分图示:
二.主要应用场景
1.定制特定领域语言(DSL)
类似hibernate中的HQL,用DSL来定义要执行操作的高层语法,这种语法接近人可理解的语言,由DSL到计算机语言的翻译则通过ANTLR来做,可在ANTLR的结构语言中定义DSL命令具体要执行何种操作。
2.文本解析
可利用ANTLR解析JSON,HTML,XML,EDIFACT,或自定义的报文格式。解析出来的信息需要做什么处理也可以在结构文件中定义。
3.数学计算 加减乘除,线性方程,几何运算,微积分等等
三.ANTRL 语法
1.结构
/** Optional javadoc style comment*/grammar Name;
options {...}
import ... ;
tokens {...}
channels {...}//lexer only
@actionName {...}
rule1//parser and lexer rules, possibly intermingled
...
ruleN
grammar
声明语法头,类似于java类的定义
grammar SPL;
options
选项,如语言选项,输出选项,回溯选项,记忆选项等等
options { output=AST; language=Java; }
options { tokenVocab=MySqlLexer; }
@actionName
动作(Actions)实际上是用目标语言写成的、嵌入到规则中的代码(以花括号包裹)。它们通常直接操作输入的标号,但是他们也可以用来调用相应的外部代码。属性,到目前为止我的理解还不多,感觉像是C++中类里面的成员。常用属性或动作说明:
@header { package com.zetyun.aiops.antlr.test; }
这个动作很有用,即在运行脚本后,生成的类中自动带上这个包路径,避免了手动加入的麻烦。
@members { int i; public TParser(TokenStream input, int foo) { this(input); i = foo; }}
@after {System.out.println("after matching rule; before finally");}
rule
这是核心,表示规则,以 “:” 开始, “;” 结束, 多规则以 "|" 分隔。
ID : [a-zA-Z0-9|'_']+ ; //数字
STR:'\'' ('\'\'' | ~('\''))* '\'';
WS: [ \t\n\r]+ -> skip ; //系统级规则 ,即忽略换行与空格
sqlStatement
: ddlStatement| dmlStatement |transactionStatement| replicationStatement |preparedStatement| administrationStatement |utilityStatement
;
2.注释
单行、多行、javadoc风格
javadoc风格只能在开头使用
/**
* This grammar is an example illustrating the three kinds
* of comments.*/grammar T;/*a multi-line
comment*/
/** This rule matches a declarator for my language*/decl : ID ;//match a variable name
3.标识符
符号(Token)名大写开头
解析规则(Parser rule)名小写开头,后面可以跟字母、数字、下划线
ID, LPAREN, RIGHT_CURLY //token names
expr, simpleDeclarator, d2, header_file //rule names
四.遍历模式
1、Listener (观察者模式,通过结点监听,触发处理方法)
程序员不需要显示定义遍历语法树的顺序,实现简单
缺点,不能显示控制遍历语法树的顺序
动作代码与文法产生式解耦,利于文法产生式的重用
没有返回值,需要使用map、栈等结构在节点间传值
2、Visitor (访问者模式,主动遍历)
程序员可以显示定义遍历语法树的顺序
不需要与antlr遍历类ParseTreeWalker一起使用,直接对tree操作
动作代码与文法产生式解耦,利于文法产生式的重用
visitor方法可以直接返回值,返回值的类型必须一致,不需要使用map这种节点间传值方式,效率高
五.示例
计算器之四则运算(官方例子照抄)
1、新建g4文件,如Math.g4
grammar Math;
@header{package com.zetyun.aiops.core.math;}
prog : stat+;
stat: expr NEWLINE # printExpr| ID '='expr NEWLINE # assign|NEWLINE # blank
;
expr: expr op=('*'|'/') expr # MulDiv| expr op=('+'|'-') expr # AddSub| INT # int
|ID # id| '(' expr ')'# parens
;
MUL :'*' ; //assigns token name to '*' used above in grammar
DIV : '/';
ADD :'+';
SUB :'-';
ID : [a-zA-Z]+;
INT : [0-9]+;
NEWLINE:'\r'? '\n';
WS : [ \t]+ -> skip;
2、运行Math.g4文件,生成.java文件
如果没有安装eclipse antlr插件的话,根据如下指示操作即可:
help -> Eclipse Marketplace -> 搜索 Antlr -> 选中合适版本,安装即可。
3、编写测试文件,检验语法,验证结果等
packagecom.zetyun.aiops.test;importorg.antlr.v4.runtime.CharStream;importorg.antlr.v4.runtime.CharStreams;importorg.antlr.v4.runtime.CommonTokenStream;importorg.antlr.v4.runtime.tree.ParseTree;importcom.zetyun.aiops.core.math.MathLexer;importcom.zetyun.aiops.core.math.MathParser;public classMath {public static voidmain(String[] args) {
CharStream input= CharStreams.fromString("12*2+12\r\n");
MathLexer lexer=newMathLexer(input);
CommonTokenStream tokens= newCommonTokenStream(lexer);
MathParser parser= newMathParser(tokens);
ParseTree tree= parser.prog(); //parse
MathVisitorTest vt=newMathVisitorTest();
vt.visit(tree);
}
}
4、语法树分析
1) 下载antlr4运行包,这里我选择的版本是 antlr-4.7-complete.jar
2) 新建运行脚本 antlr4.bat 和 grun.bat,放置于任意目录,如 E:/tools/antlr4
antlr4.bat 内容:
java org.antlr.v4.Tool %*
grun.bat 内容:
java org.antlr.v4.gui.TestRig %*
注:antlr依赖于java,如果java环境变量没有设置,请先行设置好。
3) 设置antlr4的系统环境变量(classpath 和 path)
classpath:
path (.bat所在目录) :
4) 选择要分析的g4文件,运行命令生成相关java文件与token文件
D:\workspace\AntlrTest\test\math> antlr4 Math.g4
5) 编译java文件
D:\workspace\AntlrTest\test\math>javac ./*.java
6) 分析语法树
输入grun命令回车,在命令行输入你要测试的语法,再回车,按Ctrl+z 后回车。
D:\workspace\AntlrTest\test\math>grun Math expr -gui
D:\workspace\AntlrTest\test\math>java org.antlr.v4.gui.TestRig Math expr -gui
(2+3)*5-25/5
^Z
执行完命令后,会出现GUI窗口:
通过语法树,我们可以直观的知道语法是否正确,以便随时调整。
antlr4 mysql_Antlr4 入门相关推荐
- antlr4 mysql_Antlr4解析MySQL语法使用方法
image.png 按照Oracle文件夹里的说明https://github.com/mysql/mysql-workbench/tree/8.0/library/parsers/grammars ...
- 微服务链路追踪SkyWalking第十一课 OAL详解实战
第31讲:OAL 语言,原来定义创造一门新语言如此轻松(上) 在前文介绍 Metrics 实现以及对应的 DIspatcher 实现的时候,会发现有一部分实现类位于 generated-analysi ...
- ANTLR4入门(三):使用mave ANTLR4插件(antlr4-maven-plugin)执行语法解析生成器
在上篇博客<ANTLR4入门(二):图示说明eclipse安装Antlr4IDE插件的过程>,我费半天劲装好了Eclise的AntlrIDE插件,简单的创建一个ANTLR 4 工程,感受了 ...
- Antlr4入门(安装、配置、简单实例)
Antlr4入门(安装.配置.简单实例) 2020.5.28 仅本人初次使用Antlr4的经历分享 目前所知有3种使用Antlr4的方式: 通过命令行使用: 在Eclipse中安装Antlr4插件:( ...
- ANTLR4入门【打造你自己的语法规则】
文章目录 什么是ANTLR4 ANTLR4的特点 ANTLR4的语法规则 语法规则的声明 .g4文件的代码规则 词法规则 语法规则 语法规则中的操作 如何使用ANTLR4 实战 IDEA安装ANTLR ...
- ANTLR4 入门学习(一):下载和测试
目录 零.前提准备 一.ANTLR4下载 二.环境变量的配置 三.基本测试 零.前提准备 安装好 jdk 并配置好环境变量(没有这个还怎么玩(○´・д・)ノ) 一.ANTLR4下载 在ANTLR官网( ...
- Antlr4入门(三)如何编写语法文件
本章我们将会学习词法及语法规则,以及四种抽象的计算机语言模式.因为ANTLR的语法规则跟正则表达式是很类似的,所以还是推荐先阅读下正则表达式的相关内容,这样在编写语法文件时可以事半功倍. 一.四种语言 ...
- ANTLR4入门(二):图示说明eclipse Antlr4IDE插件的安装及语法测试过程
如果你能正常通过Eclipse Market找到antlr4的插件并正常安装,可以忽略本文. 如果不能,那多半是因为网络问题导致安装Antlr4IDE插件时无法下载文件造成的.我就遇到了这个问题,无法 ...
- Antlr4入门(一)-下载安装与Hello示例
下载安装 Install Java (version 1.6 or higher) 下载 cd /usr/local/lib curl -O http://www.antlr4.org/downloa ...
最新文章
- Winform控件缩写
- JMeter基础之一个简单的性能测试
- SAP UI5加载时的library-preload.json文件
- 纪中A组模拟赛总结(2021.7.17)
- [html] 如何实现默认显示git的第一帧图片,当鼠标经过时,播放完整的gif动画
- 关于清空object对象里的属性的两种方法
- java String类 常用函数
- Ubuntu下ADSL配置
- 库存管理 库存管理软件榜单 库存管理软件排名 库存管理提高效率的办法
- 波长间隔与频率间隔换算
- 记录一次搭建家用小型服务器的经历
- excel怎么启用宏_怎么使用Excel制作条形码?操作如此简单
- Google App Engine + JDO + Spring MVC,CRUD示例
- 网络(八)之OSPF协议的原理及配置
- 基于JAVA实现GPG加密解密(Windows+java两种方式)
- es6数组去重(连重复的对象也可以去掉)
- 数据争用(data race) 和竞态条件(race condition)
- 电脑双核CPU具体是什么意思?
- 2022年上海医院三基考试仿真试题(含答案)
- 分子反应动力学有哪些最新发表的毕业论文呢?