anbmcmdn 上下文无关文法_词法分析 | 上下文无关文法和推导

上下文无关文法是描述程序语言语法的强有力的数学工具。

乔姆斯基文法体系

3型文法：正则文法：词法结构

2型文法：上下文无关文法：语法结构

1型文法：上下文有关文法

0型文法：任意文法

每一个外部文法（大圈）都比内部文法（小圈）表达能力强。

举个自然语言处理的例子

自然语言中的句子的典型结构
- 主语谓语宾语
- 名词动词名词
例子：
- 名词：{羊，老虎，草，水}
- 动词：{吃，喝}
句子：
- 羊吃草
- 羊喝水
- 老虎吃老虎
- 草吃老虎
- ......

对这个例子，我们进行形式化分析：

（S 表示句子， -> 表示推出， N 表示名词， V 表示动词）

S -> N V N
N -> s(sheep)| t(tiger)| g(grass)| w(water)
V -> e(eat)| d(drink)

我们将其中的大写符号叫做非终结符：{S, N, V}

将小写的符号（名词+谓词）叫做终结符：{s, t, g, w, e, d}

开始符号是：S

上下文无关文法

上下文无关文法 G 是一个四元组：

G = (T, N, P, S)

其中 T 是终结符集合
N 是非终结符集合
P 是一组产生式规则
- 每条规则的形式： X -> β1 β2 ... βn, n >= 0
  - 其中 X ∈ N, βi ∈（T ∪ N）
S 是唯一的开始符号（非终结符）
- S ∈ N

对于之前给出的上下文无关文法的例子

S -> N V N
N -> s| t| g| w
V -> e| d

G = {N, T, P, S}

非终结符号：N = {S, N, V}

终结符号： T = {s, t, g, w, e, d}

开始符号：S

产生式规则集合：

{ S -> N V N,

N -> s,

N -> t,

N -> g,

N -> w,

V -> e,

V -> d}

在给一个上下文无关文法的例子

E -> num| id| E + E| E * E

G = {N, T, P, S}

非终结符： N = {E}

终结符： T = {num, id, +, *}

开始符号：E

产生式规则集合：

{ E -> num

E -> id

E -> E + E

E -> E * E }

也可以将上述集合中的四条语句相互连接起来，组合成如题所示的用或表示的一条语句。

推导

给定文法 G，从 G 的开始符号 S 开始，用产生式的右部替换左侧的非终结符
此过程不断重复，直到不出现非终结符为止
最终的串称为句子

举个例子，如下面的文法 G

S -> N V N
N -> s| t| g| w
V -> e| d

首先，从开始符号 S 开始进行替换。 S -> N V N

此中还有三个非终结符，对其进行循环，替换 V，得到 N d N ;

接着，替换第三个 N 为 g , 得到 N d g ；

最后，替换仅剩下的最后一个非终结符 N 为 t，得到 t d g。

对于上面的三个终结节点 N V N 的选取先后顺序可以自行调整，没有严格的规定。

最左推导和最右推导

最左推导：每次总是选择最左侧的符号进行替换。
- 即对于上例中的 N V N ，首先替换最左边的 N，再替换之后最左侧的非终结符 V，最后替换最有一个非终结符 N。
最右推导：每次总是选择最右侧的符号进行替换。

语法分析

给定文法 G 和句子 S，语法分析要回答的问题：是否存在对句子 S 的推导？

若仍然选择上面的文法 G，当 S = t d g 时，我们能够实现 S 通过若干步的推导得到 t d g。所以回答是。

若 S = t d d，则不能实现该推导，回答否。

语法分析器的任务

语法分析器从记号流中获取句子 S ，再接受使用上下文无关文法 G 描述的语言的语言规则，回答在 G 中是否存在对 S 的推导。是或者否。并给程序员反馈精确的出错信息。

原文链接：

编译原理 - 网易云课堂