NLP文本相似度之LCS

基础

LCS（Longest Common Subsequence）通常指的是最长公共子序列，区别最长公共字串（Longest Common Substring）。我们先从子序列的定义理解：

一个序列S任意删除若干个字符得到新的序列T，则T叫做S的子序列。

子序列和子串的一个很大的不同点是，子序列不要求连接，而子串要求连接。

两个序列X和Y的公共子序列中，长度最长的那个，定义为X和Y的最长公共子序列，例如：

字符串12455与245576的最长公共子序列为2455；
字符串acdfg与adfc的最长公共子序列为adf

应用

LCS通常可以用来描述两段文字之间的相似度。例如：在辨别抄袭中，对一段文字进行修改后，计算改动前后文字的最长公共子序列，将除此子序列外的部分提取出来，就可以判断文字修改的部分了。

求解

对于求解字符串X，Y的最长公共子序列问题，最容易想到的应该是暴力穷举法。如果假定X，Y的长度分别为m、n，则X共有pow(2,m)个不同的子序列，Y有pow(2,n)个不同的子序列，对X的每一个子序列，检查它是否也是Y的子序列，从而确定它是否为X和Y的公共子序列，并且在检查过程中选出最长的公共子序列。穷举法带来的时间复杂度为O(2m∗2n)O(2^m*2^n)O(2m∗2n)
如此高的时间复杂度显然不可用，比较理想的求解方式是动态规划。动态规划的两个关键步骤：

状态的定义；
状态转移方程的定义。

我们定义c(i,j)的值为序列X的前i个字符和序列Y的前j个字符的最长公共子序列长度。对于任意i,j ,其状态转移方程如下：

程序实现

def LCS(str1,str2):dp = [[0 for i in range(len(str1)+2)] for j in range(len(str2)+2)]for i in range(len(str1)-1,-1,-1): # 倒序，简化边界条件判断for j in range(len(str2)-1,-1,-1):if str1[i] ==str2[j]:dp[i][j] =dp[i+1][j+1]+1else:dp[i][j] =max(dp[i+1][j],dp[i][j+1])return dp[0][0]

写在最后

不积硅步，无以至千里。工作-生活-学习，过去的每天都忙忙碌碌，很少花时间去整理自己所学。年初这场裸辞后，我的生活突然慢了下来，固然还在为下一份工作奔波，但找工作之余，学点感兴趣的东西，记录下每一次学习的收获，也算充实。这段时间焦虑、自我怀疑、懊悔…这些负面情绪纷纷扰扰，但是我依旧咬牙前行。越努力越幸运，与君共勉。