全文索引技术是目前搜索引擎的关键技术。
试想在1M大小的文件中搜索一个词,可能需要几秒,在100M的文件中可能需要几十秒,如果在更大的文件中搜索那么就需要更大的系统开销,这样的开销是不现实的。
所以在这样的矛盾下出现了全文索引技术,有时候有人叫倒排文档技术。
原理是先定义一个词库,然后在文章中查找每个词条(term)出现的频率和位置,把这样的频率和位置信息按照词库的顺序归纳,这样就相当于对文件建立了一个以词库为目录的索引,这样查找某个词的时候就能很快的定位到该词出现的位置。
问题在处理英文文档的时候显然这样的方式是非常好的,因为英文自然的被空格分成若干词,只要我们有足够大的词汇库就能很好的处理。但是亚洲文字因为没有空格作为断词标志,所以就很难判断一个词,而且人们使用的词汇在不断的变化,而维护一个可扩展的词汇库的成本是很高的,所以问题出现了。
解决出现这样的问题使“分词”成为全文索引的关键技术。目前有两中基本的方法:
二元法 它把所有有可能的每两两汉字的组合看为一个词组,这样就没有维护词库的开销。
词库法 它使使用词库中的词作为切分的标准,这样也出现了词库跟不上词汇发展的问题,除非你维护词库。
实际上现在很多著名的搜索引擎都使用了多种分词的办法,比如“正向最大匹配”+“逆向最大匹配”,基于统计学的新词识别,自动维护词库等技术,但是显然这样的技术还没有作到完美。
目前全文索引技术正走向人工智能化,也是发展的方向。

===============================

一个完整的SQL SERVER数据库全文索引的示例 日期:2009-08-28 14:18
SQL SERVER数据库全文索引的示例,以pubs数据库为例。
首先,介绍利用系统存储过程创建全文索引的具体步骤: 
1) 启动数据库的全文处理功能 (sp_fulltext_database) 
2) 建立全文目录 (sp_fulltext_catalog) 
3) 在全文目录中注册需要全文索引的表 (sp_fulltext_table) 
4) 指出表中需要全文索引的列名 (sp_fulltext_column) 
5) 为表创建全文索引 (sp_fulltext_table) 
6) 填充全文目录 (sp_fulltext_catalog) 
---------********示例********------------- 
以对pubs数据库的title和notes列建立全文索引,之后使用索引查询title列或notes列中包含有datebase 或computer字符串的图书名称: 
在这之前,需要安装Microsoft Search服务,启动SQL server全文搜索服务 
user pubs --打开数据库 
go 
--检查数据库pubs是否支持全文索引,如果不支持 
--则使用sp_fulltext_database 打开该功能 
if(select databaseproperty('pubs','isfulltextenabled'))=0 
execute sp_fulltext_database 'enable' 
--建立全文目录FT_PUBS 
execute sp_fulltext_catalog 'FT_pubs','create' 
--为title表建立全文索引数据元 
execute sp_fulltext_table 'title','create','FT_pubs','UPKCL_titleidind' 
--设置全文索引列名 
execute sp_fulltext_column 'title','title','add' 
execute sp_fulltext_column 'title','notes','add' 
--建立全文索引 
--activate,是激活表的全文检索能力,也就是在全文目录中注册该表 
execute sp_fulltext_table 'title','activate' 
--填充全文索引目录 
execute sp_fulltext_catalog 'FT_pubs','start_full' 
go 
--检查全文目录填充情况 
While fulltextcatalogproperty('FT_pubs','populateStatus')<>0 
begin 
--如果全文目录正处于填充状态,则等待30秒后再检测一次 
waitfor delay '0:0:30' 
end 
--全文目录填充完成后,即可使用全文目录检索 
select title 
form 
where CONTAINS(title,'database') 
or CONTAINS(title,'computer') 
or CONTAINS(notes,'database') 
or CONTAINS(notes,'database') 
 
'--------------以下介绍一下全文操作类的系统存储过程 
过程名称:sp_fulltext_service 
执行权限:serveradmin或系统管理员 
作 用:设置全文搜索属性 
过程名称:sp_fulltext_catalog 
执行权限:db_owner及更高角色成员 
作 用:创建和删除一个全文目录,启动或停止一个全文目录的索引操作 
过程名称:sp_fulltext_database 
执行权限:db_owner角色成员 
作 用:初始化全文索引或删除数据库中所有全文目录 
过程名称:sp_fulltext_table 
执行权限:db_ddladnmin或db_owner角色成员 
作 用:将一个表标识为全文索引表或非全文索引表 
过程名称:sp_fulltext_column 
执行权限:db_ddladnmin角色成员 
作 用:指出一个全文索引表中的那些列假如或退出全文索引
本文转自黄聪博客园博客,原文链接:http://www.cnblogs.com/huangcong/archive/2010/05/07/1729512.html如需转载请自行联系原作者

SQL 2005 全文索引相关推荐

  1. 在SQL 2005中用T-SQL插入中文数据时出现的问号或乱码的解决方案[转]

    在SQL 2005中用T-SQL插入中文数据时出现的问号或乱码的解决方案 病症表现为:主要表现为用T-sql语句插入中文数据时数据库显示全是问号"???"  解决办法: 第一种办法 ...

  2. SQL 2005新增的几个函数之学习

    sqlserver 2005新增函数学习(转载) 原文:SQL 2005新增的几个函数之学习 今天学习了sql server 2005新增的几个函数,分别是row_number(),rank,DENS ...

  3. sql 2005学习笔记1

    sql 2005学习笔记1 最近开始看赵松涛的<SQL 2005数据奥秘>,发现是本十分不错的独特的SQL 2005的书,讲了很多深入的东西,现学习之并每次笔记要点之. 1 SQL 200 ...

  4. SQL 2005完全卸载,重新安装

    1.Stop 所有服务 2.用 Windows Install Clean Up 工具卸载SQL 2005组件 3.用SrvInstw.exe删除所有SQL服务 4.清除注册表 a. 将HKEY_CU ...

  5. SQL 2005 Oct CTP 和VS2005 for CTP安装的情况

    October CTP release of Sql Server 2005 Installation issues and resolution http://weblogs.asp.net/wal ...

  6. SQL 2005启用组件Ad Hoc Distributed Queries

    转载 SQL Server 阻止了对组件 'Ad Hoc Distributed Queries' 的 STATEMENT'OpenRowset/OpenDatasource' 的访问,因为此组件已作 ...

  7. 在已有SQL 2005 Server 群集中添加节点

    在已有SQL 2005 Server 群集中添加节点 在SQL群集中一个节点不可用后,需要重新安装操作系统,然后再进行群集节点恢复工作.其基本操作流程如下: 1. 在正常可用的节点上打开群集管理器,进 ...

  8. SQL 2005清除事务日志

    SQL 2005清除事务日志 DUMP TRANSACTION 数据库名称 WITH  NO_LOG BACKUP LOG 数据库名称 WITH NO_LOG DBCC SHRINKDATABASE( ...

  9. SQL 2005安装问题解决办法

    解决方案' 用户 'sa' 登录失败.该用户与可信 SQL Server 连接无关联 问题一.忘记了登录Microsoft SQL Server 2005 的sa的登录密码 解决方法:先用window ...

最新文章

  1. 【leetcode】132. Palindrome Partitioning II
  2. python安装pymssql
  3. 最新综述:推荐系统的Bias问题和Debias方法
  4. 推荐一款生信分析工具的集大成者
  5. 远端WWW服务支持TRACE请求漏洞修复(linux)
  6. Alpha冲刺报告(8/12)(麻瓜制造者)
  7. day21 java的数字类
  8. TrashFlash卡是什么
  9. python---之np.cumprod np.cumsum 累乘 累加
  10. inno setup安装之前关闭mysql_innosetup安装之前关闭进程
  11. TypeScript笔记(4)—— TypeScript中的类型注解
  12. 计算机考研调剂学校2019有哪些,2019考研调剂:最全的调剂攻略千万别错过!
  13. matlab分析电梯,一种基于Matlab/Simulink的电梯驱动系统建模方法
  14. Sketch 插件开发指南
  15. 游戏逆向_Android读写游戏内容
  16. 在阿里,我们如何管理测试环境?
  17. 【璟丰机电】美国派克Parker产品在FPD中的行业应用案例盘点
  18. 记一次糟糕的驾照学习经历
  19. 消息队列MQ/JMS/Kafka,你都了解吗?
  20. 织梦手机站 html 插件,织梦DEDECMS手机端生成静态页面插件完整版

热门文章

  1. php 跨域web访问权限,php:跨域 Web程序 - 贪吃蛇学院-专业IT技术平台
  2. CentOS 6.5系统安装配置LAMP(Apache+PHP5+MySQL)服务器环境
  3. Java生鲜电商平台-电商支付流程架构实战
  4. 蓝桥杯 历届试题 九宫重排 (bfs+康托展开去重优化)
  5. 解决前后台发送请求或者接口之间发送请求乱码的问题
  6. Python中正反斜杠('/'和'\')的意义
  7. 网络规划设计(项目类业务)
  8. java --replaceAll方法
  9. centos 安装软件
  10. WebDAV方式访问Exchange 2003收件箱程序