managed-schema 配置文件中指定了所有的fields及对应的分词器设置

对应的配置文件如下

Solr 中一个典型的分词器配置如下
先配置一个 field，如下

Field 对应的分词器，需要配置一个analyzer（一个fieldType下可以配置多个analyzer）

分析器（analyzer）是包括两个部分：分词器和过滤器。分词器顾名思意就是将句子分词单个的词，过滤器就是对分词的结果进行筛选，例如中文中将“的”“呀”这些对句子主体意思影响不大的词删除。英语中类似的就是"is"，"a"等等。通常在索引和分词两端应该采用同样的分词器。solr自带了一些分词器，如果你需要使用自己公司的分词器，那么就需要修改solr模式（Solr schema）。
schema.xml 文件允许两种方式修改文本被分析的方式，通常只有field类型为 solr.TextField 的field的内容允许定制分析器。

一个 analyzer 下指定一个TokenizerFactory ，后面跟一系列的TokenFilterFactories（它们将按照所列的顺序发生作用），Factories被用来创建分词器和分词过滤器，它们用于对分词器和分词过滤器的准备配置

需要说明的一点是，Any Analyzer, TokenizerFactory, or TokenFilterFactory 应该用带包名的全类名进行指定，请确保它们位于Solr的classpath 路径下。对于 org.apache.solr.analysis.* 包下的类，仅仅通过solr.*就可以进行指定。

TokenizerFactories

Solr提供了下列TokenizerFactories(Tokenizers and TokenFilters)
1. solr.KeywordTokenizerFactory
不管什么内容，整句当成一个关键字
例如: "http://example.com/I-am+example?Text=-Hello" ==> "http://example.com/I-am+example?Text=-Hello"

2. solr.LetterTokenizerFactory
根据字母来分词，抛弃非字母的部分
例如："I can't" ==> "I", "can", "t"

3. solr.WhitespaceTokenizerFactory
根据空格来分词
例如："I do" ==> "I", "do"

4. solr.LowerCaseTokenizerFactory
根据字母分词，并将所有字母转换成小写，抛弃非字母的部分
例如："I can't" ==> "i", "can", "t"

5. solr.StandardTokenizerFactory
分词举例：  "I.B.M. cat's can't" ==> 
ACRONYM: "I.B.M.", APOSTROPHE:"cat's", APOSTROPHE:"can't"
说明：该分词器，会自动地给每个分词添加type，以便接下来的对type敏感的过滤器进行处理，目前仅仅只有StandardFilter对Token的类型是敏感的。

TokenFilterFactories

1. solr.StopFilterFactory
一些无用词过滤（例如： a, an, and, as, at, etc.），详细的在lang/stopwords_en.txt这个文件中有定义

2. solr.LowerCaseFilterFactory
大小写的转换的过滤器，会将所有的大小全部转换成小写单词

3. solr.EnglishPossessiveFilterFactory
估计是做一些单词的语义转换，例如，run可以对应到关联词 running等等

4. solr.KeywordMarkerFilterFactory
估计是做一些敏感词过滤之类的吧，敏感词的配置在protwords.txt这个文件中定义

参考：http://blog.csdn.net/dongnan591172113/article/details/23459637

分词示例：

通过solr api添加field和指定分词器（参考 schema api）
curl -X POST -H 'Content-type:application/json' --data-binary '{
    "add-field-type" : {
        "name":"myNewTxtField",
        "class":"solr.TextField",
        "positionIncrementGap":"100",
        "analyzer" : {
            "charFilters":[{
                "class":"solr.PatternReplaceCharFilterFactory",
                "replacement":"$1$1",
                "pattern":"([a-zA-Z])\\\\1+" 
            }],
            "tokenizer":{
                "class":"solr.WhitespaceTokenizerFactory" 
            },
            "filters":[{
                "class":"solr.WordDelimiterFilterFactory",
                "preserveOriginal":"0" 
            }]
        }
    }
}' http://localhost:8983/solr/gettingstarted/schema