分享程序员开发的那些事...
更新时间：2022-09-29 21:12:15
生活中总会和数据打交道，数据一般分为结构化数据（具有自动固定格式或有限长度数据）和非结构化数据，非结构化数据又称全文数据。
全文索引的扫描大致分为索引的创建和搜索索引两个过程。
索引创建：将现实世界的所有结构化数据和非结构化数据提取信息，建立索引的过程。
索引搜索：就是得到用户的查询请求，搜索创建的索引，返回结果的过程。
创建索引具体过程：
1、 首先创建需要索引的文档
2、 将源文档传给分词词组（tokenizer）。分词词组会将文档分成一个一个的单独单词，去掉标点，去掉停词（的，这等）
3、 将的得到的词元（token）传给语言处理组件（linguistic processor）。它主要进行单词变为小写，复数改为单数（cars->car）,过去式转给原始等。
4、 将得到的词（term）传给索引组件（indexer）。它进行创建一个字典，并按字母排序。
索引搜索具体过程：
1、 用户输入查询语句
2、 对查询语句进行语法分析，语言处理
3、 搜索索引，得到合法树的文档
4、 根据得到的文档和查询语句的相关性，进行排序
Sphinx是SQL phrase index（查询词组索引）的缩写，sphinx是一个基于SQL的全文检索引擎。Coreseek是支持中文的全文检索引擎。
用处：当数据的量增大对搜索有更高要求时；当用户放映搜索慢时；当需要设计千万级亿级别的架构时
Sphinx优点：检索速度快，对于2-4G数据只要0.1秒，提供分布式搜索，可以为mysql提供检索，支持多个检索字段
缺点：必须有主键，主键为整形，不负责数据存储，配置不灵活
Sphinx全文索引工作在php和mysql之间，完成数据的检索。
Wget http://www.sphinxsearch.com/downloads/sphinx-0.9.9.tar.gz
Tar zxvf sphinx-0.9.9.tar.gz
Cd sphinx-0.9.9
./configure –prefix=/usr/local/sphinx –with-mysql=/usr/local/mysql
Make && make install
这时在sphinx/bin目录下会有三个命令。Indexer：创建索引；seachd：启动进程；seach：搜索命令。
我们创建一个主键为整形的表，添加数据。
安装完毕会在sphinx/etc目录下生成一个sphinx.conf.disk的示例配置，修改即可。这个配置文件包括朱数据源文件，增量数据文件，主索引，增量索引，所引器和服务进程组成的。
1、主数据源是源数据，后期添加数据为增量数据源
Source src1改为source main作为主数据源，然后配置数据库信息
指定socket位置
设置mysql字符集，关闭缓存
指定数据sql语句
注释掉这些默认的信息
更改查询的数据库
注释主数据索引
指定字符集
注释增量索引。
：494，525s/^/#/g //批量注释分布式索引
索引器设置内存，默认32MB
服务器进程设置端口，默认即可
/usr/local/sphinx/bin/bin/indexer –c /usr/local/sphinx/etc/sphinx.conf –all
-c 指定配置文件，--all对所有索引重新编译
Cp /usr/local/mysql/lib/mysql/libmysqlclient.so.16 /usr/lib
./search linux //测试
新插入数据后直接搜索还是搜不到，只有重新索引后才可。
insert into saisai values(5,”spider”,”斯百德”); //插入中文，测试中文索引
测试不通过
Sphinx默认是不支持中文的，我们需要引入coreseek进行中文索引，因为它包含了mmseg中文分词组件。
Wget http://www.coreseek.cn/uploads/csft/4.0/coreseek-4.1-beta.tar.gz
Tar zxvf coreseek-3.2.14.tar.gz
解压后，分别是sphinx文件csft和中文字符文件mmseg，说明文件和链接文件
Cd coreseek-3.2.14/mmseg //先安装中文分词，然后整合进去
./configure –prefix=/usr/local/mmseg
会报错：config.status: error: cannot find input file: src/Makefile.in
automake //执行automake，自动配置环境
接下来sphinx和mmseg结合
Cd coreseek-3.2.14/csft-3.2.14/
./configure --prefix=/usr/local/coreseek --with-mysql=/usr/local/mysql --with-mmseg-includes=/usr/local/mmseg/include/mmseg/ --with-mmseg-libs=/usr/local/mmseg/lib/
最后：Make && make install
Cp /usr/local/csft/etc/sphinx.conf.disk /usr/local/csft/ect/csft.conf
与sphinx其他都一样，只要在main主数据文件“#charset_type=sbcs”
后增加“charset_type=zh_cn.utf-8”和“charset_dictpath=/usr/local/mmseg/etc”指定字符集和mmseg安装目录即可
然后重新刷新索引进行测试即可，还可以看到他还识别词组
对于英文字符间有空格比较直观，而中文却不行。并且中文拥有一些容易歧义的语句，更是增加了难度。
分词的算法：
1、 基于字符串匹配的分词方法：它是基于词典的分词方法。有正向，逆向和双向的顺序，又有最大，最小，逐词和***。
2、 基于理解的分词方法：人机模拟，目前测试阶段
3、 基于统计的分词方法：根据概率来的
Sphinx集成到php需要两种方式：
1. sphinx php模块
2. sphinxapi类
到/csf-3.12.12/api下可以看到sphinxapi.php模块
要想在php程序中开启sphinx必须启动sphinx服务，到/usr/local/coreseek/bin下有searchd命令，可以控制sphinx。
参数：-c 指定配置文件，--stop停止服务，--pidfile指定pid文件，-p指定端口
Wget http://pec1.php.net/get/sphinx-1.1.0.tgz
Tar zxvf sphin-1.1.0.tgz
Cd sphin-1.1.0
/usr/local/php/bin/phpize //加载模块
./configure –with-php-config=/usr/local/php/bin/php-config //报错
我们先安装cd core-3.2.14/csf-3.214/api/libclient
./configure
Make && make install
然后cd sphinx-1.1.0
./configure –with-php-config=/usr/local/php/bin/php-config
Make && make install
cd /usr/local/php5/lib/php/extensions/no-debug-zts-20090626/
Vi /etc/php.ini //加载sphinx.so模块
/usr/local/apache2/bin/apachectl restart //重启apache
192.168.211.128/info.php //看到sphinx模块
Cp coreseek-3.2.14/csf-3.2.14/api/sphinxapi.php /usr/local/apache2/htdocs/include/sphinxapi.php //加载类
Yum install samba*
配置samba
复制home的选项，新建一个web的目录，重启服务
创建一个smb用户
开始- 》运行-》\\192.168.211.128\web
创建磁盘映射，计算机->映射网络驱动器
确定即可创立一个映射磁盘
插入数据拒绝
我们知道apache使用apache用户，我们***让映射磁盘也使用apache用户，这样可以保证windows下创建的文件可以直接访问。
Net usr /delete * //删除磁盘映射
创建新的用户，我们使用新的apache用户登录
创建文件可以看到是apache用户
这样就实现了windows和linux的同步。
传一个数据过来，建立一个新的sphinx客户端，连接到9312端口，any和all两种，any这里选择是任意的，all是指只包含，通过query搜索关键词，*任意索引，至此得到文档id。
