javasphinx

❶ 有没有java 开源的简单搜索引擎

被邀请回答这个问题，但是似乎问错人了，问的是开源的搜索引擎，但是很抱歉，我对此领域并不熟悉。

我所知道的搜索引擎方案仅有:

1. Nutch (http://nutch.apache.org/)

2. Datapark search http://www.dataparksearch.org/

以下列表不是一个完整的搜索引擎方案，一般都不包括爬虫，确切的说是IR或者全文检索引擎更为恰当：
1. Zettair http://www.seg.rmit.e.au/zettair/
2. Indri http://www.lemurproject.org/indri/
3. Terrier http://terrier.org/
4. Galago http://www.galagosearch.org/
5. Zebra https://www.indexdata.com/zebra

6. Lucene 及其变种

• Lucene http://lucene.apache.org/

• Solr http://lucene.apache.org/solr/

• Elasticsearch http://www.elasticsearch.org/

7. Sphinx http://sphinxsearch.com/

8. Xiapian http://xiapian.org/

❷ 如何调用Sphinx 和api接口

如何调用Sphinx

按上面配置，第5节点对数据库进行了索引，通过Sphinx自带的search（在bin/release目录）就可以在命令行进行搜索：

（搜索CGArt）
windows上：
search -c d:/sphinx/sphinx.conf CGArt
linux上：
cd /usr/local/sphinx
./bin/search -c sphinx.conf CGArt
运行后，系统提示一堆信息：
....
....
words:
1. 'cgart': 36 documents, 189 hits
这个表示库中有36条记录符合要求，出现CGArt的有189处。应用程序如果想调用Sphinx，可以从两个方面：

一是通过Sphinx官方提供的API接口（接口有Python，Java，php三种版本）

二是通过安装SphinxSE（具体见1.2部分），然后创建一个中介sphinxSE类型的表，再通过执行特定的SQL语句实现。

通过官方API调用Sphinx（以PHP为例）

在sphinx安装目录有一个API目录，里面有三个PHP文件：test.php，test2.php和sphinxapi.php。 sphinxapi.php是sphinx调用接口封装文件，test.php是一个在命令行下执行的查询例子文件，test2.php是一个生成摘要的 例子文件。

在命令下行运行test.php（Linux上没有API目录，需要从源程序包中复制api目录至/usr/local/sphinx）

Windows上：
D:\sphinx\bin\release>c:\php5.2\php.exe -c c:\php5.2\php.ini ..\..\api\test.php -i cgfinal CGartLinux上(php在/usr/local/php目录，sphinx.conf在/usr/local/sphinx目录)：

cd /usr/local/sphinx
/usr/local/php/bin/php api/test.php -i cgfinal CGArtSphinx的API查询接口主要有这些内容(其实对照 一下sphinxapi.php就清楚了)：

//创建Sphinx的客户端接口对象
$cl = new SphinxClient ();

//设置连接Sphinx主机名与端口
$cl->SetServer('localhost',3312);

//可选，为每一个全文检索字段设置权重，主要根据你在sql_query中定义的字段的顺序，Sphinx系统以后会调整，可以按字段名称来设定权重
$cl->SetWeights ( array ( 100, 1 ) );

//设定搜索模式,SPH_MATCH_ALL,SPH_MATCH_ANY,SPH_MATCH_BOOLEAN,SPH_MATCH_EXTENDED,SPH_MATCH_PHRASE
$cl->SetMatchMode(SPH_MATCH_ALL);

//设定过滤条件$attribute是属性名，相当于字段名（用SPH_MATCH_EXTENDED时），$value是值，$exclude是布尔型，
当为true时，相当于$attribute!=$value，默认值是false
$cl->SetFilter($attribute, $values, $exclude);

//设定group by
//根据分组方法，匹配的记录集被分流到不同的组，每个组都记录着组的匹配记录数以及根据当前排序方法本组中的最佳匹配记录。
//最后的结果集包含各组的一个最佳匹配记录，和匹配数量以及分组函数值
//结果集分组可以采用任意一个排序语句，包括文档的属性以及sphinx的下面几个内部属性
//@id--匹配文档ID
//@weight, @rank, @relevance--匹配权重
//@group--group by 函数值
//@count--组内记录数量
//$groupsort的默认排序方法是@group desc，就是按分组函数值大小倒序排列
$cl->SetGroupBy($attribute, $func, $groupsort);

//设定order by的内容，第一个参数是排序方法名，值有
// SPH_SORT_RELEVANCE,SPH_SORT_ATTR_DESC,SPH_SORT_ATTR_ASC,SPH_SORT_TIME_SEGMENTS,SPH_SORT_EXTENDED
//$sortby的值如"HITS desc"
$cl->SetSortMode(SPH_SORT_EXTENDED, $sortby);

//set count-distinct attribute for group-by queries,$distinct为字符串
$cl->SetGroupDistinct ( $distinct );

//相当于mysql的limit $offset,$limit
$cl->SetLimits($start,$limit)

//$q是查询的关键字，$index是索引名称，当等于*时表查询所有索引

❸ 全文检索工具有哪些

1. Lucene

Lucene的开发语言是Java，也是Java家族中最为出名的一个开源搜索引擎，在Java世界中已经是标准的全文检索程序，它提供了完整的查询引擎和索引引擎，没有中文分词引擎，需要自己去实现，因此用Lucene去做一个搜素引擎需要自己去架构.另外它不支持实时搜索，但linkedin和twitter有分别对Lucene改进的实时搜素. 其中Lucene有一个C++移植版本叫CLucene，CLucene因为使用C++编写，所以理论上要比lucene快.
2. Sphinx

Sphinx是一个用C++语言写的开源搜索引擎，也是现在比较主流的搜索引擎之一，在建立索引的事件方面比Lucene快50%，但是索引文件比Lucene要大一倍，因此Sphinx在索引的建立方面是空间换取事件的策略，在检索速度上，和lucene相差不大，但检索精准度方面Lucene要优于Sphinx，另外在加入中文分词引擎难度方面，Lucene要优于Sphinx.其中Sphinx支持实时搜索，使用起来比较简单方便.
3. Xapian

Xapian是一个用C++编写的全文检索程序，它的api和检索原理和lucene在很多方面都很相似，算是填补了lucene在C++中的一个空缺.
4. Nutch

Nutch是一个用java实现的开源的web搜索引擎，包括爬虫crawler，索引引擎，查询引擎. 其中Nutch是基于Lucene的，Lucene为Nutch提供了文本索引和搜索的API.

对于应该使用Lucene还是使用Nutch，应该是如果你不需要抓取数据的话，应该使用Lucene，最常见的应用是：你有数据源，需要为这些数据提供一个搜索页面，在这种情况下，最好的方式是直接从数据库中取出数据，并用Lucene API建立索引.
5. DataparkSearch

DataparkSearch是一个用C语言实现的开源的搜索引擎. 其中网页排序是采用神经网络模型. 其中支持HTTP，HTTPS，FTP，NNTP等下载网页.包括索引引擎，检索引擎和中文分词引擎(这个也是唯一的一个开源的搜索引擎里有中文分词引擎).能个性化定制搜索结果，拥有完整的日志记录.
6. Zettair

Zettair是根据Justin Zobel的研究成果为基础的全文检索实验系统.它是用C语言实现的. 其中Justin Zobel在全文检索领域很有名气，是业界第一个系统提出倒排序索引差分压缩算法的人，倒排列表的压缩大大提高了检索和加载的性能，同时空间膨胀率也缩小到相当优秀的水平. 由于Zettair是源于学术界，代码是由RMIT University的搜索引擎组织写的，因此它的代码简洁精炼，算法高效，是学习倒排索引经典算法的非常好的实例. 其中支持linux，windows，mac os等系统.
7. Indri

Indri是一个用C语言和C++语言写的全文检索引擎系统，是由University of Massachusetts和Carnegie Mellon University合作推出的一个开源项目. 特点是跨平台，API接口支持Java，PHP，C++.
来自网络。

❹ sphinx和solr哪个更适合php站点

## ES 缺点
基于java，会有一些java的常见问题需要注意，比如gc
单纯执行速度上比C写的sphinx慢

## sphinx 优点
纯粹，没有什么花哨的其他功能
C写的，速度快
新版本加了分布式索引、动态更新索引等功能

## 下面列举Es比sphinx优秀的部分
1、部署简单，虽然sphinx部署也挺简单，但是在书写配置的时候，你会发现，sphinx的配置是要写好后，重启sphinx，而Elasticsearch针对某个索引的配置，是可以动态写入的。
2、调试简单，sphinx有命令行工具可以调试，而Elasticsearch使用的是http接口进行调试，不需要专门的API类，几行php代码就可以写一个Elasticsearch的API。
3、可视化工具比较多，有收费的，也有免费的，比如kibana head marvel。
4、提供结构化的JSON查询语句，易读性强
5、Es可以保留源数据（可选），也就是说，你可以不需要mysql的支持，就可以完成整个搜索过程，即使你不需要这个功能，在调试的时候，还是让人感到非常便利，不用将查询结果到数据库匹配一下。
6、Es可以动态更新全文索引，动态更新单个记录，而不像sphinx一样需要重建全部
7、对UTF8的支持是不需要单独配置的，天生为各种自然语言设计，而不仅仅是欧系语言

## 从中文分词上来说
首先我觉得分词最重要的基本都是词库，分词算法两个工具基本都可以使用。
lucene 支持很多分词工具，比如
word https://github.com/ysc/word
比如ik https://github.com/medcl/elasticsearch-analysis-ik
这两个工具最近都很活跃，因为Es更新2.0 和 2.1

比较分词区别（sphinx可能有误）：
sphinx分词 我不太熟悉它的机制，多数情况下我使用scws分词，发送给sphinx，然后设置匹配规则，比如最大匹配

Es的全文索引是基于分词的，也就是事先分好词，每个词对应某些记录，自动进行TF/IDF的运算，得到一个评分后返回，当然这个评分可以改（sphinx同样支持修改评分）

另一方面ES也支持类似sphinx的匹配方式，模糊匹配，一般会一起使用，一个词不在分词库中的时候，或者用户写错了，就用fuzzy，所以Es在功能上，应该和sphinx不会有太多差别，而且要更多。

## 后期维护上：
sphinx的配置文件在mysql分表之后，维护起来是比较麻烦的，你可以用php脚本当做配置文件，这样会好很多。
Es的索引是可以主动发给它去建立的（通过http接口），分表之后，它不关心数据库状态和结构。新增字段可以热更新。

## 扩展性上：
Es和sphinx都支持分布式索引，扩展性都没有问题
两者都支持别名，Es的别名加上动态建立索引，使得更换索引结构或者重建索引后，支持0宕机时间。而sphinx的rotate选项可以动态更新索引（不知道能不能动态创建索引，因为sphinx我在使用的时候，索引都要求写在配置文件里。
性能方面没有测试数据。从直观感受上sphinx要快一些。

## 文档方面
感觉两个工具都差不多，中文资料一般般，英文资料很全。

❺ java，觉得技术增长有点瓶颈，如何克服提高

1. 确定自己的方向,虽然说选择了软件开发,但其实软件开发是一个很笼统的说法,面向不同行业的开发人员对其所需的技术要求是不同,
比如说,有些应用开发对多线程处理要求较高(Timer类,Thread类等),而有些则是对网络套接字之类的要求比较高(这里也有区分,无外乎因应用环境的不同在同步异步,阻塞非阻塞中做选择,io类,nio类,net类等),而有些则是面向企业办公或者说流程报表展示等需求较高(J2EE里面的Servlet,JSP+html,Ajax,Jquery,SSH三大件等以及对各大主流浏览器间和版本间兼容性的研究,或者使用Plug-in技术),而有些专注外包的企业就只搞插件开发(Plug-in),等等.至于数据库知识就看你们公司有无专业数据库程序员了(这个东东基础部分是真正的基础,是个程序员多少都会和它有点交集,至于更深的,不走这个方向的就没必要太深入了).
看公司发展方向或者说找到的下家发展方向做有目的的深入学习.在敏捷开发之余做点研究.

2. 练好基本功.把会的学深了,把不熟的练熟了.有时候会突然接到任务让个人单独开发一个小工具,而布置任务的领导不一定了解开发细节,可能任务看似简单,而构建过程复杂,这时扎实的基本功,和对各工具类,和主要类的熟练使用就变得非常有用,能减少大量查找资料的时间,并有效提高代码的各项性能.(这是真正的考验哦~把catch里的东西想全了!!)

所以没事在家就多写几个经常会用得到的jar包,写好注释(这是干啥使的,怎么使),以备不时之需,同时也是对自己的一种提高(这个...代码被正式采用后,这些个外面找不到的jar包源码嘛搞不好就让你躲过一次裁员,不过即使不交出这jar包的源码,对公司发展影响也不大,这种东西绝大多数不会去过混淆器,更别说做加密)

3.干一年多了,应该要逐步有自己的代码风格了,变量命名固定化,注释固定化,

4. 如果还想提高,那么就试着看下面的.
在完成任务的同时开始思考程序结构,如果这个项目交给自己来做需求分析,定详细设计方案该如何做,现在项目经理或技术总监给出的框架优缺点大致有哪些,性能瓶颈在哪?
(虽说现在编程有一部分开发可以不太考虑性能消耗问题,但这确实是区分一个熟手和生手的分水岭,熟知计算机原理,网络通讯原理,数据库原理以及数模和单片机原理,有接触到多媒体包括游戏动作编程的熟知驱动设计原理,做出来的东西明显要好很多!!!)

总而言之就是:吃透现在用到的和可能用到的所有类以及大众化的各类工具类(log4j,dom4j,commons-httpclient,Xfire,C3P0,Communications,Sphinx-4,JGraph,OpenJGraph等等,只关注自己领域内的就行),写出属于你自己的代码,并尝试去学习领域内的原理知识(不少都还给老师了?没事连想都想不起来的说明在你的领域中就不会用到,啥时用啥时去学吧),一边学习原理一边思考程序设计问题,可以虚心找公司里的技术较好的一同探讨,如果合适的话与技术总监或设计者一起探讨也很不错(只是探讨不是坚持己见,设计的好坏把控在测试,产品经理和用户手中,其责把控设计者身上!即使你觉得你的方案更好也只能探讨,毕竟设计者拿了那份薪水,并为之承担着相应的责任,而不是程序员)

❻ php windows下怎么安装sphinx，安装后又怎么使用

1、下载，我这里下的是“Win64 binaries w/MySQL+PgSQL+libstemmer+id64 support”，下载后文件名：sphinx-2.0.6-release-win64-id64-full.zip；
2、将其解压到D: \ sphinx，并在D:\sphinx下新建目录data(用来存放索引文件)与log(用来存放日志文件)；
3、将D:\sphinx\sphinx.conf.in复制到D:\sphinx\bin\sphinx.conf.in，并重命名为sphinx.conf；
4、修改 D:\sphinx\bin\sphinx.conf 如下：
4.1、搜索source src1修改{...}中的内容
# 使用的数据库类型
type = mysql
# 服务器
sql_host = localhost
# 数据库登录名
sql_user = root
# 数据库登录密码
sql_pass = root
# 操作的数据库名称
sql_db = test
# 数据库服务器端口
sql_port = 3306
# 设置编码，如果用的是utf-8编码
sql_query_pre = SET NAMES utf-8
（以上7条前如有#将其删除）
4.2、搜索index test1修改{...}中的内容
# 放索引的目录
path = D:/sphinx/data/
# 编码
charset_type = utf-8
# 指定utf-8编码表
charset_table = 0..9, A..Z->a..z, _, a..z, U+410..U+42F->U+430..U+44F, U+430..U+44F
# 简单分词，只有0和1，需要搜索中文必须置1
ngram_len = 1
# 需要分词的字符，搜索中文时必须
ngram_chars = U+3000..U+2FA1F
（以上5条前如有#将其删除）
5、导入测试数据将D:\sphinx\example.sql中语句执行到test数据库中，注意：test数据库创建时需要指定为utf-8格式；
6、打开cmd窗口，进入目录D:\sphinx\bin；
7、建立索引，执行indexer.exe test1，test1即为sphinx.conf中index test1
Sphinx 2.0.6-id64-release (r3473)
Copyright (c) 2001-2012, Andrew Aksyonoff
Copyright (c) 2008-2012, Sphinx Technologies Inc (http://sphin

using config file './sphinx.conf'...
indexing index 'test1'...
collected 4 docs, 0.0 MB
sorted 0.0 Mhits, 100.0% done
total 4 docs, 222 bytes
total 0.019 sec, 11252 bytes/sec, 202.74 docs/sec
total 2 reads, 0.000 sec, 0.2 kb/call avg, 0.0 msec/call avg
total 9 writes, 0.000 sec, 0.1 kb/call avg, 0.0 msec/call avg
成功...
8、搜索'test'，执行search.exe test
Sphinx 2.0.6-id64-release (r3473)
Copyright (c) 2001-2012, Andrew Aksyonoff
Copyright (c) 2008-2012, Sphinx Technologies Inc (http://sphinxsearch.com)

using config file './sphinx.conf'...
index 'test1': query 'test ': returned 3 matches of 3 total in 0.000 sec

displaying matches:
1. document=1, weight=2421, group_id=1, date_added=Tue Feb 26 10:25:31 2013
id=1
group_id=1
group_id2=5
date_added=2013-02-26 10:25:31
title=test one
content=this is my test document number one. also checking search within
phrases.
2. document=2, weight=1442, group_id=3, date_added=Tue Feb 26 10:25:31 2013
id=2
group_id=3
group_id2=6
date_added=2013-02-26 10:25:31
title= ????
content=this is my test document number two ???????
3. document=4, weight=1442, group_id=2, date_added=Tue Feb 26 10:25:31 2013
id=4
group_id=2
group_id2=8
date_added=2013-02-26 10:25:31
title=doc number four
content=this is to test groups

words:
1. 'test': 3 documents, 4 hits

index 'test1stemmed': search error: failed to open D:/sphinx/data/test1stemmed.s
ph: No such file or directory.
最后面的一句error可忽略；
9、搜索中文，首先将数据库中的内容update含有中文，执行sql语句：
UPDATE documents SET title='中文', content='this is my test document number one. also checking search within phrases.含有中文。' WHERE id=1;
UPDATE documents SET title='中文标题', content='this is my test document number one. also checking search within phrases.含有中文内容。' WHERE id=2;
UPDATE documents SET title='中文标题测试', content='this is my test document number one. also checking search within phrases.含有中文内容。' WHERE id=3;
重新建立索引（执行第7步）；
然后执行search.exe 中文
Sphinx 2.0.6-id64-release (r3473)
Copyright (c) 2001-2012, Andrew Aksyonoff
Copyright (c) 2008-2012, Sphinx Technologies Inc (http://sphinxsearch.com)

using config file './sphinx.conf'...
indexing index 'test1'...
collected 4 docs, 0.0 MB
sorted 0.0 Mhits, 100.0% done
total 4 docs, 349 bytes
total 0.025 sec, 13808 bytes/sec, 158.26 docs/sec
total 2 reads, 0.000 sec, 0.3 kb/call avg, 0.0 msec/call avg
total 9 writes, 0.000 sec, 0.2 kb/call avg, 0.0 msec/call avg

D:\sphinx\bin>search.exe 中文
Sphinx 2.0.6-id64-release (r3473)
Copyright (c) 2001-2012, Andrew Aksyonoff
Copyright (c) 2008-2012, Sphinx Technologies Inc (http://sphinxsearch.com)

using config file './sphinx.conf'...
index 'test1': query '中文 ': returned 0 matches of 0 total in 0.000 sec

words:

index 'test1stemmed': search error: failed to open D:/sphinx/data/test1stemmed.s
ph: No such file or directory.
没有搜索到，因为windows命令行中的中文时GBK编码格式，所以没有匹配内容。我们可以使用PHP程序来试试；
10、进入D:\sphinx\api\目录，可以发现sphinx支持php、java、ruby调用，并提供对应的test例子，这里我们使用php来操作，首先将api复制到D:\www\下并重命名为sphinxapi，因为我本机上apache的web目录为D:\www，在D:\www\sphinxapi\下新建search.php，内容为：
<?php
require 'sphinxapi.php';
$s = new SphinxClient();
$s->SetServer('localhost', 9312);
$result = $s->Query('中国');
print_r($result);
echo '<br /><br />';
$result = $s->Query('中文');
print_r($result);
?>
然后回到cmd命令行中，开启sphinx服务，执行searchd.exe(这个必须要执行的)
Sphinx 2.0.6-id64-release (r3473)
Copyright (c) 2001-2012, Andrew Aksyonoff
Copyright (c) 2008-2012, Sphinx Technologies Inc (http://sphinxsearch.com)

using config file './sphinx.conf'...
WARNING: compat_sphinxql_magics=1 is deprecated; please update your application
and config
WARNING: preopen_indexes=1 has no effect with seamless_rotate=0
listening on all interfaces, port=9312
listening on all interfaces, port=9306
precaching index 'test1'
precaching index 'test1stemmed'
WARNING: index 'test1stemmed': preload: failed to open D:/sphinx/data/test1stemm
ed.sph: No such file or directory; NOT SERVING
precaching index 'rt'
WARNING: index 'rt': preload: failed to open @CONFDIR@/data/rt.lock: No such fil
e or directory; NOT SERVING
precached 3 indexes in 0.018 sec
成功...
然后在浏览器中执行http://localhost/sphinxapi/search.php，打印出来的数组结果可以很清晰的看见搜索的结果比对。。。
11、至此sphinx在windows下的简单安装与使用就完成了。