linux部署solr

A. linux怎样设置solr开机启动

linux系统开机启瞎历厅动脚本烂含 /etc/init.d
里面添磨隐加你的程序启动命令。

B. 安装solr前必须安装Tomcat吗solr在Linux中的安装方法有哪几种

不用 开发的时候 也可以使用jettey 来运行

C. 如何用Solr搭建大数据查询平台

0×00 开头照例扯淡

自从各种脱裤门事件开始层出不穷，在下就学乖了，各个地方的密码全都改成不一样的，重要帐号的密码定期更换，生怕被人社出祖宗十八代的我，甚至开始用起了旦银假名字，我给自己起一新网名”兴才”，这个看起来还不错的名字，其实是我们家乡骂人土话，意思是脑残人士…. -_-|||额好吧，反正是假的，不要在意这些细节。

这只是名，至于姓氏么，每个帐号的注册资料那里，照着百家姓上赵钱孙李周吴郑王的依次往下排，什么张兴才、李兴才、王兴才……于是也不知道我这样”兴才”了多久，终于有一天，我接到一尘斗个陌生电话：您好，请问是马兴才先生吗?

好么，该来的终于还是模兄宴来了，于是按名索骥，得知某某网站我用了这个名字，然后通过各种途径找，果然，那破站被脱裤子了。
果断Down了那个裤子，然后就一发不可收拾，走上了收藏裤子的不归路，直到有一天，我发现收藏已经非常丰富了，粗略估计得好几十亿条数据，拍脑袋一想，这不能光收藏啊，我也搭个社工库用吧……

0×01 介绍

社工库怎么搭呢，这种海量数据的东西，并不是简单的用mysql建个库，然后做个php查询select * from sgk where username like ‘%xxxxx%’这样就能完事的，也不是某些幼稚骚年想的随便找个4g内存，amd双核的破电脑就可以带起来的，上面这样的语句和系统配置，真要用于社工库查询，查一条记录恐怕得半小时。好在这个问题早就被一种叫做全文搜索引擎的东西解决了，更好的消息是，全文搜索引擎大部分都是开源的，不需要花钱。

目前网上已经搭建好的社工库，大部分是mysql+coreseek+php架构，coreseek基于sphinx，是一款优秀的全文搜索引擎，但缺点是比较轻量级，一旦数据量过数亿，就会有些力不从心，并且搭建集群做分布式性能并不理想，如果要考虑以后数据量越来越大的情况，还是得用其他方案，为此我使用了solr。

Solr的基础是着名的Lucene框架，基于java，通过jdbc接口可以导入各种数据库和各种格式的数据，非常适合开发企业级的海量数据搜索平台，并且提供完善的solr cloud集群功能，更重要的是，solr的数据查询完全基于http，可以通过简单的post参数，返回json,xml,php,python,ruby,csv等多种格式。

以前的solr，本质上是一组servlet，必须放进Tomcat才能运行，从solr5开始，它已经自带了jetty，配置的好，完全可以独立使用，并且应付大量并发请求，具体的架构我们后面会讲到，现在先来进行solr的安装配置。

0×02 安装和配置

以下是我整个搭建和测试过程所用的硬件和软件平台，本文所有内容均在此平台上完成：

软件配置: solr5.5,mysql5.7,jdk8,Tomcat8 Windows10/Ubuntu14.04 LTS

硬件配置: i7 4770k,16G DDR3,2T西数黑盘

2.1 mysql数据库

Mysql数据库的安装和配置我这里不再赘述，只提一点，对于社工库这种查询任务远远多于插入和更新的应用来说，最好还是使用MyISAM引擎。
搭建好数据库后，新建一个库，名为newsgk，然后创建一个表命名为b41sgk,结构如下：

id bigint 主键 自动增长

username varchar 用户名

email varchar 邮箱

password varchar 密码

salt varchar 密码中的盐或者第二密码

ip varchar ip、住址、电话等其他资料

site varchar 数据库的来源站点

接下来就是把收集的各种裤子全部导入这个表了，这里推荐使用navicat，它可以支持各种格式的导入，具体过程相当的枯燥乏味,需要很多的耐心，这里就不再废话了，列位看官自己去搞就是了，目前我初步导入的数据量大约是10亿条。

2.2 Solr的搭建和配置

首先下载solr：
$ wget http://mirrors.hust.e.cn/apache/lucene/solr/5.5.0/solr-5.5.0.tgz

解压缩：
$ tar zxvf solr-5.5.0.tgz

安装jdk8：
$ sudo add-apt-repository ppa:webupd8team/java
$ sudo apt-get update
$ sudo apt-get install oracle-java8-installer
$ sudo apt-get install oracle-java8-set-default

因为是java跨平台的，Windows下和linux下solr是同一个压缩包，windows下jdk的安装这里不再说明。

进入解压缩后的solr文件夹的bin目录，solr.cmd和solr分别是windows和linux下的启动脚本：

因为社工库是海量大数据，而jvm默认只使用512m的内存，这远远不够，所以我们需要修改，打开solr.in.sh文件，找到这一行：

SOLR_HEAP=”512m”

依据你的数据量，把它修改成更高，我这里改成4G，改完保存. 在windows下略有不同，需要修改solr.in.cmd文件中的这一行：

set SOLR_JAVA_MEM=-Xms512m -Xmx512m

同样把两个512m都修改成4G。

Solr的启动，重启和停止命令分别是：
$ ./solr start
$ ./solr restart –p 8983
$ ./solr stop –all

在linux下还可以通过install_solr_service.sh脚本把solr安装为服务，开机后台自动运行。

Solr安装完成，现在我们需要从mysql导入数据，导入前，我们需要先创建一个core，core是solr的特有概念，每个core是一个查询、数据,、索引等的集合体，你可以把它想象成一个独立数据库，我们创建一个新core：

在solr-5.5.0/server/solr子目录下面建立一个新文件夹，命名为solr_mysql，这个是core的名称，在下面创建两个子目录conf和data，把solr-5.5.0/solr-5.5.0/example/example-DIH/solr/db/conf下面的所有文件全部拷贝到我们创建的conf目录中.接下来的配置主要涉及到三个文件， solrconfig.xml， schema.xml和db-data-config.xml。

首先打开db-data-config.xml，修改为以下内容：
<dataConfig>
<dataSource name="sgk" type="JdbcDataSource" driver="com.mysql.jdbc.Driver" url="jdbc:mysql://127.0.0.1:3306/newsgk" user="root" password="password" batchSize="-1" />
<document name="mysgk">
<entity name="b41sgk" pk="id" query="select * from b41sgk">
<field column="id" name="id"/>
<field column="username" name="username"/>
<field column="email" name="email"/>
<field column="password" name="password"/>
<field column="salt" name="salt"/>
<field column="ip" name="ip"/>
<field column="site" name="site"/>
</entity>
</document>
</dataConfig>

这个文件是负责配置导入数据源的，请按照mysql实际的设置修改datasource的内容，下面entity的内容必须严格按照mysql中社工库表的结构填写，列名要和数据库中的完全一样。

然后打开solrconfig.xml，先找到这一段：
<schemaFactory class="ManagedIndexSchemaFactory">
<bool name="mutable">true</bool>
<str name="managedSchemaResourceName">managed-schema</str>
</schemaFactory>

把它全部注释掉，加上一行，改成这样：
<!-- <schemaFactory class="ManagedIndexSchemaFactory">
<bool name="mutable">true</bool>
<str name="managedSchemaResourceName">managed-schema</str>
</schemaFactory>-->
<schemaFactory class="ClassicIndexSchemaFactory"/>

这是因为solr5 以上默认使用managed-schema管理schema，需要更改为可以手动修改。

然后我们还需要关闭suggest，它提供搜索智能提示，在社工库中我们用不到这样的功能，重要的是，suggest会严重的拖慢solr的启动速度,在十几亿数据的情况下，开启suggest可能会导致solr启动加载core长达几个小时!

同样在solrconfig.xml中，找到这一段：

<searchComponent name="suggest" class="solr.SuggestComponent">
<lst name="suggester">
<str name="name">mySuggester</str>
<str name="lookupImpl">FuzzyLookupFactory</str> <!-- org.apache.solr.spelling.suggest.fst -->
<str name="dictionaryImpl">DocumentDictionaryFactory</str> <!-- org.apache.solr.spelling.suggest. -->
<str name="field">cat</str>
<str name="weightField">price</str>
<str name="suggestAnalyzerFieldType">string</str>
</lst>
</searchComponent>
<requestHandler name="/suggest" class="solr.SearchHandler" startup="lazy">
<lst name="defaults">
<str name="suggest">true</str>
<str name="suggest.count">10</str>
</lst>
<arr name="components">
<str>suggest</str>
</arr>
</requestHandler>

把这些全部删除，然后保存solrconfig.xml文件。

接下来把managed-schema拷贝一份，重命名为schema.xml (原文件不要删除)，打开并找到以下位置：

只保留_version_和_root_节点，然后把所有的field，dynamicField和Field全部删除，添加以下的部分：
<field name="id" type="int" indexed="true" stored="true" required="true" multiValued="false" />
<field name="username" type="text_ik" indexed="true" stored="true"/>
<field name="email" type="text_ik" indexed="true" stored="true"/>
<field name="password" type="text_general" indexed="true" stored="true"/>
<field name="salt" type="text_general" indexed="true" stored="true"/>
<field name="ip" type="text_general" indexed="true" stored="true"/>
<field name="site" type="text_general" indexed="true" stored="true"/>
<field name="keyword" type="text_ik" indexed="true" stored="false" multiValued="true"/>

<Field source="username" dest="keyword"/>
<Field source="email" dest="keyword"/>
<uniqueKey>id</uniqueKey>

这里的uniqueKey是配置文件中原有的，用来指定索引字段，必须保留。新建了一个字段名为keyword，它的用途是联合查询，即当需要同时以多个字段做关键字查询时，可以用这一个字段名代替，增加查询效率，下面的Field即用来指定复制哪些字段到keyword。注意keyword这样的字段，后面的multiValued属性必须为true。

username和email以及keyword这三个字段，用来检索查询关键字，它们的类型我们指定为text_ik，这是一个我们创造的类型，因为solr虽然内置中文分词，但效果并不好，我们需要添加IKAnalyzer中文分词引擎来查询中文。在https://github.com/EugenePig/ik-analyzer-solr5下载IKAnalyzer for solr5的源码包，然后使用Maven编译，得到一个文件IKAnalyzer-5.0.jar，把它放入solr-5.5.0/server/solr-webapp/webapp/WEB-INF/lib目录中，然后在solrconfig.xml的fieldType部分加入以下内容：
<fieldType name="text_ik" class="solr.TextField">
<analyzer type="index" useSmart="false" class="org.wltea.analyzer.lucene.IKAnalyzer"/>
<analyzer type="query" useSmart="true" class="org.wltea.analyzer.lucene.IKAnalyzer"/>
</fieldType>

保存后，core的配置就算完成了，不过要导入mysql数据，我们还需要在mysql网站上下载mysql-connector-java-bin.jar库文件，连同solr-5.5.0/dist目录下面的solr-dataimporthandler-5.5.0.jar，solr-dataimporthandler-extras-5.5.0.jar两个文件，全部拷贝到solr-5.5.0/server/solr-webapp/webapp/WEB-INF/lib目录中，然后重启solr，就可以开始数据导入工作了。

D. 如何在 Ubuntu 14/15 上配置 Apache Solr-Linux中国

~/.vnc/xstartup #!/bin/sh unset SESSION_MANAGER unset DBUS_SESSION_BUS_ADDRESS #这句是重点 startxfce4 & [ -x /etc/vnc/xstartup ] && exec /逗余etc/vnc/xstartup [ -r $HOME/.Xresources ] && xrdb $HOME/.Xresources xsetroot -solid grey vncconfig -iconic & 对于 startxfce4 & 这一行: 如果是GNOME桌面,改成 gnome-session & 如果是KDE桌面,改成 startkde & 如果是Unity桌面,并且存在/usr/share/gnome-session/sessions/ubuntu.session,则改为: "/usr/bin/gnome-session --session=ubuntu" & 不建山档滚议在Ubuntu Server上安装图形界面,管理Linux服务器最好还是喜欢使用ssh客户端和sftp图形客户端,在ssh里通过命令来管理Linux服务器,在 sftp图形客户端里上传下载以及调用本地你自己喜欢的编辑器远程编辑服务器文件,习惯后远比你像Windows那样打开远程桌面来管理和编辑文件快. Windows上ssh客户蠢改端我推荐PuTTY,sftp客户端推荐WinSCP和FileZilla.Linux上直接终端用ssh,文件管理器默认支持sftp协议,或者也可以用FileZilla.Linux可以这样弄快捷方式: ssh.sh #!/bin/sh chmod 600 /home/eeche/.ssh/id_rsa xfce4-terminal -e "ssh [email protected] -p 22 -i /home/eeche/.ssh/id_rsa" sftp.sh #!/bin/sh chmod 600 /home/eeche/.ssh/id_rsa ssh-add /home/eeche/.ssh/id_rsa thunar sftp://[email protected]:22/ #pcmanfm sftp://[email protected]:22/ #nautilus --no-desktop --geometry=800x600 sftp://[email protected]:22/

E. 如何在 Ubuntu 14/15 上配置 Apache Solr-Linux中国

1)System Update 系统更新
使用一个具有 sudo 权限的非 root 用户登录你的 Ubuntu 服务器，在接下来的所有安装和使用 Solr 的步骤中都会使用它。
登录成功后，使用下面的命令，升级你的系统到最新的更新及补丁：
$ sudo apt-get update

2) 安装 JRE
要安装 Solr，首先需要安装 JRE (Java Runtime Environment) 作为基础环境，因为 solr 和 tomcat 都是基于Java.所以，我们需要安装最新版的 Java 并配置 Java 本地环境.
要想安装最新版的 Java 8，我们需要通过以下命令安装 Python Software Properties 工具包
$ sudo apt-get install python-software-properties

完成后，配置最新版 Java 8的仓库
$ sudo add-apt-repository ppa:webupd8team/java

现在你可以通过以下命令更新包源列表，使用‘apt-get’来安装最新版本的 Oracle Java 8。
$ sudo apt-get update

$ sudo apt-get install oracle-java8-installer

在安装和配置过程中，点击'OK'按钮接受 Java SE Platform 和 JavaFX 的Oracle 二进制代码许可协议Oracle Binary Code License Agreement。
在安装完成后，运行下面的命令，检查是否安装成功以及查看安装的版本。
kash@solr:~$ java -version
java version "1.8.0_66"
Java(TM) SE Runtime Environment (build 1.8.0_66-b17)
Java HotSpot(TM) 64-Bit Server VM (build 25.66-b17, mixed mode)

执行结果表明我们已经成功安装了 Java，并达到安装 Solr 最基本的要求了，接着我们进行下一步。
安装 Solr
有两种不同的方式可以在 Ubuntu 上安装 Solr，在本文中我们只用最新的源码包来演示源码安装。
要使用源码安装 Solr，先要从官网下载最新的可用安装包。复制以下链接，然后使用 'wget' 命令来下载。
$ wget http://www.us.apache.org/dist/lucene/solr/5.3.1/solr-5.3.1.tgz

运行下面的命令，将这个已归档的服务解压到 /bin 目录。
$ tar -xzf solr-5.3.1.tgz solr-5.3.1/bin/install_solr_service.sh --strip-components=2

运行脚本来启动 Solr 服务，这将会先创建一个 solr 的用户，然后将 Solr 安装成服务。
$ sudo bash ./install_solr_service.sh solr-5.3.1.tgz

Solr 安装
使用下面的命令来检查 Solr 服务的状态。
$ service solr status

Solr 状态
创建 Solr 集合:
我们现在可以使用 Solr 用户添加多个集合。就像下图所示的那样，我们只需要在命令行中指定集合名称和指定其配置集就可以创建多个集合了。
$ sudo su - solr -c "/opt/solr/bin/solr create -c myfirstcollection -n data_driven_schema_configs"

创建集合
我们已经成功的为我们的第一个集合创建了新核心实例目录，并可以将数据添加到里面。要查看库中的默认模式文件，可以在这里找到： '/opt/solr/server/solr/configsets/datadrivenschema_configs/conf' 。
使用 Solr Web
可以使用默认的端口8983连接 Apache Solr。打开浏览器，输入 http://your_server_ip:8983/solr 或者 http://your-domain.com:8983/solr. 确保你的防火墙允许8983端口.
http://172.25.10.171:8983/solr/

Web访问Solr
在 Solr 的 Web 控制台左侧菜单点击 'Core Admin' 按钮，你将会看见我们之前使用命令行方式创建的集合。你可以点击 'Add Core' 按钮来创建新的核心。

添加核心
就像下图中所示，你可以选择某个集合并指向文档来向里面添加内容或从文档中查询数据。如下显示的那样添加指定格式的数据。
{
"number": 1,
"Name": "George Washington",
"birth_year": 1989,
"Starting_Job": 2002,
"End_Job": "2009-04-30",
"Qualification": "Graation",
"skills": "Linux and Virtualization"
}

添加文件后点击 'Submit Document'按钮.

F. solr在linux tomcat上的配置问题

是可以启动，但是你没有添加SolrCore啊，一个SolrCore就相当闭知段于一个"索引库"。轿誉你怎么配置的，肯定有问题啊。提示信息都说了，要像猛模显示UI，至少需要一个SolrCore啊。

G. 如何在linux中启动solr

1.2. tomcat调优

调优tomcat 加大内存和连接数
MaxThread 500
MinSpareThread 25
MaxSpareThread75
Xmx 1024M

1.3. 操作系统网络参数优化

用做测试的各台服务器，均在/etc/sysctl.conf配置文件中增加如下内核参数：
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_fin_timeout = 5

1.4. 下载solr

下载地址：http://lucene.apache.org/solr/
详情请见：http://lucene.apache.org/solr/

2. 安装过程

2.1. 安装tomcat6

安装完tomcat后修改./conf/server.xml
<Connector port="8080" protocol="HTTP/1.1"
connectionTimeout="20000"
redirectPort="8443" URIEncoding="UTF-8"/>
注：如果没有设置URIEncoding="UTF-8"，在提交查询的select的url会出现乱码，当然也就查不到了。

2.2. 拷贝solr.war
将下载的solr包下面的dist文件夹中的apache-solr-1.4.1.war 拷贝到 tomcat的webapps 并且改名为 solr.war 一般情况下会自动生成相应的文件夹。

2.3. 拷贝其它

新建/opt/solr-tomcat/solr文件夹，把下载的solr包中的example/solr文件夹下面的所有文件放入到/opt/solr-tomcat/solr里面。

2.4. 配置solr.home
最后一步 配置添加solr.home环境变量，可以有二种方式（两种取其一即可）：

a）基于环境变量

linux在当前用户的环境变量中（.bash_profile）或在./bin/catalina.sh中添加如下环境变量：
export JAVA_OPTS="$JAVA_OPTS -Dsolr.solr.home=/opt/solr-tomcat/solr"

b）基于JNDI

在tomcat的conf文件夹建立Catalina文件夹，然后在Catalina文件夹中在建立localhost文件夹，在该文件夹下面建立 solr.xml,Xml代码:

<Context docBase="/usr/local/tomcat6/webapps/solr.war" debug="0" crossContext="true" >
<Environment name="solr/home" type="Java.lang.String" value="/opt/solr-tomcat/solr" override="true" />
</Context>

注：如果没有设定solr.solr.home环境变量或JNDI的情况下，Solr查找./solr，因此在启动时候需要切换到/opt/solr-tomcat

3. 验证安装

访问solr管理界面 http://ip:port/solr

3.1. 打开管理后台

打开浏览器，输入：http://192.168.10.85:18080/solr/admin/
（注：多核心时为这个地址http://192.168.10.85:18080/solr/，首页会列出多核的链接，点击进入），就可以访问solr服务了

3.2. 如果出现如下图示，表示配置成功

H. Linux里面es和Solr区别是什么

1.查询性能不同。当实时建立闹迹索引的时候,solr会产生io阻塞,而es则不会,es查询性能要高于solr;

2.检索效率不同。在不断动态添加数据的时候,solr的检索效率会变的低下,而es则没有什么变化;

3.管理方式不腔滚同。Solr利用zookeeper进行分布式管理,而es自身带有分布式系统管液圆并理功能。Solr一般都要部署到web服务器上;

4.文件格式不同。Solr支持更多的格式数据[xml,json,csv等],而es仅支持json文件格式;