Ⅰ centos配置集群为什么要关闭SELINUX-Hadoop2
特点1：MAC(Mandatory Access Control）―――对访问的控制彻底化
对于所有的文件，目录，端口这类的资源的访问，都可以是基于策略设定的，这些策略是由管理员定制的、一般用户是没有权限更改的。
对于进程只赋予最小的权限
特点2：TE （Type Enforcement）――― 对于进程只赋予最小的权限
Te概念在 SELinux里非常的重要。它的特点是对所有的文件都赋予一个叫type的文件类型标签，对于所有的进程也赋予各自的一个叫 domain的 标签。Domain标签能够执行的操作也是由access vector在策略里定好的。
我们熟悉的apache服务器，httpd进程只能在httpd_t 里运行，这个httpd_t
的domain能执行的操作，比如能读网页内容文件赋予httpd_sys_content_t，密码文件赋予shadow_t,TCP的80端口赋予
http_port_t等等。如果在access vector里我们不允许
http_t来对http_port_t进行操作的话，Apache启动都启动不了。反过来说，我们只允许80端口，只允许读取被标为
httpd_sys_content_t的文件，httpd_t就不能用别的端口，也不能更改那些被标为httpd_sys_content_t的文件（read
only）。
防止权限升级
特点3：domain迁移 ―― 防止权限升级
在用户环境里运行点对点下载软件azureus，你当前的domain是fu_t，但是，你考虑到安全问题，你打算让他在azureus_t里运行，你要是在terminal里用命令启动azureus的话，它的进程的domain就会默认继承你实行的shell的fu_t。
有了domain迁移的话，我们就可以让azureus在我们指定的azureus_t里运行，在安全上面，这种做法更可取，它不会影响到你的fu_t。
下面是domain迁移指示的例子：
domain_auto_trans(fu_t,azureus_exec_t,azureus_t)
意思就是，当在 fu_t domain里，实行了 被标为 azureus_exec_t的文件时，domain 从fu_t迁移到
azureus_t。下面是Apache启动的迁移图。注意了，因为从哪一个domain能迁移到httpd_t是在策略里定好了，所以要是我们手动
(/etc/init.d/httpd
start）启动apache的话，可能仍然留在sysadm_t里，这样就不能完成正确的迁移。要用run_init命令来手动启动。
对于用户只赋予最小的权限
特点4：RBAC（role base access control) ――――― 对于用户只赋予最小的权限
对于用户来说，被划分成一些ROLE，即使是ROOT用户，你要是不在sysadm_r里，也还是不能实行sysadm_t管理操作的。因为，那些ROLE可以执行那些domain也是在策略里设定的。ROLE也是可以迁移的，但是也只能按策略规定的迁移。
Ⅱ hadoop某节点运行较慢，通过什么机制解决
一个节点需要执行的命令 答：（1）hadoop job Clist 得到job的id，然后执 行 hadoop job -kill jobId就可以杀死一个指定jobId的job工作了。 （2）hadoop fs -rmr /tmp/aaa 3 增加一个新的节点在新的几点上执行 Hadoop daemon.sh start datanode Hadooop daemon.sh start tasktracker 然后在主节点中执行 hadoop dfsadmin -refreshnodes 删除一个节点的时候，只需要在主节点执行 hadoop mradmin -refreshnodes 请列出你所知道的hadoop调度器，并简要说明其工作方法 答：Fifo schelar :默认，先进先出的原则 Capacity sc
Ⅲ hiveserver2 怎么停止
CDH4 Hive
(2013-10-23 09:29:52)
转载▼
标签：
cdh4
hive
分类： Hive
关于Hive
Apache Hive是建立在Hadoop之上强大的数据仓库应用程序；你可以使用Hive QL(一种类似于SQL的语言)来访问你的数据。你可以在安装有Hive的客户机上提交你的作业，你不需要将Hive安装在Hadoop集群的任何节点上。
HiveServer2
CDH4.1中，你可以部署HiveServer2，HiveServer2是HiveServer的改进版本，它提供新的Thrift API来处理JDBC或者ODBC客户端，Kerberos身份验证，多个客户端并发。HiveServer2还提供了新的CLI－BeeLine。
Cloudera推荐安装使用HiveServer2。（当你需要时，仍然可以使用原来的HiveServer，并且同时运行HiveServer2）
升级Hive
在所有有运行Hive 的主机上升级Hive：服务端和客户端
注意事项：查看CDH4中包含的Hive版本，检查版本和包信息，对于新的和已更改组件的重要信息可以查看CDH4 Release Notes。
升级Hive从CDH3到CDH4
注意事项：如果你已经执行卸载CDH3和所有组件的步骤，按照这里的描述升级CDH3到CDH4，你可以跳过步骤1，继续安装CDH4版的Hive。
Step 1:Remove Hive
警告：确保没有hive进程在运行，如果在升级过程中有Hive进程在运行，新版本将不能正常工作。
1.退出Hive控制台，确保没有Hive脚本在运行。
2.停止正在运行的HiveServer进程，如果HiveServer作为守护进程运行，用洗面的命令停止服务。
$ sudo service hive-server stop
如果HiveServer从命令行运行的，用<CTRL>-c 停止它
3.停止metastore服务，如果metastore作为守护进程运行，用下面的命令停止服务
$ sudo service hive-metastore stop
如果metastore从命令行运行的，那用<CTRL>-c 停止它
Ⅳ 请教，hadoop集群停止nodemanager失败
环境是一个master主节点(192.168.31.130)和两个slave节点(192.168.31.131/132)
执行stop-all.sh命令时,终端提示如下
Bash/shell code?
12345678910111213141516
hadoop@hadoopmaster pids]$ cd $HADOOP_HOME/sbin[hadoop@hadoopmaster pids]$ stop-all.shThis script is Deprecated. Instead use stop-dfs.sh and stop-yarn.shStopping namenodes on [hadoopmaster]hadoopmaster: stopping namenode192.168.31.132: stopping datanode192.168.31.131: stopping datanodeStopping secondary namenodes [hadoopmaster]hadoopmaster: stopping secondarynamenodestopping yarn daemonsstopping resourcemanager192.168.31.132: stopping nodemanager192.168.31.131: stopping nodemanager192.168.31.132: nodemanager did not stop gracefully after 5 seconds: killing with kill -9192.168.31.131: nodemanager did not stop gracefully after 5 seconds: killing with kill -9no proxyserver to stop
slave节点记录yarn-hadoop-nodemanager-hadoopslaver01.log如下
Bash/shell code?2017-06-03 07:03:19,137 INFO org.apache.hadoop.io.retry.RetryInvocationHandler: Exception while invoking ResourceTrackerPBClientImpl.nodeHeartbeat over null. Retrying after sleeping for 30000ms.java.io.EOFException: End of File Exception between local host is: "hadoopslaver01/192.168.31.131"; destination host is: "hadoopmaster":8031; : java.io.EOFException; For more details see: htp/EOFException at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method) at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62) at sun.reflect..newInstance(.java:45) at java.lang.reflect.Constructor.newInstance(Constructor.java:423) at org.apache.hadoop.net.NetUtils.wrapWithMessage(NetUtils.java:801) at org.apache.hadoop.net.NetUtils.wrapException(NetUtils.java:765) at org.apache.hadoop.ipc.Client.getRpcResponse(Client.java:1485) at org.apache.hadoop.ipc.Client.call(Client.java:1427) at org.apache.hadoop.ipc.Client.call(Client.java:1337) at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:227) at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:116) at com.sun.proxy.$Proxy73.nodeHeartbeat(Unknown Source) at org.apache.hadoop.yarn.server.api.impl.pb.client.ResourceTrackerPBClientImpl.nodeHeartbeat(ResourceTrackerPBClientImpl.java:85) at sun.reflect.GeneratedMethodAccessor11.invoke(Unknown Source) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:498) at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:398) at org.apache.hadoop.io.retry.RetryInvocationHandler$Call.invokeMethod(RetryInvocationHandler.java:163) at org.apache.hadoop.io.retry.RetryInvocationHandler$Call.invoke(RetryInvocationHandler.java:155) at org.apache.hadoop.io.retry.RetryInvocationHandler$Call.invokeOnce(RetryInvocationHandler.java:95) at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:335) at com.sun.proxy.$Proxy74.nodeHeartbeat(Unknown Source) at org.apache.hadoop.yarn.server.nodemanager.NodeStatusUpdaterImpl$1.run(NodeStatusUpdaterImpl.java:766) at java.lang.Thread.run(Thread.java:748)Caused by: java.io.EOFException at java.io.DataInputStream.readInt(DataInputStream.java:392) at org.apache.hadoop.ipc.Client$IpcStreams.readResponse(Client.java:1786) at org.apache.hadoop.ipc.Client$Connection.receiveRpcResponse(Client.java:1155) at org.apache.hadoop.ipc.Client$Connection.run(Client.java:1052)2017-06-03 07:03:23,452 ERROR org.apache.hadoop.yarn.server.nodemanager.NodeManager: RECEIVED SIGNAL 15: SIGTERM2017-06-03 07:03:24,458 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: hadoopmaster/192.168.31.130:8031. Already tried 0 time(s); retry policy is (maxRetries=10, sleepTime=1000 MILLISECONDS)2017-06-03 07:03:25,460 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: hadoopmaster/192.168.31.130:8031. Already tried 1 time(s); retry policy is (maxRetries=10, sleepTime=1000 MILLISECONDS)2017-06-03 07:03:26,461 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: hadoopmaster/192.168.31.130:8031. Already tried 2 time(s); retry policy is (maxRetries=10, sleepTime=1000 MILLISECONDS)2017-06-03 07:03:27,462 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: hadoopmaster/192.168.31.130:8031. Already tried 3 time(s); retry policy is (maxRetries=10, sleepTime=1000 MILLISECONDS)
更多0
hadoop 是用的什么版本？ 注意：只有 hadoop 3.0 才支持“一主多从”架构。
而且 hadoop 3.0 现在还只是 alpha 4版本，还不建议用于生产环境。
Ⅳ hadoop dfsadmin -safemode leave后jobtracke 9001端口关闭
hadoop dfsadmin -safemode leave
这个时候你先检测
hadoop dfsadmin -safemode get
看是否处于OFF状态。
然后检查HDFS是否可以正常访问。节点是否正常。
碰到ON的情况就需要关闭JOBTRAKER.重新启动HADOOP 执行LEAVE操作。
Ⅵ 怎么停止和重新启用hadoop的DataNode
1 停掉集群 2 把slave机和master机上那个tmp.dir路径下的数据清空（有可能是因为你在上一次namenode -format之前忘了删除slave的数据导致的） 3 重新hadoop namenode -format 4 重新启动hadoop集群
Ⅶ hadoop执行hdfs的指令出错 ./hadoop dfs mkdir 出错
core-site.xml配置中有错误
还有，一般创建目录一般使用这样的命令:hadoop fs -mkdir youdir
Ⅷ 如何初始化，启动及停止Hadoop集群
第一步，在Hadoop01机器上启动Zookeeper：
[root@hadoop01 ~]# /root/apps/zookeeper/bin/zkServer.sh start
第二步，在Hadoop02机器上启动Zookeeper：
[root@hadoop02 ~]# /root/apps/zookeeper/bin/zkServer.sh start
第三步，在Hadoop03机器上启动Zookeeper：
[root@hadoop03 ~]# /root/apps/zookeeper/bin/zkServer.sh start
启动Zookeeper之后，可以分别在3台机器上使用如下命令查看Zookeeper的启动状态：
/root/apps/zookeeper/bin/zkServer.sh status
第四步，在Hadoop01机器上启动HDFS：
[root@hadoop01 ~]# /root/apps/hadoop/sbin/start-dfs.sh
第五步，在Hadoop01机器上启动YARN：
[root@hadoop01 ~]# /root/apps/hadoop/sbin/start-yarn.sh
第六步，在Hadoop02机器上单独启动一个ResourceManager：
（注意这里使用的是“yarn-daemon.sh”命令，而不是“hadoop-daemon.sh”，不知道为什么使用“hadoop-daemon.sh”无法启动ResourceManager）
[root@hadoop02 ~]# /root/apps/hadoop/sbin/yarn-daemon.sh start resourcemanager！
Ⅸ hadoop dfsadmin -report命令显示的是0个datanode
我也遇到了同样的问题，最后发现问题原因是centos 7防火墙关闭命令变化了使用centos 7最新的命令关闭并禁用防火墙后systemctl stop firewalld.service #停止，
systemctl disable firewalld.service #禁用。重新格式化HDFS文件系统hadoop namenode -format，然后重新进入/sbin里 ./start-all.sh 重启Hadoop即可解决问题。
centos 7：
systemctl stop firewalld.service #停止
systemctl disable firewalld.service #禁用
之前的版本：
service iptables stop #停止
chkconfig iptables off #禁用