1. 如何在win7上编译snappy库
方法如下:
1、双击GCC安装包,mingw-get-setup.exe,点击Install安装
2、点击Change选择安装路径,尽量不要有中文和空格,
3、将package 下面的mingw-***和mingw32-***和msys-**。都勾选上,等待下载安装,直到勾选框全部变成土灰色。
4、找到安装目录的bin目录,将路径右键复制下来。
5、找到计算机,右键,属性。点击 高级系统设置
6、找到下面的 环境变量 点击
7、在系统变量里面找到 Path变量,双击出现下面输入框,在变量值的末尾添加刚刚复制的bin目录,并在最后加上英文状态下 的分号(;)。点击确定。
8、测试是否安装成功,在cmd命令提示符里面输入 gcc --help 回车键,出现以下信息,表示安装成功
2. snappy能用在android上吗
1)下载Ubuntu Core image for Raspberry Pi 2 我们点击树莓派image,并下载Ubuntu Core image for Raspberry Pi 2的image到我们的 ~/Downloads目录中.目前整个image大约202M. 2)安装image到TF卡中 我们把我们的TF卡插入到我们电脑的MMC卡槽中,或插入到一个USB的adapter中.在进行拷贝image前,我们必须unmount我们的卡.然后,我们使用如下的命令来拷贝我们的image到卡中: [html] view plain # Note: replace /dev/sdX with the device name of your SD card (e.g. /dev/mmcblk0, /dev/sdg1 ...) $ xzcat ~/Downloads/ubuntu-15.04-snappy-armhf-raspi2.img.xz sudo dd of=/dev/sdX bs=32M $ sync
3. 安装caffe的make all遇到这个问题,请问这要怎么弄
你好,方法如下:
1. 安装Google Logging Library(glog)
glog 下载地址
安装命令如下所示
# 解压tar -zxvf glog-0.3.3.tar.gz# 切换路径cd glog-0.3.3sudo ./configuresudo make –jsudo make install
2. 安装其它依赖
执行以下命令即可。
sudo apt-get install -y libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libboost-all-dev libhdf5-serial-dev sudo apt-get install -y libgflags-dev libgoogle-glog-dev liblmdb-dev protobuf-compiler protobuf-c-compiler python-pandas
3. 编辑Makefile.config文件
操作命令如下所示。
unzip caffe-master.zip #本地解压caffe-master#切换路径cd /caffe-master #caffe源文件中没有Makefile.config,需要复制Makefile.config.examplecp Makefile.config.example Makefile.config#编辑Makefile.configvi Makefile.config
修改Makefile.config
PYTHON_LIB := /usr/local/libMATLAB_DIR := /usr/local/MATLAB/R2014a
取消第5行的注释,即将 #USE_CUDNN=1 改为 USE_CUDNN=1;
如果使用本教程系列安装的,就不需要修改BLAS=atlas,如果是参考欧新宇的教程,安装了MKL,需要改成BLAS=mkl;
启用CUDNN,加注释: CPU_ONLY:=1 改成 # CPU_ONLY:=1;
配置路径,实现caffe对Python和Matlab接口的支持:
4. 编辑Makefile文件
如果openCV版本是2.4.x,此小节可以不再阅读
如果openCV版本3.0,还需要修改Makefile文件,实现对OpenCV 3.x的支持。
在Makefile文件中查找“Derive include and lib directories”一节,修改“LIBRARIES +=”的最后一行,增加opencv_imgcodecs,修改之后为:
LIBRARIES += opencv_core opencv_highgui opencv_imgproc opencv_imgcodecs
5. 编译caffe-master
依次执行下面的命令,编译caffe:
make all -jmake test -jmake runtest -j
runtest执行结束之后,如下图所示。这样子就说明安装成功了。
4. 如何安装hadoop本地压缩库
Hadoop安装配置snappy压缩
[一]、 实验环境
CentOS 6.3 64位
Hadoop 2.6.0
JDK 1.7.0_75
[二]、 snappy编译安装
2.1、下载源码
到官网 http://code.google.com/p/snappy/ 或者到 https://github.com/google/snappy
下载源码,目前版本为 1.1.1。
2.2、编译安装
解压 tar -zxvf snappy-1.1.1.tar.gz ,然后以 root 用户 执行标准的三步进行编译安装:
/configure
make
make install
默认是安装到 /usr/local/lib ,这时在此目录下查看:
[hadoop@micmiu ~]$ ls -lh /usr/local/lib |grep snappy
-rw-r--r-- 1 root root 229K Mar 10 11:28 libsnappy.a
-rwxr-xr-x 1 root root 953 Mar 10 11:28 libsnappy.la
lrwxrwxrwx 1 root root 18 Mar 10 11:28 libsnappy.so ->
libsnappy.so.1.2.0
lrwxrwxrwx 1 root root 18 Mar 10 11:28 libsnappy.so.1 ->
libsnappy.so.1.2.0
-rwxr-xr-x 1 root root 145K Mar 10 11:28 libsnappy.so.1.2.0
安装过程没有错误同时能看到上面的动态库,基本表示snappy 安装编译成功。
[三]、Hadoop snappy 安装配置
3.1、hadoop 动态库重新编译支持snappy
hadoop动态库编译参考:Hadoop2.2.0源码编译 和 Hadoop2.x在Ubuntu系统中编译源码 ,只是把最后编译的命令中增加
-Drequire.snappy :
1mvn package -Pdist,native -DskipTests -Dtar -Drequire.snappy
把重新编译生成的hadoop动态库替换原来的。
3.2、hadoop-snappy 下载
目前官网没有软件包提供,只能借助 svn 下载源码:
1svn checkout http://hadoop-snappy.googlecode.com/svn/trunk/
hadoop-snappy
3.3、hadoop-snappy 编译
1mvn package [-Dsnappy.prefix=SNAPPY_INSTALLATION_DIR]
PS:如果上面 snappy安装路径是默认的话,即 /usr/local/lib,则此处
[-Dsnappy.prefix=SNAPPY_INSTALLATION_DIR] 可以省略,或者
-Dsnappy.prefix=/usr/local/lib
编译成功后,把编译后target下的 hadoop-snappy-0.0.1-SNAPSHOT.jar 复制到 $HADOOP_HOME/lib
,同时把编译生成后的动态库 到 $HADOOP_HOME/lib/native/ 目录下:
1cp -r
$HADOOP-SNAPPY_CODE_HOME/target/hadoop-snappy-0.0.1-SNAPSHOT/lib/native/linux-amd64-64
$HADOOP_HOME/lib/native/
3.4、编译过程中常见错误处理
① 缺少一些第三方依赖
官方文档中提到编译前提需要:gcc c++, autoconf, automake, libtool, java 6, JAVA_HOME set,
Maven 3
②错误信息:
[exec] libtool: link: gcc -shared
src/org/apache/hadoop/io/compress/snappy/.libs/SnappyCompressor.o
src/org/apache/hadoop/io/compress/snappy/.libs/SnappyDecompressor.o
-L/usr/local/lib -ljvm -ldl -m64 -Wl,-soname -Wl,libhadoopsnappy.so.0 -o
.libs/libhadoopsnappy.so.0.0.1
[exec] /usr/bin/ld: cannot find -ljvm
[exec] collect2: ld returned 1 exit status
[exec] make: *** [libhadoopsnappy.la] Error 1
或者
[exec] /bin/sh ./libtool --tag=CC --mode=link gcc -g -Wall -fPIC -O2 -m64
-g -O2 -version-info 0:1:0 -L/usr/local/lib -o libhadoopsna/usr/bin/ld: cannot
find -ljvm
[exec] collect2: ld returned 1 exit status
[exec] make: *** [libhadoopsnappy.la] Error 1
[exec] ppy.la -rpath /usr/local/lib
src/org/apache/hadoop/io/compress/snappy/SnappyCompressor.lo
src/org/apache/hadoop/io/compress/snappy/SnappyDecompressor.lo -ljvm -ldl
[exec] libtool: link: gcc -shared
src/org/apache/hadoop/io/compress/snappy/.libs/SnappyCompressor.o
src/org/apache/hadoop/io/compress/snappy/.libs/SnappyDecompressor.o
-L/usr/local/lib -ljvm -ldl -m64 -Wl,-soname -Wl,libhadoopsnappy.so.0 -o
.libs/libhadoopsnappy.so.0.0.1
[ant] Exiting
/home/hadoop/codes/hadoop-snappy/maven/build-compilenative.xml.
这个错误是因为没有把安装jvm的libjvm.so 链接到
/usr/local/lib。如果你的系统时amd64,可以执行如下命令解决这个问题:
1ln -s /usr/java/jdk1.7.0_75/jre/lib/amd64/server/libjvm.so
/usr/local/lib/
[四]、hadoop配置修改
4.1、修改 $HADOOP_HOME/etc/hadoop/hadoop-env.sh,添加:
1export
LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$HADOOP_HOME/lib/native/Linux-amd64-64/
4.2、修改 $HADOOP_HOME/etc/hadoop/core-site.xml:
XHTML
io.compression.codecs
org.apache.hadoop.io.compress.GzipCodec,
org.apache.hadoop.io.compress.DefaultCodec,
org.apache.hadoop.io.compress.BZip2Codec,
org.apache.hadoop.io.compress.SnappyCodec
4.3、修改 $HADOOP_HOME/etc/hadoop/mapred-site.xml 中有关压缩属性,测试snappy:
XHTML
maprece.map.output.compress
true
maprece.map.output.compress.codec
org.apache.hadoop.io.compress.SnappyCodec[五]、测试验证
全部配置好后(集群中所有的节点都需要动态库和修改配置),重启hadoop集群环境,运行自带的测试实例
wordcount,如果maprece过程中没有错误信息即表示snappy压缩安装方法配置成功。
当然hadoop也提供了本地库的测试方法 hadoop checknative :
[hadoop@micmiu ~]$ hadoop checknative
15/03/17 22:57:59 INFO bzip2.Bzip2Factory: Successfully loaded &
initialized native-bzip2 library system-native
15/03/17 22:57:59 INFO zlib.ZlibFactory: Successfully loaded &
initialized native-zlib library
Native library checking:
hadoop: true
/usr/local/share/hadoop-2.6.0/lib/native/libhadoop.so.1.0.0
zlib: true /lib64/libz.so.1
snappy: true
/usr/local/share/hadoop/lib/native/Linux-amd64-64/libsnappy.so.1
lz4: true revision:99
bzip2: true /lib64/libbz2.so.1
openssl: true /usr/lib64/libcrypto.so
5. linux系统snappy文件解压缩命令
使用下面命令
tar -zcvf target.tgz source/
tar -jcvf target.tar.bz2 source/
tar打包,gzip压缩,bzip2压缩
man tar,man gzip,man bzip 具有例子及解释,关于linux命令的使用情况,我最近在看一本书籍,不过是电子版的《linux就该这么学》,明年3月份即将出版,你到时可以购买一本好好看看,关于命令的参数讲解得非常的详细。
6. 如何在树莓派 2 运行 Ubuntu Snappy Core-Linux
一、前言
用于树莓派2 的Snappy 镜像可以从 Raspberry Pi 网站 上下载。解压缩出来的镜像必须写到一个至少8GB 大小的SD 卡。尽管原始系统很小,但是原子升级和回滚功能会占用不小的空间。使用 Snappy 启动树莓派 2 后你就可以使用默认用户名和密码(都是ubuntu)登录系统。
准备:树莓派2、内存卡sd卡8G、win32_disk-images软件、系统镜像(树莓派官网下载)
二、安装配置过程
修改用户名:sudo usermod -l <new name><old name>或者也可以使用adser 为你添加一个新用户。
更新系统:$ sudo apt-get update && sudo apt-get distupgrade
sudo snappy update
检查版本:sudo snappy versions -a
$ sudo snappy update ubuntu-core 更新
sudo snappy rollback ubuntu-core 此命令是更新出现问题,回滚
完成这些就基本上安装好了,赶快试试吧!
7. 如何安装Snappy Ubuntu到树莓派上
步骤一:下载Raspbian OS的光盘镜像ISO文件:
你可以从树莓派的网站获得它。然后进入Raspbian “wheezy”区域去下载。ISO文件会以.zip压缩文件的形式下载。右击,解压这个压缩文件,然后你可以得到一个.iso的镜像文件。为了能够使用这个.sio镜像文件,我们需要一个应用程序能够读取这个.iso文件。为了达到这一目的,我们准备使用ImageViewer(镜像查看器)。
步骤二:安装ImageViewer:
你可以在从Ubuntu软件中心安装,打开软件中心搜索ImageViewer(镜像查看器)。
步骤三:在SD卡里安装RaspbianOS:
如你所知,树莓派只能从SD卡里面启动(不能从usb存储设备启动),你需要一个容量至少4GB的SD内存卡。进行安装之前,请确保已经对SD卡进行了格式化。现在打开ImageViewer。然后找到ISO镜像文件的路径,如果你对这一点比较茫然,可以试着安装这个顺序走:文件系统->家目录->用户目录->下载
很重要的一点:确保通向ISO镜像文件的路径里面没有任何空格,这个的意思是说,千万不要把ISO镜像文件保存到一个名称里面有空格的目录里面。
8. 如何查看linux上的snappy是否可用
Linux查看系统资源占用
在系统维护的过程中,随时可能有需要查看 CPU和内存的使用率,并根据相应信息分析系统状况的需求。本文介绍一下几种常见的Linux系统资源查看命令。
1、总体内存占用的查看
命令:free
图1 free命令查看内存占用
(1) free命令默认是以kb为单位显示的,可以用free -m 用Mb单位来显示。
(2) Mem行 : total = used + free 其中buffers和cached虽然计算在used内, 但其实为可用内存。
(3) Mem下一行:used为真实已占内存,free为真实可用内存。
(4)Swap:内存交换区的使用情况。
2、查看内存占用前五的进程
命令:ps auxw | head -1;ps auxw|sort -rn -k4|head -5
图 2.1查看内存占用前5的进程
如图2.1所示, 内存的单位是kb,VSZ是虚拟内存的占用,RSS是真实的内存的占用。
命令分解:
ps auxw显示系统资源占用情况;
head -1表示显示第一列,即标题列;
sort -r 表示反向排序,-n表示按数字排序,-k4表示列的第4个字符。
3、查看CPU占用前三的进程
命令:ps auxw|head -1;ps auxw|sort -rn -k3|head -3
图3.1 查看cpu占用前三的进程
该命令与图2.1相仿,只是选择的资源占用情况的第3列(即cpu),用“-k3”表示。
4、查看系统整体的负载
命令:top
图4.1 top显示系统整体负载
(1)第一行: 系统时间 + 系统运行时间 + 几个用户 + 1/5/15分钟系统平均负载
(2)第二行:进程总数(total) + 正在运行进程数(running) + 睡眠进程数(sleeping) + 停止的进程数(stopped)+ 僵尸进程数(zombie)
(3)第三行:用户空间CPU占比(us) + 内核空间CPU占比(sy)+ CPU空置率(id)
图4.2 各个任务占用资源情况
注解:
PID :进程ID
USER :用户名
PR :优先级
NI :负值表示高优先级,正值表示低优先级。
VIRT :虚拟内存
RES : 真实内存
SHR :共享内存
S :进程状态 D=不可中断的睡眠状态; R=运行; S=睡眠 ;T=跟踪/停止; Z=僵尸进程
参数:
top -d 2 :每隔2秒显式所有进程的资源占用情况
top -c :每隔5秒显式进程的资源占用情况,并显示进程的命令行参数(默认只有进程名)
top -p 12345 -p 6789:每隔5秒显示pid是12345和pid是6789的两个进程的资源占用情况
top -d 2 -c -p :每隔2秒显示pid是12345的进程的资源使用情况,并显式该进程启动的命令行参数