‘壹’ 使用python解析nginx日志文件
本文使用Python2.7解析nginx日志文件，并把nginx的时间转化为时间戳（1970纪元后经过的浮点秒数），并存放到特定文件中。
Nginx的http日志格式：
示例如下：
这里使用Python的glob模块来获取所有日志文件。日志文件每天0时进行备份，命名为nginx.log.YYMMDD。
模块linecache允许从任何文件里得到任何的行，并且使用缓存进行优化，常见的情况是从单个文件读取多行。
使用python的re模块解析每一条日志。
其中body_bytes捕获非空字符串，而不是数字，因为日志里可能存在该字段值为“-”，即没有请求体。
date、method、request等参数可以采用以下方式进行提取。
使用python的time模块把时间转为时间戳。
产生文件time.log，内容如下：
‘贰’ 14《Nginx 入门教程》Nginx的日志功能
通常，在生产环境中使用 Nginx 进行反向代理和负载均衡或者各种其他处理时，良好的日志记录是非常关键的一环。通过精心配置的 Nginx 日志，我们可以获取用户的真实 ip、浏览器信息，请求处理时间，请求URL等，这样方便我们排查和回溯错误。具体要记录哪些信息，可以通过 Nginx 中的 log_format 指令定义，由它定义日志的格式。而对于使用哪种日志格式和设置日志的保存路径则由 access_log 指令指定的。另外在 Nginx 中还有一个配置服务器和请求处理过程中的错误信息的指令，那就是 error_log指令。最后，如果在配置的日志文件路径中使用了变量，我们可以通过open_log_file_cache指令来设置缓存，提升性能。对于大型的网站而言，大量的 http 请求意味着大量的日志记录，及时按天或按大小进行 Nginx 日志备份也至关重要的。
在 Nginx 的日志模块主要有2个, ngx_stream_log_mole 和 ngx_http_log_mole，分别表示四层的日志模块和七层的日志模块，其指令和用法都是一致的，接下来我们只针对 http 请求的日志进行说明和使用。
在 ngx_http_log_mole 模块中，只3个指令，分别是 access_log、log_format 和 open_log_file_cache。这些指令具体的格式如下：
ngx_http_log_mole 模块用来按某个格式来记录请求的日志。模块中的 log_format 指令就是用来设置打印日志的格式，该指令中可以使用 Nginx 中的各种变量，比如保存远端ip地址的变量$remote_addr等。一个简单的示例如下：
接下来是 access_log 指令。参考前面的指令格式。关闭日志记录，直接是写 access_log off ，如果打开 access 日志，它的写法是:
access_log 指令示例:
每一条日志记录的写入都是先打开文件再写入记录，然后关闭日志文件。如果你的日志文件路径中使用了变量，如 access_log /var/logs/$host/access.log ，为提高性能，可以使用 open_log_file_cache 指令设置日志文件描述符的缓存。可以通过 open_log_file_cache off 关闭该缓存。该指令的几个参数选项说明如下：
最后 error_log 是 错误日志配置指令，主要记录客户端访问 Nginx 出错时的日志，它不不支持自定义日志格式。通过检查错误日志，可以快速定位线上问题，所以也是很重要的。关闭错误日志的方式和 access_log不一样，没有 error_log off 这样关错误日志的用法，反而会将错误日志打到名为 off 的文件中。常用的关闭方式是:
就像在 Linux 系统中，输出到 /dev/null 的内容实际上等价于丢弃一样。
Nginx 的日志切割实现的核心是使用 nginx 命令的 reopen 参数实现，该参数的含义是重新开始记录日志文件。人工切的做法就是凌晨将日志备份，然后执行带reopen参数的命令:
执行后会重新生成 access.log 和 error.log，这就是手工切割的方式。通常我们会用 shell 脚本和定时任务来帮我我们完成自动切割。首先准备如下的 shell 脚本，它完成日志的备份以及给 nginx 进程发生 reopen 信号。
接下来，只要将这个脚本加入到 crontab 中即可，如下操作:
我们在 nginx.conf 中添加如下的日志配置:
这里我们综合了前面涉及的知识，这里只简单测试日志配置中 if 功能。我们设置请求的相应码为 3xx 和 4xx 时，日志不会记录。接下来，启动或者热加载 Nginx， 然后分别对应三个端口发送 http 请求并观察 access.log 日志:
本小节我们介绍了 log 相关的指令，包括访问日志和错误日志的指令。此外还介绍了 Nginx 中对日志切割的常用处理方法，这也是生产环境上使用日志备份的手段。
‘叁’ 如何用 python 分析网站日志
日志的记录
Python有一个logging模块，可以用来产生日志。
（1）学习资料
http://blog.sina.com.cn/s/blog_4b5039210100f1wv.html
http://blog.donews.com/limodou/archive/2005/02/16/278699.aspx
http://kenby.iteye.com/blog/1162698
http://blog.csdn.NET/fxjtoday/article/details/6307285
前边几篇文章仅仅是其它人的简单学习经验，下边这个链接中的内容比较全面。
http://www.red-dove.com/logging/index.html
（2）我需要关注内容
日志信息输出级别
logging模块提供了多种日志级别，如：NOTSET（0），DEBUG（10），
INFO（20），WARNING（30），WARNING（40），CRITICAL（50）。
设置方法：
logger = getLogger()
logger.serLevel(logging.DEBUG)
日志数据格式
使用Formatter设置日志的输出格式。
设置方法：
logger = getLogger()
handler = loggingFileHandler(XXX)
formatter = logging.Formatter("%(asctime)s %(levelname) %(message)s","%Y-%m-%d,%H:%M:%S")
%(asctime)s表示记录日志写入时间，"%Y-%m-%d,%H:%M:%S“设定了时间的具体写入格式。
%(levelname)s表示记录日志的级别。
%(message)s表示记录日志的具体内容。
日志对象初始化
def initLog():
logger = logging.getLogger()
handler = logging.FileHandler("日志保存路径")
formatter = logging.Formatter("%(asctime)s %(levelname) %(message)s","%Y-%m-%d,%H:%M:%S")
handler.setFormatter(formatter)
logger.addHandler(handler)
logger.setLevel
写日志
logging.getLogger().info(), logging.getLogger().debug()......
2. 日志的分析。
（1）我的日志的内容。(log.txt)
2011-12-12,12:11:31 INFO Client1: 4356175.0 1.32366309133e+12 1.32366309134e+12
2011-12-12,12:11:33 INFO Client1: 4361320.0 1.32366309334e+12 1.32366309336e+12
2011-12-12,12:11:33 INFO Client0: 4361320.0 1.32366309389e+12 1.32366309391e+12
2011-12-12,12:11:39 INFO Client1: 4366364.0 1.32366309934e+12 1.32366309936e+12
2011-12-12,12:11:39 INFO Client0: 4366364.0 1.32366309989e+12 1.32366309991e+12
2011-12-12,12:11:43 INFO Client1: 4371416.0 1.32366310334e+12 1.32366310336e+12
2011-12-12,12:11:43 INFO Client0: 4371416.0 1.32366310389e+12 1.32366310391e+12
2011-12-12,12:11:49 INFO Client1: 4376450.0 1.32366310934e+12 1.32366310936e+12
我需要将上述内容逐行读出，并将三个时间戳提取出来，然后将其图形化。
(2) 文件操作以及字符串的分析。
打开文件，读取出一行日志。
file = file("日志路径"，“r”)
while True:
line = file.readline()
if len(len) == 0:
break;
print line
file.close()
从字符串中提取数据。
字符串操作学习资料：
http://reader.you.com/sharelite?itemId=-4646262544179865983&method=viewSharedItemThroughLink&sharedBy=-1137845767117085734
从上面展示出来的日志内容可见，主要数据都是用空格分隔，所以需要使用字符串的
split函数对字符串进行分割：
paraList = line.split(),该函数默认的分割符是空格,返回值为一个list。
paraList[3], paraList[4], paraList[5]中分别以字符串形式存储着我需要的时间戳。
使用float(paraList[3])将字符串转化为浮点数。
（3）将日志图形化。
matplotlib是python的一个绘图库。我打算用它来将日志图形化。
matplotlib学习资料。
matplotlib的下载与安装：
http://yexin218.iteye.com/blog/645894
http://blog.csdn.Net/sharkw/article/details/1924949
对matplotlib的宏观介绍：
http://apps.hi..com/share/detail/21928578
对matplotlib具体使用的详细介绍：
http://blog.sina.com.cn/s/blog_4b5039210100ie6a.html
在matplotlib中设置线条的颜色和形状：
http://blog.csdn.net/kkxgx/article/details/python
如果想对matplotlib有一个全面的了解，就需要阅读教程《Matplotlib for Python developers》,教程下载地址:
http://download.csdn.net/detail/nmgfrank/4006691
使用实例
import matplotlib.pyplot as plt
listX = [] #保存X轴数据
listY = [] #保存Y轴数据
listY1 = [] #保存Y轴数据
file = file("../log.txt","r")#打开日志文件
while True:
line = file.readline()#读取一行日志
if len(line) == 0:#如果到达日志末尾，退出
break
paraList = line.split()
print paraList[2]
print paraList[3]
print paraList[4]
print paraList[5]
if paraList[2] == "Client0:": #在坐标图中添加两个点，它们的X轴数值是相同的
listX.append(float(paraList[3]))
listY.append(float(paraList[5]) - float(paraList[3]))
listY1.append(float(paraList[4]) - float(paraList[3]))
file.close()
plt.plot(listX,listY,'bo-',listX,listY1,'ro')#画图
plt.title('tile')#设置所绘图像的标题
plt.xlabel('time in sec')#设置x轴名称
plt.ylabel('delays in ms'')#设置y轴名称
plt.show()
‘肆’ python 分析系统日志
这个不用做计划任务。直接用tail -f 文件名|grep executing too slow
这样就可以了。然后wc统计行数。
如果你一定要用python做。就使用文件对象中的seek方法，移到上次处理的位置。