python运维分支

① 纯干货！python 在运维中的应用 (一)：批量 ssh/sftp

日常工作中需要大量、频繁地使用ssh到服务器查看、拉取相关的信息或者对服务器进行变更。目前公司大量使用的shell，但是随着逻辑的复杂化、脚本管理的精细化，shell已经不满足日常需求，于是我尝试整合工作中的需求，制作适合的工具。 由于管理制度的缺陷，我以工作流程为核心思考适合自己的运维方式，提升工作效率，把时间留给更有价值的事情。 完整代码在最后，请大家参考。

生产：4000+物理服务器，近 3000 台虚拟机。

开发环境：python3.6、redhat7.9，除了paramiko为第三方模块需要自己安装，其他的直接import即可。

批量执行操作是一把双刃剑。批量执行操作可以提升工作效率，但是随之而来的风险不可忽略。

风险案例如下：

挂载很多数据盘，通常先格式化硬盘，再挂载数据盘，最后再写入将开机挂载信息写入/etc/fstab文件。在批量lsblk检查硬盘信息的时候发现有的系统盘在/sda有的在/sdm，如果不事先检查机器相关配置是否一致直接按照工作经验去执行批量操作，会很容易造成个人难以承受的灾难。

在执行批量操作时按照惯例：格式化硬盘->挂载->开机挂载的顺序去执行，假设有的机器因为某些故障导致格式化硬盘没法正确执行。在处理这类问题的时候通常会先提取出失败的ip，并再按照惯例执行操作。运维人员会很容易忽略开机挂载的信息已经写过了，导致复写（这都是血和泪的教训）。

所以，为了避免故障，提升工作效率，我认为应当建立团队在工作上的共识，应当遵守以下原则：

当然，代码的规范也应当重视起来，不仅是为了便于审计，同时也需要便于溯源。我认为应当注意以下几点：

1、ssh no existing session，sftp超时时间设置:

在代码无错的情况下大量ip出现No existing session，排查后定位在代码的写法上，下面是一个正确的示例。由于最开始没考虑到ssh连接的几种情况导致了重写好几遍。另外sftp的实例貌似不能直接设置连接超时时间，所以我采用了先建立ssh连接再打开sftp的方法。

2、sftp中的get()和put()方法仅能传文件，不支持直接传目录：

不能直接传目录，那换个思路，遍历路径中的目录和文件，先创建目录再传文件就能达到一样的效果了。在paramiko的sftp中sftp.listdir_attr()方法可以获取远程路径中的文件、目录信息。那么我们可以写一个递归来遍历远程路径中的所有文件和目录(传入一个列表是为了接收递归返回的值)。

python自带的os模块中的os.walk()方法可以遍历到本地路径中的目录和文件。

3、多线程多个ip使用sftp.get()方法时无法并发。

改成多进程即可。

4、多个ip需要执行相同命令或不同的命令。

由于是日常使用的场景不会很复杂，所以借鉴了ansible的playbook，读取提前准备好的配置文件即可，然后再整合到之前定义的ssh函数中。

同时，我们还衍生出一个需求，既然都要读取配置，那同样也可以提前把ip地址准备在文件里。正好也能读取我们返回的执行程序的结果。

参数说明：

密码认证：

公钥认证：

可以配合 grep，awk 等命令精准过滤。

个人认为 Python 在初中级运维工作中的性质更像是工具，以提升工作效率、减少管理成本为主。可以从当前繁琐的工作中解脱出来，去 探索 更有价值的事情。python 本质上并不会减少故障的产生，所以在不同的阶段合理利用自身掌握的知识解决当前最重要的痛点，千万不要本末倒置。

② Python都是拿来做运维吗

当然不是！

运维只是Python的应用方向之一，实际上Python主要有下面这些方向：

1. 常规软件开发

Python支持函数式编程和OOP面向对象编程，能够承担任何种类软件的开发工作，因此常规的软件开发、脚本编写、网络编程等都属于标配能力。

2. 科学计算

随着NumPy, SciPy, Matplotlib, Enthought librarys等众多程序库的开发，Python越来越适合于做科学计算、绘制高质量的2D和3D图像。和科学计算领域最流行的商业软件Matlab相比，Python是一门通用的程序设计语言，比Matlab所采用的脚本语言的应用范围更广泛，有更多的程序库的支持。虽然Matlab中的许多高级功能和toolbox目前还是无法替代的，不过在日常的科研开发之中仍然有很多的工作是可以用Python代劳的。

3. 自动化运维

这几乎是Python应用的自留地，作为运维工程师首选的编程语言，Python在自动化运维方面已经深入人心，比如Saltstack和Ansible都是大名鼎鼎的自动化平台。

4. 云计算

开源云计算解决方案OpenStack就是基于Python开发的，搞云计算的同学都懂的。

5. WEB开发

基于Python的Web开发框架不要太多，比如耳熟能详的Django，还有Tornado，Flask。其中的Python+Django架构，应用范围非常广，开发速度非常快，学习门槛也很低，能够帮助你快速的搭建起可用的WEB服务。

6. 网络爬虫

也称网络蜘蛛，是大数据行业获取数据的核心工具。没有网络爬虫自动地、不分昼夜地、高智能地在互联网上爬取免费的数据，那些大数据相关的公司恐怕要少四分之三。能够编写网络爬虫的编程语言有不少，但Python绝对是其中的主流之一，其Scripy爬虫框架应用非常广泛。

7. 数据分析

在大量数据的基础上，结合科学计算、机器学习等技术，对数据进行清洗、去重、规格化和针对性的分析是大数据行业的基石。Python是数据分析的主流语言之一。

8. 人工智能

Python在人工智能大范畴领域内的机器学习、神经网络、深度学习等方面都是主流的编程语言，得到广泛的支持和应用。

当然，除了以上的主流和前沿领域，Python还在其他传统或特殊行业起着重要的作用。

摘自：刘江的Python教程

③ 如何做好python自动化运维

随着移动互联网的普及，服务器运维所面临的挑战也随之越来越大。当规模增长到一定程度，手动管理方式已经无法应对，自动化运维成为解决问题的银弹。Python凭借其灵活性，在自动化运维方面已经被广泛使用，能够大大提高运维效率，服务器集群的规模越大，优势越明显。现在不论是linux运维工程师还是Unix运维工程师都需要掌握Python，以提高运维效率。

第一个阶段：初级，掌握Python的语法和一些常用库的使用

掌握一门语言最好的方法就是用它，所以我觉得边学语法边刷Leetcode是掌握Python最快的方式之一。

④ 请问python大神自动化运维为什么要使用python

运维学习Python到底能够带来多大的收益？
上午我QQ的一个运维技术群不知道什么时候开始聊起作为运维人有没有必要再学习一门编程语言，学什么最好等，一开始开始我没看，没想到竟然在群里讨论了近2个小时，一般情况这种问题的都是运维新人，可能目前运维整体情况还不太了解，所以为了让更多的让新入行朋友不在迷茫，今天呢我就这个问题表达下我的看法。

一、那作为运维人员要不要学习一门编程语言？

我给出的答案是：“如果不学习一门编程语言，再过2年你可能就得下岗”，我这绝不是危言耸听，不信你搜下现在对运维岗位的技能要求看看，但如果不够深刻，那接下里我们从现在运维的情况和未来运维的发展来分析下具体原因：

早些年的运维，基本是会部署个环境，懂点linux命令，再往后点呢，能用shell写出日常用的自动化脚本，满足业务的需求基本就可以了，企业对运维要求也是这些，一句话：别出事。但随着计算机技术的发展，凡是跟技术沾边的都经过不断迭代更新，运维属于技术机的一个分支，也经历了翻天覆地变化，现在这个时期我个人判断是要体现运维价值的时代，所以不创造价值的工作将逐渐被自动化运维平台所取代，也就是说之前上线部署很复杂的操作，通过一个运维自动化平台点点鼠标就可以完成实现，彻底拜托了对人的依赖，这个时期最明显的就是各个公司基本都有自己的运维平台，要么再建设中，要么已经建完了，如果平台就已建完，出于对公司人力成本的考虑，最基础的运维操作会由类似客服部门的人来负责，所以随着时间的推移，一些只做日常操作的运维将逐渐从公司消失，那按这个逻辑，既然要搭建运维平台，用shell肯定是不能满足了，所以你必须学习一门编程语言，这样你才可能拿到进入这个行业的门票。

以上就是我对大家所讨论问题的看法，不对的地方请斧正，如果您也认同，请让更多的人看到，让密迷茫的人不在迷茫，最后一句话送给大家共勉，做技术：

时间千万不要浪费在选择上，而要多用在行动上！
Python是个非常牛B的脚本语言，能满足绝大部分自动化运维的需求，又能做后端C/S架构，又能用WEB框架快速开发出高大上的Web界面，只有当你自已有能力做出一套运维自动化系统的时候，你的价值才体现出来，你才有资格跟老板谈重视。加企鹅Q秋：444加513和089连在一起，如果你想学习，这就是你的一个学习机会，提升你的个人价值，你跟大牛只差一次努力的学习！吹过牛逼不如努力一搏，还在迷茫，还在停滞不前的运维终究会被努力的别人所超越！