gitlab

[TOC]

GitLab

GitLab是用Ruby开发的完全免费的开源软件,按照 MIT 许可证分发的Git仓库管理工具,且具有wiki和issue跟踪功能。特别适合公司搭建自己的Git仓库,可局域网使用。

install

如果不是特大公司,千人以上的开发人员。中小型企业直接使用docker运行gitlab基本是足够的了,公司使用两三年了,基本没有遇到什么问题。

运行示例:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
docker pull gitlab-ce:9.5.10-ce.0

docker run --detach \
--hostname git.domain.com \
--env GITLAB_OMNIBUS_CONFIG="external_url 'https://git.domain.com/';" \
--env GITLAB_HOST="git.domain.com" \
--publish 80:80 \
--publish 2289:22 \
--name gitlab \
--restart always \
--volume /gitlab/config:/etc/gitlab \
--volume /gitlab/logs:/var/log/gitlab \
--volume /gitlab/data:/var/opt/gitlab \
--log-opt max-size=100m --log-opt max-file=10 \
gitlab-ce:9.5.10-ce.0

backup

备份很简单,itlab-rake gitlab:backup:create 即可搞定,备份以tar 压缩包保存。格式如下:

1545649962_2017_12_24_9.5.10_gitlab_backup.tar ,中间有备份时间和gitlab版本。docker备份:

1
2
docker exec -t gitlab gitlab-rake gitlab:backup:create
ls /gitlab/data/backups/1545649962_2017_12_24_9.5.10_gitlab_backup.tar

restore

恢复必须在相同的gitlab版本上面,比如上面的例子是在 9.5.10

1
2
3
4
5
6
7
8
# stop the server 
gitlab-ctl stop unicorn
gitlab-ctl stop sidekiq
gitlab-ctl status
cd /var/opt/gitlab/backup
gitlab-rake gitlab:backup:restore BACKUP=1545649962_2018_12_24_9.5.10
gitlab-ctl restart
gitlab-rake gitlab:check SANITIZE=true

参考: https://docs.gitlab.com/ee/raketasks/backup_restore.html

Personal Access Tokens

这个非常有用。github中有gist,但是在gitlab中如果你的代码库不是设置成public,那么其他人是无法看到该文件的。有了这个private token之后,就可以了。

添加token:

gitlab_token_set

访问文件:

gitlab_private_token

运维自动化工具Ansible

[TOC]

一、Ansible概述

Ansible是今年来越来越火的一款开源运维自动化工具,通过Ansible可以实现运维自动化,提高运维工程师的工作效率,减少人为失误。Ansible通过本身集成的非常丰富的模块可以实现各种管理任务,其自带模块超过上千个。更为重要的是,它操作非常简单,即使小白也可以轻松上手,但它提供的功能又非常丰富,在运维领域,几乎可以做任何事。

1、Ansible特点

Ansible自2012年发布以来,很快在全球流行,其特点如下:

  • Ansible基于Python开发,运维工程师对其二次开发相对比较容易;
  • Ansible丰富的内置模块,几乎可以满足一切要求;
  • 管理模式非常简单,一条命令可以影响上千台主机;
  • 无客户端模式,底层通过SSH通信;
  • Ansible发布后,也陆续被AWS、Google Cloud Platform、Microsoft Azure、Cisco、HP、VMware、Twitter等大公司接纳并投入使用;

二、Ansible的角色

  • 使用者:如何使用Ansible实现自动化运维?
  • Ansible工具集:Ansible可以实现的功能?
  • 作用对象:Ansible可以影响哪些主机?

1、使用者

如下图所示:Ansible使用者可以采用多种方式和Ansible交互,图中展示了四种方式:

  • CMDB:CMDB存储和管理者企业IT架构中的各项配置信息,是构建ITIL项目的核心工具,运维人员可以组合CMDB和Ansible,通过CMDB直接下发指令调用Ansible工具集完成操作者所希望达到的目标;
  • PUBLIC/PRIVATE方式:Ansible除了丰富的内置模块外,同时还提供丰富的API语言接口,如PHP、Python、PERL等多种流行语言,基于PUBLIC/PRIVATE,Ansible以API调用的方式运行;
  • Ad-Hoc命令集:Users直接通过Ad-Hoc命令集调用Ansible工具集来完成任务;
  • Playbooks:Users预先编写好Ansible Playbooks,通过执行
    Playbooks中预先编排好的任务集,按序执行任务;
    简单聊一聊Ansible自动化运维

2、Ansible工具集

Ansible工具集包含Inventory、Modules、Plugins和API。其中:

  • Inventory:用来管理设备列表,可以通过分组实现,对组的调用直接影响组内的所有主机;

  • Modules:是各种执行模块,几乎所有的管理任务都是通过模块执行的;

  • Plugins:提供了各种附加功能;

  • API:为编程人员提供一个接口,可以基于此做Ansible的二次开发;

    具体表现如下:

  • Ansible Playbooks:任务脚本,编排定义Ansible任务及的配置文件,由Ansible按序依次执行,通常是JSON格式的YML文件;
  • Inventory:Ansible管理主机清单;
  • Modules:Ansible执行命令功能模块,多数为内置的核心模块,也可自定义;
  • Plugins:模块功能的补充,如连接类型插件、循环插件、变量插件、过滤插件等,该功能不太常用;
  • API:供第三方程序调用的应用程序编程接口;
  • Ansible:该部分图中表现得不太明显,组合Inventory、API、Modules、Plugins可以理解为是Ansible命令工具,其为核心执行工具;

3、作用对象

Ansible的作用对象不仅仅是Linux和非Linux操作系统的主机,也可以作用于各类PUBLIC/PRIVATE、商业和非商业设备的网络设施。

使用者使用Ansible或Ansible-Playbooks时,在服务器终端输入Ansible的Ad-Hoc命令集或Playbooks后,Ansible会遵循预选安排的规则将Playbooks逐步拆解为Play,再将Play组织成Ansible可以识别的任务,随后调用任务涉及的所有模块和插件,根据Inventory中定义的主机列表通过SSH将任务集以临时文件或命令的形式传输到远程客户端执行并返回执行结果,如果是临时文件则执行完毕后自动删除。

三、Ansible的配置

1、Ansible安装

Ansible的安装部署非常简单,以RPM安装为例,其依赖软件只有Python和SSH,且系统默认均已安装。Ansible的管理端只能是Linux,如Redhat、Debian、Centos。

1)通过YUM安装Ansible

可以自行从互联网上直接下载Ansible所需软件包

1
2
3
4
5
6
7
8
9
[root@centos01 ~]# cd /mnt/ansiblerepo/ansiblerepo/repodata/
[root@centos01 ansiblerepo]# vim /etc/yum.repos.d/local.repo
[local]
name=centos
baseurl=file:///mnt/ansiblerepo/ansiblerepo <!--修改yum路径-->
enabled=1
gpgcheck=0
[root@centos01 ~]# yum -y install ansible
<!--安装Ansible自动化运维工具-->

2)验证安装结果

1
2
3
4
5
6
[root@centos01 ~]# ansible --version
<!--如果命令可以正常执行,则表示Ansible工具安装成功-->
ansible 2.3.1.0
config file = /etc/ansible/ansible.cfg
configured module search path = Default w/o overrides
python version = 2.7.5 (default, Nov 6 2016, 00:28:07) [GCC 4.8.5 20150623 (Red Hat 4.8.5-11)]

3)创建SSH免交互登录

Ansible通过SSH对设备进行管理,而SSH包含两种认证方式:一种是通过密码认证,另一种是通过密钥对验证。前者必须和系统交互,而后者是免交互登录。如果希望通过Ansible自动管理设备,应该配置为免交互登录被管理设备。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
[root@centos01 ~]# ssh-keygen -t rsa  <!--生成密钥对-->
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa):<!--密钥对存放路径-->
Created directory '/root/.ssh'.
Enter passphrase (empty for no passphrase):
<!--输入私钥保护密码,直接按Enter键表示无密码-->
Enter same passphrase again: <!--再次输入-->
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
SHA256:cJz6NRTrvMDxX+Jpce6LRnWI3vVEl/zvARL7D10q9WY root@centos01
The key's randomart image is:
+---[RSA 2048]----+
| . . .|
| . . + oo|
| . = o o. oo|
| = * o..+ *|
| . S *.=+=*+|
| . o =+XooE|
| . ..=.++.|
| ..o ..|
| .. o. |
+----[SHA256]-----+
[root@centos01 ~]# ssh-copy-id -i .ssh/id_rsa.pub root@192.168.100.20 <!--复制公钥到远端192.168.100.20-->
[root@centos01 ~]# ssh-copy-id -i .ssh/id_rsa.pub root@192.168.100.30 <!--复制公钥到远端192.168.100.30-->

至此,已经完成Ansible的部署,接下来就可以通过Ansible对设备进行管理了。

2、Ansible配置

Inventory是Ansible管理主机信息的配置文件,相当于系统Hosts文件的功能,默认存放在/etc/ansible/hosts。在hosts文件中,通过分组来组织设备,Ansible通过Inventory来定义主机和分组,通过在ansible命令中使用选项-i或–inventory-file来指定Inventory。

1
[root@centos01 ~]# ansible -i /etc/ansible/hosts web -m ping

如果使用默认的Inventory文件(/etc/ansible/hosts),也可以不指定Inventory文件,例如:

1
[root@centos01 ~]# ansible web -m ping

Ansible通过设备列表以分组的方式添加到/etc/ansible/hosts文件来实现对设备的管理,所以在正式管理之前,首先要编写好hosts文件。hosts文件中,以[ ]包含的部分代表组名,设备列表支持主机名和IP地址。默认情况下,通过访问22端口(SSH)来管理设备。若目标主机使用了非默认的SSH端口,还可以在主机名称之后使用冒号加端口标明,以行为单位分隔配置。另外,hosts文件还支持通配符。

1
2
3
4
5
6
7
8
9
10
11
[root@centos01 ~]# vim /etc/ansible/hosts
............ <!--此处省略部分内容-->
[web]
192.168.100.20
192.168.100.30
[test]
www.benet.com:222 <!--通过222端口管理设备-->
[mail]
yj1.kgc.cn
yj[2:5].kgc.cn
<!--[2:5]表示2~5之间的所有数字,即表示yj2.kgc.cn、yj3.kgc.cn……的所有主机-->

可以将一个主机同时归置在不同的组中。

配置完成之后,可以针对hosts定义的组进行远程操作,也可以针对组中的某一个或多个主机操作。例如:

1)只对web组中192.168.1.2主机操作,通过–limit参数限定主机的变更。

1
2
3
4
[root@centos01 ~]# ansible web -m command -a "systemctl status httpd" --limit "192.168.100.20"
192.168.100.20 | SUCCESS | rc=0 >>
<!--看到SUCCESS就知道成功了,所以以下内容-->
<!--如果测试httpd服务,被测试主机必然已经安装并启动了httpd服务-->

2)只对192.168.100.20主机操作。通过IP限定主机的变更。

1
2
[root@centos01 ~]# ansible 192.168.100.20 -m command -a "systemctl status httpd"
192.168.100.20 | SUCCESS | rc=0 >>

3)只对192.168.100.0网段主机操作,这就需要使用到通配符来限定主机的变更了。

1
2
3
4
5
6
[root@centos01 ~]# ansible 192.168.1.* -m command -a "systemctl status httpd"
192.168.100.20 | SUCCESS | rc=0 >>
....... <!--此处省略部分内容-->
192.168.100.30 | SUCCESS | rc=0 >>
....... <!--此处省略部分内容-->
<!--实验环境,效果一样,这里就不多说了-->

3、Ansible命令

Ansible的维护命令大多数是以ansible开头,在终端输入ansible后连续按两次Tab键,会补全所有跟ansible相关的命令。

1
2
3
4
5
6
[root@centos01 ~]# ansible  <!--连续按Tab键-->
ansible ansible-console-2 ansible-galaxy ansible-playbook-2.7 ansible-vault-2
ansible-2 ansible-console-2.7 ansible-galaxy-2 ansible-pull ansible-vault-2.7
ansible-2.7 ansible-doc ansible-galaxy-2.7 ansible-pull-2
ansible-connection ansible-doc-2 ansible-playbook ansible-pull-2.7
ansible-console ansible-doc-2.7 ansible-playbook-2 ansible-vault

1)ansible

ansible是生产环境中使用非常频繁的命令之一,主要在以下场景使用:

  • 非固化需求;
  • 临时一次性操作;
  • 二次开发接口调用;

非固化需求是指临时性的维护,如查看web服务器组磁盘使用情况、复制一个文件到其他机器等。类似这些没有规律的、临时需要做的任务,我们成为非固化需求,临时一次性操作,语法如下:

1
Ansible  <host-pattern> [options]

可用选项如下:

  • -v(–verbose):输出详细的执行过程信息,可以得到执行过程所有信息;
  • -i PATH(–inventory=PATH):指定inventory信息,默认为/etc/ansible/hosts;
  • -f NUM(–forks=NUM):并发线程数,默认为5个线程;
  • –private-key=PRIVATE_KEY_FILE:指定密钥文件;
  • -m NAME,–module-name=NAME:指定执行使用的模块;
  • -M DIRECTORY(–module-path=DIRECTORY) :指定模块存放路径,默认为/usr/share/ansible;
  • -a ARGUMENTS(–args=ARGUMENTS):指定模块参数;
  • -u USERNAME(–user=USERNAME):指定远程主机以USERNAME运行命令;
  • -l subset(–limit=SUBSET):限制运行主机;

①检查所有主机是否存活,执行命令如下:

1
2
3
4
5
6
7
8
9
10
[root@centos01 ~]# ansible all -f 5 -m ping                         
<!--调用ping模块,all表示/etc/ansible/hosts文件中的所有主机,不用创建all分组(默认存在)-->
192.168.100.20 | SUCCESS => { <!--表示执行成功-->
"changed": false, <!--没有对主机做出更改-->
"ping": "pong" <!--表示执行ping命令的返回结果-->
}
192.168.100.30 | SUCCESS => {
"changed": false,
"ping": "pong"
}

②列出web组所有的主机列表,执行命令如下:

1
2
3
4
[root@centos01 ~]# ansible web --list      <!-- --list:表示列出主机列表信息-->
hosts (2):
192.168.100.20
192.168.100.30

③批量显示web组中的磁盘使用空间,执行命令如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
[root@centos01 ~]# ansible web -m command -a "df -hT"
192.168.100.30 | SUCCESS | rc=0 >>
文件系统 类型 容量 已用 可用 已用% 挂载点
/dev/mapper/cl-root xfs 17G 4.4G 13G 26% /
devtmpfs devtmpfs 897M 0 897M 0% /dev
tmpfs tmpfs 912M 84K 912M 1% /dev/shm
tmpfs tmpfs 912M 0 912M 0% /sys/fs/cgroup
/dev/sda1 xfs 1014M 173M 842M 18% /boot
tmpfs tmpfs 183M 16K 183M 1% /run/user/42
tmpfs tmpfs 183M 0 183M 0% /run/user/0

192.168.100.20 | SUCCESS | rc=0 >>
文件系统 类型 容量 已用 可用 已用% 挂载点
/dev/mapper/cl-root xfs 17G 4.3G 13G 26% /
devtmpfs devtmpfs 897M 0 897M 0% /dev
tmpfs tmpfs 912M 84K 912M 1% /dev/shm
tmpfs tmpfs 912M 0 912M 0% /sys/fs/cgroup
/dev/sda1 xfs 1014M 173M 842M 18% /boot
tmpfs tmpfs 183M 16K 183M 1% /run/user/42
tmpfs tmpfs 183M 0 183M 0% /run/user/0
/dev/sr0 iso9660 4.1G 4.1G 0 100% /mnt

web关键字需要提前在/etc/ansible/hosts文件中定义组。

Ansible的返回结果非常友好,一般会用三种颜色来表示执行结果:

  • 红色:表示执行过程出现异常;
  • 橘黄颜色:表示命令执行后目标有状态变化;
  • 绿色:表示执行成功且没有目标机器做修改;

2)Ansible-doc

Ansible-doc用来查询ansible模块文档的说明,类似于man命令,针对每个模块都有详细的用法说明及应用案例介绍,语法如下:

1
ansible-doc [options] [module……]

列出支持的模块:

1
[root@centos01 ~]#ansible-doc -l

查询ping模块的说明信息:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
[root@centos01 ~]# ansible-doc ping
> PING (/usr/lib/python2.7/site-packages/ansible/modules/system/ping.py)

A trivial test module, this module always returns `pong' on successful contact. It
does not make sense in playbooks, but it is useful from `/usr/bin/ansible' to verify
the ability to login and that a usable python is configured. This is NOT ICMP ping,
this is just a trivial test module.

EXAMPLES:
# Test we can logon to 'webservers' and execute python with json lib.
ansible webservers -m ping

MAINTAINERS: Ansible Core Team, Michael DeHaan

METADATA:
Status: ['stableinterface']
Supported_by: core

3)Ansible-playbook

Ansible-playbook是日常应用中使用频率最高的命令,类似于Linux中的sh或source命令,用来执行系列任务。其工作机制:通过读取预先编写好的playbook文件实现集中处理任务。Ansible-playbook命令后跟yml格式的playbook文件,playbook文件存放了要执行的任务代码,命令使用方式如下:

1
2
Ansible-playbook playbook.yml
<!--playbook.yml文件要提前编写好,建议使用绝对路径-->

4)Ansible-console

Ansible-console是Ansible为用户提供的一款交互式工具,类似于Windows的cmd或者是Linux中shell。用户可以在ansible-console虚拟出来的终端上像shell一样使用Ansible内置的各种命令,这为习惯于使用shell交互式方式的用户提供了良好的使用体验。在终端输入ansible-console命令后,显示如下:

1
2
3
4
5
6
7
8
9
[root@centos01 ~]# ansible-console
Welcome to the ansible console.
Type help or ? to list commands.
<!--输入help或?获取帮助-->
root@all (2)[f:5]$ cd web <!--使用cd命令切换主机或分组-->
root@web (2)[f:5]$ list <!--列出当前的设备-->
192.168.100.20
192.168.100.30
<!--支持Tab键补全,快捷键Ctrl+D或Ctrl+C即可退出当前的虚拟终端-->

4、Ansible模块

1)command模块

command模块在远程主机执行命令,不支持管道、重定向等shell的特性。常用的参数如下:

  • chdir:在远程主机上运行命令前要提前进入的目录;
  • creates:在命令运行时创建一个文件,如果文件已存在,则不会执行创建任务;
  • removes:在命令运行时移除一个文件,如果文件不存在,则不会执行移除任务;
  • executeable:指明运行命令的shell程序;

在所有主机上运行“ls ./”命令,运行前切换到/home目录下。操作如下:

1
[root@centos01 ~]# ansible web -m command -a "chdir=/ ls ./"

2)shell模块

shell模块在远程主机执行命令,相当于调用远程主机的Shell进程,然后在该Shell下打开一个子Shell运行命令。和command模块的区别是它支持Shell特性:如管道、重定向等。

示例如下:

1
2
3
4
5
6
7
8
9
10
[root@centos01 ~]# ansible web -m shell -a "echo hello world "        <!--输出到屏幕-->
192.168.100.20 | SUCCESS | rc=0 >>
hello world

192.168.100.30 | SUCCESS | rc=0 >>
hello world
[root@centos01 ~]# ansible web -m shell -a "echo hello world > /1.txt" <!--输出到1.txt文件中-->
192.168.100.20 | SUCCESS | rc=0 >>

192.168.100.30 | SUCCESS | rc=0 >>

3)copy模块

copy模块用于复制指定主机文件到远程主机的指定位置。常见的参数如下:

  • dest:指出复制文件的目标目录位置,使用绝对路径。如果源是目录,则目标也要是目录,如果目标文件已存在,会覆盖原有内容;
  • src:指出源文件的路径,可以使用相对路径和绝对路径,支持直接指定目录。如果源是目录,则目标也要是目录;
  • mode:指出复制时,目标文件的权限,可选;
  • owner:指出复制时,目标文件的属主,可选;
  • group:指出复制时目标文件的属组,可选;
  • content:指出复制到目标主机上的内容,不能和src一起使用,相当于复制content指明的数据到目标文件中;

示例如下:

1
2
3
4
[root@centos01 ~]# ansible web -m copy -a "src=/etc/hosts 
dest=/root/a1.hosts mode=777 owner=root group=root"
<!--/将本机的hosts文件复制到web组中的所有主机上存放在家目录下的a1.hosts目录,
权限是777,属主是root,属组是root-->

4)hostname模块

hostname模块用于管理远程主机上的主机名。常用的参数如下:

  • name:指明主机名;

示例如下:

1
2
3
[root@centos01 ~]# ansible 192.168.100.20 -m hostname -a "name=test"
<!--将192.168.100.20的主机名改为test,
但是192.168.100.20需要敲一下bash才生效-->

5)yum模块

yum模块基于yum机制,对远程主机管理程序包。常用的参数如下:

  • name:程序包名称,可以带上版本号。若不指明版本,则默认为最新版本;
  • state=present|latest|absent:指明对程序包执行的操作:present表明安装程序包,latest表示安装最新版本的程序包,absent表示卸载程序包;
  • disablerepo:在用yum安装时,临时禁用某个仓库的ID;
  • enablerepo:在用yum安装时,临时启用某个仓库的ID;
  • conf_file:yum运行时的配置文件,而不是使用默认的配置文件;
  • disable_gpg_check=yes|no:是否启用完整性校验功能;

示例如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
[root@centos01 ~]# ansible web -m shell -a "/usr/bin/rm -rf 
/etc/yum.repos.d/CentOS-*"
<!--批量化删除web组主机的yum源-->
[root@centos01 ~]# ansible web -m shell -a "/usr/bin/mount
/dev/cdrom /mnt" <!--批量化挂载光盘-->
[WARNING]: Consider using mount module rather than running mount

192.168.100.20 | SUCCESS | rc=0 >>
mount: /dev/sr0 写保护,将以只读方式挂载

192.168.100.30 | SUCCESS | rc=0 >>
mount: /dev/sr0 写保护,将以只读方式挂载
[root@centos01 ~]# ansible web -m yum -a "name=httpd
state=present" <!--批量化安装httpd程序-->
[root@centos01 ~]# ansible web -m shell -a "rpm -qa | grep httpd"
<!--批量化查看安装的httpd程序包-->
[WARNING]: Consider using yum, dnf or zypper module rather than running rpm

192.168.100.20 | SUCCESS | rc=0 >>
httpd-2.4.6-67.el7.centos.x86_64
httpd-tools-2.4.6-67.el7.centos.x86_64

192.168.100.30 | SUCCESS | rc=0 >>
httpd-2.4.6-67.el7.centos.x86_64
httpd-tools-2.4.6-67.el7.centos.x86_64
[root@centos01 ~]# ansible web -m shell -a "systemctl start httpd" <!--批量启动服务-->
[root@centos01 ~]# ansible web -m shell -a "netstat -anptu | grep httpd" <!--批量化监听httpd服务是否启动成功-->
192.168.100.20 | SUCCESS | rc=0 >>
tcp6 0 0 :::80 :::* LISTEN 2072/httpd

192.168.100.30 | SUCCESS | rc=0 >>
tcp6 0 0 :::80 :::* LISTEN 3098/httpd

管理端只是发送yum指令到被管理端,被管理端要存在可用的yum仓库才可以成功安装。

6)service模块

service模块为用来管理远程主机上的服务的模块。常见的参数如下:

  • name:被管理的服务名称;
  • state=started|stopped|restarted:动作包含启动,关闭或重启;
  • enable=yes|no:表示是否设置该服务开机自启动;
  • runlevel:如果设定了enabled开机自启动,则要定义在哪些运行目标下自动启动;

示例如下:

1
2
3
[root@centos01 ~]# ansible web -m service -a "name=httpd 
enabled=yes state=restarted"
<!--设置httpd服务重新启动和开机自动启动-->

7)user模块

user模块主要用于管理远程主机上的用户账号。常见的参数如下:

  • name:必选参数,账号名称;
  • state=present|absent:创建账号或者删除账号,present表示创建,absent表示删除;
  • system=yes|no:是否为系统账户;
  • uid:用户UID;
  • group:用户的基本组;
  • groups:用户的附加组;
  • shell:默认使用的shell;
  • home:用户的家目录;
  • mve_home=yes|no:如果设置的家目录已经存在,是否将已存在的家目录进行移动;
  • pssword:用户的密码,建议使用加密后的字符串;
  • comment:用户的注释信息;
  • remore=yes|no:当state=absent时,是否要删除用户的家目录;

创建用户示例如下:

1
2
3
4
5
[root@centos01 ~]# ansible web -m user -a "name=user01 
system=yes uid=502 group=root groups=root shell=/etc/nologin
home=/home/user01 password=pwd@123"
<!--在web组的所有主机上新建一个系统用户,UID为502,
属组是root,名字是user01,密码是pwd@123-->

四、playbook配置文件

1、执行配置文件

playbook配置文件使用YAML语法,具有简洁明了、结构清晰等特点。playbook配置文件类似于shell脚本,是一个YAML格式的文件,用于保存针对特定需求的任务列表。上面介绍的ansible命令虽然可以完成各种任务,但是当配置一些复杂任务时,逐条输入就显得效率非常低下。更有效的方案是在playbook配置文件中放置所有的任务代码,利用ansible-playbook命令执行该文件,可以实现自动化运维。YAML文件的扩展名通常为.yaml或.yml。

YAML语法与其他高级语言类似,其结构通过缩进来展示,通过“-”来代表项;“:”用来分隔键和值;整个文件以“—”开头并以“…”结尾,如下所示:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
[root@centos01 ~]# grep -v ^# /etc/ansible/hosts | grep -v ^$              <!--查看hosts中的分组信息-->
[web1]
192.168.100.20
[web2]
192.168.100.30
[root@centos01 ~]# vim /etc/ansible/a.yml
<!--创建a.yml文件,写入以下内容-->
---
- hosts: web1 <!--针对web1组中的操作-->
remote_user: root <!--远端执行用户身份为root-->
tasks: <!--任务列表-->
- name: adduser <!--任务名称-->
user: name=user1 state=present <!--执行user模块,创建用户-->
tags: <!--创建tag标签-->
- aaa <!--tag标签为aaa-->
- name: addgroup <!--任务名称-->
group: name=root system=yes <!--执行group模块,创建组-->
tags: <!--创建tag标签-->
- bbb <!--tag标签为bbb-->
- hosts: web2 <!--针对web2组中的操作-->
remote_user: root <!--远端执行用户身份为root-->
tasks: <!--任务列表-->
- name: copy file to web <!--任务名称-->
copy: src=/etc/passwd dest=/home <!--执行copy模块,复制文件-->
tags: <!--创建tag标签-->
- ccc <!--tag标签为ccc-->
...

所有的“-”和“:”后面均有空格,而且注意缩进和对齐,如下图所示:
简单聊一聊Ansible自动化运维

playbook的核心元素包含:

  • hosts:任务的目标主机,多个主机用冒号分隔,一般调用/etc/ansible/hosts中的分组信息;
  • remote_user:远程主机上,运行此任务的默认身份为root;
  • tasks:任务,即定义的具体任务,由模块定义的操作列表;
  • handlers:触发器,类似tasks,只是在特定的条件下才会触发的任务。某任务的状态在运行后为changed时,可通过“notify”通知给相应的handlers进行触发执行;
  • roles:角色,将hosts剥离出去,由tasks、handlers等所组成的一种特定的结构集合;

playbook文件定义的任务需要通过ansible-playbook命令进行调用并执行。ansible-playbook命令用法如下:

1
ansible-playbook [option] /PATH/TO/PLAYBOOK.yaml

其中,[option]部分的功能包括:

  • –syntax-check:检测yaml文件的语法;
  • -C(–check):预测试,不会改变目标主机的任何设置;
  • –list-hosts:列出yaml文件影响的主机列表;
  • –list-tasks:列出yaml文件的任务列表;
  • –list-tags:列出yaml文件中的标签;
  • -t TAGS(–tags=TAGS):表示只执行指定标签的任务;
  • –skip-tags=SKIP_TAGS:表示除了指定标签的任务,执行其他任务;

–start-at-task=START_AT:从指定的任务开始往下运行;

执行playbook的示例如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
[root@centos01 ~]# ansible-playbook --syntax-check /etc/ansible/a.yml    <!--语法检测-->

playbook: /etc/ansible/a.yml <!--表示没有报错-->
[root@centos01 ~]# ansible-playbook -C /etc/ansible/a.yml
<!--对a.yml进行预测试-->
.................<!--省略部分内容-->
192.168.100.20 : ok=3 changed=1 unreachable=0 failed=0
192.168.100.30 : ok=2 changed=1 unreachable=0 failed=0
<!--返回结果表示没有错误,全部可以执行成功。-->
[root@centos01 ~]# ansible-playbook --list-hosts /etc/ansible/a.yml
<!--列出a.yml文件中的主机-->
[root@centos01 ~]# ansible-playbook --list-tasks /etc/ansible/a.yml
<!--列出任务-->
[root@centos01 ~]# ansible-playbook --list-tags /etc/ansible/a.yml <!--列出标签-->
[root@centos01 ~]# ansible-playbook /etc/ansible/a.yml <!--执行任务-->
[root@centos01 ~]# ssh 192.168.100.20 tail -1 /etc/passwd <!--确认执行结果-->
user1:x:1001:1001::/home/user1:/bin/bash
[root@centos01 ~]# ssh 192.168.100.30 ls -ld /home/passwd
-rw-r--r--. 1 root root 2342 7月 23 16:06 /home/passwd
<!--一般情况先执行“-C”命令进行预测试,没有问题后再执行.yml文件。-->

通常情况下先执行ansible-playbook -C /PATH/TO/PLAYBOOK.yaml命令进行测试,测试没问题后再执行ansible-playbook /PATH/TO/PLAYBOOK.yml命令。

2、触发器

需要触发才能执行的任务,当之前定义在tasks中的任务执行成功后,若希望在此基础上触发其他任务,这时就需要定义handlers。例如,当通过ansible的模块对目标主机的配置文件进行修改之后,如果任务执行成功,可以触发一个触发器,在触发器中定义目标主机的服务重启操作,以使配置文件生效。handlers触发器具有以下特点:

  • handlers是Ansible提供的条件机制之一。handlers和task很类似,但是它只在被task通知的时候才会触发执行。
  • handlers只会在所有任务执行完成后执行。而且即使被通知了很多次,它也只会执行一次。handlers按照定义的顺序依次执行。

handlers触发器的使用示例如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
[root@centos01 ~]# ssh 192.168.100.20 netstat -anpt | grep 80                  <!--查询100.20主机监听的端口-->
tcp6 0 0 :::80 :::* LISTEN 94858/httpd
<!--可以看到是监听80端口,现在通过脚本改为8080端口,并使其生效。-->
[root@centos01 ~]# vim /etc/ansible/httpd.yml
<!--编辑httpd.yml文件,写入以下内容-->

---
- hosts: web1
remote_user: root
tasks:
- name: change port
command: sed -i 's/Listen\ 80/Listen\ 8080/g' /etc/httpd/conf/httpd.conf
notify: <!--配置触发条件-->
- restart httpd server <!--完成该任务后调用名为“restart httpd server”的触发器-->
handlers: <!--配置触发器-->
- name: restart httpd server <!--指定触发器名字,要和上面“notify”指定的触发器名字一样-->
service: name=httpd state=restarted<!--触发任务为重启httpd服务-->
...
<!--编写完成后,保存退出即可-->
[root@centos01 ~]# ansible-playbook -C /etc/ansible/httpd.yml <!--进行预测试-->
[root@centos01 ~]# ansible-playbook /etc/ansible/httpd.yml <!--执行脚本-->
[root@centos01 ~]# ssh 192.168.100.20 netstat -anpt | grep 8080 <!--远端主机已经运行8080端口-->
tcp6 0 0 :::8080 :::* LISTEN 103594/httpd

3、角色

将多种不同的tasks的文件集中存储在某个目录下,则该目录就是角色。角色一般存放在/etc/ansible/roles/目录,可通过ansible的配置文件来调整默认的角色目录,/etc/ansible/roles/目录下有很多子目录,其中每一个子目录对应一个角色,每个角色也有自己的目录结构,如下图所示:
简单聊一聊Ansible自动化运维

/etc/ansible/roles/为角色集合,该目录下有自定义的各个子目录:

  • mariadb:mysql角色;
  • Apache:httpd角色;
  • Nginx:Nginx角色;

每个角色的定义,以特定的层级目录结构进行组织。以mariadb(mysql角色)为例:

  • files:存放由copy或script等模块调用的文件;
  • templates:存放template模块查找所需要的模板文件的目录,如mysql配置文件模板;
  • tasks:任务存放的目录;
  • handlers:存放相关触发执行的目录;
  • vars:变量存放的目录;
  • meta:用于存放此角色元数据;
  • default:默认变量存放的目录,文件中定义了此角色使用的默认变量;

上述目录中,tasks、handlers、vars、meta、default至少应该包含一个main.yml文件,该目录下也可以有其他.yml文件,但是需要在main.yml文件中用include指令将其他.yml文件包含进来。

有了角色后,可以直接在yaml文件(playbook配置文件)中调用角色,示例如下:

1
2
3
4
5
- hosts: web
remote_user: root
roles:
- mysql <!--调用角色名-->
- httpd <!--调用角色名-->

可以只调用一个角色,也可以调用多个角色,当定义了角色后,用ansible-playbook PALYBOOK文件执行即可。此时ansible会到角色集合的目录(/etc/ansible/roles)去找mysql和httpd目录,然后依次运行mysql和httpd目录下的所有代码。

下面来个安装及配置mariadb数据库的实例

需求分析:

  • 要求被管理主机上自动安装mariadb,安装完成后上传提前准备好的配置文件至远端主机,重启服务,然后新建testdb数据库,并允许test用户对其拥有所有权限。
  • 被管理主机配置yum仓库,自行配置,若被管理端可以连接互联网,那么直接将yum仓库指向互联网即可。

开始在ansible服务器上实施:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
[root@centos01 /]# mkdir -pv /etc/ansible/roles/mariadb/{files,tasks,handlers}
mkdir: 已创建目录 "/etc/ansible/roles/mariadb"
mkdir: 已创建目录 "/etc/ansible/roles/mariadb/files"
mkdir: 已创建目录 "/etc/ansible/roles/mariadb/tasks"
mkdir: 已创建目录 "/etc/ansible/roles/mariadb/handlers"
[root@ansible /]# cd /etc/ansible/roles/mariadb/tasks/ <!--切换至指定目录-->
[root@centos01 tasks]# ls
[root@centos01 tasks]# vim main.yml <!--编写main.yml文件-->
---
- name: install mariadb
yum: name=mariadb-server state=present
- name: move config file
shell: "[ -e /etc/my.cnf ] && mv /etc/my.cnf /etc/my.cnf.bak"
- name: provide a new config file
copy: src=my.cnf dest=/etc/my.cnf
- name: reload mariadb
shell: systemctl restart mariadb
- name: create database testdb
shell: mysql -u root -e "create database testdb;grant all on testdb.* to 'test'@'192.168.100.%' identified by 'test123';flush privileges;"
notify:
- restart mariadb
...
<!--编写完毕,保存退出即可-->
[root@centos01 tasks]# cd ../handlers/ <!--切换至触发器目录-->
[root@centos01 handlers]# vim main.yml <!--编写main.yml文件,写入以下内容-->
---
- name: restart mariadb
service: name=mariadb state=restarted
...
<!--编写完毕,保存退出即可-->
[root@centos01 handlers]# cd ../files <!--进入mariadb角色文件夹的files-->
[root@centos01 files]# pwd
/etc/ansible/roles/mariadb/files
[root@centos01 files]# ls <!--准备好配置好的mysql数据库配置文件,需要分发到远程主机的-->
my.cnf
[root@centos01 files]# cd /etc/ansible/
[root@centos01 ansible]# vim mariadb.yml <!--编写.yml文件-->
---
- hosts: web
remote_user: root
roles:
- mariadb
...
<!--编写完毕,保存退出即可-->
[root@centos01 ansible]# ansible-playbook -C mariadb.yml <!--进行预检测-->
........................ <!--省略部分内容-->
PLAY RECAP ***************************************************************************
192.168.100.20 : ok=3 changed=1 unreachable=0 failed=0
<!--返回结果表示没问题-->
[root@centos01 ansible]# ansible-playbook mariadb.yml <!--执行安装-->

待安装完成后,在远端主机上自行测试。

Python异步asyncio

[TOC]

asyncio是Python 3.4版本引入的标准库,直接内置了对异步IO的支持。

asyncio的编程模型就是一个消息循环。我们从asyncio模块中直接获取一个EventLoop的引用,然后把需要执行的协程扔到EventLoop中执行,就实现了异步IO。

asyncio实现Hello world代码如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
import asyncio

@asyncio.coroutine
def hello():
print("Hello world!")
# 异步调用asyncio.sleep(1):
r = yield from asyncio.sleep(1)
print("Hello again!")

# 获取EventLoop:
loop = asyncio.get_event_loop()
# 执行coroutine
loop.run_until_complete(hello())
loop.close()

@asyncio.coroutine把一个generator标记为coroutine类型,然后,我们就把这个coroutine扔到EventLoop中执行。

hello()会首先打印出Hello world!,然后,yield from语法可以让我们方便地调用另一个generator。由于asyncio.sleep()也是一个coroutine,所以线程不会等待asyncio.sleep(),而是直接中断并执行下一个消息循环。当asyncio.sleep()返回时,线程就可以从yield from拿到返回值(此处是None),然后接着执行下一行语句。

asyncio.sleep(1)看成是一个耗时1秒的IO操作,在此期间,主线程并未等待,而是去执行EventLoop中其他可以执行的coroutine了,因此可以实现并发执行。

我们用Task封装两个coroutine试试:

1
2
3
4
5
6
7
8
9
10
11
12
13
import threading
import asyncio

@asyncio.coroutine
def hello():
print('Hello world! (%s)' % threading.currentThread())
yield from asyncio.sleep(1)
print('Hello again! (%s)' % threading.currentThread())

loop = asyncio.get_event_loop()
tasks = [hello(), hello()]
loop.run_until_complete(asyncio.wait(tasks))
loop.close()

观察执行过程:

1
2
3
4
5
6
Hello world! (<_MainThread(MainThread, started 140735195337472)>)
Hello world! (<_MainThread(MainThread, started 140735195337472)>)
(暂停约1秒)
Hello again! (<_MainThread(MainThread, started 140735195337472)>)
Hello again! (<_MainThread(MainThread, started 140735195337472)>)

由打印的当前线程名称可以看出,两个coroutine是由同一个线程并发执行的。

如果把asyncio.sleep()换成真正的IO操作,则多个coroutine就可以由一个线程并发执行。

我们用asyncio的异步网络连接来获取sina、sohu和163的网站首页:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
import asyncio

@asyncio.coroutine
def wget(host):
print('wget %s...' % host)
connect = asyncio.open_connection(host, 80)
[reader, writer] = yield from connect
header = 'GET / HTTP/1.0\r\nHost: %s\r\n\r\n' % host
writer.write(header.encode('utf-8'))
yield from writer.drain()
while True:
line = yield from reader.readline()
if line == b'\r\n':
break
print('%s header > %s' % (host, line.decode('utf-8').rstrip()))
# Ignore the body, close the socket
writer.close()

loop = asyncio.get_event_loop()
tasks = [wget(host) for host in ['www.sina.com.cn', 'www.sohu.com', 'www.163.com']]
loop.run_until_complete(asyncio.wait(tasks))
loop.close()

执行结果如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
wget www.sohu.com...
wget www.sina.com.cn...
wget www.163.com...
(等待一段时间)
(打印出sohu的header)
www.sohu.com header > HTTP/1.1 200 OK
www.sohu.com header > Content-Type: text/html
...
(打印出sina的header)
www.sina.com.cn header > HTTP/1.1 200 OK
www.sina.com.cn header > Date: Wed, 20 May 2015 04:56:33 GMT
...
(打印出163的header)
www.163.com header > HTTP/1.0 302 Moved Temporarily
www.163.com header > Server: Cdn Cache Server V2.0
...

可见3个连接由一个线程通过coroutine并发完成。

小结

asyncio提供了完善的异步IO支持;

异步操作需要在coroutine中通过yield from完成;

多个coroutine可以封装成一组Task然后并发执行。

Python异步async await

[TOC]

asyncio提供的@asyncio.coroutine可以把一个generator标记为coroutine类型,然后在coroutine内部用yield from调用另一个coroutine实现异步操作。

为了简化并更好地标识异步IO,从Python 3.5开始引入了新的语法asyncawait,可以让coroutine的代码更简洁易读。

请注意,asyncawait是针对coroutine的新语法,要使用新的语法,只需要做两步简单的替换:

  1. @asyncio.coroutine替换为async
  2. yield from替换为await

让我们对比一下上一节的代码:

1
2
3
4
5
6
@asyncio.coroutine
def hello():
print("Hello world!")
r = yield from asyncio.sleep(1)
print("Hello again!")

用新语法重新编写如下:

1
2
3
4
async def hello():
print("Hello world!")
r = await asyncio.sleep(1)
print("Hello again!")

剩下的代码保持不变。

小结

Python从3.5版本开始为asyncio提供了asyncawait的新语法;

注意新语法只能用在Python 3.5以及后续版本,如果使用3.4版本,则仍需使用上一节的方案。

try it ?

使用async异步获取sina、sohu和163的网站首页。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
import asyncio
async def wget(host):
print('wget %s...' % host)
connect = asyncio.open_connection(host, 80)
[reader, writer] = await connect
header = 'GET / HTTP/1.0\r\nHost: %s\r\n\r\n' % host
writer.write(header.encode('utf-8'))
await writer.drain()
while True:
line = await reader.readline()
if line == b'\r\n':
break
print('%s header > %s' % (host, line.decode('utf-8').rstrip()))
# Ignore the body, close the socket
writer.close()

if __name__ == '__main__':
loop = asyncio.get_event_loop()
tasks = [wget(host) for host in ['www.sina.com.cn', 'www.sohu.com', 'www.163.com']]
loop.run_until_complete(asyncio.wait(tasks))
loop.close()

Python异步aiohttp

[TOC]

asyncio可以实现单线程并发IO操作。如果仅用在客户端,发挥的威力不大。如果把asyncio用在服务器端,例如Web服务器,由于HTTP连接就是IO操作,因此可以用单线程+coroutine实现多用户的高并发支持。

asyncio实现了TCP、UDP、SSL等协议,aiohttp则是基于asyncio实现的HTTP框架。

我们先安装aiohttp

1
2
pip install aiohttp

然后编写一个HTTP服务器,分别处理以下URL:

  • / - 首页返回b'<h1>Index</h1>'
  • /hello/{name} - 根据URL参数返回文本hello, %s!

代码如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
import asyncio

from aiohttp import web

async def index(request):
await asyncio.sleep(0.5)
return web.Response(body=b'<h1>Index</h1>')

async def hello(request):
await asyncio.sleep(0.5)
text = '<h1>hello, %s!</h1>' % request.match_info['name']
return web.Response(body=text.encode('utf-8'))

async def init(loop):
app = web.Application(loop=loop)
app.router.add_route('GET', '/', index)
app.router.add_route('GET', '/hello/{name}', hello)
srv = await loop.create_server(app.make_handler(), '127.0.0.1', 8000)
print('Server started at http://127.0.0.1:8000...')
return srv

loop = asyncio.get_event_loop()
loop.run_until_complete(init(loop))
loop.run_forever()

注意aiohttp的初始化函数init()也是一个coroutineloop.create_server()则利用asyncio创建TCP服务。

Python协程

[TOC]

协程,又称微线程。英文名Coroutine。

协程的概念很早就提出来了,但直到最近几年才在某些语言(如Lua)中得到广泛应用。

子程序,或者称为函数,在所有语言中都是层级调用,比如A调用B,B在执行过程中又调用了C,C执行完毕返回,B执行完毕返回,最后是A执行完毕。

所以子程序调用是通过栈实现的,一个线程就是执行一个子程序。

子程序调用总是一个入口,一次返回,调用顺序是明确的。而协程的调用和子程序不同。

协程看上去也是子程序,但执行过程中,在子程序内部可中断,然后转而执行别的子程序,在适当的时候再返回来接着执行。

注意,在一个子程序中中断,去执行其他子程序,不是函数调用,有点类似CPU的中断。比如子程序A、B:

1
2
3
4
5
6
7
8
9
10
def A():
print('1')
print('2')
print('3')

def B():
print('x')
print('y')
print('z')

假设由协程执行,在执行A的过程中,可以随时中断,去执行B,B也可能在执行过程中中断再去执行A,结果可能是:

1
2
3
4
5
6
7
1
2
x
y
3
z

但是在A中是没有调用B的,所以协程的调用比函数调用理解起来要难一些。

看起来A、B的执行有点像多线程,但协程的特点在于是一个线程执行,那和多线程比,协程有何优势?

最大的优势就是协程极高的执行效率。因为子程序切换不是线程切换,而是由程序自身控制,因此,没有线程切换的开销,和多线程比,线程数量越多,协程的性能优势就越明显。

第二大优势就是不需要多线程的锁机制,因为只有一个线程,也不存在同时写变量冲突,在协程中控制共享资源不加锁,只需要判断状态就好了,所以执行效率比多线程高很多。

因为协程是一个线程执行,那怎么利用多核CPU呢?最简单的方法是多进程+协程,既充分利用多核,又充分发挥协程的高效率,可获得极高的性能。

Python对协程的支持是通过generator实现的。

在generator中,我们不但可以通过for循环来迭代,还可以不断调用next()函数获取由yield语句返回的下一个值。

但是Python的yield不但可以返回一个值,它还可以接收调用者发出的参数。

来看例子:

传统的生产者-消费者模型是一个线程写消息,一个线程取消息,通过锁机制控制队列和等待,但一不小心就可能死锁。

如果改用协程,生产者生产消息后,直接通过yield跳转到消费者开始执行,待消费者执行完毕后,切换回生产者继续生产,效率极高:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
def consumer():
r = ''
while True:
n = yield r
if not n:
return
print('[CONSUMER] Consuming %s...' % n)
r = '200 OK'

def produce(c):
c.send(None)
n = 0
while n < 5:
n = n + 1
print('[PRODUCER] Producing %s...' % n)
r = c.send(n)
print('[PRODUCER] Consumer return: %s' % r)
c.close()

c = consumer()
produce(c)

执行结果:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
[PRODUCER] Producing 1...
[CONSUMER] Consuming 1...
[PRODUCER] Consumer return: 200 OK
[PRODUCER] Producing 2...
[CONSUMER] Consuming 2...
[PRODUCER] Consumer return: 200 OK
[PRODUCER] Producing 3...
[CONSUMER] Consuming 3...
[PRODUCER] Consumer return: 200 OK
[PRODUCER] Producing 4...
[CONSUMER] Consuming 4...
[PRODUCER] Consumer return: 200 OK
[PRODUCER] Producing 5...
[CONSUMER] Consuming 5...
[PRODUCER] Consumer return: 200 OK

注意到consumer函数是一个generator,把一个consumer传入produce后:

  1. 首先调用c.send(None)启动生成器;
  2. 然后,一旦生产了东西,通过c.send(n)切换到consumer执行;
  3. consumer通过yield拿到消息,处理,又通过yield把结果传回;
  4. produce拿到consumer处理的结果,继续生产下一条消息;
  5. produce决定不生产了,通过c.close()关闭consumer,整个过程结束。

整个流程无锁,由一个线程执行,produceconsumer协作完成任务,所以称为“协程”,而非线程的抢占式多任务。

最后套用Donald Knuth的一句话总结协程的特点:

“子程序就是协程的一种特例。”

Python异步IO

[TOC]

在IO编程一节中,我们已经知道,CPU的速度远远快于磁盘、网络等IO。在一个线程中,CPU执行代码的速度极快,然而,一旦遇到IO操作,如读写文件、发送网络数据时,就需要等待IO操作完成,才能继续进行下一步操作。这种情况称为同步IO。

在IO操作的过程中,当前线程被挂起,而其他需要CPU执行的代码就无法被当前线程执行了。

因为一个IO操作就阻塞了当前线程,导致其他代码无法执行,所以我们必须使用多线程或者多进程来并发执行代码,为多个用户服务。每个用户都会分配一个线程,如果遇到IO导致线程被挂起,其他用户的线程不受影响。

多线程和多进程的模型虽然解决了并发问题,但是系统不能无上限地增加线程。由于系统切换线程的开销也很大,所以,一旦线程数量过多,CPU的时间就花在线程切换上了,真正运行代码的时间就少了,结果导致性能严重下降。

由于我们要解决的问题是CPU高速执行能力和IO设备的龟速严重不匹配,多线程和多进程只是解决这一问题的一种方法。

另一种解决IO问题的方法是异步IO。当代码需要执行一个耗时的IO操作时,它只发出IO指令,并不等待IO结果,然后就去执行其他代码了。一段时间后,当IO返回结果时,再通知CPU进行处理。

可以想象如果按普通顺序写出的代码实际上是没法完成异步IO的,所以,同步IO模型的代码是无法实现异步IO模型的。

异步IO模型需要一个消息循环,在消息循环中,主线程不断地重复“读取消息-处理消息”这一过程:

1
2
3
4
5
loop = get_event_loop()
while True:
event = loop.get_event()
process_event(event)

消息模型其实早在应用在桌面应用程序中了。一个GUI程序的主线程就负责不停地读取消息并处理消息。所有的键盘、鼠标等消息都被发送到GUI程序的消息队列中,然后由GUI程序的主线程处理。

由于GUI线程处理键盘、鼠标等消息的速度非常快,所以用户感觉不到延迟。某些时候,GUI线程在一个消息处理的过程中遇到问题导致一次消息处理时间过长,此时,用户会感觉到整个GUI程序停止响应了,敲键盘、点鼠标都没有反应。这种情况说明在消息模型中,处理一个消息必须非常迅速,否则,主线程将无法及时处理消息队列中的其他消息,导致程序看上去停止响应。

消息模型是如何解决同步IO必须等待IO操作这一问题的呢?当遇到IO操作时,代码只负责发出IO请求,不等待IO结果,然后直接结束本轮消息处理,进入下一轮消息处理过程。当IO操作完成后,将收到一条“IO完成”的消息,处理该消息时就可以直接获取IO操作结果。

在“发出IO请求”到收到“IO完成”的这段时间里,同步IO模型下,主线程只能挂起,但异步IO模型下,主线程并没有休息,而是在消息循环中继续处理其他消息。这样,在异步IO模型下,一个线程就可以同时处理多个IO请求,并且没有切换线程的操作。对于大多数IO密集型的应用程序,使用异步IO将大大提升系统的多任务处理能力。

Python网络编程TCP

[TOC]

Socket是网络编程的一个抽象概念。通常我们用一个Socket表示“打开了一个网络链接”,而打开一个Socket需要知道目标计算机的IP地址和端口号,再指定协议类型即可。

客户端

大多数连接都是可靠的TCP连接。创建TCP连接时,主动发起连接的叫客户端,被动响应连接的叫服务器。

举个例子,当我们在浏览器中访问新浪时,我们自己的计算机就是客户端,浏览器会主动向新浪的服务器发起连接。如果一切顺利,新浪的服务器接受了我们的连接,一个TCP连接就建立起来的,后面的通信就是发送网页内容了。

所以,我们要创建一个基于TCP连接的Socket,可以这样做:

1
2
3
4
5
6
7
# 导入socket库:
import socket

# 创建一个socket:
s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
# 建立连接:
s.connect(('www.sina.com.cn', 80))

创建Socket时,AF_INET指定使用IPv4协议,如果要用更先进的IPv6,就指定为AF_INET6SOCK_STREAM指定使用面向流的TCP协议,这样,一个Socket对象就创建成功,但是还没有建立连接。

客户端要主动发起TCP连接,必须知道服务器的IP地址和端口号。新浪网站的IP地址可以用域名www.sina.com.cn自动转换到IP地址,但是怎么知道新浪服务器的端口号呢?

答案是作为服务器,提供什么样的服务,端口号就必须固定下来。由于我们想要访问网页,因此新浪提供网页服务的服务器必须把端口号固定在80端口,因为80端口是Web服务的标准端口。其他服务都有对应的标准端口号,例如SMTP服务是25端口,FTP服务是21端口,等等。端口号小于1024的是Internet标准服务的端口,端口号大于1024的,可以任意使用。

因此,我们连接新浪服务器的代码如下:

1
2
s.connect(('www.sina.com.cn', 80))

注意参数是一个tuple,包含地址和端口号。

建立TCP连接后,我们就可以向新浪服务器发送请求,要求返回首页的内容:

1
2
# 发送数据:
s.send(b'GET / HTTP/1.1\r\nHost: www.sina.com.cn\r\nConnection: close\r\n\r\n')

TCP连接创建的是双向通道,双方都可以同时给对方发数据。但是谁先发谁后发,怎么协调,要根据具体的协议来决定。例如,HTTP协议规定客户端必须先发请求给服务器,服务器收到后才发数据给客户端。

发送的文本格式必须符合HTTP标准,如果格式没问题,接下来就可以接收新浪服务器返回的数据了:

1
2
3
4
5
6
7
8
9
10
# 接收数据:
buffer = []
while True:
# 每次最多接收1k字节:
d = s.recv(1024)
if d:
buffer.append(d)
else:
break
data = b''.join(buffer)

接收数据时,调用recv(max)方法,一次最多接收指定的字节数,因此,在一个while循环中反复接收,直到recv()返回空数据,表示接收完毕,退出循环。

当我们接收完数据后,调用close()方法关闭Socket,这样,一次完整的网络通信就结束了:

1
2
# 关闭连接:
s.close()

接收到的数据包括HTTP头和网页本身,我们只需要把HTTP头和网页分离一下,把HTTP头打印出来,网页内容保存到文件:

1
2
3
4
5
header, html = data.split(b'\r\n\r\n', 1)
print(header.decode('utf-8'))
# 把接收的数据写入文件:
with open('sina.html', 'wb') as f:
f.write(html)

现在,只需要在浏览器中打开这个sina.html文件,就可以看到新浪的首页了。

服务器

和客户端编程相比,服务器编程就要复杂一些。

服务器进程首先要绑定一个端口并监听来自其他客户端的连接。如果某个客户端连接过来了,服务器就与该客户端建立Socket连接,随后的通信就靠这个Socket连接了。

所以,服务器会打开固定端口(比如80)监听,每来一个客户端连接,就创建该Socket连接。由于服务器会有大量来自客户端的连接,所以,服务器要能够区分一个Socket连接是和哪个客户端绑定的。一个Socket依赖4项:服务器地址、服务器端口、客户端地址、客户端端口来唯一确定一个Socket。

但是服务器还需要同时响应多个客户端的请求,所以,每个连接都需要一个新的进程或者新的线程来处理,否则,服务器一次就只能服务一个客户端了。

我们来编写一个简单的服务器程序,它接收客户端连接,把客户端发过来的字符串加上Hello再发回去。

首先,创建一个基于IPv4和TCP协议的Socket:

1
s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)

然后,我们要绑定监听的地址和端口。服务器可能有多块网卡,可以绑定到某一块网卡的IP地址上,也可以用0.0.0.0绑定到所有的网络地址,还可以用127.0.0.1绑定到本机地址。127.0.0.1是一个特殊的IP地址,表示本机地址,如果绑定到这个地址,客户端必须同时在本机运行才能连接,也就是说,外部的计算机无法连接进来。

端口号需要预先指定。因为我们写的这个服务不是标准服务,所以用9999这个端口号。请注意,小于1024的端口号必须要有管理员权限才能绑定:

1
2
# 监听端口:
s.bind(('127.0.0.1', 9999))

紧接着,调用listen()方法开始监听端口,传入的参数指定等待连接的最大数量:

1
2
s.listen(5)
print('Waiting for connection...')

接下来,服务器程序通过一个永久循环来接受来自客户端的连接,accept()会等待并返回一个客户端的连接:

1
2
3
4
5
6
while True:
# 接受一个新连接:
sock, addr = s.accept()
# 创建新线程来处理TCP连接:
t = threading.Thread(target=tcplink, args=(sock, addr))
t.start()

每个连接都必须创建新线程(或进程)来处理,否则,单线程在处理连接的过程中,无法接受其他客户端的连接:

1
2
3
4
5
6
7
8
9
10
11
def tcplink(sock, addr):
print('Accept new connection from %s:%s...' % addr)
sock.send(b'Welcome!')
while True:
data = sock.recv(1024)
time.sleep(1)
if not data or data.decode('utf-8') == 'exit':
break
sock.send(('Hello, %s!' % data.decode('utf-8')).encode('utf-8'))
sock.close()
print('Connection from %s:%s closed.' % addr)

连接建立后,服务器首先发一条欢迎消息,然后等待客户端数据,并加上Hello再发送给客户端。如果客户端发送了exit字符串,就直接关闭连接。

要测试这个服务器程序,我们还需要编写一个客户端程序:

1
2
3
4
5
6
7
8
9
10
11
12
import socket
s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
# 建立连接:
s.connect(('127.0.0.1', 9999))
# 接收欢迎消息:
print(s.recv(1024).decode('utf-8'))
for data in [b'Superman', b'hooby', b'huyu']:
# 发送数据:
s.send(data)
print(s.recv(1024).decode('utf-8'))
s.send(b'exit')
s.close()

我们需要打开两个命令行窗口,一个运行服务器程序,另一个运行客户端程序,就可以看到效果了:

server端:

1
2
3
4
Waiting for connection...
Accept new connection from 127.0.0.1:6533...
Connection from 127.0.0.1:6533 closed.

如果你同时运行多个client的话server端类似于这样:

1
2
3
4
5
6
Waiting for connection...
Accept new connection from 127.0.0.1:6857...
Accept new connection from 127.0.0.1:6858...
Connection from 127.0.0.1:6857 closed.
Connection from 127.0.0.1:6858 closed.

client端:

1
2
3
4
Welcome!
Hello, Superman!
Hello, hooby!
Hello, huyu!

需要注意的是,客户端程序运行完毕就退出了,而服务器程序会永远运行下去,必须按Ctrl+C退出程序。

小结

用TCP协议进行Socket编程在Python中十分简单,对于客户端,要主动连接服务器的IP和指定端口,对于服务器,要首先监听指定端口,然后,对每一个新的连接,创建一个线程或进程来处理。通常,服务器程序会无限运行下去。

同一个端口,被一个Socket绑定了以后,就不能被别的Socket绑定了。

Python网络编程UDP

[TOC]

TCP是建立可靠连接,并且通信双方都可以以流的形式发送数据。相对TCP,UDP则是面向无连接的协议。

使用UDP协议时,不需要建立连接,只需要知道对方的IP地址和端口号,就可以直接发数据包。但是,能不能到达就不知道了。

虽然用UDP传输数据不可靠,但它的优点是和TCP比,速度快,对于不要求可靠到达的数据,就可以使用UDP协议。

我们来看看如何通过UDP协议传输数据。和TCP类似,使用UDP的通信双方也分为客户端和服务器。服务器首先需要绑定端口:

1
2
3
s = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)
# 绑定端口:
s.bind(('127.0.0.1', 9999))

创建Socket时,SOCK_DGRAM指定了这个Socket的类型是UDP。绑定端口和TCP一样,但是不需要调用listen()方法,而是直接接收来自任何客户端的数据:

1
2
3
4
5
6
print('Bind UDP on 9999...')
while True:
# 接收数据:
data, addr = s.recvfrom(1024)
print('Received from %s:%s.' % (addr, data))
s.sendto(b'Hello, %s!' % data, addr)

recvfrom()方法返回数据和客户端的地址与端口,这样,服务器收到数据后,直接调用sendto()就可以把数据用UDP发给客户端。

注意这里省掉了多线程,因为这个例子很简单。

客户端使用UDP时,首先仍然创建基于UDP的Socket,然后,不需要调用connect(),直接通过sendto()给服务器发数据:

1
2
3
4
5
6
7
s = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)
for data in [b'Superman', b'Hooby', b'Huyu']:
# 发送数据:
s.sendto(data, ('127.0.0.1', 9999))
# 接收数据:
print(s.recv(1024).decode('utf-8'))
s.close()

从服务器接收数据仍然调用recv()方法。

仍然用两个命令行分别启动服务器和客户端测试,结果如下:

server:

1
2
3
4
Bind UDP on 9999...
Received from ('127.0.0.1', 58531):b'Superman'.
Received from ('127.0.0.1', 58531):b'Hooby'.
Received from ('127.0.0.1', 58531):b'Huyu'.

client:

1
2
3
Hello, Superman.!
Hello, Hooby.!
Hello, Huyu.!

小结

UDP的使用与TCP类似,但是不需要建立连接。此外,服务器绑定UDP端口和TCP端口互不冲突,也就是说,UDP的9999端口与TCP的9999端口可以各自绑定。

Python环境之virtualenv

[TOC]

在开发Python应用程序的时候,系统安装的Python3只有一个版本:3.4。所有第三方的包都会被pip安装到Python3的site-packages目录下。

如果我们要同时开发多个应用程序,那这些应用程序都会共用一个Python,就是安装在系统的Python 3。如果应用A需要jinja 2.7,而应用B需要jinja 2.6怎么办?

这种情况下,每个应用可能需要各自拥有一套“独立”的Python运行环境。virtualenv就是用来为一个应用创建一套“隔离”的Python运行环境。

首先,我们用pip安装virtualenv:

1
2
$ pip3 install virtualenv

然后,假定我们要开发一个新的项目,需要一套独立的Python运行环境,可以这么做:

第一步,创建目录:

1
2
3
4
Mac:~ michael$ mkdir myproject
Mac:~ michael$ cd myproject/
Mac:myproject michael$

第二步,创建一个独立的Python运行环境,命名为venv

1
2
3
4
5
6
Mac:myproject michael$ virtualenv --no-site-packages venv
Using base prefix '/usr/local/.../Python.framework/Versions/3.4'
New python executable in venv/bin/python3.4
Also creating executable in venv/bin/python
Installing setuptools, pip, wheel...done.

命令virtualenv就可以创建一个独立的Python运行环境,我们还加上了参数--no-site-packages,这样,已经安装到系统Python环境中的所有第三方包都不会复制过来,这样,我们就得到了一个不带任何第三方包的“干净”的Python运行环境。

新建的Python环境被放到当前目录下的venv目录。有了venv这个Python环境,可以用source进入该环境:

1
2
3
Mac:myproject michael$ source venv/bin/activate
(venv)Mac:myproject michael$

注意到命令提示符变了,有个(venv)前缀,表示当前环境是一个名为venv的Python环境。

下面正常安装各种第三方包,并运行python命令:

1
2
3
4
5
6
(venv)Mac:myproject michael$ pip install jinja2
...
Successfully installed jinja2-2.7.3 markupsafe-0.23
(venv)Mac:myproject michael$ python myapp.py
...

venv环境下,用pip安装的包都被安装到venv这个环境下,系统Python环境不受任何影响。也就是说,venv环境是专门针对myproject这个应用创建的。

退出当前的venv环境,使用deactivate命令:

1
2
3
(venv)Mac:myproject michael$ deactivate 
Mac:myproject michael$

此时就回到了正常的环境,现在pippython均是在系统Python环境下执行。

完全可以针对每个应用创建独立的Python运行环境,这样就可以对每个应用的Python环境进行隔离。

virtualenv是如何创建“独立”的Python运行环境的呢?原理很简单,就是把系统Python复制一份到virtualenv的环境,用命令source venv/bin/activate进入一个virtualenv环境时,virtualenv会修改相关环境变量,让命令pythonpip均指向当前的virtualenv环境。

小结

virtualenv为应用提供了隔离的Python运行环境,解决了不同应用间多版本的冲突问题。