【Git】- 利用git-hook实现自动化部署

要求

实现 git push 直接完成代码部署到服务器的目录
实现方式

利用 git 的 hooks 中的post-receive 来实现代码提交完成之后的动作。将仓库指定一个--work-tree然后进行检出操作checkout --force
目录结构

我自己的项目结构是这样的,每一个仓库对应一个项目,例如 public/wx 项目对应 repo/wx.git 仓库

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
.
├── public
│ └── wx // 这是我们的web代码部署目录
│ ├── index.php
│ ├── test2.php
│ ├── test3.php
│ └── test.php
└── repo // 这个是我们的仓库目录
└── wx.git // 这个对应wx项目的仓库
├── branches
├── config
├── description
├── HEAD
├── hooks // post-receive钩子代码写在这里面
├── index
├── info
├── objects
└── refs

再看下 hooks 文件目录

1
2
3
4
5
6
7
8
9
10
11
12
.
├── applypatch-msg.sample
├── commit-msg.sample
├── post-commit.sample
├── post-receive
├── post-receive.sample
├── post-update.sample
├── pre-applypatch.sample
├── pre-commit.sample
├── prepare-commit-msg.sample
├── pre-rebase.sample
└── update.sample

我们将 post-receive.sample 复制一份 post-receive,并且编写代码如下

指定我的代码检出目录

1
2
3
4
DIR=/www/public/wx
git --work-tree=${DIR} clean -fd
# 直接强制检出
git --work-tree=${DIR} checkout --force

如何生成目录

上面看到的 repo 目录中的 wx.git 实际上是一个裸仓库,我们用下面的命令来生成这样一个仓库。

1
2
cd /www/repo
git init --bare wx.git

对于代码部署目录和仓库我们已经通过 post-receive 进行了关联了,因为我们一旦将代码 push 到仓库,那么会自动检出到 publish/wx 目录下。

远程部署

在本地电脑上,我们添加远程仓库

1
2
git init
git remote add origin root@xxx.xxx.xxx.xxx:/www/repo/wx.git

这个时候我们添加了远程仓库,那么我们来测试下 push 操作

1
2
3
4
touch index.php
git add .
git commit -m 'test'
git push

可能会提示一个–set-upstream,直接执行下就好了。执行完之后我们登陆服务器,会发现文件已经出现在 public/wx/index.php

注意点

  • 如果我们没有配置 ssh 免密码登陆的话,我们需要在 push 代码的时候输入密码
  • 如果我们添加的远程仓库不是 root@xxx.xxx.xx.xx,例如是 abc@xx.xx.xx.xx,那么我们要确保 abc 用户对 wx.git 目录下的文件有 777 权限。

新增仓库

  • 需要登陆远程服务器进行初始化 repo_name.git 仓库
  • 需要手动创建 public/repo_name 文件夹,并且修改权限为 777
  • 需要重新编写 hooks/post-recieve 文件,修改里面的 DIR 路径为 public/repo_name

【LeeCode】- Add digital

给定一个非负整数 num,重复添加其所有数字,直到结果只有一个数字。

例如:

鉴于 num = 38,这个过程就像:3 + 8 = 11,1 + 1 = 2。由于 2 只有一位数字,请将其返回。

后续工作:
你可以在 O(1)运行时没有任何循环/递归吗?

1
2
3
function digital($num) {
return ($num - 1) % 9 +1;
}

【基础算法】- 排序 - 堆排序

选择排序是一种不稳定的算法。基本思路是:他是将每次 2 个数据都比较完之后,记录一个最大值或者最小值,不急着交换,(这是和冒泡排序的差别,减少了交换的次数,所以效率会高),等一轮循环比较完毕之后,再把无序区最靠近有序区的那个数和当前记录的值交换,每次循环只交换一次。

【基础算法】- 排序 - 选择排序

选择排序是一种不稳定的算法。基本思路是:他是将每次 2 个数据都比较完之后,记录一个最大值或者最小值,不急着交换,(这是和冒泡排序的差别,减少了交换的次数,所以效率会高),等一轮循环比较完毕之后,再把无序区最靠近有序区的那个数和当前记录的值交换,每次循环只交换一次。

【基础算法】- 排序 - 二分插入排序

二分插入排序可以说是直接插入排序的升级版,对于数据量比较大的时候,二分插入排序可以有效的减少比较的次数,从而提高效率。

这里借助了二分的思想,但是需要注意的是,这个只是二分思想,和二分搜索并非一致,如果需要用到二分查询的话,前提必须是有序数据,但是这里只是借助了这个思想,把最靠近有序区的一个通过二分查找需要插入的位置,并且一次性移动所有大于目标数的所有元素。

【PHP】- php7的新特性

php7 出来的时候,多了哪些特性呢,在这里总结一下

为什么 PHP7 比 PHP5 性能提升了?

  • 变量存储字节减小,减少内存占用,提升变量操作速度

  • 改善数组结构,数组元素和 hash 映射表被分配在同一块内存里,降低了内存占用、提升了 cpu 缓存命中率
    (以往的 zval 是一个 24 字节的结构体,现在的固定是 16 个字节)

  • 改进了函数的调用机制,通过优化参数传递的环节,减少了一些指令,提高执行效率

太空船操作符

1
<=>
  • 左边大于右边的时候,返回 1
  • 右边大于左边的时候,返回-1
  • 两边相等的时候,返回 0

CGI - php-cgi - Fastcgi - php-fpm - nginx的关系

CGI:

CGI 的英文是(COMMON GATEWAY INTERFACE)公共网关接口,它的作用就是帮助服务器与语言通信,这里就是 nginx 和 php 进行通信,因为 nginx 和 php 的语言不通,因此需要一个沟通转换的过程,而 CGI 就是这个沟通的协议。

nginx 服务器在接受到浏览器传递过来的数据后,如果请求的是静态的页面或者图片等无需动态处理的则会直接根据请求的 url 找到其位置然后返回给浏览器,这里无需 php 参与,但是如果是一个动态的页面请求,这个时候 nginx 就必须与 php 通信,这个时候就会需要用到 cgi 协议,将请求数据转换成 php 能理解的信息,然后 php 根据这些信息返回的信息也要通过 cgi 协议转换成 nginx 可以理解的信息,最后 nginx 接到这些信息再返回给浏览器。

fast-cgi:

传统的 cgi 协议在每次连接请求时,会开启一个进程进行处理,处理完毕会关闭该进程,因此下次连接,又要再次开启一个进程进行处理,因此有多少个连接就有多少个 cgi 进程,这也就是为什么传统的 cgi 会显得缓慢的原因,因此过多的进程会消耗资源和内存。

而 fast-cgi 则是一个进程可以处理多个请求,和上面的 cgi 协议完全不一样,cgi 是一个进程只能处理一个请求,这样就会导致大量的 cgi 程序,因此会给服务器带来负担。

php-cgi:

php-cgi 是 php 提供给 web serve 也就是 http 前端服务器的 cgi 协议接口程序,当每次接到 http 前端服务器的请求都会开启一个 php-cgi 进程进行处理,而且开启的 php-cgi 的过程中会先要重载配置,数据结构以及初始化运行环境,如果更新了 php 配置,那么就需要重启 php-cgi 才能生效,例如 phpstudy 就是这种情况。

php-fpm:

php-fpm 是 php 提供给 web serve 也就是 http 前端服务器的 fastcgi 协议接口程序,它不会像 php-cgi 一样每次连接都会重新开启一个进程,处理完请求又关闭这个进程,而是允许一个进程对多个连接进行处理,而不会立即关闭这个进程,而是会接着处理下一个连接。它可以说是 php-cgi 的一个管理程序,是对 php-cgi 的改进。

php-fpm 会开启多个 php-cgi 程序,并且 php-fpm 常驻内存,每次 web serve 服务器发送连接过来的时候,php-fpm 将连接信息分配给下面其中的一个子程序 php-cgi 进行处理,处理完毕这个 php-cgi 并不会关闭,而是继续等待下一个连接,这也是 fast-cgi 加速的原理,但是由于 php-fpm 是多进程的,而一个 php-cgi 基本消耗 7-25M 内存,因此如果连接过多就会导致内存消耗过大,引发一些问题,例如 nginx 里的 502 错误。

同时 php-fpm 还附带一些其他的功能:

例如平滑过渡配置更改,普通的 php-cgi 在每次更改配置后,需要重新启动才能初始化新的配置,而 php-fpm 是不需要,php-fpm 分将新的连接发送给新的子程序 php-cgi,这个时候加载的是新的配置,而原先正在运行的 php-cgi 还是使用的原先的配置,等到这个连接后下一次连接的时候会使用新的配置初始化,这就是平滑过渡。

【协议】http协议1/2的区别

http 协议属于应用层的协议,是我们日常经常打交道的一种协议,属于一种文本协议,http 协议经历了 3 个比较大的版本改变。

http 协议基于 tcp 协议实现(应用层协议基于传输层协议,这个是正常的嘛),为了数据的安全性,有时候可能建立在 tls 或者 ssl 协议之上。

http1.0

http1.0 使用的是非持久化连接,就是每次请求,都是一个新的连接,网络 io 较高

  • 非持久化连接

  • 每次请求都是一个独立的连接

http1.1

【Linux】- 定时任务 - crontab

crontab 定时任务

通过 crontab 命令,我们可以在固定的间隔时间执行指定的系统指令或 shell script 脚本。时间间隔的单位可以是分钟、小时、日、月、周及以上的任意组合。这个命令非常适合周期性的日志分析或数据备份等工作。

在 Linux 系统中,Linux 任务调度的工作主要分为以下两类:
1、系统执行的工作:系统周期性所要执行的工作,如备份系统数据、清理缓存
2、个人执行的工作:某个用户定期要做的工作,例如每隔 10 分钟检查邮件服务器是否有新信,这些工作可由每个用户自行设置

一、/etc/crontab、/etc/cron.deny 、 /etc/cron.allow 文件介绍

系统调度的任务一般存放在/etc/crontab 这个文件下,里面存放了一些系统运行的调度程序,通过命令我们可以看一下里面的内容:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

[root@caiwh ~]# cat /etc/crontab
SHELL=/bin/bash
PATH=/sbin:/bin:/usr/sbin:/usr/bin
MAILTO=root
HOME=/

# For details see man 4 crontabs

# Example of job definition:
# .---------------- minute (0 - 59)
# | .------------- hour (0 - 23)
# | | .---------- day of month (1 - 31)
# | | | .------- month (1 - 12) OR jan,feb,mar,apr ...
# | | | | .---- day of week (0 - 6) (Sunday=0 or 7) OR sun,mon,tue,wed,thu,fri,sat
# | | | | |
# * * * * * user-name command to be executed

一定要注意默认的环境变量,否则直接写在 crontab -e 写的命令,由于不在当前的默认的环境变量中。所以会可能找不到。.

这些任务都会是系统在运行起来后自动进行调度的。同时在/etc 目录下还存放了/etc/cron.deny 和 /etc/cron.allow 文件

  • /etc/cron.deny 表示不能使用 crontab 命令的用户

  • /etc/cron.allow 表示能使用 crontab 的用户。

如果两个文件同时存在,那么/etc/cron.allow 优先。

如果两个文件都不存在,那么只有 root 用户可以安排作业。

命令格式

1
2
crontab [-u user] file
crontab [-u user] [ -e | -l | -r ]

命令参数

  • -u user:用来设定某个用户的 crontab 服务;
  • file:file 是命令文件的名字,表示将 file 做为 crontab 的任务列表文件并载入 crontab。如果在命令行中没有指定这个文件,crontab 命令将接受标准输入(键盘)上键入的命令,并将它们载入 crontab。
  • -e:编辑某个用户的 crontab 文件内容。如果不指定用户,则表示编辑当前用户的 crontab 文件。
  • -l:显示某个用户的 crontab 文件内容,如果不指定用户,则表示显示当前用户的 crontab 文件内容。
  • -r:从/var/spool/cron 目录中删除某个用户的 crontab 文件,如果不指定用户,则默认删除当前用户的 crontab 文件。
  • -i:在删除用户的 crontab 文件时给确认提示。

crontab 的文件格式

分 时 日 月 星期 要运行的命令

  • 第 1 列分钟 0 ~ 59
  • 第 2 列小时 0 ~ 23(0 表示子夜)
  • 第 3 列日 1 ~ 31
  • 第 4 列月 1 ~ 12
  • 第 5 列星期 0 ~ 7(0 和 7 表示星期天)
  • 第 6 列要运行的命令

常用方法

  1. 创建一个新的 crontab 文件

向 cron 进程提交一个 crontab 文件之前,首先要设置环境变量 EDITOR。cron 进程根据它来确定使用哪个编辑器编辑 crontab 文件。99%的 UNIX 和 LINUX 用户都使用 vi,如果你也是这样,那么你就编辑$HOME 目录下的. profile 文件,在其中加入这样一行

1
EDITOR=vi; export EDITOR

然后保存并退出。不妨创建一个名为 cron 的文件,其中是用户名,例如, davecron。在该文件中加入如下的内容。

1
2
3
# (put your own initials here)echo the date to the console every
# 15minutes between 6pm and 6am
0,15,30,45 18-06 * * * /bin/echo 'date' > /dev/console

保存并退出。注意前面 5 个域用空格分隔。

在上面的例子中,系统将每隔 15 分钟向控制台输出一次当前时间。如果系统崩溃或挂起,从最后所显示的时间就可以一眼看出系统是什么时间停止工作的。在有些系统中,用 tty1 来表示控制台,可以根据实际情况对上面的例子进行相应的修改。为了提交你刚刚创建的 crontab 文件,可以把这个新创建的文件作为 cron 命令的参数

1
$ crontab davecron

现在该文件已经提交给 cron 进程,它将每隔 1 5 分钟运行一次。同时,新创建文件的一个副本已经被放在/var/spool/cron 目录中,文件名就是用户名(即 dave)。

列出 crontab 文件

使用-l 参数列出 crontab 文件

1
2
$ crontab -l
0,15,30,45 18-06 * * * /bin/echo `date` > dev/tty1

可以使用这种方法在$HOME 目录中对 crontab 文件做一备份

1
$ crontab -l > $HOME/mycron

这样,一旦不小心误删了 crontab 文件,可以用上一节所讲述的方法迅速恢复。

编辑 crontab 文件

如果希望添加、删除或编辑 crontab 文件中的条目,而 EDITOR 环境变量又设置为 vi,那么就可以用 vi 来编辑 crontab 文件

1
$ crontab -e

可以像使用 vi 编辑其他任何文件那样修改 crontab 文件并退出。如果修改了某些条目或添加了新的条目,那么在保存该文件时, cron 会对其进行必要的完整性检查。如果其中的某个域出现了超出允许范围的值,它会提示你。
我们在编辑 crontab 文件时,没准会加入新的条目。例如,加入下面的一条

1
2
# DT:delete core files,at 3.30am on 1,7,14,21,26,26 days of each month
30 3 1,7,14,21,26 * * /bin/find -name 'core' -exec rm {} \;

保存并退出。

note

最好在crontab文件的每一个条目之上加入一条注释,这样就可以知道它的功能、运行时间,更为重要的是,知道这是哪位用户的定时作业。

删除 crontab 文件

1
$crontab -r

使用实例

实例 1:每 1 分钟执行一次 myCommand

1
* * * * * myCommand

实例 2:每小时的第 3 和第 15 分钟执行

1
3,15 * * * * myCommand

实例 3:在上午 8 点到 11 点的第 3 和第 15 分钟执行

1
3,15 8-11 * * * myCommand

实例 4:每隔两天的上午 8 点到 11 点的第 3 和第 15 分钟执行

1
2
3
4
5
6
7
    3,15 8-11 */2  *  * myCommand
```

实例 5:每周一上午 8 点到 11 点的第 3 和第 15 分钟执行

```shell
3,15 8-11 * * 1 myCommand

实例 6:每晚的 21:30 重启 smb

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
    30 21 * * * /etc/init.d/smb restart
```
实例7:每月1、10、22日的4 : 45重启smb
````
45 4 1,10,22 * * /etc/init.d/smb restart
```
实例 8:每周六、周日的 1 : 10 重启 smb

```
10 1 * * 6,0 /etc/init.d/smb restart
```
实例9:每天18 : 00至23 : 00之间每隔30分钟重启smb
```
0,30 18-23 * * * /etc/init.d/smb restart
```
实例 10:每星期六的晚上 11 : 00 pm 重启 smb

```
0 23 * * 6 /etc/init.d/smb restart
```

实例11:每一小时重启smb
```
* */1 * * * /etc/init.d/smb restart
```
实例12:晚上11点到早上7点之间,每隔一小时重启smb
```
0 23-7 * * * /etc/init.d/smb restart
```

## 使用注意事项

注意环境变量问题

```
有时我们创建了一个crontab,但是这个任务却无法自动执行,而手动执行这个任务却没有问题,这种情况一般是由于在crontab文件中没有配置环境变量引起的。

在crontab文件中定义多个调度任务时,需要特别注环境变量的设置,因为我们手动执行某个任务时,是在当前shell环境下进行的,程序当然能找到环境变量,而系统自动执行任务调度时,是不会加载任何环境变量的,因此,就需要在crontab文件中指定任务运行所需的所有环境变量,这样,系统执行任务调度时就没有问题了。

不要假定cron知道所需要的特殊环境,它其实并不知道。所以你要保证在shelll脚本中提供所有必要的路径和环境变量,除了一些自动设置的全局变量。所以注意如下3点:

1. 脚本中涉及文件路径时写全局路径;
2. 脚本执行要用到java或其他环境变量时,通过source命令引入环境变量,如::
```
cat start_cbp.sh
!/bin/sh
source /etc/profile
export RUN_CONF=/home/d139/conf/platform/cbp/cbp_jboss.conf
/usr/local/jboss-4.0.5/bin/run.sh -c mev &
```
3. 当手动执行脚本OK,但是crontab死活不执行时,很可能是环境变量惹的祸,可尝试在crontab中直接引入环境变量解决问题。

```
0 * * * * . /etc/profile;/bin/sh /var/www/java/audit_no_count/bin/restart_audit.sh
```
注意清理系统用户的邮件日志

每条任务调度执行完毕,系统都会将任务输出信息通过电子邮件的形式发送给当前系统用户,这样日积月累,日志信息会非常大,可能会影响系统的正常运行,因此,将每条任务进行重定向处理非常重要。
例如,可以在 crontab 文件中设置如下形式,忽略日志输出::
```
0 */3 * * * /usr/local/apache2/apachectl restart >/dev/null 2>&1
```
"/dev/null 2>&1"表示先将标准输出重定向到/dev/null,然后将标准错误重定向到标准输出,由于标准输出已经重定向到了/dev/null,因此标准错误也会重定向到/dev/null,这样日志输出问题就解决了。

系统级任务调度与用户级任务调度

系统级任务调度主要完成系统的一些维护操作,用户级任务调度主要完成用户自定义的一些任务,可以将用户级任务调度放到系统级任务调度来完成(不建议这么做),但是反过来却不行,root用户的任务调度操作可以通过"crontab –uroot –e"来设置,也可以将调度任务直接写入/etc/crontab文件,需要注意的是,如果要定义一个定时重启系统的任务,就必须将任务放到/etc/crontab文件,即使在root用户下创建一个定时重启系统的任务也是无效的。

其他注意事项

新创建的cron job,不会马上执行,至少要过2分钟才执行。如果重启cron则马上执行。

当crontab失效时,可以尝试/etc/init.d/crond restart解决问题。或者查看日志看某个job有没有执行/报错tail -f /var/log/cron。

千万别乱运行crontab -r。它从Crontab目录(/var/spool/cron)中删除用户的Crontab文件。删除了该用户的所有crontab都没了。

在crontab中%是有特殊含义的,表示换行的意思。如果要用的话必须进行转义\%,如经常用的date ‘+%Y%m%d’在crontab里是不会执行的,应该换成date ‘+\%Y\%m\%d’。

更新系统时间时区后需要重启cron,在ubuntu中服务名为cron::
```
$service cron restart
```
ubuntu下启动、停止与重启cron::
```
$sudo /etc/init.d/cron start
$sudo /etc/init.d/cron stop
$sudo /etc/init.d/cron restart
```
Centso系统下管理crond

```
systemctl restart crond
```

【Linux命令】- 性能优化

性能优化

contents:: 目录

性能优化的核心是找出系统的瓶颈点,问题找到了,优化的工作也就完成了大半;
这里介绍的性能优化主要从两个层面来介绍:系统层面和程序层面;

分析系统瓶颈

系统响应变慢,首先得定位大致的问题出在哪里,是 IO 瓶颈、CPU 瓶颈、内存瓶颈还是程序导致的系统问题;

使用 top 工具能够比较全面的查看我们关注的点::