Command_line on 菠萝油与天光墟

脚本分享

Sat, 22 Apr 2017 00:00:00 -0700

分享一下平时工作生活中编写的一些脚本片段(一直更新). 适用于 OS X 和 Linux

1 准备工作

因为我比较多的脚本都是基于 percol 这个神器，所以需要先安装 percol, 如果不了解 percol 的话，可以翻看一下我之前的文章 Linux/Unix Shell 二三事之神器percol .

我一般将写好的函数 source 命令添加到 Shell. 例如脚本函数都在一个叫 tool_function.sh 的文件里面，而我使用 Zsh, 则只需要在 .zshrc 添加一句语句：

1

source /path/to/tool_function.sh

如果使用 Bash, 添加到 .bashrc 即可。

2 有趣的脚本

2.1 SSH 免密码登录

SSH 基本就是登录远程服务器的标配了，只是每次登录服务器都要输入密码，未免太麻烦了(好吧，我拥有懒惰这个美德)，所以我决定配置 SSH 的免密码登录。代码如下：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37


function config_ssh_login_key(){
    if [ $# -lt 3 ];then
       echo "Usage: $(basename $0) -u user -h hostname -p port"
       kill -INT $$
    fi
       #if public/private key doesn't exist ,generate public/private key
       if [ -f ~/.ssh/id_rsa ];then
          echo "public/private key exists"
          else
              ssh-keygen -t rsa
       fi
          while getopts :u:h:p: option
          do
              case "$option" in
                  u) user=$OPTARG;;
                  h) hostname=$OPTARG;;
                  p) port=$OPTARG;;
                  *) echo "Unknown option:$option";;
              esac
          done

          if [ -z "$port" ];then
             port=22
          fi
             #check whether it is the first time to run this script and whether authorized_keys exists
             # ssh_host_and_user="$1@$2"
             authorized_keys="$HOME/.ssh/authorized_keys"
             read -r -s -p "$user@$hostname's password:" password
             if sshpass -pv $password ssh -p "$port" "$user@$hostname" test -e "$authorized_keys";then
                echo "authorized key exists"
                kill -INT $$
                else
                    sshpass -p $password ssh  $user@$hostname -p $port "mkdir -p ~/.ssh;chmod 0700 .ssh"
                    sshpass -p $password scp -P $port  ~/.ssh/id_rsa.pub $user@$hostname:~/.ssh/authorized_keys
                    # ssh-copy-id "$user@$hostname -p $port"
             fi
}

基本做法就是生成一对公私密钥，然后把公钥发送到服务器。而脚本其他的部分就是判断密钥是否存在，修改密钥权限等工作。用法也很简单，假如你把以上脚本保存到了一个叫 config_ssh_login_key.sh 的文件：

1

bash config_ssh_login_key.sh -h your-server-ip -u user -p 2222

当然，如果你按照我的前面提到的做法，用 source 命令引入脚本，你可以直接在命令行输入：

1

config_ssh_login_key -u root -h your-server-ip

如果端口未指定，默认端口为 22

2.2 生成若干位密钥

生成若干位的密钥是常见的需求，得益于 Linux/Unix 命令行强大的过滤器，所以只需把命令整理成脚本即可：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14


# generate key
function gkey(){
    if [ -n "$1" ];then
       local length="$1"
       else
           local length=32
    fi
       OS_NAME=$(uname)
       if [ $OS_NAME = "Darwin" ]; then
           LC_CTYPE=C cat /dev/urandom |tr -cd "[:alnum:]"|head -c "$length";echo
       else
           cat /dev/urandom |tr -cd "[:alnum:]"|head -c "$length";echo
       fi
}

用法：

1

gkey 45

即生成一个45位字符的随机密钥，如果没有指定长度的话，默认是 32 位。因为 OS X和 Linux 的 tr 使用有差异，所以要处理一下

2.3 复制命令行输出

有时可能需要复制某个命令的输出，一般的做法都是运行某个命令，用鼠标选中，然后复制。例如在生成密钥之后，需要复制到项目的配置文件。但是每次都要用鼠标，效率实在不高。这个功能其实可以脚本实现：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18


OS_NAME=$(uname)
function pclip() {
    if [ $OS_NAME = "CYGWIN" ]; then
        putclip "$@";
    elif [ $OS_NAME = "Darwin" ]; then
        pbcopy "$@";
    else
        if [ -x /usr/bin/xsel ]; then
            xsel -ib "$@";
        else
            if [ -x /usr/bin/xclip ]; then
                xclip -selection c "$@";
            else
                echo "Neither xsel or xclip is installed!"
            fi
        fi
    fi
}

备注：这个脚本不是我原创，取自陈斌博客。

在 Linux 运行这脚本需要先安装 xsel 或者是 xclip 命令。结合生成密钥的命令使用：

1

gkey -28|pclip

这样，生成的密钥就被复制到系统上了。

2.4 复制当前目录

有时候，我需要复制当前目录下某个文件的路径，但是无论是文件管理器，还是在Shell 中都要用鼠标选中然后复制指定文件的路径，效率不高且很不方便。所以我通过结合 percol 和上面提高的 pclip 函数改进了做法：

1
2
3
4
5
6


function pwdf()
{
    local current_dir=`pwd`
    local copied_file=`find $current_dir -type f -print |percol`
    echo -n $copied_file |pclip;
}

只需在 Shell 中输入 pwdf, 然后选择需要复制的路径即可。运行截图：

<2017-05-22 Mon> Update

2.5 判断 Unix 系统的版本

因为我经常需要在不同的 Unix 机器之间切换，例如工作用的 Mac OS X, 另外一台笔记本上的 Fedora, 还有一台工作站上的 Arch Linux, 以及各种发行版本的 VPS 等，在不同的发行版本或者系统之间切换，我希望我常用的工具也可以很轻易地移植到不同的发行版本上。

但是不同的发行版本使用不同的包安装管理器，例如 OS X 上的 brew, Fedora 的 dnf, Centos 的 yum, Ubuntu 上的 apt-get 等等。如果可以通过使用脚本来实现根据不同的发行版本使用不同的包安装管理器安装软件，这样就省心很多。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52


# GetOSVersion
function GetOSVersion {

    # Figure out which vendor we are
    if [[ -x "`which sw_vers 2>/dev/null`" ]]; then
        # OS/X
        os_VENDOR=`sw_vers -productName`
    elif [[ -x $(which lsb_release 2>/dev/null) ]]; then
        os_VENDOR=$(lsb_release -i -s)
        if [[ "Debian,Ubuntu,LinuxMint" =~ $os_VENDOR ]]; then
            os_PACKAGE="deb"
        elif [[ "SUSE LINUX" =~ $os_VENDOR ]]; then
            lsb_release -d -s | grep -q openSUSE
            if [[ $? -eq 0 ]]; then
                os_VENDOR="openSUSE"
            fi
        elif [[ $os_VENDOR == "openSUSE project" ]]; then
            os_VENDOR="openSUSE"
        elif [[ $os_VENDOR =~ Red.*Hat ]]; then
            os_VENDOR="Red Hat"
        fi
        os_CODENAME=$(lsb_release -c -s)
    elif [[ -r /etc/redhat-release ]]; then
        # Red Hat Enterprise Linux Server release 5.5 (Tikanga)
        # Red Hat Enterprise Linux Server release 7.0 Beta (Maipo)
        # CentOS release 5.5 (Final)
        # CentOS Linux release 6.0 (Final)
        # Fedora release 16 (Verne)
        # XenServer release 6.2.0-70446c (xenenterprise)
        # Oracle Linux release 7
        os_CODENAME=""
        for r in "Red Hat" CentOS Fedora XenServer; do
            os_VENDOR=$r
        done
        if [ "$os_VENDOR" = "Red Hat" ] && [[ -r /etc/oracle-release ]]; then
            os_VENDOR=OracleLinux
        fi
    elif [[ -r /etc/SuSE-release ]]; then
        for r in openSUSE "SUSE Linux"; do
            if [[ "$r" = "SUSE Linux" ]]; then
                os_VENDOR="SUSE LINUX"
            else
                os_VENDOR=$r
            fi
            os_VENDOR=""
        done
        # If lsb_release is not installed, we should be able to detect Debian OS
    elif [[ -f /etc/debian_version ]] && [[ $(cat /proc/version) =~ "Debian" ]]; then
        os_VENDOR="Debian"
    fi
    export os_VENDOR
}

2.6 根据不同的发行版本安装软件

刚刚上面的脚本是为了准确判断出所有的 *nix 系统的，但是方便起见，也可以直接使用=uname= 命令

  1
  2
  3
  4
  5
  6
  7
  8
  9
 10
 11
 12
 13
 14
 15
 16
 17
 18
 19
 20
 21
 22
 23
 24
 25
 26
 27
 28
 29
 30
 31
 32
 33
 34
 35
 36
 37
 38
 39
 40
 41
 42
 43
 44
 45
 46
 47
 48
 49
 50
 51
 52
 53
 54
 55
 56
 57
 58
 59
 60
 61
 62
 63
 64
 65
 66
 67
 68
 69
 70
 71
 72
 73
 74
 75
 76
 77
 78
 79
 80
 81
 82
 83
 84
 85
 86
 87
 88
 89
 90
 91
 92
 93
 94
 95
 96
 97
 98
 99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154


if [ "$(uname)" == "Darwin" ]; then
    # Do something under Mac OS X platform
    echo "This is mac os"
    # check if brew exists
    type brew>/dev/null 2>&1 || {
        echo >&2 " require brew but it's not installed.  Aborting.";
        exit 1; }
    echo "install htop"
    brew install htop

    echo "install ag"
    brew install ag

    echo "install httpie"
    brew install httpie

    echo "install fasd"
    brew install fasd

    echo "install tree"
    brew install tree

    echo "install shellcheck"
    brew install shellcheck

    echo "install guile"
    brew install guile

    echo "install proxychains-ng"
    brew install proxychains-ng

    echo "install pandoc"
    brew install pandoc

    echo "install markdown"
    brew install markdown

    echo "install cloc"
    brew install cloc
elif [ "$(expr substr $(uname -s) 1 5)" == "Linux" ]; then
    # Do something under GNU/Linux platform
    GetOSVersion
    if [ "$os_VENDOR" == "Ubuntu" ] || [[ "$os_VENDOR" == "Debian" ]] || [[ "$os_VENDOR" == "LinuxMint" ]]; then
        # install htop
        sudo apt-get install htop -y
        # install httpie
        sudo apt-get install httpie -y
        # install ag
        sudo apt-get install  silversearcher-ag -y
        # install zeal
        sudo apt-get install zeal -y
        # install ncdu
        sudo apt-get install ncdu -y
        # install i3
        sudo apt-get install i3 -y
        # install emacs (i could die without it)
        sudo apt-get install emacs -y
        # install vim
        sudo apt-get install vim -y
        # install tree
        sudo apt-get install tree -y
        # install shellcheck
        sudo apt-get install shellcheck -y
        # install guile (scheme compiler)
        sudo apt-get install guile -y
        # install source code pro font
        [ -d /usr/share/fonts/opentype ] || sudo mkdir /usr/share/fonts/opentype
        sudo git clone https://github.com/adobe-fonts/source-code-pro.git /usr/share/fonts/opentype/scp
        sudo fc-cache -f -v
        # install proxychains-ng
        sudo apt-get install proxychains-ng -y
        # install pandoc
        sudo apt-get install pandoc -y

        sudo apt-get install markdown -y

        sudo apt-get install cloc -y
    elif [  "$os_VENDOR" == "Fedora" ] || [[ "$os_VENDOR" == "CentOS" ]] || [[ "$os_VENDOR" == "Korora" ]]; then
        # install ag
        sudo yum install -y the_silver_searcher
        # install zeal
        sudo yum install -y zeal
        # install httpie
        sudo yum install -y httpie
        # install htop
        sudo yum install -y htop
        # install ncdu
        sudo yum install -y ncdu
        # install vim
        sudo yum install -y vim
        # install emacs
        sudo yum install -y emacs
        # install i3
        sudo yum install -y i3
        # install tree
        sudo yum install -y tree
        # install shellcheck
        sudo yum install ShellCheck -y
        # install guile
        sudo yum install guile -y
        # install source  code pro font
        sudo yum install adobe-source-code-pro-fonts -y
        # install proxychains-ng
        sudo yum install proxychains-ng -y

        sudo yum install pandoc -y

        sudo yum install markdown -y

        # count line and space in code
        sudo yum install cloc  -y
    elif [  "$os_VENDOR" == "Arch" ] ; then
        # install ag
        sudo pacman -S -y the_silver_searcher
        # install zeal
        sudo pacman -S -y zeal
        # install httpie
        sudo pacman -S -y httpie
        # install htop
        sudo pacman -S -y htop
        # install ncdu
        sudo pacman -S -y ncdu
        # install vim
        sudo pacman -S -y vim
        # install emacs
        sudo pacman -S -y emacs
        # install i3
        sudo pacman -S -y i3
        # install tree
        sudo pacman -S -y tree
        # install shellcheck
        sudo pacman -S ShellCheck -y
        # install guile
        sudo pacman -S guile -y
        # install source-code-pro font
        sudo pacman -S adobe-source-code-pro-fonts -y
        # install proxychains-ng
        sudo pacman -S proxychains-ng -y

        sudo pacman -S pandoc -y

        sudo pacman -S markdown -y

        sudo pacman -S ripgrep -y

        sudo pacman -S cloc  -y
    fi
elif [ "$(expr substr $(uname -s) 1 10)" == "MINGW32_NT" ]; then
    # Do something under 32 bits Windows NT platform
    echo "This is 32-bit windows"
elif [ "$(expr substr $(uname -s) 1 10)" == "MINGW64_NT" ]; then
    # Do something under 64 bits Windows NT platform
    echo "this is 64-bit windows"
fi

2.7 加密目录

每个人都会有需要只属于自己的东西，保护这些东西最好的办法就是对其进行加密：

2.7.1 加密

使用 tar 和 openssl 对目录进行加密，先使用 tar 归档当前文件，然后使用 aes256 算法进行加密：

1

tar -czf - * | openssl enc -e -aes256 -out encrypted.tar.gz

2.7.2 解密

把加密后的归档文件解密到当前命令：

1

openssl enc -d -aes256 -in encrypted.tar.gz| tar xz -C $(pwd)

公号同步更新，欢迎关注👻

Linux/Unix Shell 二三事之过滤器grep

Mon, 13 Mar 2017 00:00:00 -0700

文本三剑客之 Grep

grep - print lines matching a pattern

今天我想聊聊 grep 这个命令；据说，有Unix/Linux 的地方就会有 grep, 这个可能是安装得最广泛的命令之一；那么 grep 是用来干什么的呢？

grep 其实是用来在文件中搜索特定内容或者模式的工具(配合正则表达式“食用”，味道更佳 :))现在就来一起看看*grep* 的用法

1 基本用法

1.1 基础用法

现在假设有一个简单的文本文件(双城记开头)tinytale.txt,内容如下

it was the best of times it was the worst of times it was the age of wisdom it was age of foolishness it was the epoch of belief it was the epoch of incredulity it was the season of light it was the season of darkness IT WAS THE SPRING OF HOPE IT WAS THE WINTER OF DESPAIRE

现在开始介绍 grep 的基本用法： grep 的基本用法很简单的，假设我想要搜索单词 darkness

1

grep darkness /tmp/tinytale.txt

输出如下：

1

it was the season of light it was the season of darkness

1.2 结合正则表达式

默认情况下， grep 是开启正则表达式的模式的，所以你可以直接在文件搜索中使用正则表达式。现在在文件中搜索以字母 e 开头后接三个字符，然后以 h 结尾的单词：

1

grep "e...h" /tmp/tinytale.txt

输出如下：

1

it was the epoch of belief it was the epoch of incredulity

可以看到，正则表达式匹配了 epoch 这个单词。正则表达式的威力无与伦比的，把 grep*和正则表达式结合起来可以更好地发挥 *grep 这个工具的潜力；而本文主要是介绍 grep, 更多有关正则表达式的用法不细讲了

1.3 统计出现的次数

有时，如果你需要统计某种模式或者某个单词出现的个数，你会发现 grep 非常有用；

要实现该功能，只需给 grep 添加 -c 参数；例如统计单词 the 出现的个数：

1

grep -c the /tmp/tinytale.txt

结果输出如下：

1

4

文本中包含4个 the

1.4 忽略大小写

前面提到， grep 默认是使用正则表达式来搜索文件的，所以 grep 是区分大小写的；

如果你想修改 grep 的默认行为来忽略大小写，你可以添加 -i 参数

1

grep -i the /tmp/tinytale.txt

输出结果如下：

1
2
3
4
5


it was the best of times it was the worst of times
it was the age of wisdom it was age of foolishness
it was the epoch of belief it was the epoch of incredulity
it was the season of light it was the season of darkness
IT WAS THE SPRING OF HOPE IT WAS THE WINTER OF DESPAIRE

可以发现 THE 也是可以被 grep 搜索到的；但是如果没有添加 -i ,你只会看到4行输出。

当然你可以在正则表达式里面添加忽略大小写的模式，只是直接添加 -i 会简单很多。

2 搜索多个文件

上面搜索的都只是单个文件，而 grep 可以让你同时搜索多个文件；现在就来看看怎么搜索多个文件吧。

下面两种写法结果都是一样的，但是我个人推崇第一种，因为可以输入更少一些内容 :)

1

grep belief /tmp/{tinytale.txt,tale.txt}

1

grep belief /tmp/tinytale.txt /tmp/tale.txt

输出结果如下：

1
2
3
4
5
6
7


tinytale.txt:it was the epoch of belief it was the epoch of incredulity
tale.txt:it was the epoch of belief it was the epoch of incredulity
tale.txt:pains of by rearing her in the belief that her father was dead
tale.txt:this was no passive belief but an active weapon which they flashed
tale.txt:belief in solomon deducting a mere trifle for this slight mistake
tale.txt:you will bear testimony to what i have said and to your belief in it
tale.txt:herself into the show of a belief that they would soon be reunited

可以看到， grep 把匹配到单词的那一行内容和对应的文件都显示出来了，你就可以很方便地看到搜索结果，并知道匹配单词的来源。

如果你也像我这样，不想输入那么多的内容，你可以使用正则表达式匹配所有的文本文件，如下：

1

grep belief /tmp/*.txt

输出结果也会跟上面一致 (假设你 tmp 目录下只有两个文本文件); 我告诉*grep* 搜索*/tmp* 下所有的 .txt 文件。

2.1 递归搜索

你也可以使用 grep 递归搜索目录；你只需在指定目录后，添加 -R , grep 就会递归搜索指定目录的所有子目录。我已经把当前目录切换到 /tmp:

1

grep -R "belief" .

输出结果如下：

1
2
3
4
5
6
7


./tale.txt:it was the epoch of belief it was the epoch of incredulity
./tale.txt:pains of by rearing her in the belief that her father was dead
./tale.txt:this was no passive belief but an active weapon which they flashed
./tale.txt:belief in solomon deducting a mere trifle for this slight mistake
./tale.txt:you will bear testimony to what i have said and to your belief in it
./tale.txt:herself into the show of a belief that they would soon be reunited
./tinytale.txt:it was the epoch of belief it was the epoch of incredulity

结果展示了一系列在当前目录和子目录匹配 belief 的文件。此外你也可以排除掉某些你不需要搜索的文件，例如有一个 foo.xml 的文件，里面也可能会有 belief 这个单词，但是你就是不想搜索这个文件，或者全部的 .xml 文件，你可以这么玩：

1

grep -R --exclude="*.xml" "belief" .

3 在标准输入搜索

grep 也是过滤器，所以 grep 自然而然具有处理标准输入输出的能力了；处理其他命令的输出结果也是 grep 非常常用的场景之一。假设你现在的 vim 突然卡顿，挂了:),你想要 kill 掉 vim 的进程，你可以：

1

ps -e|grep vim

结果输出如下：

1

samray   21939     1  0 19:42 ?        00:00:00 gvim

其中第一条记录就是你想要搜索的进程了，你运行 kill 21939 就可以杀掉 vim 的进程了；因为我系统的是图型化界面的 vim, 所以是 gvim.

正如我之前的文章提到的那样，单纯的过滤器的用处似乎不大，但是如果结合起来就会威力无穷至于，如何结合，就需要慢慢探索了。

4 反向搜索

现在执行的搜索都是匹配搜索，即将匹配的内容显示出来，而 grep 还有反向搜索的功能 (invert Searches)就是将不包含有指定模式的内容显示出来。

该功能在用来修改有很多注释的配置文件时特别有用；例如常用的服务器软件 nginx 的配置文件是默认是含有很多注释的，如下

  1
  2
  3
  4
  5
  6
  7
  8
  9
 10
 11
 12
 13
 14
 15
 16
 17
 18
 19
 20
 21
 22
 23
 24
 25
 26
 27
 28
 29
 30
 31
 32
 33
 34
 35
 36
 37
 38
 39
 40
 41
 42
 43
 44
 45
 46
 47
 48
 49
 50
 51
 52
 53
 54
 55
 56
 57
 58
 59
 60
 61
 62
 63
 64
 65
 66
 67
 68
 69
 70
 71
 72
 73
 74
 75
 76
 77
 78
 79
 80
 81
 82
 83
 84
 85
 86
 87
 88
 89
 90
 91
 92
 93
 94
 95
 96
 97
 98
 99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141


#user www-data;
worker_processes auto;
pid /run/nginx.pid;
include /etc/nginx/modules-enabled/*.conf;

events {
worker_connections 1024;
# multi_accept on;
}

http {

##
# Basic Settings
##

sendfile on;
tcp_nopush on;
tcp_nodelay on;
keepalive_timeout 65;
types_hash_max_size 2048;
# server_tokens off;

# server_names_hash_bucket_size 64;
# server_name_in_redirect off;

include /etc/nginx/mime.types;
default_type application/octet-stream;

##
# SSL Settings
##

ssl_protocols TLSv1 TLSv1.1 TLSv1.2; # Dropping SSLv3, ref: POODLE
ssl_prefer_server_ciphers on;

##
# Logging Settings
##
log_format main '$remote_addr - $remote_user [$time_local] "$request" $status $bytes_sent "$http_referer" "$http_user_agent" "$gzip_ratio"';
access_log /var/log/nginx/access.log;
error_log /var/log/nginx/error.log;

##
# Gzip Settings
##

gzip on;
gzip_disable "msie6";

# gzip_vary on;
# gzip_proxied any;
# gzip_comp_level 6;
# gzip_buffers 16 8k;
# gzip_http_version 1.1;
# gzip_types text/plain text/css application/json application/javascript text/xml application/xml application/xml+rss text/javascript;

##
# Virtual Host Configs
##

include /etc/nginx/conf.d/*.conf;
include /etc/nginx/sites-enabled/*;

ignore_invalid_headers on;
client_header_timeout 240;
client_body_timeout 240;
send_timeout 240;
client_max_body_size 100m;
proxy_buffer_size 128k;
proxy_buffers 8 128k;

upstream tomcat_server{
server 127.0.0.1:8080 fail_timeout=0;
}

upstream gunicorn_server{
server 127.0.0.1:5000 fail_timeout=0;
}
server{
server_name 127.0.0.1;
listen 443;
# ssl on;
# ssl_certificate /etc/letsencrypt/live/samray.ren/fullchain.pem;
# ssl_certificate_key /etc/letsencrypt/live/samray.ren/privkey.pem;
location / {

# Forward SSL so that Tomcat knows what to do
proxy_set_header X-Forwarded-Host $host;
proxy_set_header X-Forwarded-Server $host;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_pass http://tomcat_server;
proxy_set_header X-Forwarded-Proto https;

proxy_redirect off;
proxy_connect_timeout      240;
proxy_send_timeout         240;
proxy_read_timeout         240;

}

location /test{
return 402;
}

location /weixin {
# try_files $uri @proxy_to_app;
return 402;
}
location @proxy_to_app {
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header Host $http_host;
proxy_redirect off;
proxy_pass http://gunicorn_server;

}
}

}


#mail {
#	# See sample authentication script at:
#	# http://wiki.nginx.org/ImapAuthenticateWithApachePhpScript
#
#	# auth_http localhost/auth.php;
#	# pop3_capabilities "TOP" "USER";
#	# imap_capabilities "IMAP4rev1" "UIDPLUS";
#
#	server {
#		listen     localhost:110;
#		protocol   pop3;
#		proxy      on;
#	}
#
#	server {
#		listen     localhost:143;
#		protocol   imap;
#		proxy      on;
#	}
#}

里面实在有太多的注释了，虽说是很好的参考，但是看多了会感觉很碍眼，所以你希望可以有一份没有注释的配置文件，你就可以使用 grep 和参数 -v:

1

egrep -v "#|^$" /etc/nginx/nginx.conf >/tmp/nging.conf

结果如下：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67


worker_processes auto;
pid /run/nginx.pid;
include /etc/nginx/modules-enabled/*.conf;
events {
worker_connections 1024;
}
http {
sendfile on;
tcp_nopush on;
tcp_nodelay on;
keepalive_timeout 65;
types_hash_max_size 2048;
include /etc/nginx/mime.types;
default_type application/octet-stream;
ssl_prefer_server_ciphers on;
log_format main '$remote_addr - $remote_user [$time_local] "$request" $status $bytes_sent "$http_referer" "$http_user_agent" "$gzip_ratio"';
access_log /var/log/nginx/access.log;
error_log /var/log/nginx/error.log;
gzip on;
gzip_disable "msie6";
include /etc/nginx/conf.d/*.conf;
include /etc/nginx/sites-enabled/*;
ignore_invalid_headers on;
client_header_timeout 240;
client_body_timeout 240;
send_timeout 240;
client_max_body_size 100m;
proxy_buffer_size 128k;
proxy_buffers 8 128k;

upstream tomcat_server{
server 127.0.0.1:8080 fail_timeout=0;
}

upstream gunicorn_server{
server 127.0.0.1:5000 fail_timeout=0;
}
server{
server_name 127.0.0.1;
listen 443;
location / {

proxy_set_header X-Forwarded-Host $host;
proxy_set_header X-Forwarded-Server $host;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_pass http://tomcat_server;
proxy_set_header X-Forwarded-Proto https;
proxy_redirect off;
proxy_connect_timeout      240;
proxy_send_timeout         240;
proxy_read_timeout         240;
}
location /test{
return 402;
}
location /weixin {
return 402;
}
location @proxy_to_app {
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header Host $http_host;
proxy_redirect off;
proxy_pass http://gunicorn_server;

}
}
}

egrep 是 grep 的扩展，你也可以通过 -E 使用扩展功能。就这样，你就可以得到一份很“干净”的配置文件了。

5 小结

在以前 grep 是 hacker 工具箱里面审查源代码必不可少的工具之一，但是随着技术的发展，似乎对比其他同类型的工具， grep 的性能已经难尽人意，特别是对比 ag 这个搜索神器；

虽说很多人都已经转移到了 ag 阵营，但是因为 grep 被广泛预装到各类的Linux/Unix 机器，所以 grep 还是使用得很广泛滴。

更多 grep 的用法就需要查询手册了：

1

man grep

Enjoy Shell :)

公号同步更新，欢迎关注👻

Linux/Unix Shell 二三事之过滤器diff

Tue, 28 Feb 2017 00:00:00 -0800

diff - compare files line by line

如果你有使用过git,那么你一定不会对diff 陌生，因为对你源文件和修改后的文件进行比较的就是 diff 这个大名鼎鼎的家伙了。

多年以来， diff 都一直是非常重要的工具，上古大神都是使用 diff 和 patch 对程序进行差分和打补丁滴(现在有git了，但是diff同样发挥着重要作用)

1 语法

diff 的语法如下

1

diff [OPTION].... file1 file2

OPTION 指不同的选项参数，file1,file2 是文本文件的名字，如果比较的两个文件相同 diff 将不输出任何东西。如果两个文件有差异，diff 会显示一系列的指示，让你可以把第一个文件修改为与第二个文件一致

2 例子

2.1 用法一

现在有两个文件，分别保存着不同的地址。 address1 包含：

1
2
3
4


guangdong
shanghai
beijing
chengdu

address2 包含：

1
2
3
4


guangdong
shanghai
beijin
chengdu

你可以注意到两个文件的区别就是第三行的 beijing.然后运行 diff

1

diff address1 address2

输出结果：

1
2
3
4


3c3
< beijing
---
> beijin

似乎有点难以理解，输出结果描述了什么呢？其实diff 是在指导如何修改不同的文件使之一致 < 后接的是文件1中与文件2不同的部分， > 后接的是文件2中与文件1不同的部分

diff 的输出使用3个不同的单字符指导：a(append,追加),c(change,修改),d(delete,删除). 在上面的例子，只是看到一个 c,意味着，如果想把 address1 修改成 address2 只需将 address1 的第三行修改成 address2 的第三行

2.2 用法2

现在把 address2 的最后一行删除，看看运行 diff 结果如何： address1 包含：

1
2
3
4


guangdong
shanghai
beijing
chengdu

address2 包含：

1
2
3


guangdong
shanghai
beijing

1

diff address1 address2

输出结果：

1
2


4d3
< chengdu

在该例子中，为了将 address1 变成 address2 只需删除 address1 的第四行

2.3 用法3

现在把 address1 的最后一行删除，看看运行 diff 结果如何： address1 包含：

1
2
3


guangdong
shanghai
beijing

address2 包含：

1
2
3
4


guangdong
shanghai
beijing
chengdu

1

diff address1 address2

输出结果：

1
2


3a4
> chengdu

想将第一个文件转换成第二个文件，只需在第一个文件追加第二个文件的第四行(即在第一个文件的第 3 行之后追加第二个文件的第 4 行)

3 diff 选项

因为diff 是一个相当强大也是一个相当复杂的命令，所以我没办法将所有的用法一一道尽所以笔者将比较常用的选项列举出来

-b:忽略制表符(不忽略所有的空白符，指忽略空白符数量的差异),例如下面的两行是相同的

1
2


a    a
a a

-B(blank lines):忽略所有的空白行
-c(context):以上下文的形式显示差异内容，对比默认输出更加容易理解(但是也更加繁杂)
-q(quiet): diff 静默设置，即如果文件file1和file2有差异，diff 也只会显示 File file1 and file2 differ
-w(whitespace):忽略所有的空白符
-u(unified output): 上下文形式显示的改进，不会输出重复行
-y:将文件分成两列或多列并排进行输出(非常直观，但是输出很繁杂)

还是老话，更多的用法就需要：

1

man diff

公号同步更新，欢迎关注👻

Linux/Unix Shell 二三事之过滤器cat

Wed, 22 Feb 2017 00:00:00 -0800

cat - concatenate files and print on the standard output

1 过滤器

何谓过滤器呢，例如cat,grep,wl 之类的命令就是过滤器了。这样的命令读取数据，对数据执行一些操作，然后写入结果。更准确地说，过滤器就是任何能够从标准输入读取文本数据，并向标准输出写入文本数据的命令。又因为Unix 的 KISS 设计理念，所以每个程序都被设计成能够出色完成一项特定任务的工具。又因为重定向和管道的存在，使得可以将这些工具组合起来，发挥无穷威力

2 cat

在shell 里面运行cat,你会被要求输入文本数据，当你输入一行数据以后，然后按下回车你输入的数据就会显示在屏幕，当你按下 ^D(+d),发送eof 信号给shell,退出 cat。cat 做的事就是把你输入的字符，复制到标准输出 (一般情况是指你的屏幕).看到这里有人或许会质疑，这东西有什么用呢？似乎什么都作不了。不，它的用处很大呢，且容笔者细细禀来

2.1 场景1

假如你要新建一个文本文件，里面只是很少的文本，你会怎么做呢？一般情况下，都是用 vim/emacs 新建一个文本文件，然后输入几行文字，然后保存退出。这是一般的做法，看到这里，很自然有人会发问，难道有更优雅的解决方法？有，不用打开文本编辑器写入文本的hacking方法：

1

cat > data

输入数据，然后 ^D(+d) 保存。你就新建了一个文本了。当然，如果你已经有一个 data 文件 ,就会被代替，当然，你也可以也在原来文本末尾添加的方法：

1

cat >> data

2.2 场景2

如果你有一个短文件，你想查看一下，同样，你可以使用cat

1

cat < data

当然，你也可以省略 < 这个重定向符号：

1

cat data

抑或是，你想显示某个大文件的最后一部分，你也可以如上操作。或许你会觉得，这个功能很多命令也有，最典型的就是 tail. 但是如果 cat 可以很完美地很其他过滤器结合充当整套管道线工具流的起始端，这个以后慢慢再阐述

2.3 场景3

如果你想复制文本文件，你首先会想起什么命令？ cp,很自然嘛，我也不例外，但是cat 也可以实现同样的功能，很意外吧：

1

cat < file > newfile

即把 file 复制到标准输出，然后再把 file 当作标准输入复制到 newfile.hacking!

2.4 场景4

如果你想把多个文本文件的组合到一个文件，你会怎么做？用编辑器打开所有的文件然后 select,cut,paste,save.我也会很自然地想到这个方法，但是是否存在着更优雅的解决方案呢？当然：

1

cat file1 file2 file3 >newfile

3 总结

上面已经介绍了挺多cat 的使用场景了，你觉得cat 表现滴怎么样呢？相信你的感觉是还行，但是并没有，我吹嘘的那么令人惊艳。因为这只是cat 最基本的功能，它最大的用法还没有完全展现出来，笔者先举一例，以后再慢慢详叙：

1

cat file |grep "something" |sort -n |tee newfile

语法	用法
cat > file	读取输入，创建新的文件或替换
cat >>file	读取输入，追加新的文件
cat file/cat	显示一个已有文件
cat newfile	复制一个文件
cat file1 file2 file3>file4	组合多个文件

公号同步更新，欢迎关注👻

Linux/Unix Shell 二三事之过滤器head+tail

Fri, 17 Feb 2017 00:00:00 -0800

head - output the first part of files tail - output the last part of files

当拥有的数据太多的时候，使用cat 来展示数据的话，数据量过大，屏幕就只能显示最后一部分的数据了。

所以如果你想选取部分的数据的话，cat 就不是一个好选择了。有两个命令可以满足你的要求，分别是 head 和 tail.顾名思义，head 选取数据的开头部分tail 是选取数据的结尾部分

1 用法

当把 head tail 当作过滤器来使用的时候，用法很简单

1
2


$ head data
$ tail data

默认情况下 head 会选取数据开头的10行数据 tail 会选取数据最后的10行数据. 如果你想选取更多的数据的时候，你可以指定行数，例如

1
2


$ head [-n line] data
$ tail [-n line] data

其中 line 是希望选取的数据行的数量

2 惊艳点

你可能觉得 head tail 两个命令很简单，似乎用处不大。

是的，就我一直所介绍的那样，单个unix命令只是完成一个特定的工作，但是当它们组合起来的时候，就很威力无穷了

2.1 场景1

假如你要生成一串密钥来加密你的某个文件，这是很常见的需求，你会怎么办，用python 或者 java 写一个随机数函数来实现么？无需，你用简单的过滤器加Linux/Unix

内置的设备(dev):

1

$ cat /dev/urandom | tr -cd "[[:alnum:]]" |head -c 32;echo

在Unix/Linux 的机器下，运行上面的命令就可以生成一个包含数字和字母的32个字符长的密钥了。

/dev/urandom 是一个可以通过收集硬件驱动的环境噪音来产生伪随机数特殊的文件，tr 是转换和删除字符的命令；更多详细的东西，以后我会慢慢介绍滴

2.2 场景2

在日常的开发或者运行环境中，日志是必不可少滴，但是日志是不断产生新的数据的,所以有时候就会出现用编辑器打开日志的时候，就会出现，编辑器不断提醒你文件已经发生了变化，是否重新加载，但是如果只是用cat,tail 来查看日志，日志又是保持在打开的那个状态，新产生的日志数据是没办法浏览到，果真如此？

其实不然, tail 可以在查看日志的时候，保持日志一直在更新。关键就在 -f 选项

1

$ tail -f [-n line] file

-f 选项告诉tail 当到达文件的末尾不要停止。相反，tail 要一直等下去，并且随着文件的增长，显示更多的输出 (-f -> follow)

你也可以模拟日志不断生成的过程：

1

$ tail -f -n 20 something.log

然后打开一个新的Shell, 运行：

1

cat >> something.log

使用 >> 追加数据，就可以模拟日志生成的过程了

3 总结

要掌握更多的用法还是要查看文档滴：

1

man head

Enjoy Shell :)

公号同步更新，欢迎关注👻