Nginx Note

发表于 | 分类于

This is a summary of using nginx

😊简介(百度百科)

Nginx (engine x) 是一个高性能的HTTP和反向代理服务，也是一个IMAP/POP3/SMTP服务。Nginx是由伊戈尔·赛索耶夫为俄罗斯访问量第二的Rambler.ru站点（俄文：Рамблер）开发的，第一个公开版本0.1.0发布于2004年10月4日。

其将源代码以类BSD许可证的形式发布，因它的稳定性、丰富的功能集、示例配置文件和低系统资源的消耗而闻名。2011年6月1日，nginx 1.0.4发布。

Nginx是一款轻量级的Web 服务器/反向代理服务器及电子邮件（IMAP/POP3）代理服务器，并在一个BSD-like 协议下发行。其特点是占有内存少，并发能力强，事实上nginx的并发能力确实在同类型的网页服务器中表现较好，中国大陆使用nginx网站用户有：百度、京东、新浪、网易、腾讯、淘宝等。

使用场景：

1）多个域名下的请求均在本地调试，需要加端口时；
2）当测试环境不具备某些服务时，如我们的竞品爬虫、打单依赖的服务等；
3）本地localhost无法通过接口获取正确数据时（当然这种情况对我们后端不存在）。
4）…

😌安装

1、安装过程

略

2、指令

1）sudo nginx #打开 nginx
2）sudo nginx -s reload|reopen|stop|quit #重新加载配置|重启|停止|退出 nginx
其中stop 和quit的区别：quit的功能基本与stop一样，唯一的不同之处就是quit是一种优雅的停止，也就是进程如果还在服务中，那么就不会关闭该进程，直到进程完成服务为止。当然这个过程中不能再接受新的任务了。
3）sudo nginx -t #测试配置是否有语法错误

成功示例：

1
2
nginx: the configuration file /usr/local/etc/nginx/nginx.conf syntax is ok
nginx: configuration file /usr/local/etc/nginx/nginx.conf test is successful

失败示例：

1
2
nginx: [emerg] directive "server_name" is not terminated by ";" in /usr/local/etc/nginx/servers/ele.conf:30
nginx: configuration file /usr/local/etc/nginx/nginx.conf test failed

😁常用功能

1、http代理，反向代理；

1）正向代理：当访问不了某网站时，通过访问能访问到某网站的代理服务器达到访问某网站的效果（在此过程中，客户端是想要访问原始服务器，并指定了这个目标，代理服务器转交请求并反馈结果给客户端）。

举例：通过shadowsocksX-NG翻墙访问国外网站。

2）反向代理：指以代理服务器来接受internet上的连接请求，然后将请求转发给内部网络上的服务器，并将从服务器上得到的结果返回给internet上请求连接的客户端，此时代理服务器对外就表现为一个服务器。整个过程中客户端并不知情。

作用：实现网站的负载均衡；防止网站攻击，保护原始服务器。

即”正向代理代理客户端，反向代理代理服务器”。

🤔基础配置

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
...              #全局块

events {         #events块
   ...
}

http      #http块
{
    ...   #http全局块
    server        #server块
    {
        ...       #server全局块
        location [PATTERN]   #location块
        {
            ...
        }
        location [PATTERN]
        {
            ...
        }
    }
    server
    {
      ...
    }
    ...     #http全局块
}

1、全局块：配置影响nginx全局的指令。一般有运行nginx服务器的用户组，nginx进程pid存放路径，日志存放路径，配置文件引入，允许生成worker process数等。

2、events块：配置影响nginx服务器或与用户的网络连接。有每个进程的最大连接数，选取哪种事件驱动模型处理连接请求，是否允许同时接受多个网路连接，开启多个网络连接序列化等。

3、http块：可以嵌套多个server，配置代理，缓存，日志定义等绝大多数功能和第三方模块的配置。如文件引入，mime-type定义，日志自定义，是否使用sendfile传输文件，连接超时时间，单连接请求数等。

4、server块：配置虚拟主机的相关参数，一个http中可以有多个server。

5、location块：配置请求的路由，以及各种页面的处理情况。

6、举例

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
#每个指令必须有分号结束。
#user administrator administrators;  #配置用户或者组，默认为nobody nobody，有些需要配置user admin，防止有权限问题。
#worker_processes 2;  #允许生成的进程数，默认为1
#pid /nginx/pid/nginx.pid;   #指定nginx进程运行文件存放地址
error_log log/error.log debug;  #指定日志路径，级别。这个设置可以放入全局块，http块，server块，错误日志级别为：
                                debug|info|notice|warn|error|crit（详见下方解释4）
events {
    accept_mutex on;   #设置网路连接序列化，防止惊群现象（详见下方解释3）发生，默认为on
    multi_accept on;  #设置一个进程是否同时接受多个网络连接，默认为off
    #use epoll;      #事件驱动模型，select|poll|kqueue|epoll|resig|/dev/poll|eventport
    worker_connections  1024;    #最大连接数，默认为512
}
http {
    include       mime.types;   #文件扩展名与文件类型映射表（详见下方解释1）
    default_type  application/octet-stream; #默认文件类型，默认为text/plain
    #access_log off; #取消服务日志
    log_format myFormat '$remote_addr–$remote_user [$time_local] $request $status $body_bytes_sent $http_referer
    $http_user_agent $http_x_forwarded_for'; #自定义格式（详见下方解释2）

    access_log log/access.log myFormat;  #combined为日志格式的默认值
    sendfile on;   #允许sendfile方式传输文件，默认为off，可以在http块，server块，location块。
    sendfile_max_chunk 100k;  #每个进程每次调用传输数量不能大于设定的值，默认为0，即不设上限。
    keepalive_timeout 65;  #连接超时时间，默认为75s，可以在http，server，location块。

    upstream mysvr { #请求数据分发多台服务器，负载均衡
      server 127.0.0.1:7878;
      server 192.168.10.121:3333 backup;  #热备
    }
    error_page 404 https://www.baidu.com; #错误页
    server {
        keepalive_requests 120; #单连接请求上限次数。是指一个keep alive建立之后，nginx就会为这个连接设置一个计数器，记录这个keep alive的长连接上已经接收并处理的客户端请求的数量。如果达到这个参数设置的最大值时，则nginx会强行关闭这个长连接，逼迫客户端不得不重新建立新的长连接。
        listen       4545;   #监听端口
        server_name  127.0.0.1;   #监听地址
        location  ~*^.+$ {       #请求的url过滤（详见解释5、6）
           #root path;  #根目录
           #index vv.txt;  #设置默认页
           expires -1; #（详见解释7）
           proxy_pass  http://mysvr;  #请求转向mysvr（详见解释8）
           proxy_set_header Host $host; #请求的主机名，如果不写将导致请求失败。可以在http块, server块, location块。（详见解释9）
           deny 127.0.0.1;  #拒绝的ip
           allow 172.18.5.54; #允许的ip
        }
    }
}

上面是nginx的基本配置，需要注意的有以下几点：

1、有关mime：最早期电子邮件只支持ASCII字符集而且不能添加附件，但随着人们的需求增加以及邮件需要面向世界，因此发明了mime（Multipurpose Internet Mail Extension多用途因特网邮件扩展）通过MIME，我们可以将不同类型的数据（文本、图片、视频）放到一条邮件中。这种含有多种类型数据的文件被称为多部分对象集合（Multipart messages），除了邮件的STMP协议外，mime还支持http协议。HTTP服务器在发送一份报文主体时，在HTTP报文头部插入解释自身数据类型的MIME头部信息（Content-Type）。客户端接收到这部分有关数据类型的信息，就能调用相应的程序处理数据。，

观察一下mime.types文件

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
types {
    text/html                             html htm shtml;
    text/css                              css;
    text/xml                              xml;
    image/gif                             gif;
    image/jpeg                            jpeg jpg;
    application/javascript                js;
    application/atom+xml                  atom;
    application/rss+xml                   rss;

    text/mathml                           mml;
    text/plain                            txt;
    ....以下省略....

    image/png                             png;
    image/tiff                            tif tiff;
    image/vnd.wap.wbmp                    wbmp;
    ....以下省略....

    application/font-woff                 woff;
    application/java-archive              jar war ear;
    application/json                      json;
    application/mac-binhex40              hqx;
    ....以下省略....
}

这些MIMIE类型实际上是告诉浏览器，文件数据到底是什么，这样浏览器就能更好的为用户展示数据。

Nginx通过服务器端文件的后缀名来判断这个文件属于什么类型，再将该数据类型写入HTTP头部的Content-Type字段中，发送给客户端。

举例：图片

2、服务日志中一些简单的nginx内置的变量:

a.$remote_addr 与$http_x_forwarded_for 用以记录客户端的ip地址；
b.$remote_user ：用来记录客户端用户名称；
c.$time_local ：用来记录访问时间与时区；
d.$request ：用来记录请求的url与http协议；
e.$status ： 用来记录请求状态；成功是200；
f.$body_bytes_s ent ：记录发送给客户端文件主体内容大小；
g.$http_referer ：用来记录从那个页面链接访问过来的；
h.$http_user_agent ：记录客户端浏览器的相关信息；

3、惊群现象：一个网路连接到来，多个睡眠的进程被同时叫醒，但只有一个进程能获得链接，这样会影响系统性能。

4、关于error_log配置的扩展：

a.从左到右，debug的记录最详；crit记录最少。
b.注意error_log off并不能关闭日志记录功能，它将日志文件写入一个文件名为off的文件中，如果你想关闭错误日志记录功能，应使用以下配置：
1
error_log /dev/null crit;
c.如果开启了错误日志，要根据配置在相应的文件夹下添加配置的文件夹，否则会报错：
1
nginx: [emerg] open() "/usr/local/Cellar/nginx/1.10.3/logs/error.log" failed (2: No such file or directory)

5、location中的几个概念：

= 表示完全一致
~ 表示区分大小写的正则匹配
~* 表示不区分大小写的正则匹配
^~ 表示开头表示uri以某个常规字符串开头，理解为匹配 url路径即可。nginx不对url做编码，因此请求为/static/20%/aa，可以被规则^~ /static/ /aa匹配到（注意是空格）。。
/ 通用匹配，任何请求都会匹配到

语法规则：location [=|~|~*|^~] /uri/ { … }

6、location中的匹配原则：首先匹配 =，其次匹配^~, 然后是按文件中顺序的正则匹配，最后是交给 / 通用匹配。当有匹配成功时候，停止匹配，按当前匹配规则处理请求。详细的匹配规则如下：

a.普通location的匹配跟配置文件中记录的顺序是无关的
b.正则location的匹配跟配置文件中记录的顺序有关，先匹配到后就不再向下匹配
c.普通location里面的匹配是按照最大前缀匹配的原则匹配
d.普通location的最大前缀匹配到之后，再进行正则匹配
e.如果被正则location匹配到，会覆盖普通location的最大前缀匹配，精确location也会被正则location覆盖
f.如果都没有匹配的，则会与location /进行匹配

举例：

1、将下列配置放在location块的任意位置 访问https://test.btyh.xxx.cc/index.html

1
2
3
4
location = /index.html {
    return 503;
}
结果：503

1
2
3
4
location = /index.html {

}
结果：welcom to nginx

2、将下列配置放在location块的任意位置 访问https://test.btyh.xxx.cc/index.html

1
2
3
4
5
6
7
8
9
location ^~ /index.html {
    return 504;
}
结果：504

location ~* ^.+\.(html)$ {
    return 503;
}
结果：503

3、将下列配置放在location块的任意位置 访问https://test.btyh.xxx.cc/index.html#/badintercept

1
2
3
4
5
6
7
8
9
10
location [^~|~] /title/ {
    proxy_pass http://101.37.111.40;
    proxy_set_header Host "btyh.xxx.cc";
}
结果：502（原因-测试环境没启动）

location = /title/get_calc_result.rjson {
    return 506;
}
结果：接口506

7、expires指令控制HTTP应答中的“Expires”和“Cache-Control”Header头部信息，启动控制页面缓存的作用

time:可以使用正数或负数。“Expires”头标的值将通过当前系统时间加上设定time值来设定。

time值还控制”Cache-Control”的值：负数表示no-cache，正数或零表示max-age=time

其可选值为：

a. epoch：指定“Expires”的值为 1 January,1970,00:00:01 GMT
b. max:指定“Expires”的值为31 December2037 23:59:59GMT,”Cache-Control”的值为10年。
c. -1：指定“Expires”的值为当前服务器时间-1s，即永远过期。
d. off：不修改“Expires”和”Cache-Control”的值（浏览器可见配置）

8、proxy_pass一般用于实现反向代理：

（1）url指的是被代理服务器的地址，包含传输协议、主机名称或IP地址加端口号、URI等要素；

（2）不影响浏览器地址栏的url？；

（3）协议可以为http或https；

（4）地址可以为域名或者IP，端口可选。

注意proxy_pass URL ,URL中是否含有URI，如果不包含，nginx服务器不会改变原地址的URI；如果包含了URI，则nginx服务器会使用新的URI替换原来的URI。

末尾加’/’也意味着指令的url包含了URI：

1
2
3
location = /index.html {
    proxy_pass http://www.baidu.com/;
}

比如：https:192.168.0.23/loc /loc就是URI，服务器会把地址转向/loc下面

（5）如果一个域名可以解析到多个地址，那么这些地址会被轮流使用，此外，还可以把一个地址指定为 server group

1
2
3
4
5
6
7
8
9
10
11
12
13
14
upstream backend {
    server backend1.example.com       weight=5; #weight是访问权重
    server backend2.example.com:8080;
    server unix:/tmp/backend3;

    server backup1.example.com:8080   backup;
    server backup2.example.com:8080   backup;
}

server {
    location / {
        proxy_pass http://backend;
    }
}

（6）server name， port， URI支持变量的形式：

1
proxy_pass http://$host$uri;

nagin内置变量大全

9、proxy_set_header

（1）Host 允许重新定义或者添加发往后端服务器的请求头，防止后端校验不通过，（相当于转换了host）；

（2）前端用一般不会自定义，都是用线上已有的域名；

（3）作用是给后端作为标识，代表要转发给哪台后端服务器。

其实，前端完全可以不配置proxy_set_header，只配置proxy_pass Host，效果是一样的。

————————————–不华丽的分割线——————————————–

在日常开发以及实际应用上，建议不要把多个server块叠放在http块内，可以选择在server文件夹下创建自己需要的conf文件(可能为多个)，再用include导入，这样比较清晰。举例：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
http {
    include       mime.types;
    default_type  application/octet-stream;
    server_tokens   on;
    sendfile        on;
    keepalive_timeout  65;

    server {
        listen       80;
        server_name  localhost;
        location / {
            root   html;
            index  index.html index.htm;
        }

        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }

    }
    include servers/*; #导入所需代理配置
}

某个conf文件的配置，举例：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
#拼多多标题优化
server {
    listen      80;#监听端口
    listen      443;
    ssl on; #开启ssl
    ssl_certificate         /Users/tahara/WebstormProjects/xxx.crt; #证书位置
    ssl_certificate_key     /Users/tahara/WebstormProjects/xxx.key; #私钥位置
    server_name test.btyh.xxx.cc; #监听访问路径
    location ~* ^.+\.(xls|woff2|woff|ttf|log|jpg|jpeg|gif|png|ico|html|cfm|cfc|afp|asp|lasso|pl|py|txt|fla|swf|zip|js|css|less|hot-update.json)$ {
        expires -1;
        #proxy_pass http://121.199.170.10;
        #root /Users/tahara/project/ele-mobile/xxx-pdd-titleseo/dist;
        proxy_pass http://127.0.0.1:8083;
        #proxy_set_header Host "btyh.xxx.cc";
    }
    location /__webpack_hmr { #代理热加载
        proxy_pass http://127.0.0.1:8083;
        proxy_set_header Host "btyh.xxx.cc";
    }
    location / { #代理后端接口
        #proxy_pass http://101.37.111.40;
        proxy_pass http://101.37.110.97;
        proxy_set_header Host "btyh.xxx.cc";
        #proxy_pass https://btyh.xxx.cc;
    }
}

上述配置要配合127.0.0.1 test.btyh.xxx.cc使用

问题：1、如果把proxy_pass改成”btyh.xxx.cc”会怎样？

问题：2、利用root代理前端资源偶尔报错的原因（可能是root代理资源路径，较快，proxy_pass代理服务，解析较慢）

proxy_pass和proxy_set_header Host使用总结

1、proxy_set_header和proxy_pass只在不加baseUrl(请求域名)时对后端起作用，加了baseUrl不走本地nginx配置；

2、proxy_pass如果是线上有的域名，可以只配它自己，当线上没有匹配的域名时，会报错：host not found in upstream xxx.conf ，所以要在host绑定本地，但是还会报404错误，因为该域名无效；

3、proxy_pass的ip如果和proxy_set_header Host不匹配也会造成请求失败；

4、当proxy_pass配置线上的ip，而不配置proxy_set_header Host时，要看后端校验是否过于严格，如果不严格可以访问，严格的话也会请求失败；

5、关于host，如果不配置，页面会展示”无法访问此网站 找不到 xxx.xx.xxx.cc 的服务器 IP 地址。”；

6、如果本地没有启动服务，会提示502，这个时候根据nginx版本，判断是前端还是后端没有启动；

7、如果有缓存，建议修改本地nginx的server_name。

附：

1、清理谷歌的缓存；

2、每次修改了nginx配置，要重启才有效；

3、要注意请求的路径跟自己代理的路径保持一致；

4、要注意后端设置的cookie在几级域名下有效；

5、证书如何生成:

（1）shell脚本：generate.sh

（2）sudo sh generate.sh

（3）域名是*.xxx.cc

参考文档：

反向代理为何叫反向代理？

图解正向代理、反向代理、透明代理

Nginx配置详解

【Nginx】MIME与mime.types

关于nginx的location匹配

nginx 之 proxy_pass详解