查看原文
其他

只知道 Nginx 牛逼!却不知道它怎么支持百万并发?

The following article is from 民工哥技术之路 Author 点击关注👉

前段时间在网上看到一个有意思的话题:只知道 Nginx 牛逼,却不知道它怎么支持百万并发?

确实,这是一个好问题,面试常问,很多人都在这上面栽过跟头!

所以,今天我们就来一起聊一聊这个话题。

大家都知道,无论是运维、开发、测试,Nginx 技术栈的学习总是必不可少的,只是不同的岗位掌握的深度与广度不同而已。

什么是 Nginx?

Nginx 是开源、高性能、高可靠的 Web 和反向代理服务器,支持热部署,几乎可以做到 7 * 24 小时不间断运行,还可在不间断服务的情况下对软件版本进行热更新。Nginx 性能非常牛逼,占用内存少、并发能力强、能支持高并发,支持绝大部分协议,如TCP、UDP、SMTP、HTTPS等。最重要的是, Nginx 是免费开源的且可以商业化,配置使用也比较简单。

在中国有众多互联网大厂,如百度、京东、新浪、网易、腾讯等都在使用 Nginx,也有很多高知名度的国外网站也在使用 Nginx,比如:Netflix、GitHub、SoundCloud、MaxCDN等。

官方网站:http://www.nginx.org

Nginx 架构

Nginx 是如何支持百万并发?

Nginx 能够支持百万并发连接,主要通过以下几个方面来实现:

主进程与工作进程

当 Nginx 启动时,会生成主进程(master)和工作进程(worker)。

[root@nginx ~]# ps -ef|grep nginx
root       6324      1  0 09:06 ?        00:00:00 nginx: master process /usr/local/nginx-1.12.2/sbin/nginx
nobody     6325   6324  0 09:06 ?        00:00:00 nginx: worker process
root       6327   1244  0 09:06 pts/0    00:00:00 grep --color=auto nginx
  • 主进程主要负责调度工作进程(管理 Worker 进程),并不直接处理网络请求。
  • 工作进程(所有 Worker 进程都对等的)是实际处理网络请求及响应的进程,每个工作进程都是独立的,可同时处理数以千计的网络请求。

事件驱动模型

Nginx 的事件驱动模型由事件收集器、发送器和处理器三部分基本单元组成。

  • 事件收集器:收集 worker 进程的各种 IO 请求
  • 事件发送器:将 IO 事件发送到事件处理器
  • 事件处理器:处理各种事件的响应工作

Nginx 事件驱动架构是基于异步及非阻塞的方式,这种设计允许 Nginx 同时处理多个网络请求。

当一个客户端发起请求时,Nginx 会将该请求交给一个工作进程,由工作进程负责处理请求。工作进程采用异步方式处理请求,每个请求在一个单独的工作进程中处理,这样就不会因为一个请求的阻塞而影响其他请求的处理。因些,它可以同时处理多个客户端请求,从而提高了并发处理能力。

非阻塞IO

Nginx 在处理请求时采用了非阻塞 I/O 操作,这意味着它不会在等待 I/O 操作完成时阻塞进程。通过使用非阻塞 I/O,Nginx 可以同时处理多个 I/O 操作,从而提高了整体的处理能力。

如前面的图,事件发送器会将事件放入一个类似待处理的列表中,然后采用非非阻塞 I/O 方式来调用事件处理器来处理这个请求。

这种处理模式我们又将其称为“多路复用 I/O”,最常见的有括这三种:select 模型、poll模型、epoll 模型。

内存管理

Nginx 使用了强大内存池技术来管理内存,内存池中的内存块是预先分配的,避免了频繁的内存分配和释放操作,从而减少了内存分配和释放的开销,这样可以使 Nginx 在处理大量并发连接时更加高效。

负载均衡

Nginx 可以作为反向代理服务器使用,将客户端请求转发给后端服务器处理。通过配置负载均衡策略,Nginx 可以将请求分发到多个后端服务器,进一步提高整体的处理能力,这也是它给支持百万并发的一大关键技术。

upstream server_pools { 
  server 192.168.1.100:8888   weight=5;
  server 192.168.1.101:9999   weight=5;
  server 192.168.1.102:6666   weight=5;
  #weigth参数表示权值,权值越高被分配到的几率越大
}
server {  
  listen 80; 
  server_name mingongge.com;
  location / {    
  proxy_pass http://server_pools; 
   }
}

Nginx 实现负载均衡的策略

  • 轮询策略:默认情况下采用的策略,将所有客户端请求轮询分配给服务端。这种策略是可以正常工作的,但是如果其中某一台服务器压力太大,出现延迟,会影响所有分配在这台服务器下的用户。
  • 最小连接数策略:将请求优先分配给压力较小的服务器,它可以平衡每个队列的长度,并避免向压力大的服务器添加更多的请求。
  • 最快响应时间策略:优先分配给响应时间最短的服务器。
  • 客户端 ip 绑定策略:来自同一个 ip 的请求永远只分配一台服务器,有效解决了动态网页存在的 session 共享问题。

缓存

Nginx 支持缓存功能,Nginx 缓存作为性能优化的一个重要手段,可以极大减轻后端服务器的负载。

我们可以通过 Nginx 配置将静态文件存储在本地磁盘上,直接提供给客户端,减少了请求后端服务器的次数,提高了性能和并发处理能力。

proxy_cache_path  #代理缓存的路径
#语法格式
proxy_cache_path path [levels=levels] [use_temp_path=on|off] keys_zone=name:size [inactive=time] [max_size=size] [manager_files=number] [manager_sleep=time] [manager_threshold=time] [loader_files=number] [loader_sleep=time] [loader_threshold=time] [purger=on|off] [purger_files=number] [purger_sleep=time] [purger_threshold=time];

proxy_cache #开启或关闭代理缓存
#语法格式
proxy_cache zone | off;  #zone为内存区域的名称,即上面中keys_zone设置的名称。

proxy_cache_key #定义如何生成缓存的键
#语法格式
proxy_cache_key string;  #string为生成Key的规则,如proxy_host$request_uri。

proxy_cache_valid  #缓存生效的状态码与过期时间。
#语法格式
proxy_cache_valid [code ...] time;  #code为状态码,time为有效时间,可以根据状态码设置不同的缓存时间。如:proxy_cache_valid 200 302 30m;

proxy_cache_min_uses #设置资源被请求多少次后被缓存。
#语法格式
proxy_cache_min_uses number;  #number为次数,默认为1。

proxy_cache_use_stale #当后端出现异常时,是否允许Nginx返回缓存作为响应。
#语法格式
proxy_cache_use_stale error;  #error为错误类型

proxy_cache_lock  #是否开启锁机制
#语法格式
proxy_cache_lock on | off;

proxy_cache_lock_timeout #配置锁超时机制,超出规定时间后会释放请求。
#语法格式
proxy_cache_lock_timeout time;

proxy_cache_methods #设置对于那些HTTP方法开启缓存。
#语法格式
proxy_cache_methods method;  #method为请求方法类型,如GET、HEAD等。

proxy_no_cache #设置不存储缓存的条件,符合时不会保存。
#语法格式
proxy_no_cache string...;  #string为条件,如arg_nocache $arg_comment;

proxy_cache_bypass  #设置不读取缓存的条件,符合时不会从缓存中读取。
#语法格式
proxy_cache_bypass string...;  #与上面proxy_no_cache的配置方法类似。

add_header  #配置往响应头中添加字段信息。
#语法格式
add_header fieldName fieldValue;

$upstream_cache_status #记录了缓存是否命中的信息,存在以下多种情况:
MISS:请求未命中缓存。
HIT:请求命中缓存。
EXPIRED:请求命中缓存但缓存已过期。
STALE:请求命中了陈旧缓存。
REVALIDDATED:Nginx验证陈旧缓存依然有效。
UPDATING:命中的缓存内容陈旧,但正在更新缓存。
BYPASS:响应结果是从原始服务器获取的。
#注:这是一个Nginx内置变量,与上面的参数不同。

下面是一个配置实例

server{  
        location / {  
            # 使用名为nginx_cache的缓存空间  
            proxy_cache hot_cache;  
            # 对于200、206、304、301、302状态码的数据缓存1天  
            proxy_cache_valid 200 206 304 301 302 1d;  
            # 对于其他状态的数据缓存30分钟  
            proxy_cache_valid any 30m;  
            # 定义生成缓存键的规则(请求的url+参数作为key)  
            proxy_cache_key $host$uri$is_args$args;  
            # 资源至少被重复访问三次后再加入缓存  
            proxy_cache_min_uses 3;  
            # 出现重复请求时,只让一个去后端读数据,其他的从缓存中读取  
            proxy_cache_lock on;  
            # 上面的锁超时时间为3s,超过3s未获取数据,其他请求直接去后端  
            proxy_cache_lock_timeout 3s;  
            # 对于请求参数或cookie中声明了不缓存的数据,不再加入缓存  
            proxy_no_cache $cookie_nocache $arg_nocache $arg_comment;  
            # 在响应头中添加一个缓存是否命中的状态(便于调试)  
            add_header Cache-status $upstream_cache_status;  
        }  

模块化设计

Nginx 的模块化设计使得它能够根据需求选择和加载不同的模块,以支持各种功能,如日志记录、身份验证等。这种设计灵活性高,便于扩展和维护。

Nginx 的模块主要包括核心模块、标准HTTP模块、可选HTTP模块、邮件服务模块和第三方模块等。这些模块通过事件驱动模型和非阻塞I/O等技术手段,实现了高效地处理大量的并发连接,支持百万级别的并发访问。

Nginx 这种模块化设计使得它可以根据不同的需求去加载不同的模块,从而去支持各种不同的功能,这个设计非常灵活,且便于扩展与维护。

核心模块是Nginx的基础部分,主要实现了底层的自身的一部分通讯协议,也为其他的一些模块和Nginx的进程等内容提供了一个运行时的环境。标准HTTP模块是核心中的一部分,负责定义除配置模块之外的其他模块。可选HTTP模块则提供了更多高级功能,如负载均衡、SSL加密等。邮件服务模块则与邮件相关。第三方模块则是一些由第三方提供的模块,可以扩展Nginx的功能。

总的来说,Nginx 的模块化设计是其高性能、高并发能力的关键因素之一。

代理机制

Nginx 作为反向代理服务器使用时,会接收客户端的请求并转发给后端服务器处理。通过代理机制,Nginx能够实现请求的转发、负载均衡、缓存等功能,提高了处理性能和并发能力。

相关的介绍文章可以参考:  以下是一个基本的配置示例:

http {
.............
    upstream product_server{
        127.0.0.1:8081;
    }

    upstream admin_server{
        127.0.0.1:8082;
    }

    upstream test_server{
        127.0.0.1:8083;
    }

server {
      
  #默认指向product的server
  location / {
      proxy_pass http://product_server;
      }

  location /product/{
      proxy_pass http://product_server;
     }

  location /admin/ {
      proxy_pass http://admin_server;
     }

  location /test/ {
      proxy_pass http://test_server;
      }
    }
}

Nginx通过这些优秀的技术设计,然后将这些技术手段在 Nginx 中广泛应用,使得 Nginx 能够高效地处理大量的并发连接,我们在实际应用中,可以通过合理的配置 Nginx,来提高与优化其性能,进一步提高并发处理能力,从而去支持百万级别的并发访问。

注:图片均来自于网络素材,版权归原作者所有,本文只作分享技术使用。


得 Nginx 能够高效地处理大量的并发连接,我们在实际应用中,可以通过合理的配置 Nginx,来提高与优化其性能,进一步提高并发处理能力,从而去支持百万级别的并发访问。



👇🏻 点击下方阅读原文,获取鱼皮往期编程干货。


往期推荐

员工写了个大 BUG,网站痛失 300 元!

150 位,我们出成果了!

CPU 被干爆了。。还找不到原因?

我开源了一套 RPC 框架,学爆它!

10 个解放双手的 IDEA插件,少写冤枉代码

哈哈,有人爬我网站,我把他教育了一顿!

继续滑动看下一个
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存