大型网站后台架构的Web,Web应用缓存系统的分类
分类:面向对象

目前Web应用的缓存方式多种多样,有APC,File,SQLite,Memcache等等各种类库实现着不同的缓存方式,如果单纯按他们的性能高低对他们进行选择,那将毫无意义,不但不会使你的应用加速,反而有可能给你带来灾难的后果,只有通过了解他们的实现方式,根据具体应用具体选择,才会使缓存系统发挥出最大的性能。

1.1 Web server

  Web server 用来解析HTTP协议。当web服务器接收到一个HTTP请求时,会返回一个HTTP响应,例如送回一个HTML页面。为了处理一个请求,web服务器可以响应一个静态页面或者图片。进行页面跳转,或者把动态响应的产生委托给一些其它的程序完成,比如CGI, JSP, Servlets, ASP.NET,PHP脚本。

  当用户访问一个网站时,首先用户通过查询DNS服务器,得到该域名对应的IP地址,然后使用这个IP地址来进行访问。用户的请求是一个url地址,在web服务器端,url地址对应web服务器上的文件系统中的某个网站文件的路径。Web server的作用就是解析HTTP协议,通过用户发来请求的url地址从web服务器的文件系统中找到用户需要的HTML页面、静态文件,然后返回给用户。如果用户访问的是动态页面,则将请求转发到应用服务器来执行。

Memcached是高性能的,分布式的内存对象缓存系统,用于在动态应用中减少数据库负载,提升访问速度。Memcached由Danga Interactive(运营LiveJournal的技术团队)开发,用于提升LiveJournal.com访问速度的。 LJ每秒动态页面访问量是几千次,用户700万。Memcached将数据负载大幅度降低,更好的分配资源,更快速访问。
其实Memcache是这个项目的名称,而memcached是它服务器端的主程序文件名
Memcached可以应对任意多个连接,使用非阻塞的网络IO。由于它的工作机制是在内存中开辟一块空间,然后建立一个HashTable,Memcached自管理这些HashTable.

  按照缓存系统存储方式不同,可以将缓存系统分为基于内存的缓存与基于文件的缓存。

  1.1.1 FastCGI

虽然memcached使用了同样的“Key=>Value”方式组织数据,但是它和共享内存、APC等本地缓存有非常大的区别。 Memcached是分布式的,也就是说它不是本地的。它基于网络连接(当然它也可以使用localhost)方式完成服务,本身它是一个独立于应用的程 序或守护进程(Daemon方式)。

  PHP中,APC恐怕是最典型的基于内存的缓存,速度超级快,读写一个简单的32字节的字符串,可以达到1000000次/秒,这样的读写速度几乎可以忽略掉由于引入了额外的缓存系统而带来的性能消耗。

  1.1.1.1 CGI

  CGI(Common Gateway Interface) ,指运行在服务器上,提供同客户端HTML页面的接口。多数CGI程序被用来解释处理来自表单的输入信息,并在服务器产生相应的处理,或将相应的信息反馈给浏览器。

Memcached最吸引人的一个特性就是支持分布式部署;也就是说可以在一群机器上建立一堆 Memcached 服务,每个服务可以根据具体服务器的硬件配置使用不同大小的内存块,这样一来,理论上可以建立一个无限巨大的基于内存的cache storage 系统。

  而对于基于文件的缓存系统来说,ZendFramework有一个基于文件的后端缓存实现(File)比较典型,基于文件的缓存系统具体读写速度没有做过评测,其性能由于受到磁盘IO的限制,所以远远不如内存型缓存速度来的快。

  1.1.1.2 FastCGI

  FastCGI是语言无关的、可伸缩架构的CGI开放扩展,其主要行为是将CGI解释器进程保持在内存中并因此获得较高的性能。而CGI解释器的反复加载是CGI性能低下的主要原因。如果CGI解释器保持在内存中并接受FastCGI进程管理器的调度,则可以提供良好的性能、伸缩性能和Fail-over特性等。

  FastCGI的工作原理如下:

  (1) FastCGI进程管理器自身初始化,启动多个CGI解释器进程(多php-cgi进程)并等待来自web server的连接。启动php-cgi FastCGI进程时,可以配置以TCP和UNIX套接字两种方式启动。

  (2) 当客户端请求到达web服务器时,web服务器将请求采用TCP协议或者UNIX套接字方式转发到FastCGI主进程,FastCGI主进程选择并连接到一个CGI解释器(子进程)。Web服务器将CGI环境变量和标准输入法发送到FastCGI子进程php-cgi。

  (3) FastCGI子进程完成处理后,将标准输出和错误信息从同一连接返回web服务器。当FastCGI子进程关闭连接时,请求便告知处理完成。FastCGI子进程接着等待并处理来自FastCGI进程管理器的下一个连接。

  FastCGI的优点如下:

  (1) 稳定性。FastCGI是以独立的进程池运行CGI,单独一个进程死掉,系统可以轻松的丢弃,然后重新分配新的进程。

  (2) 安全性。FastCGI和宿主Server完全独立,FastCGI如果down了,不会影响到Server的性能。

  (3) 高性能。FastCGI和宿主Server分开,大负荷的IO处理留给web server进行,比如大量图片、CSS等静态文件的IO操作,完全由web server处理完成。[2]

Memcached使用libevent库实现网络连接服务,理论上可以处理无限多的连接,但是它和Apache不同,它更多的时候是面向稳定的持续连接 的,所以它实际的并发能力是有限制的。在保守情况下memcached的最大同时连接数为200,这和Linux线程能力有关系,这个数值是可以调整的。 关于libevent可以参考相关文档。 Memcached内存使用方式也和APC不同。APC是基于共享内存和MMAP的,memcachd有自己的内存分配算法和管理方式,它和共享内存没有 关系,也没有共享内存的限制,通常情况下,每个memcached进程可以管理2GB的内存空间,如果需要更多的空间,可以增加进程数。

  基于内存、磁盘这两种存储方式的基础上,通过存储不同格式的文件,或者提供不同的访问接口我们就可以实现不同的缓存系统了。例如最近非常流行的Memcache,就是在内存存储的基础上提供Socket的访问方式。再例如MemcacheDB,就是在将存储方式更改为磁盘文件,而访问方式不变。

  1.1.1.3 Lighttpd服务器

  Lighttpd是一个具有非常低的内存开销,CPU占用率低,性能好的轻量级Web Server。支持FastCGI, CGI, 输出压缩,URL重写,Alias等重要功能。

  Lighttpd使用FastCGI方式运行php。

Memcached在很多时候都是作为数据库前端cache使用的。因为它比数据库少了很多SQL解析、磁盘操作等开销,而且它是使用内存来管理数据的, 所以它可以提供比直接读取数据库更好的性能,在大型系统中,访问同样的数据是很频繁的,memcached可以大大降低数据库压力,使系统执行效率提升。 另外,memcached也经常作为服务器之间数据共享的存储媒介,例如在SSO系统中保存系统单点登陆状态的数据就可以保存在memcached中,被 多个应用共享。

  按照缓存系统的可访问范围来分,又可以分为进程级缓存,单机缓存,分布式缓存。

  1.1.1.4 Apache服务器

  Apache是世界上使用最多的web服务器,市场占有率50%以上。Apache支持SSL技术,支持多个虚拟主机。Apache是以进程为基础结构,进程相对线程消耗更多系统资源。相对Lighttpd和Nginx,Apache是一款重量级的web服务器。总体来讲,Apache web 服务器具有以下特性:

  (1)  支持HTTP1.1通信协议。

  (2)  支持通用网关接口。

  (3)  支持基于ip、域名、端口的虚拟主机。

  (4)  支持服务器端包含指令(ssl)。

  (5)  支持FastCGI。

  (6)  支持url重写。

需要注意的是,使用Memcache的网站一般流量都是比较大的,为了缓解数据库的压力,让Memcache作为一个缓存区域,把部分信息保存在内存中, 在前端能够迅速的进行存取。由于memcached使用内存管理数据,所以它是易失的,当服务器重启,或者memcached进程中止,数据便会丢失,所 以memcached不能用来持久保存数据。很多人的错误理解,memcached的性能非常好,好到了内存和硬盘的对比程度,其实memcached使 用内存并不会得到成百上千的读写速度提高,它的实际瓶颈在于网络连接,它和使用磁盘的数据库系统相比,好处在于它本身非常“轻”,因为没有过多的开销和直 接的读写方式,它可以轻松应付非常大的数据交换量,所以经常会出现两条千兆网络带宽都满负荷了,memcached进程本身并不占用多少CPU资源的情 况。

  同样的,APC同样是进程级缓存的典型代表,一个PHP FastCGI主进程就会开启一段APC SHM,并且与子进程共享,而多个PHP FastCGI主进程之间的APC SHM相互独立,无法共享,这恐怕也是APC缓存的一大缺陷。

  1.1.1.5 Nginx服务器

  Nginx是俄罗斯人Igor Sysoev编写的一款高性能HTTP和反向代理服务器。Nginx能够选择高效的epoll(Linux 2.6内核)、kqueue(FreeBSD)、eventport(Solaris 10)作为网络I/O模型,在高连接并发的情况下,Nginx是Apache服务器很好的替代者,因为在同样并发连接的情况下,Nginx相对Apache占用更少的系统资源。[3]

Memcached是“分布式”的内存对象缓存系统,所以那些不需要“分布”的,不需要共享的,或者干脆规模小到只有一台服务器的应用,memcached不会带来任何好处,相反还会拖慢系统效率,因为网络连接同样需要资源,即使是UNIX本地连接也一样。

  文件型缓存则是单机缓存的代表,假如我们曾经将PHP的Session存储在文件内,一定会遇到多个Web服务器共享缓存的问题,这正是受文件型缓存访问范围的限制导致的。

  1.1.1.6 Lighttpd、Apache、Nginx比较

  Lighttpd是一个单进程模型的web server,内存使用量很小。Nginx在内存分配方面,表现良好。它使用多线程来处理请求,这使得多个线程之间可以共享内存资源,从而使它的内存使用量大大减少。此外,Nginx使用分阶段的内存分配策略,按需分配,及时释放,所以总体占用内存很小。可以支持较大的并发连接数。Apache在运行时使用较大的内存,Apache是多进程模型。Apache使用基于内存池策略的内存管理方法,这种方法使得Apache在运行开始时便一次性申请大片内存作为内存池,这样在随后需要的时候只在内存池中直接获取,不需要再分配。显然,Apache很占用内存。根据国内金山技术经理、系统架构师张宴给出的统计信息,2009年的web server使用情况如表4-1-1-5所示。    

  表4-1-1-5  各种web server市场占有率排名

Web server

2008.12使用数

占有率

2009.01使用数

占有率

占有率变化

Apache

95678052

51.24%

96947298

52.26%

+1.02%

IIS

63126940

33.81%

61038371

32.91%

-0.90%

Google

10455103

5.60%

9868819

5.32%

-0.28

Nginx

3354329

1.80%

3462551

1.87%

+0.07%

Lighttpd

3046333

1.63%

2989416

1.61%

-0.02%

图片 1

  分布式缓存系统则以Memcache为代表,他提供一个基于Socket的访问方式,使得该缓存系统支持远程读写访问。尽管这个缓存的内容可能是存在内存中,也可能是存在文件内。

  1.2 缓存

  在计算机系统中,缓存有很多种。比如CPU内部的一级缓存、二级缓存。文件系统的缓存,磁盘的缓存。在大型网站的后台部署过程中,也灵活运用了各级缓存。主要有客户端的浏览器缓存,服务器端的web server自身缓存,代理缓存,分布式缓存,数据库自身的缓存等。本节主要分析一下代理缓存和分布式缓存。

  其实话说回来,从本质上说,不同的缓存系统就是数据存储方式的不同与数据读写方式的不同,不同的存储方式与不同的读写方式的组合,造就了今天缓存系统百花齐放的场面,只有针对具体应用,判断各个缓存系统优缺点以及局限性,才能选择出最适合自己使用的缓存系统

  1.2.1 代理缓存

  在网站后台架构中,代理缓存主要部署在web server之上,当用户对网站后台发起连接请求时,用户请求先到代理缓存中去查找,如果命中,则将请求返回给用户,如果没有命中,则代理缓存将请求发到web server,然后web sever将请求复制一份到代理缓存中,同时把请求返回给客户。

  常用的代理缓存有varnish和squid。如图4-2-1所示。

 图片 2图4-2-1 代理缓存(黄色部分)

  1.2.1.1 Squid

  Squid是一个高性能的代理缓存服务器,可以用来加快浏览网页的速度,提高客户机的访问命中率。Squid不仅支持HTTP协议,还支持FTP、SSL、WAIS等协议。Squid用一个单独的、非模块化的、I/O驱动的进程来处理所有的客户端请求。

  Squid的原理如下:

  (1) 每一台Squid代理服务器上存有若干个颗磁盘。每颗磁盘又分割成多个分区,每一个分区又可建立很多目录,目录下存放着具体的文件(object)。

  (2) Squid通过查询表的方式来定位某个资源的位置。所查询的表有两种,一种是Hash table,一种是Digest table。Hash table记录着所有Digest table表信息,所以Hash table可以称之为目录或者提纲。而Digest table记录了磁盘上每个分区、每个目录里存放的缓存摘要,所以Digest table可以称之为摘要或者索引。所以,Squid接到请求后先查询Hashtable,根据Hash table所指向的Digest table,再查询所需要的文件。

  (3) Squid服务器存在两种工作关系,一种为Child-Parent,当Child Squid Server没有用户需要的数据时,就向Parent squid Server发送请求,并持续等待,直到Parent Squid Server回应为止;另一种为Sibling,当本地Squid Server没有用户请求的数据时,会向Sibling Server发送请求,如果Sibling Server没有资料则会向上级Sibling或者Internet发送数据请求。

  所以,综上所述,Squid运行模式如下:

  当Squid Server没有资料时,先向Sibling的Squid Server查询数据,如果Sibling没有,则跳过它直接向Parent查询,直到Parent提供资料为止(如果Parent没有资料,则到后端的web server上获取,当获取到数据后返回给用户的同时,保留一份在自身的缓存中)。如果不存在Parent,则Squid Server自身到后端的web server上获取数据,当获取到数据后返回给用户的同时,保留一份在自身的缓存中。如果还是不能得到数据,则向用户端回复不能得到数据。

  1.2.1.2 Varnish

  Varnish是一款高性能的开源HTTP加速器,挪威最大的在线报纸Verdens Gang使用3台Varnish代替了原来的12台Squid,性能比以前更好。

  Varnish的作者Poul-Henning Kamp是FreeBSD内核开发者之一,他认为现在的计算机比起1975年已经复杂很多。在1975年时,存储媒介只有两种:内存与硬盘。但现在计算机系统的内存除了主存外,还包括了CPU内的L1L2L3等cache。因此Squid Cache自行处理物件替换的架构不可能得知这些情况而做到最佳化,但操作系统可以。所以这部分的工作应该交给操作系统处理,这就是Varnish cache设计架构[4]。Varnish将所有的HTTP object存于一个单独的大文件中,该文件在工作进程初始化的时候,将其整个映射到内存中。这样Varnish在该块内存中实现一个简单的文件系统,具有分配、释放、修剪、合并内存等功能。

  Varnish文件缓存的工作流程:

  Varnish与一般服务器软件类似,分为master进程和child进程。其中master进程负责管理,child进程负责cache工作。Master进程读入命令,进行一些初始化,然后fork并监控child进程。Child进程分配若干线程进行工作,主要包括管理线程和worker线程。如图4-2-1-2所示。

图片 3图4-2-1-2

  主进程fork子进程,主进程等待子进程的信号,子进程退出后,主进程重新启动子进程,子进程生成若干线程:

  (1) Accept线程:接受请求,将请求挂在overflow队列上。

  (2) Work线程:有多个,负责从overflow队列上摘除请求,对请求进行处理,直到完成,然后处理下一个请求。

  (3) Epoll线程:一个请求处理称为一个session,在session周期内,处理完请求后,会交给Epoll处理,监听是否还在事件发生。

  (4) Expire线程:对于缓存的object,根据过期时间,组织成二叉堆,该线程周期检查该堆得根,处理过期的文件。对过期的数据进行删除或重取操作。

  Varnish分配缓存机制:

  根据所读到的object大小,创建相应大小的缓存文件。为了读写方便,程序将每个object的大小,转变为最接近其大小的内存页面倍数。然后从现有的空闲存储结构体中查找,找到最合适的大小的空闲存储块,分配给它。如果空闲块没有用完,则把多余的内存再组成一个空闲存储块,挂接到管理结构体上。如果缓存已满,则根据LRU算法,把旧的object释放掉。

  Varnish释放缓存机制:

  Expire线程负责检测缓存中所有object的生存期(TTL)。如果超过了设定的TTL,该object没有被访问,则删除该object,并释放内存。释放的过程会考虑内存的合并等操作。

  1.2.2 分布式缓存

  1.2.2.1 Memcached

  Memcached是以LiveJournal旗下Danga Interactive公司的Brad Fitzpatric为首开发的一款软件。现在Memcached已成为mixi、hatena、Facebook等公司提高web应用扩展性的重要缓存软件。许多web应用都将数据保存到RDBMS中,应用服务器从中读取数据并返回给用户。但随着数据量的增大,访问的集中性,读写比例的增大,会使RDBMS增加其系统开销,相应速度下降,网络延迟增大。Memcached通过缓存数据库查询结果,减少数据库读的访问次数,提高动态网站的响应速度。此外,电子商务网站的客户端cookie和服务器端session机制也可以利用Memcached解决,比如典型的购物车跟踪记录访问行为、购买问题等。也可以将其信息记录在后端的Memcached中。典型的应用如图4-2-2-1-1所示。

图片 4图 4-2-2-1-1

  如图所示,当用户第一次访问数据库时,应用服务器从数据库中查询数据返回给用户,并且在memcached中存储一份数据。当第二次,应用服务器需要从数据库中查询数据时,首先从memcached查询数据,如果有则得到数据,返回给用户,如果没有,则再从数据库中查找数据。返回给用户,并拷贝一份数据到memcached中。

  Memcached默认情况下采用名为Slab Allocator的机制分配、管理内存。Slab Allocator的基本原理是按照预先规定的大小,将分配的内存分割成特定长度的块,以完全解决内存碎片问题。

  Slab Allocator原理,将分配的内存分割成各种尺寸的块(chunk),并将尺寸相同的块分成组(chunk的集合)。如图4-2-2-1-2所示。

图片 5 图 4-2-2-1-2

  如图所示,memcached根据收到的数据的大小,选择最适合数据大小的slab。Memcached中保存着slab内空闲chunk的列表,根据该列表选择chunk,然后将数据缓存在其中。如图4-2-2-1-3所示。

 图片 6图4-2-2-1-3

  同squid、varnish一样,memcached同样使用LRU机制来分配内存,删除最近最少未使用的数据。

  1.3 本文小结

  本章主要分析了FastCGI的运行机制,简单介绍了三种常用的web server —— Lighttpd、Apache、Nginx,对三款常用web server进行了对比。然后又分别介绍了代理缓存Squid和Varnish。最后简单分析了分布式缓存Memcached。总体而言,这些缓存的应用可以极大加快网站的访问速度。提升用户体验。缓存的应用,在高可用的大型网站中,处处可见。

 

本文由10bet手机官网发布于面向对象,转载请注明出处:大型网站后台架构的Web,Web应用缓存系统的分类

上一篇:周鸿祎谈360与腾讯QQ之争,雷军起了大早腾讯抢了场子10bet手机官网: 下一篇:没有了
猜你喜欢
热门排行
精彩图文