PHP重点知识复习 – 高并发之Web服务器的负载均衡

一、七层负载均衡的实现

基于URL等应用层信息的负载均衡

Nginx的proxy是它一个很强大的功能,实现了7层负载均衡

功能强大、性能卓越、运行稳定

配置简单灵活

能够自动剔除工作不正常的后端服务器

上传文件使用异步模式

支持多种分配策略,可以分配权重,分配方式灵活

1.Nginx负载均衡

内置策略、扩展策略

内置策略:IP Hash、加权轮询

扩展策略:fair策略、通用hash、一致性hash

(1)加权轮询策略

首先将请求都分给高权重的机器,直到该机器的权值降到了比其他机器低,才开始将请求分给下一个高权重的机器。

当所有后端机器都down掉时,Nginx会立即将所有机器的标志位清成初始状态,以避免造成所有的机器都处在timeout的状态

(2)IP Hash 策略

Nginx内置的另一个负载均衡的策略,流程和轮询很类似,只有其中的算法和具体的策略有些变化

IP Hash 算法是一种变相的轮询算法

(3)fair策略

根据后端服务器的响应事件判断负载情况,从中选出负载最轻的机器进行分流

(4)通用Hash、一致性Hash策略

通用hash比较简单,可以以Nginx内置的变量为key进行hash,一致性hash采用Nginx内置的一致性hash环,支持memcache

2.Nginx配置

http{
upstream cluster{
server srv1;
server srv2;
server srv3;
}
server {
listen 80;
location /{
proxy_pass http://cluster;
}
}
}

二、四层负载均衡的实现

通过报文中的目标地址和端口,再加上负载均衡设备设置的服务器选择方式,决定最终选择的内部服务器

LVS实现服务器集群负载均衡由三种方式,NAT,DR和TUN

 

PHP重点知识复习 – MySQL数据库层的优化

一、数据表数据类型优化

1. tinyint、smallint、bigint

考虑空间的问题,考虑范围的问题

2.char、varchar

存储字符串长度是否固定

3.enum

特定、固定的分类可以使用enum存储,效率更快

4.IP地址的存储

使用ip2long()函数,将IP地址转为整型

使用long2ip()函数,将整型转化为IP地址

二、索引的优化

索引的创建原则

索引不是越多越好,在合适的字段上创建合适的索引

复合索引的前缀原则:like查询%问题、全表扫描优化、or条件索引使用情况、字符串类型索引失效的问题

三、SQL语句的优化

1.优化查询过程中的数据访问

使用Limit、返回列不用*

2.优化长难句的查询语句

变复杂为简单、切分查询、分解关联查询、

四、优化特定类型的查询语句

优化count()

优化关联查询

优化子查询

优化Group by 和 distinct

优化limit 和 union

五、存储引擎的优化

尽量使用InnoDB存储引擎

六、数据表结构设计的优化

1.分区操作

通过特定的策略对数据表进行物理拆分

多用户透明

partition by

2.分库分表

水平拆分

垂直拆分

七、数据库架构的优化

主从复制

读写分离

双主热备

负载均衡

八、MySQL的负载均衡

通过LVS的三种基本模式实现负载均衡

MyCat数据库中间件实现负载均衡

 

PHP重点知识复习 – 高并发之数据库缓存层的优化

一、什么是数据库缓存

MySQL等一些常见的关系型数据库的数据都存储再磁盘当中,在高并发场景下,业务应用对MySQL产生的增删改查的操作造成巨大的I/O开销和查询压力,这无疑对数据库和服务器都是一种巨大的压力,为了解决此类问题,缓存数据的概念应运而生。

数据库缓存可以极大地解决数据库服务器的压力,提高应用数据的响应速度。

常见的缓存形式:内存缓存、文件缓存。这里重点讨论内存缓存。

二、为什么要使用缓存

缓存数据是为了让客户端很少甚至不访问数据库服务器进行数据的查询,高并发下,能最大程度地降低对数据库服务器的访问压力。

用户请求 –> 数据查询 –>连接数据库服务器并查询数据 –>将数据缓存起来(HTML、内存、JSON、序列化数据)–> 显示给客户端

用户再次请求或者新用户访问 –> 数据查询 –> 直接从缓存中获取数据 –> 显示给客户端

三、MySQL的查询缓存

启用MySQL查询缓存,极大地降低CPU使用率

query_cache_type

查询缓存类型,有0、1、2三个取值。0则不使用查询缓存。1表示始终使用查询缓存。2表示按需使用查询缓存。

query_cache_type为1时,也可以关闭查询缓存

SELECT SQL_NO_CACHE * FROM my_table WHERE condition;

query_cache_type 为2时,也可以按需查询缓存

SELECT SQL_CACHE * FROM my_table WHERE condition;

query_cache_size

默认情况下 query_cache_size为0,表示为查询缓存预留的内存为0,则无法使用查询缓存

SET GLOBAL query_cache_size = 134217728

注意事项

查询缓存可以看做是SQL文本和查询结果的映射

第二次查询的SQL和第一次查询的SQL完全相同,则会使用缓存

SHOW STATUS LIKE ‘Qcache_hits’;  查看命中次数

表的结构或数据发生改变时,查询缓存中的数据不再有效

清理缓存

FLUSH QUERY CACHE;  //清理查询缓存内存碎片

RESET QUERY CACHE;  //从查询缓存中移出所有查询

FLUSH TABLES;  //关闭所有打开的表,同时该操作将会清空查询缓存中的内容

四、使用Memcache 缓存查询数据

对于大型站点,如果没有中间缓存层,当流量打入数据库层时,即便之前的几层为我们挡住一部分流量,但是在大并发的情况下,还是会有大量请求涌入数据库层,这样对数据库服务器的压力冲击很大,响应速度也会下降,因此添加中间缓存层很有必要。

memcache是一套分布式的高速缓存系统,由LiveJournal的BradFitzpatrick开发,但目前被许多网站使用以提交网站的访问速度,尤其对于一些大型的、需要频繁访问数据库的网站访问速度提升效果十分显著。

工作原理

Memcache是一个高性能的发布式的内存对象缓存系统,通过在内存里维护一个统一的巨大的hash表,它能够用来存储各种格式的数据,包括图片、视频、文件以及数据库检索的结果等。简单的说就是将数据调用到内存,然后从内存中读取,从而大大提高读取速度。

工作流程

先检查客户端的请求数据是否在memcached中,如有,直接把请求数据返回,不再对数据库进行任何操作;如果请求的数据不在memcached中,就去查数据库,把从数据库中获取的数据返回给客户端,同时把数据缓存一份到memcached中。

方法

获取:get(key)

设置:set(key, val, expire)

删除:delete(key)

通用缓存机制

用查询的方法名+参数作为查询时的key value对中的key值

五、使用Redis缓存查询数据

与Memcache的区别

性能相差不大

Redis在2.0版本后增加了自己的VM特性,突破物理内存的限制,Memcache可以修改最大可用内存,采用LRU算法

Redis 依赖客户端来实现分布式读写

Memcache本身没有数据冗余机制

Redis支持(快照、AOF),依赖快照进行持久化,aof增强了可靠性的同时,也对性能有所影响

Memcache 不支持持久化,通常做缓存,提升性能

Memcache在并发场景下,用cas保证一致性,redis事务支持比较弱,只能保证事务中的每个操作连续执行

Redis支持多种类的数据类型

Redis 用于数据量较小的高性能操作和运算上

Memcache用于在动态系统中减少数据库负载,提升性能;适合做缓存,提高性能

六、缓存其他数据

其他数据

session

session_set_save_handler

 

PHP重点知识复习 – 高并发之动态语言层的并发处理

一、什么是进程、线程、协程

1.进程

进程(Process)是计算机中的程序关于某数据集合上的一次运行活动,是系统进行资源分配和调度的基本单元,是操作系统结构的基础。

进程是一个“执行中的程序”

进程的三态模型:多道程序系统中,进程在处理器上交替运行,状态不断地发生变化

运行、就绪、阻塞

运行:当一个进程在处理机上运行时,则称该进程处于运行状态。处于此状态的进程的数目小于等于处理器的数目,对于单处理机系统,处于运行状态的进程只有一个。在没有其他进程可以执行时(如所有进程都在阻塞状态),通常会自动执行系统的空闲进程。

就绪:当一个进程获得了除处理机以外的一切所需资源,一旦得到处理机即可运行,则称此进程处于就绪状态。就绪进程可以按多个优先级来划分队列。例如,当一个进程由于时间片用完而进入就绪状态时,排入低优先级队列;当进程由I/O操作完成而进入就绪状态时,排入高优先级队列。

阻塞:也成为等待或睡眠状态,一个进程正在等待某一时间发生(例如请求I/O而等待I/O完成等)而暂停停止运行,这时即使把处理机分配给进程也无法运行,故称该进程处于阻塞状态。

进程的五态模型:对于一个实际的系统,进程的状态及其转换更为复杂

新建态、活跃就绪/静止就绪、运行、活跃阻塞/静止阻塞、终止态

2.线程

由于用户的并发请求,为每一个请求都创建一个进程显然是行不通的,从系统资源开销方面或者响应用户请求的效率方面来看。因此操作系统中线程的概念便被引进了。

线程,有时被称为轻量级进程(Lightweight Process, LWP),是程序执行流的最小单元。

线程是进程中的一个实体,是被系统独立调度和分派的基本单元,线程自己不拥有系统资源,只拥有一点儿在运行中必不可少的资源,但它可与同属一个进程的其他线程共享进程所拥有的全部资源。

一个线程可以创建和撤销另一个线程,同一个进程中的多个线程之间可以并发执行。

线程是程序中一个单一的顺序控制流程。进程内一个相对独立的、可调度的执行单元,是系统独立调度和分派CPU的基本单元指运行中的程序的调度单位。

在单个程序中同时运行多个线程完成不同的工作,称为多线程。

每个程序都至少有一个线程,若程序只有一个线程,那就是程序本身。

线程的状态:就绪、阻塞、运行

就绪状态:线程具备运行的所有条件,逻辑上可以运行,在等待处理机。

运行状态:线程占用处理机正在运行。

阻塞状态:线程在等待一个事件(如某个信号量),逻辑上不可执行。

3.协程

协程是一种用户态的轻量级线程,协程的调度完全由用户控制。协程拥有自己的寄存器上下文和栈。协程调度切换时,将寄存器上下文和栈保存到其他地方,在切回来的时候,恢复先前保存的寄存器上下文和栈,直接操作栈则基本没有内核切换的开销,可以不加锁的访问全局变量,所以上下文的切换非常快。

4.线程与进程的区别

(1)线程是进程内的一个执行单元,进程内至少有一个线程,它们共享进程的地址空间,而进程有自己独立的地址空间

(2)进程是资源分配和拥有的单元,同一个进程内的线程共享进程的资源

(3)线程是处理器调度的基本单元,但进程不是

(4)二者均可并发执行

(5)每个独立的线程有一个程序运行的入口、顺序执行序列和程序的出口,但是线程不能独立执行,必须依存在应用程序中,由应用程序提供多个线程执行控制

5.线程与协程的区别

(1)一个线程可以多个协程,一个进程也可以单独拥有多个协程

(2)线程进程都是同步机制,而协程则是异步

(3)协程能保留上一次调用时的状态,每次过程重入时,就相当于进入上一次调用的状态

6.多进程

同一个时间里,同一个计算机系统中如果允许两个或两个以上的进程处于运行状态,这就是多进程

比如,我们可以使用手机开启多个APP,可以边玩游戏,边听歌。

多开一个进程,多分配一份资源,进程间通讯不方便

7.多线程

线程就是把一个进程分为很多片,每一片都可以是一个独立的流程

与多进程的区别是只会使用一个进程的资源,线程间可以直接通信

8.举例

单进程单线程:一个人在一个桌子上吃菜

单进程多线程:多个人在同一个桌子上一起吃菜

多进程单线程:多个人每个人在自己的桌子上吃菜

二、同步阻塞

多进程

最早的服务器端程序都是通过多进程、多线程来解决并发IO的问题,一个请求创建一个进程,然后子进程进入循环同步堵塞地与客户端连接进行交互,收发处理数据。

多线程

用多线程模式实现非常简单,线程中可以直接向某一个客户端连接发送数据。

多进程/线程模型的流程是

  • 创建一个 socket,绑定服务器端口(bind),监听端口(listen),在PHP中用stream_socket_server一个函数就能完成上面3个步骤,当然也可以使用更底层的sockets扩展分别实现。
  • 进入while循环,阻塞在accept操作上,等待客户端连接进入。此时程序会进入睡眠状态,直到有新的客户端发起connect到服务器,操作系统会唤醒此进程。accept函数返回客户端连接的socket
  • 主进程在多进程模型下通过fork(php: pcntl_fork)创建子进程,多线程模型下使用pthread_create(php: new Thread)创建子线程。下文如无特殊声明将使用进程同时表示进程/线程。
  • 子进程创建成功后进入while循环,阻塞在recv(php: fread)调用上,等待客户端向服务器发送数据。收到数据后服务器程序进行处理然后使用send(php: fwrite)向客户端发送响应。长连接的服务会持续与客户端交互,而短连接服务一般收到响应就会close。
  • 当客户端连接关闭时,子进程退出并销毁所有资源。主进程会回收掉此子进程。

 

代码实例

缺点

这种模式最大的问题是,进程/线程创建和销毁的开销很大,严重依赖进程的数量解决并发问题。

三、异步非阻塞

现在各种高并发异步IO的服务器程序都是基于epoll实现的。

IO复用异步非阻塞程序使用经典的Reactor模型,Reactor顾名思义就是反应堆的意思,它本身不处理任何数据收发。只是可以监视一个socket句柄的事件变化。

Reactor有4个核心的操作:

  • add添加socket监听到reactor
  • set修改事件监听,可以设置监听的类型,如可读、可写
  • del从reactor中移除,不再监听事件
  • callback就是事件发生后对应的处理逻辑,一般在add/set时制定。C语言用函数指针实现,JS可以用匿名函数,PHP可以用匿名函数、对象方法数组、字符串函数名。

Reactor只是一个事件发生器,实际对socket句柄的操作,如connect/accept、send/recv、close是在callback中完成的。具体编码可参考下面的伪代码:

Reactor模型还可以与多进程、多线程结合起来用,既实现异步非阻塞IO,又利用到多核。目前流行的异步服务器程序都是这样的方式:如

  • Nginx:多进程Reactor
  • Swoole:多线程Reactor+多进程Worker

四、PHP并发编程实践

1.PHP的Swoole扩展

PHP的异步、并行、高性能网络通信引擎,Swoole 使用纯 C 语言编写,提供了 PHP 语言的异步多线程服务器,异步 TCP/UDP 网络客户端,异步 MySQL,异步 Redis,数据库连接池,AsyncTask,消息队列,毫秒定时器,异步文件读写,异步DNS查询。

除了异步 IO 的支持之外,Swoole 为 PHP 多进程的模式设计了多个并发数据结构和IPC通信机制,可以大大简化多进程并发编程的工作。其中包括了并发原子计数器,并发 HashTable,Channel,Lock,进程间通信IPC等丰富的功能特性。

Swoole2.0 支持了类似 Go 语言的协程,可以使用完全同步的代码实现异步程序。PHP 代码无需额外增加任何关键词,底层自动进行协程调度,实现异步。

具体使用方法,参考Swoole官网

2.消息队列

消息队列的应用场景:

(1)注册后,短信和邮件发送

场景说明:用户注册后,需要发注册邮件和注册短信

串行方式:将注册信息写入数据库成功后,发送注册邮件,再发送注册短信

并行方式:将注册信息写入数据库成功后,发送注册邮件的同时,发送注册短信

消息队列方式:将注册信息写入数据库成功后,将成功信息写入队列,此时直接返回成功给用户,写入队列的时间非常短,可以忽略不计,然后异步发送邮件和短信

(2)应用解耦

场景说明:用户下单后,订单系统需要通知库存系统。

假如库存系统无法访问,则订单减库存将失败,从而导致订单失败。这种情况是订单系统与库存系统耦合。

引用队列

用户下单后,订单系统完成持久化处理,将消息写入消息队列,返回用户订单下单成功。

订阅下单的消息,采用拉/推的方式,获取下单信息,库存系统根据下单信息,进行库存操作。

(3)流量削锋

应用场景:秒杀活动,流量瞬间激增,服务器压力大。

用户发送请求,服务器接受后,先写入消息队列。假如消息队列长度超过最大值,则直接报错或提示用户。

这样做可以控制请求量、缓解高流量。

(4)日志处理

应用场景:解决大量日志的传输

日志采集程序将程序写入消息队列,然后通过日志处理程序的订阅消费日志

(5)消息通讯

应用场景:聊天室

多个客户端订阅同一主题,进行消息发布和接收

常见消息队列产品:

Kafka、ActiveMQ、ZeroMQ、RabbitMQ、Redis等

3.接口的并发请求

curl_multi_init

 

此部分内容,还可以参考 Swoole作者韩天峰的一篇博文 《PHP并发IO编程之路》

 

PHP重点知识复习 – 高并发之动态语言静态化

1.什么是动态语言静态化

将现有PHP等动态语言的逻辑代码生成为静态HTML文件,用户访问动态脚本重定向到静态HTML文件的过程。

对实时性要求不高的页面

2.为什么要静态化

原因:

动态脚本通常会做逻辑计算和数据查询,访问量较大,服务器压力越大

访问量大时可能会造成CPU负载过高,数据库服务器压力过大

静态化可以减低逻辑处理压力,降低数据库服务器查询压力

3.静态化的实现方式

(1)使用模板引擎

可以使用Smarty的缓存机制生成静态HTML缓存文件

$smarty->cache_dir = $ROOT.”/cache”;  //缓存目录

$smarty->caching = true;  //是否开启缓存

$smarty->cache_lifetime = “3600”;  //缓存时间

$smarty->display(string template[, string cache_id[, string compile_id]]);

$smarty->clear_all_cache();  //清除所有缓存

$smarty->clear_cache(‘file.html’);  //清除指定的缓存

$smarty->clear_chache(‘article.html’, $art_id);  //清除同一个模板下的指定缓存号的缓存

(2)利用ob系列的函数

理解ob系列函数的操作方法,会更容易理解Smarty缓存的原理。

ob_start():打开输出控制缓冲

ob_get_contents():返回输出缓冲区内容

ob_clean():清空输出缓冲区

ob_end_flush():冲刷出(送出)输出缓冲区内容并关闭缓冲

可以判断文件的inode修改时间,判断是否过期

使用 filemtime 函数

以下是一个ob函数的栗子:

<?php

$id = $_GET['id'];

if (empty($id)){
	$id = '';
}

$cache_name = md5(__FILE__). '-'. $id. '.html';

$cache_lifetime = 3600;

if (file_exists($cache_name) && filemtime(__FILE__) <= filemtime($cache_name) && filemtime($cache_name) + $cache_lifetime > time() ){
	include $cache_name;
	exit;
}

ob_start();

?>

<p>aaaThis is Script id = <?php echo $id; ?></p>

<?php

$content = ob_get_contents();

ob_end_flush();

$handle = fopen($cache_name, 'w');

fwrite($handle, $content);

fclose($handle);

?>

 

PHP重点知识 – 高并发之建立独立的图片服务器

1.建立独立的图片服务器的必要性

分担Web服务器的I/O负载 – 将耗费资源的图片服务分离出来,提高服务器的性能和稳定性

能够专门对图片服务器进行优化 – 为图片服务设置有针对性的缓存方案,减少带带宽成本,提高访问速度

提高网站的可扩展性 – 通过增加图片服务器,提高图片吞吐能力

2.采用独立域名

同一个域名下浏览器的并发连接数有限制,突破浏览器连接数的限制

由于cookie的原因,对缓存不利,大部分Web cache都只缓存不带cookie的请求,导致每次的图片请求都不能命中cache

3.独立后的问题

如何进行图片上传和图片同步

NFS 共享方式

利用FTP同步

 

PHP重点知识复习 – 高并发之CDN加速

一、什么是CDN

CDN的全称是 Content Delivery Network ,即内容分发网络。

尽可能避开互联网上可能影响数据传输速度和稳定性的瓶颈和环节,使内容传输的更快、更稳定。

在网络各处放置节点服务器所构成的在现有的互联网基础之上的一层智能虚拟网络

CDN系统能够实时地根据网络流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合信息将用户的请求重新导向离用户最近的服务节点上

二、使用CDN的优势

本地Cache加速,提高了企业站点(尤其含有大量图片和静态页面站点)的访问速度

跨运营商的网络加速,保证不同网络的用户都得到良好的访问质量

远程访问用户根据DNS负载均衡技术智能自动选择Cache服务器

自动生成服务器的远程Mirror(镜像)cache服务器,远程用户访问时从cache服务器上读取数据,减少远程访问的带宽、分担网络流量、减轻原站点WEB服务器负载等功能

广泛分布的CDN节点加上节点之间的智能冗余机制,可以有效地预防黑客入侵

三、CDN的工作原理

传统访问

用户在浏览器输入域名发起请求–>解析域名获取服务器IP地址–>根据IP地址找到对应的服务器–>服务器响应并返回数据

使用CDN访问

用户发起请求 –> 智能DNS的解析(根据IP判断地理位置、接入网络类型、选择路由最短和负载最轻的服务器) –> 取得缓存服务器IP –> 把内容返回给用户(如果缓存中有) –> 向源站发起请求 –> 将结果返回给用户 –> 将结果存入缓存服务器

四、CDN适用场景

站点或者应用中大量静态资源的加速分发,例如:CSS、JS、图片和HTML

大文件下载

直播网站等

五、CDN实现

BAR等都有提供CDN服务

可用LVS做4层负载均衡

可用 Nginx、Varnish、Squid、Apache TrafficServer做7层负载均衡和cache

使用 squid 反向代理,或者Nginx等的反向代理

 

PHP重点知识复习 – 高并发之浏览器缓存和数据压缩

一、HTTP缓存机制

启用浏览器缓存

1.缓存分类

HTTP缓存模型中,如果请求成功会有三种情况

(1)200 from cache:直接从本地缓存中获取响应,最快速,最省流量,因为根本没有向服务器发送请求

(2)304 Not Modified:协商缓存,浏览器在本地没有命中的情况下请求头中发送一定的校验数据到服务端,如果服务端数据没有改变浏览器从本地缓存响应,返回304

快速,发送的数据很少,只返回一些基本的响应头信息,数据量很少,不发送实际响应体

(3)200 OK:以上两种缓存全部失败,服务器返回完整响应。没有用到缓存,相对最慢。

2.本地缓存

浏览器认为本地缓存可以使用,不会去请求服务端

相关Header

Pragma:HTTP1.0时代的遗留产物,该字段被设置为 no-cache 时,会告知浏览器禁用本地缓存,即每次都向服务器发送请求。

Expires:HTTP1.0时代用来启用本地缓存的字段,expires 值对应一个形如 Fri, 05 Jan 2018 06:10:41 GMT 的格林威治时间,告诉浏览器缓存实现的时刻,如果还没到该时刻,表明缓存有效,无需发送请求。

浏览器与服务器的时间无法保持一致,如果时间差距大,就会影响缓存结果。

Cache-Control:HTTP1.1针对Expires时间不一致的解决方案,运用Cache-Control告知浏览器缓存过期的时间间隔而不是时刻,即使具体时间不一致,也不影响缓存的管理。

no-store:禁止浏览器缓存响应

no-cache:不允许直接使用本地缓存,先发起请求和服务器协商

max-age=delta-seconds:告知浏览器该响应本地缓存有效的最长期间,以秒为单位

优先级 Pragma > Cache-Control > Expires

3.协商缓存

当浏览器没有命中本地缓存,如本地缓存过期或者响应中声明不允许直接使用本地缓存,那么浏览器肯定会发起服务端请求。

服务端会验证数据是否修改,如果没有通过浏览器使用本地缓存。

相关Header

Last-Modified:通知浏览器资源的最后修改时间,如 Last-Modified: Sat, 09 Dec 2017 02:48:31 GMT

If-Modified-Since:得到资源的最后修改时间后,会将这个信息通过If-Modifed-Since提交到服务器做检查,如果没有修改,返回304状态码

ETag:HTTP1.1推出,文件的指纹标识符,如果文件内容修改,指纹会改变

If-None-Match:本地缓存失效,会携带此值去请求服务端,服务端判断该资源是否改变,如果没有改变,直接使用本地缓存,返回304

二、缓存策略的选择

1.适合缓存的内容

不变的图像,如logo、图标等;js、css静态文件;可下载的内容,媒体文件。

2.建议使用协商缓存

HTML文件;经常替换的图片;经常修改的js、css文件。

js、css文件的加载可以加入文件的签名来拒绝缓存,如 index.css?签名  或者 index.签名.js

3.不建议缓存的内容

用户隐私等敏感数据

经常改变的api的数据接口

三、Nginx配置缓存策略

1.本地缓存配置

add_header指令:添加状态码为2XX和3XX的响应头信息

语法格式:add_header name value [always];

可以设置 Pragma/Expires/Cache-Control,可以继承

expries指令:通知浏览器过期时长

语法格式:expires time;

为负值时表示 Cache-Control: no-cache;

当为正或者0时,就表示Cache-Control: max-age=指定的时间;

在nginx的配置中可以添加如下代码,分别设置图片缓存 30天和js css缓存12小时。

location ~ .*\.(gif|jpg|jpeg|png|bmp|swf|PNG|JPG|JPEG|GIF)$
{
 expires 30d;
}

location ~ .*\.(js|css)?$
{
  expires  12h;
}

当expires设置为max时,会把Expires设置为 “Thu, 31 Dec 2037 23:55:55 GMT”,Cache-Control设置到 10 年;

2.协商缓存相关配置

Etag指令:指定签名

语法:etag on | off; 默认是on

如下nginx中设置etag关闭

location ~ .*\.(gif|jpg|jpeg|png|bmp|swf|PNG|JPG|JPEG|GIF)$
{
 etag off;
}

四、前端代码和资源的压缩

优势:让资源文件更小,加快文件在网络中的传输,让网页更快的展现,降低带宽和流量开销

压缩方式:JS、CSS、图片、HTML代码的压缩;Gzip压缩

1.JavaScript代码压缩

js压缩的原理一般是去掉多余的空格和回车、替换长变量名、简化一些代码写法等。

常用压缩工具:UglifyJS、YUI Compressor、Closure、Compiler

2.CSS代码压缩

原理跟js压缩原理类似,同样是去除空白符、注释并且优化一些CSS语义规则等

常用压缩工具:YUI Compressor、CSS Compressor

3.HTML代码压缩

不建议使用代码压缩,有时会破坏代码结构,可以使用Gzip压缩。

4.图片压缩

除了代码的压缩外,有时对图片的压缩也是很必要的,一般情况下图片在web系统的比重都比较大。

压缩工具:tinypng、JpegMini、ImageOptiom

5.Gzip压缩

配置Nginx

gzip on | off;  #是否开启gzip

gzip_buffers 32 4k | 16 8k  #缓冲(在内存中缓冲几块?每块多大)

gzip_comp_level [1-9]  #推荐6 压缩级别(级别越高,压缩的越小,越浪费CPU计算资源)

gzip_disable  #正则匹配UA 什么样的Uri不进行gzip

gzip_min_length 200  #开始压缩的最小长度

gzip_http_version 1.0 | 1.1  #开始压缩的http协议版本

gzip_proxied   #设置请求者代理服务器,该如何缓存内容

gzip_types text/plain application/xml  #对哪些类型的文件用压缩 比如txt,xml,html,css

gzip_vary on | off  #是否传输gzip压缩标志

以下是Nginx配置gzip代码

gzip on;
gzip_min_length 1k;
gzip_buffers 4 16k;
gzip_http_version 1.1;
gzip_comp_level 2;
gzip_types text/plain application/x-javascript text/css application/xml text/javascript application/x-httpd-php image/jpeg image/gif image/png;
gzip_vary on;
gzip_proxied expired no-cache no-store private auth;
gzip_disable "MSIE [1-6]\.";

 

PHP重点知识复习 – 高并发之减少HTTP请求次数

一、为什么要减少HTTP请求

性能黄金法则

只有10%-20%的最终用户响应时间花在接收请求的HTML文档上,剩下的80%-90%时间花在HTML文档所引用的所有组件(图片、js、css、flash等等)进行的HTTP请求上。

如何改善

改善响应时间的最简单途径就是减少组件的数量,并由此减少HTTP请求的数量。

HTTP连接产生的开销

域名解析–TCP连接–发送请求–等待–下载资源–解析时间

HTTP1.1协议规定请求只能串行发送,也就是说一百个请求必须依次逐个发送,前面的一个请求完成才能开始下一个请求。

二、减少HTTP请求的方式

1.图片地图

图片地图允许你在一个图片上关联多个URL。目标URL的选择取决于用户单击了图片上的哪个位置。

我们可以通过使用五个分开的图片,然后每个图片对应一个超链接产生了5个HTTP请求,我们的目标是要减少HTTP请求

将五个图片合并成一张图片,然后以位置信息定位超链接。

把HTTP请求减少为一个,可以保证设计的完整性和功能的齐全性。

使用HTML的<map>标签

<map><area></area></map>

2.CSS Sprites

CSS Sprites中文翻译为CSS精灵,通过使用合并图片,通过指定css的backgroud-image和backgroud-position来显示元素。

backgroud-position:x y; 这里x和y可以写负值也可以写正值,我们可以想象图片的左上方为(0,0),以(0,0)坐标向右是为负数的x轴,以(0,0)坐标向下是为负数的y轴。

3.性能影响

图片地图与CSS精力的响应时间基本上相同,但比使用各自独立图片的方式要快50%以上。

4.合并js脚本和css样式表

使用外部的js和css文件引用的方式,因为这要比直接写在页面中性能要更好一点。

独立的一个js比用多个js文件组成的页面载入要快38%

把多个脚本合并为一个脚本,把多个样式表合并为一个样式表。

5.图片使用Base64编码减少页面请求数

采用Base64的编码方式将图片直接嵌入到网页中,而不是从外部载入

<img src=”data:image/gif;base64,/9j4AAQSKZJ……”>

PHP可以实现base64转码。

 

PHP重点知识复习 – 高并发之防盗链

一、什么是防盗链

1.盗链概念

盗链是指在自己的页面上展示一些并不在自己服务器的内容

获取他人服务器上的资源地址,绕过别人的资源展示页面,直接在自己的页面上向最终用户提供此内容。

常见的是小站盗用大站的图片、音乐、视频、软件等资源

通过盗链的方法可以减轻自己服务器的负担,因为真实的空间和流量均是来自别人的服务器

2.防盗链概念

防止别人通过一些技术手段绕过本站的资源展示页面,盗用本站的资源,让绕开本站资源展示页面的资源链接失效。

可以大大减轻服务器及带宽的压力

二、防盗链的工作原理

工作原理

通过Referer或签名,网站可以检测目标网页访问的来源网页,如果是资源文件,则可以跟踪到显示它的网页地址。

一旦检测到来源不是本站即进行阻止或者返回指定的页面

通过计算签名的方式,判断请求是否合法,如果合法则显示,否则返回错误信息。

Referer

Nginx 模块 ngx_http_referer_module 用于阻拦来源非法的域名请求

Nginx指令 valid_referers,全局变量$invalid_referer

valid_referers none | blocked | server_names | string …;

none: “Referer”来源头部为空的情况

blocked: “Referer”来源头部不为空,但是里面的值被代理或者防火墙删除了,这些值都不以http://或者https//开头

server_names: “Referer”来源头部包含当前的server_names

以下是nginx的配置实例

location ~ .*\.(gif|jpg|jpeg|png|bmp|swf|PNG|JPG|JPEG|GIF)$
{
  valid_referers none blocked yanxisheji.com *.yanxisheji.com;
  if ($invalid_referer)
  {
   return 403;
  }
}

伪造Referer

可以使用加密签名解决