CDN: 缓存刷新和缓存预热

1:什么是刷新?淘汰cdn节点上的旧文件,重新获取文件的新版本。

什么是预热?首次发布的文件,主动从源站推送到CDN,让用户访问到CDN时不用回客户的源站命中。

2:为什么要刷新?
CDN节点缓存的资源没有过期,但是基于客户的业务要求,需要更新CDN节点上缓存资源,刷新就是强制删除CDN节点缓存内容。用户请求这些资源时,CDN节点需要重新回源拉取资源,保证响应的资源与源站一致。
常见的场景:比如A公司游戏包发布后,发现有bug需要修复,为了降低影响,需要把CDN节点上缓存的旧游戏安装包都删除。

刷新类型分为目录刷新和URL刷新。URL刷新是直接将节点上缓存的资源删除。对于目录刷新,会将节点上的文件资源过期,会同源站对比Last-Modified时间,比如节点上的目录文件的Last-Modified为:Mon, 26 Dec 2018 11:11:00 GMT ,源站文件的Last-Modified为Mon, 28 Dec 2018 11:11:00 GMT.则此时源站会告诉节点:你的文件比我的文件老,我已经更新文件了,快来取最新的资源吧,此时会将源站新的资源更新到节点上,否则,源站返回304,告诉节点,你节点上的资源已经和我源站上的资源是一致,为最新的了,无需更新。

3:为什么要预热?
主动从源站推送到CDN,让用户访问到CDN时不用回客户的源站命中。
xx游戏在9月12日首次开发,游戏玩家抢着开服的时候赶紧下载游戏客户端(3GB)。如果没有预热,第一批玩家在访问官网下载时,官网CNME记录解析到CDN。由于是第一次访问,CDN中缓存也没有,因此需要回源站去获取游戏客户端(3GB)。

影响:
首批下载的用户体验很差,因为都集中访问源站主机,源站主机的CPU利用率和带宽会跑的很高。第一批玩家下载完成后,CDN中也能够缓存了一份,第二批玩家下载就直接在CDN中命中,速度比第一批快得多。

但是等CDN缓存好完整一份游戏客户端,可能半天到1天的时间就过去了。因为第一批下载时,源站压力非常大,CDN回源的带宽可能只有几KB,几KB的速度下载2GB的文件,可能要好几天了。那么游戏开服的头几天连游戏客户端都下载不了。
在开服前,通过预热功能,将游戏安装包(3GB)从源站推送到各CDN节点,提前先缓存起来。等开服的时候,第一个玩家也能从CDN中快速获取到游戏安装包。

 

 

CDN 常用的防盗链方式包含IP黑白名单、Referer、时间戳以及中心鉴权进行防盗链等方式。

一、IP黑白名单:

这个比较简单,直接配置请求者的IP黑白名单,设置黑名单之后,除了黑名单的用户都能访问;反之设置了白名单,只有白名单的用户都可以访问。这个方法直接有效,但必须知道请求者的具体IP信息,所以适用的场景比较有限。

二、Referer防盗链:

在http请求时,Referer里记录的是请求的来路,所以通过设置Referer黑白名单,可以控制哪个页面或者域名过来的请求是可以访问的。这个方法比较简单,因为你很清楚想让哪个网站或者不想让哪个网站访问,但是缺点就是Referer信息可以伪造。

三、时间戳防盗链:

时间戳防盗链主要是在url请求里,通过增加时间戳的信息来对url加上时间的因素,盗链者如果不及时更新url,那么就会无法访问。这个比较常见,但是如果盗链者定期的过来更新url,这种方法也会失效。

四、中心鉴权

中心鉴权的方式等于在源站增加一层验证,这个方法会对防盗链有效,但会增加请求的时间成本,一般用于有对内容进行完全保护的,比如有些视频网站,需要会员身份才能看的内容,对于这些网站,一般都会做中心鉴权。

 

CDN常用调度类型

1、DNS调度:智能计算,就近最佳节点为网民提供服务。

2、httpdns:客户端直接调用HttpDNS接口获取缓存服务器IP组,再择优向IP组中的缓存服务器发送请求,替代常规DNS调度策略,适用于客户端,且客户端需稍作修改进行HttpDNS接口调用。

3、边缘302调度:针对因用户LocalDNS配置错误引起的解析错误,缓存服务器可根据终端IP进行判断,并通过302方式响应终端最优缓存服务器IP供终端访问。适用于大文件下载(因多一次302跳转网络延时,对小文件下载不适用)

4、中央302调度:调度服务器接受终端Http请求,可根据终端IP及url请求热度,将用户请求通过302方式调度至最优的缓存服务器上进行响应。适用于大文件下载(因多一次302跳转的网络延时,对小文件不适用),且需与一致性hash、冷热分离配合使用。

注:一致性hash、冷热分离:指同一地区多节点情况下,对文件进行一致性hash,可以将冷文件hash至一个节点集中访问,提高命中率,将热文件hash至各个节点,进行热度均摊。其中,冷热文件可按比例设置。