bluecoat 操作说明 - 图文

Bluecoat 正向代理配置

正向代理

Bluecoat配置最佳实践

For SGOS V4.X

第七版

Bluecoat公司 2009年4 月 www.bluecoat.com

第1页/共56页

Bluecoat 正向代理配置

本文档的目的是通过正确的配置及测试步骤，使Blue Coat SG在正向代理测试中达到最佳的效果。其中包括企业用显式代理和运营商带宽增益类透明代理的测试中达到最佳效果。建议凡是碰到以运营商带宽节省为目的的测试，严格按照本文档描述的步骤。

文档修订历史

版本及内容 V1，创立文档 V2，加入带宽负增益解决方案和C/S应用通过代理上网设定 V3，改进负增益方案，加入DNS诊断，及游戏通过SG透明代理上网的设定 V4，加入飞信通过SG用户认证设定 V5，修订带宽负增益解决方法 V6， 修订C/S软件通过代理的设定及性能调优设定，加入不支持代理的C/S软件的支持, 修改2.9节中DNS配置的说明 V7，增加2.10 强制缓存下载网站 2.11消除Trust-destination-ip对缓存的影响 2.12 消除缓存内容过期 杜锋 杜锋 路军龙 毛俊 毛俊 作者 金志勇 杜锋/程晓晟

第2页/共56页

Bluecoat 正向代理配置

目录

一、 SG配置关于WEB-CACHE基本配置 ........................................... 5

1.1

1.2 1.3

关于部署方式 ................................................................................................ 5 关于操作系统版本 ........................................................................................ 5 基本配置步骤 ................................................................................................ 5

二、 如何调整SG性能和增益效果 ...................................................... 11

2.1

2.2 2.3 2.4 2.5 2.6 2.7 2.8 2.9 2.10 2.11 2.12

在大流量情况下并发处理的优化 .............................................................. 11 避免带宽负增益的最佳测试步骤 .............................................................. 14 执行Cache充满 .......................................................................................... 14 视频强制缓存 .............................................................................................. 15 强制缓存没有缓存标记的流量 .................................................................. 17 强制缓存微软的升级包 .............................................................................. 17 禁止所有包含Range: bytes header的请求（可选） ............................... 18 关于Blue Coat带宽增益统计数据 ............................................................ 18 DNS配置 .................................................................................................... 18 强制缓存下载网站 ...................................................................................... 23 消除Trust Destination IP对缓存影响..................................................... 25 消除缓存内容过期 ....................................................................................... 26

三、 查看增益效果 .................................................................................. 26 四、 如何分析流量进而优化 .................................................................. 29

4.1

4.2

通过日志分析 .............................................................................................. 29 通过Policy Trace分析 .............................................................................. 31 4.2.1 增加额外的策略+Trace ...................................................................... 31

第3页/共56页

Bluecoat 正向代理配置

4.2.2 打开策略Trace页面进行分析 .......................................................... 32 4.3 检查DNS Worker ...................................................................................... 32

五、 SG透明缓存环境QQ的运行 ....................................................... 34 六、 SG和游戏及特定应用的兼容性问题的解决 ............................... 37

6.1

透明代理下保证游戏能够通过SG访问 .................................................. 37

6.1.1 Reflect-Client-IP保证游戏服务器的认证和记录不出问题 ............. 37 6.1.2 保证联众游戏访问可以通过 ............................................................... 39 6.1.3 设置MTU保证游戏访问通过 ............................................................ 39 6.2 显式代理下保证MSN能够通过SG访问 ............................................... 39

七、 SG压力过载的保护策略................................................................ 40

7.1 7.2

SG流量过载保护策略 ............................................................................... 40 CPU突发过载的保护策略 ........................................................................ 43

八、 C/S软件通过SG代理 ................................................................... 45

8.1 8.2 8.3 8.4

Default policy Allow 和CPL中的Allow的区别 ..................................... 45 保证典型的C/S应用通过代理服务器能够访问 ..................................... 48 不支持代理的C/S软件通过SG上网的方式 ......................................... 51 设定放宽HTTP协议的容忍度 ................................................................. 52

九、 飞信通过SG代理用户认证的配置 .............................................. 52

第4页/共56页

Bluecoat 正向代理配置

一、 SG配置关于Web-Cache基本配置

1.1 关于部署方式

Bluecoat 的SG-Web-Cache可以通过如下方式部署在网络当中： 1． 2． 3．

网桥部署方式 通过WCCP部署方式 通过L4的设备部署

1.2 关于操作系统版本

Bluecoat V4最新推荐版本是SG V4.2.8.6或4.2.9.1

1.3 基本配置步骤

设备的基本配置步骤如下：

1. STEP-1（测试前最好配置恢复为出厂配置，避免未知的问题）

通过Console进入SG后 —enable 进入 —恢复出厂配置命令

restore-defaults factory-defaults 或 reinitialize

—初始配置设备的基本参数（IP,GW,DNS等） 2. STEP-2

通过HTTPS://SG-IP:8082进入SG的图形界面，进入maintenance->license->View，确认系统的License是否有效

第5页/共56页

Bluecoat 正向代理配置

如果Licesne过期需要安装Licesne文件

3. STEP-3

确认设备的时钟（系统时间），由于是Cache设备，系统对时间的要求很高，需要尽可能调准系统时间，并设置适合的Local Time Zone，也可以通过NTP协议和NTP服务器自动同步。

第6页/共56页

Bluecoat 正向代理配置

4. STEP-4 设置网络属性

A. SG IP地址、子网等、Setting 设置接口网络速率

B. 需要网桥部署需要设置Bridge ,可以把2个接口（如0:0 和 1:1）加入到Bridge当中，通过Link Setting设置接口速率等

C. 设置确省网关和静态路由 网关

第7页/共56页

Bluecoat 正向代理配置

静态路由

第8页/共56页

Bluecoat 正向代理配置

如果网络路由比较复杂，可以通过CLI 命令输入让SG 自动识别流量流向及路由：

return-to-sender inbound enable 5. STEP-5 设置服务属性

A. 设置服务端口

设置enable需要Cache的协议端口，如：80,554,1755等，并Enable 透明方式

如果是运营商作透明缓存，80端口需要关掉Explicit方式，以避免设备成为Open Proxy被黑客利用。如果是企业做显示代理，需要关掉Transparent方式以保持设备配置最精简。

B. 通过CLI设置Byte-range等的处理行为

http byte-ranges

http revalidate-pragma-no-cache

第9页/共56页

Bluecoat 正向代理配置

C. 设置Services->HTTP Proxy配置，如果是做加速效果测试，使用缺省的Nornal-Profile，如果是做带宽节省测试，则会使用Bandwidth Gain Profile（具体的带宽节省测试步骤参加第2章，其中在Cache充满阶段也会使用Normal Profile，但最终会使用Bandwidth Gain模式）。

D. 如果是运营商透明代理测试，则取消IM-Proxy的HTTP hand-off，如下所示

如果是企业正向代理测试并用到IM控制策略，则应保留IM Handoff为Enable状态。

第10页/共56页

Bluecoat 正向代理配置

E. 如果是运营商带宽节省测试，设置缺省策略为允许，如果是企业正向代理作上网策略控制，则设置缺省策略为禁止。

二、 如何调整SG性能和增益效果

2.1 在大流量情况下并发处理的优化

? 第一次上线，流量比较大时，需要采用带宽增益模式为好，如下图所

出示

可以仅仅Enable

Cache Expired Objects 和 Enable Bandwidth Gain Mode

第11页/共56页

Bluecoat 正向代理配置

? 在大流量时，需要观察 HTTP的连接状况

https://SG-IP:8082/http/statistics 观察 HTTP Worker Statistics 如下红线部分

第12页/共56页

Bluecoat 正向代理配置

Currently established client connections经常接近或等于Maximum acceptable concurrent client connections数值时可以做如下优化：

? 通过CLI调整HTTP永久连接的参数

当Cache设备感觉Wroker数已经达到上限时，可以通过CLI适当调整 Cliet/Server端的Persistent的数值，CLI命令如下： http persistent-timeout server 20 （缺省900） http persistent-timeout client 10 （缺省360） 或禁止Persistent http no persistent client http no persistent server

第13页/共56页

Bluecoat 正向代理配置

2.2 避免带宽负增益的最佳测试步骤

实际在运营商环境和企业环境，用户往往希望能够使用SG节省带宽，由于现在应用变化很复杂，为了避免出现带宽负增益的问题，我们建议的测试步骤有如下几项：

1）假定测试使用透明代理方式，用户从路由器上使用WCCP或策略路由把流量导出来。

2）流量导出建议使用安装目的地址Hash的方法，不推荐把所有目的地址段都放开导出到SG。选择流量导出目的地址段的原则在于把互联网上用户访问最多的视频或可缓存的新闻网站。为了记录这些网站的地址，需要测试人员在用户网上使用当地确省配置的DNS服务器，这样解析出来的地址和当地实际上网人员的地址是一致的。拿到解析出来的地址，通常把它们放达到B类地址，以保证安全和有足够的流量进入SG。这种选择目的网段流量进行流量导入的方式可以保证SG上带宽没有负增益。

3）当代理服务器刚刚上线时，由于其对象缓存中并没有存储相关内容，首先要进行Cache充满动作。并选用Normal Profile，目的是缓存尽可能多地内容。具体策略可以参见2.3节

4）充满结束后，要选用Bandwidth gain profile,目的是增加带宽节省比例，同时去掉原来做带宽充满时的策略。然后增加强制缓存视频类内容的策略及强制缓存Microsoft Windows Update内容的策略。具体可以参见2.4, 2.5, 2.6节。 5）将tcp window-size 降低至20k，增益将会提高15%-35%。 Demo-sg400#(config)tcp-ip window-size 20480

2.3 执行Cache充满

为达到最佳效果，我们需要配置策略来在一定的时间范围内使Cache内容得到充满。

;;;; 下面的策略在Cache充满完成后必须去掉（充满时间可选择三至七天）。 cache(yes) force_cache(all) delete_on_abandonment(no) ;;;; 下面的策略在Cache充满完成后必须去掉（充满时间可选择三至七天）。

第14页/共56页

Bluecoat 正向代理配置

为避免SG将过期内容提交给用户，建议在Configurations/Services/HTTP Proxy下打开“Always check with source before serving object”选项。 带宽充满阶段需要选择Normal Profile达到最快时间充满的效果。在充满Cache的阶段，带宽增益为负是正常的现象。

2.4 视频强制缓存

下面的策略强制将国内几大门户网站的视频及YouTube的视频进行缓存，加到测试设备中会对带宽增益效果有很大帮助。

;

; This policy rewrites the storage/lookup of various video and file sharing web sites ; to maximize the caching of content regardless of which server delivered the file. ; ;

url.extension=flv ; check requests which use an flv extension condition=sina_video_request action.force_cache_sina(yes) condition=youku_video_request action.force_cache_youku(yes)

condition=youku_video_request_regex action.force_cache_youku(yes)

condition=youtube_related_request ; check for youtube and googlevideo style requests

condition=youtube_video_request action.force_cache_youtube(yes)

condition=youku_video_request delete_on_abandonment(no) force_cache(all) ttl(172800) ;one-day = 86400 seconds

condition=youtube_video_request delete_on_abandonment(no) force_cache(all) ttl(172800) ;one-day = 86400 seconds

condition=sina_video_request delete_on_abandonment(no) force_cache(all) ttl(172800) ;one-day = 86400 seconds

url.extension=flv force_cache(all) ttl(172800) ;one-day = 86400 seconds

;--Ensure the internal URLs are not leak via refresh--;

url.domain=internalurl.example.com refresh(no)

;; youtube conditions and actions ;;

define condition youtube_related_request url.host.substring=\

request.header.Referer.url.substring=\ ;or numeric hostnames lack the the referer header

url.host.is_numeric=yes request.header.Referer.regex=!\end

define condition youtube_video_request

url.path=\

第15页/共56页

Bluecoat 正向代理配置

end

define action force_cache_youtube

rewrite(url, \

\end ;;

;; end youtube conditions and actions

;; sina video sharing portal conditions and actions ;;

define condition sina_video_request

url.domain=flv.sina.chinacache.net url.extension=flv end

define action force_cache_sina

rewrite(url, \end ;;

;; end sina conditions and actions

;; youku conditions and actions ;;

define condition youku_video_request

url.host.is_numeric=yes request.header.Referer.substring=\this will only match requests from Internet explorer end

define condition youku_video_request_regex

url.host.is_numeric=yes url.path.regex=\9]+\\.flv\end

define action force_cache_youku

rewrite(url, \cache) end ;;

;; end youku conditions and actions

;; begin policy to cache zshare download site ;;

url.domain=//athena.zshare.net action.force_cache_zshare(yes)

url.domain=//athena.zshare.net delete_on_abandonment(no)

never_serve_after_expiry(yes) force_cache(all) ttl(172800) ;one-day = 86400 seconds

define action force_cache_zshare

rewrite(url, \\end

第16页/共56页

Bluecoat 正向代理配置

;; ;; end policy to cache zshare download site ;end_of_policy_file 2.5 强制缓存没有缓存标记的流量

很多的网站（特别是视频网站）有些大的Object既没有Cache-Control 标记也没有Exprie标记，SG是不做缓存的，此时可能出现负增益，需要强制缓存这些Object (如 土豆网的FLV文件80-90%的都是如此)。 如下模板就是当这些文件扩展名文件下载时，如果没有 Cache-Control 和Expires 的header时就强制缓存一定的时间。可以把如下策略加入到Local Policy

condition=FileExtensioncache response.header.Cache-Control=!\cache(yes) force_cache(all)

define condition FileExtensioncache

url.extension=(rm, mp3, flv, wma, zip, exe, rar) end condition FileExtensioncache

2.6 强制缓存微软的升级包

; ; The following is a list of domain suffix ; patterns for Windows updates ; define condition wsus-hosts url.domain=download.windowsupdate.com url.domain=windowsupdate.com url.domain=windowsupdate.microsoft.com url.domain=c.microsoft.com url.domain=update.microsoft.com url.domain=download.microsoft.com url.domain=au.download.microsoft.com end ; condition=wsus-hosts 第17页/共56页

Bluecoat 正向代理配置

; Cache windows-update patch files only, for 22 hours (WSUS update default) request.header.user-agent=\never_serve_after_expiry(yes) ; Don't cache non-patch files from those domains cache(no) 2.7 禁止所有包含Range: bytes header的请求（可选）

本项工作为可选配置，因为这样配置后，所有多线和下载软件的凡是有Range:bytes Header的请求都会被禁止，意味着Client只有第一个线程可以下载，其余的线程都会被禁止。

这样的配置在正常情况下没有问题，因为第一个请求是没有Range Header的，但要注意的是，如果下载过程中出现中断，无论是手工暂停还是网络故障导致下载中断，再次启动时客户端将发出Range请求继续进行下载（断点续传），这样，这个请求就被会被禁止掉，因此下载永远不能完成，除非将已此任务删除重新下载。

所以上述配置是可选配置，需根据具体情况决定。

2.8 关于Blue Coat带宽增益统计数据

有机会时，跟客户解释我们的SG会剥除或修改某些HTTP响应Header，在这样的情况下，我们在给客户端的流量中Client端的流量就会比Server端小，这样对客户的网络是有利的，但会影响我们的统计。我们不能控制服务器给SG发送什么，但可以控制发送什么给Client。

2.9 DNS配置

在大流量的运营商环境或高端企业正向代理环境下，SG会有发起大量的DNS请求到DNS服务器进行地址解析。这一部分规划不好的话会引起性能问题。这里面有几个步骤需要进行。 1．

如果企业使用的网通线路上网，需要配置为网通的DNS服务器，并

且选最稳定的DNS服务器作为首选DNS服务器。如果使用电信的线路则使

第18页/共56页

Bluecoat 正向代理配置

用电信的DNS服务器，不要在使用网通线路上网时配置电信的DNS服务器。这样会引发很多DNS查询超时的问题。并引起DNS Worker被用满。 2．

对于有多DNS服务器的环境，可以把多台DNS服务器加入在同一

Primary组里，增强DNS服务查询的可靠性。在Primary组内配置了多个DNS时，SG只会首先尝试第一个DNS，如果第一个DNS服务器某个域名的解析三次尝试失败后，SG才会尝试第2个DNS服务器做此域名的解析。他们并不是负载分担的工作方式，这一点请大家注意。 3．

如果企业有内部域名的应用需要解析，要把企业内部的域名服务器放

在Alternative DNS的配置里，而不是放在Primary组里。因为在Primary组内的DNS，只要首选的DNS可用，SG是不会查询第二个DNS的。而配置Alternative DNS, 如果首选Primary DNS返回给SG地址解析不到，SG回去问Alternative DNS里的首选DNS服务器。注意，此种配置只适用于用户既要上Internet网，又要有内部的域名内容要访问的情况。 如下图所示的配置是正确的：

第19页/共56页

Bluecoat 正向代理配置

第20页/共56页

本文来源：https://www.bwwdw.com/article/3552.html