DNS轮循 DNS轮循是指将相同的域名解释到不同的IP，随机使用其中某台主机的技术。但其具有明显 的缺点：一旦某个服务器出现故障，即使及时修改了DNS设置，还是要等待足够的时间（刷新时间）才能发挥作用，在此期间，保存了故障服务器地址的客户计算 机将不能正常访问服务器。DNS负载均衡采用的是简单的轮循负载算法，不能区分服务器的差异，不能反映服务器的当前运行状态，不能做到为性能较好的服务器 多分配请求，甚至会出现客户请求集中在某一台服务器上的情况。

F5 BIG-IP 简介：F5 Networks 公司的著名硬件负载均衡交换机。支持硬件四层、七层交换。不同的型号性能不同，BIG-IP 6400可以支持800万条并发连接，低一点型号的可以支持400万条以上的并发连接。性能极高，但价格也不菲。 价格：BIG-IP 6400的价格在16万元人民币左右。 网址： http://www.f5.com.cn/（中国） http://www.f5.com/（全球）

LVS（Linux Virtual Server） 简介：软件四层交换。LVS是在Linux内核中 作四层交换，只花128个字节记录一个连接信息，不涉及到文件句柄操作，故没有65535最大文件句柄数的限制。LVS性能很高，可以支持100～400 万条并发连接。 价格：免费、开源 网址： http://zh.linuxvirtualserver.org/

L7SW（Layer7 switching） 简介：软件七层交换。这是一款类似LVS的新负载均衡软 件，我没有实际应用过，性能未知，因此不作评价。这是它的英文介绍：Layer7 switching is driving a low-level engine using networking design to speed-up forwarding of data stream. Implementation in this project is split into a userspace daemon and a low-level kernelspace forwarding engine. Userspace daemon is responsible for scheduling and switching decisions. Kernelspace forwarding engine is responsible for forwarding stream and using TCP-Splicing scheme. TCP-Splicing is the postponement of the connection between the client and the server in order to obtain sufficient information to make a routing decision. This project is close to Linux Virtual Server project since lot of discusions on this topics have been made online and offline LVS project. 价格：免费、开源 网址： http://www.linux-l7sw.org/

[文章作者：张宴 本文版本：v1.0 最后修改：2008.06.25 转载请注明原文链接： http://blog.s135.com/read.php/354.htm]

最近，在我原有的“Linux服务器系统监控程序”基础上，完善了HTTP、TCP、MySQL主动监控与MSN、E-mail、手机短信报警。监控程 序以shell和PHP程序编写，以下为主要框架与部分代码：

一、系统监控接口程序（interface.php）具有的报警方式 １、MSN实时报警 ①、监控程序每次检测到故障存在、或者故障恢复，都会发送短消息到管理员的MSN。

发送MSN短消息用了一个PHP类： sendMsg，使用该PHP类发消息，必须将发送、接收双方的MSN加为联系人，发送中文时，先用iconv 将字符集转为UTF-8：

引用

$sendMsg->sendMessage(iconv(“GBK”, “UTF-8”, $message), ‘Times New Roman’, ‘008000’);

２、 手机短信报警 ①、工作日早上10点之前，晚上6点之后，以及周六、周日，监控程序检测到故障，会调用手机短信接口，发送短信给管理员的手机。 ②、如果监控程序多次检测到同一台服务器的同一类故障，只会在第一次检测到故障时发送一条“故障报警”短信。服务器故障恢复后，监控程序会再发送一条 “故障恢复”短信。

如果没有手机短信网关接口，可以试试中国移动通信的 www.139.com 邮箱，具有免 费的邮件到达手机短信通知功能，可以将收到的邮件标题以短信的形式发送到手机上。

３、电子邮件报警 ①、如果监控程序多次检测到同一台服务器的同一类故障，只会在第一次检测到故障时发送一封“故障报警”邮件。服务器故障恢复后，监控程序会再发送一封 “故障恢复”邮件。

系统监控接口程序interface.php（核心部分，仅提供部分代码）：

view plain print ?

2. //HTTP服务器监控
3. if (htmlspecialchars($_POST[“menu”]) == “http”)
4. {
5. $date = htmlspecialchars($_POST[“date”]);
6. $ip = htmlspecialchars($_POST[“ip”]);
7. $port = htmlspecialchars($_POST[“port”]);
8. $status = htmlspecialchars($_POST[“status”]);//状态，0表示无法访问，1表示正常，2表示无法访问但能ping通
9. //…下一步处理（省略）…
10. }
11. //TCP服务器监控
12. if (htmlspecialchars($_POST[“menu”]) == “tcp”)
13. {
14. $date = htmlspecialchars($_POST[“date”]);
15. $ip = htmlspecialchars($_POST[“ip”]);
16. $port = htmlspecialchars($_POST[“port”]);
17. $status = htmlspecialchars($_POST[“status”]);//状态，0表示无法访问，1表示正常，2表示无法访问但能ping通
18. //…下一步处理（省略）…
19. }
20. //MySQL服务器监控
21. if (htmlspecialchars($_POST[“menu”]) == “mysql”)
22. {
23. $date = htmlspecialchars($_POST[“date”]);
24. $ip = htmlspecialchars($_POST[“ip”]);
25. $port = htmlspecialchars($_POST[“port”]);
26. $abstract = htmlspecialchars($_POST[“abstract”]);//故障摘要（必须为全角）
27. $info = htmlspecialchars($_POST[“info”]);//故障详细描述
28. $failback = htmlspecialchars($_POST[“failback”]);//如果服务器存活，此处接收的值为active
29. //…下一步处理（省略）…
30. }
31. ?>

二、主动探测监控（“监控机”主动探测“被监控机”） １、HTTP服务器监控 脚本：/data0/monitor/http.sh

[文章作者：张宴 本文版本：v1.1 最后修改：2007.08.23 转载请注明出处： http://blog.s135.com]

最近在工作中遇到一个问题：a.php程序需要将接收到的数据同时写到“线上运行的正式数据库”和“进行开发调试的测试数据库”。而测试数据库可能经常 会面临对表结构、字段、配置信息做调整等问题，很不稳定，发生错误的概率很高，如果用a.php程序同时写“正式数据库”和“测试数据库”，势必影响到线 上运行的正式服务。

于是，我想到用PHP curl扩展库将生成的$data数组post传递一份给b.php程序，然后a.php程序继续往下执行写“正式数据库”的代码。a.php程序 将$data数组传递给b.php程序就完事了，至于b.php如何处理，就不关a.php的事了，b.php程序即使写“测试数据库”失败，也不会对 a.php程序造成影响。

按照这种思路，我写了a.php和b.php的代码：

a.php程序源代码：

view plain print ?

2. $data[“username”]=“张宴”;
3. $data[“password”]=“不知 道”;
4. $data[“ip”]=“192.168.0.18”;
5. //register_shutdown_function(“post_data”, $data);
6. //function post_data($data)
7. //{
8. $curl = new Curl_Class();
9. $post = @$curl->post(“http://127.0.0.1/b.php”, $data);//这里是b.php的访问地址，请自行修改
10. //}
11. //curl类
12. class Curl_Class
13. {
14. function Curl_Class()
15. {
16. return true;
17. }
18. function execute($method, $url, $fields = ”, $userAgent = ”, $httpHeaders = ”, $username = ”, $password = ”)
19. {
20. $ch = Curl_Class::create();
21. if (false === $ch)
22. {
23. return false;
24. }
25. if (is_string($url) && strlen($url))
26. {
27. $ret = curl_setopt($ch, CURLOPT_URL, $url);
28. }
29. else
30. {
31. return false;
32. }
33. //是否显示头部信息
34. curl_setopt($ch, CURLOPT_HEADER, false);
35. //
36. curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
37. if ($username != ”)
38. {
39. curl_setopt($ch, CURLOPT_USERPWD, $username . ‘:’ . $password);
40. }
41. $method = strtolower($method);
42. if (‘post’ == $method)
43. {
44. curl_setopt($ch, CURLOPT_POST, true);
45. if (is_array($fields))
46. {
47. $sets = array();
48. foreach ($fields AS $key => $val)
49. {
50. $sets[] = $key . ‘=’ . urlencode($val);
51. }
52. $fields = implode(‘&’,$sets);
53. }
54. curl_setopt($ch, CURLOPT_POSTFIELDS, $fields);
55. }
56. elseif (‘put’ == $method)
57. {
58. curl_setopt($ch, CURLOPT_PUT, true);
59. }
60. //curl_setopt($ch, CURLOPT_PROGRESS, true);
61. //curl_setopt($ch, CURLOPT_VERBOSE, true);
62. //curl_setopt($ch, CURLOPT_MUTE, false);
63. curl_setopt($ch, CURLOPT_TIMEOUT, 3);//设置curl超时秒数，例如将信息POST出去3秒钟后自动结束运行。
64. if (strlen($userAgent))
65. {
66. curl_setopt($ch, CURLOPT_USERAGENT, $userAgent);
67. }
68. if (is_array($httpHeaders))
69. {
70. curl_setopt($ch, CURLOPT_HTTPHEADER, $httpHeaders);
71. }
72. $ret = curl_exec($ch);
73. if (curl_errno($ch))
74. {
75. curl_close($ch);
76. returnarray(curl_error($ch), curl_errno($ch));
77. }
78. else
79. {
80. curl_close($ch);
81. if (!is_string($ret) || !strlen($ret))
82. {
83. return false;
84. }
85. return$ret;
86. }
87. }
88. function post($url, $fields, $userAgent = ”, $httpHeaders = ”, $username = ”, $password = ”)
89. {
90. $ret = Curl_Class::execute(‘POST’, $url, $fields, $userAgent, $httpHeaders, $username, $password);
91. if (false === $ret)
92. {
93. return false;
94. }
95. if (is_array($ret))
96. {
97. return false;
98. }
99. return$ret;
100. }
101. function get($url, $userAgent = ”, $httpHeaders = ”, $username = ”, $password = ”)
102. {
103. $ret = Curl_Class::execute(‘GET’, $url, ”, $userAgent, $httpHeaders, $username, $password);
104. if (false === $ret)
105. {
106. return false;
107. }
108. if (is_array($ret))
109. {
110. return false;
111. }
112. return$ret;
113. }
114. function create()
115. {
116. $ch = null;
117. if (!function_exists(‘curl_init’))
118. {
119. return false;
120. }
121. $ch = curl_init();
122. if (!is_resource($ch))
123. {
124. return false;
125. }
126. return$ch;
127. }
128. }
129. ?>

b.php程序源代码：

[文章作者：张宴 本文版本：v1.0 最后修改：2008.12.15 转载请注明原文链接： http://blog.s135.com/post/389/]

PHP获取远程网页内容有多种方式，例如用自带的file_get_contents、fopen等函数。

引用

echo file_get_contents(“ http://blog.s135.com/abc.php”);

?>

但是，在DNS轮询等负载均衡中，同一域名，可能对应多台服务器，多个IP。假设 blog.s135.com被DNS解析到72.249.146.213、72.249.146.214、72.249.146.215三个IP，用户每 次访问blog.s135.com，系统会根据负载均衡的相应算法访问其中的一台服务器。

上周做一个视频项目时，就碰到这样一类需 求：需要依次访问每台服务器上的一个PHP接口程序（假设为abc.php），查询这台服务器的传输状态。

这时就不能直接用 file_get_contents访问 http://blog.s135.com/abc.php 了，因为它可能一直重复访问某一台服务器。

而采用依次访问 http://72.249.146.213/abc.php、 http://72.249.146.214/abc.php、 http://72.249.146.215/abc.php 的 方法，在这三台服务器上的Web Server配有多个虚拟主机时，也是不行的。

通过设置本地hosts也不行，因为hosts不能 设置多个IP对应同一个域名。

那就只有通过PHP和HTTP协议来实现：访问abc.php时，在header头中加上 blog.s135.com域名。于是，我写了下面这个PHP函数：

view plain print ?

2. /************************
3. * 函数用途：同一域名对应多个IP时，获取指定服务器的远程网页 内容
4. * 创建时 间：2008-12-09
5. * 创建人：张宴（blog.s135.com）
6. * 参数说明：
7. *    $ip   服务器的IP地址
8. *    $host   服务器的host名称
9. *    $url   服务器的URL地址（不含域名）
10. * 返回值：
11. *    获取到的远程网页内容
12. *    false   访问远程网页失败
13. ************************/
14. function HttpVisit($ip, $host, $url)
15. {
16. $errstr = ”;
17. $errno = ”;
18. $fp = fsockopen ($ip, 80, $errno, $errstr, 90);
19. if (!$fp)
20. {
21. return false;
22. }
23. else
24. {
25. $out = “GET {$url} HTTP/1.1\r\n”;
26. $out .= “Host:{$host}\r\n”;
27. $out .= “Connection: close\r\n\r\n”;
28. fputs ($fp, $out);
29. while($line = fread($fp, 4096)){
30. $response .= $line;
31. }
32. fclose( $fp );
33. //去掉Header头信息
34. $pos = strpos($response, “\r\n\r\n”);
35. $response = substr($response, $pos + 4);
36. return$response;
37. }
38. }
39. //调用方法：
40. $server_info1 = HttpVisit(“72.249.146.213”, “blog.s135.com”, “/abc.php”);
41. $server_info2 = HttpVisit(“72.249.146.214”, “blog.s135.com”, “/abc.php”);
42. $server_info3 = HttpVisit(“72.249.146.215”, “blog.s135.com”, “/abc.php”);
43. ?>

[文章作者：张宴 本文版本：v1.0 最后修改：2008.09.21 转载请注明原文链接： http://blog.s135.com/post/369/]

9月20日下午，我应邀参加了 ChinaUnix 举办的以“如何搞定服务器负载均衡？”为主题的技术沙龙（ http://linux.chinaunix.net/bbs/thread-1019366-1-1.html）， 很高兴能够跟诸多业界精英一起探讨交流，很荣幸能够与Unix资深系统工程师──田逸、HonestQiao，以及F5资深技术工程师──杨明非，同台演 讲。

《使用Nginx轻松实现开源负载均衡》是我的演讲PPT（PowerPiont），现提供下载。

PPT分为四个 部分： 1、介绍Nginx的基本特征，以及使用Nginx做负载均衡器的理由。

2、用实例，来介绍 Nginx负载均衡在大型网站的典型应用。

3、以实现网站动静分离为原型，对NetScaler硬件七层负载均衡和Nginx软件负 载均衡做一个对比。

①、NetScaler负载均衡交换机动静分离系统架构图

②、Nginx反向代理负载均衡器动静分离系统架构图

③、PHP利用Memcached实现session共享，程序无需作任何修改： 修改php.ini（需要memcache.so扩展）

session.save_handler = memcache

session.save_path = tcp://192.168.1.2:11211

4、介绍如何亲自动手，按照步骤，在“五分钟内搞定 Nginx 负载均衡”。

PPT下载：

下载 文件

点击这里下载文件

www.s135.com 和 blog.s135.com 域名均指向 Nginx 所在的服务器IP。

用户访问 http://www.s135.com，将其负载均 衡到192.168.1.2:80、192.168.1.3:80、192.168.1.4:80、192.168.1.5:80四台服务器。

用户访问 http://blog.s135.com， 将其负载均衡到192.168.1.7服务器的8080、8081、8082端口。

以下为配置文件nginx.conf：

引用

user  www www;

worker_processes 10;

#error_log  logs/error.log;

#error_log  logs/error.log  notice;

#error_log  logs/error.log  info;

#pid        logs/nginx.pid;

#最大文件描述 符

worker_rlimit_nofile 51200;

events

{

use epoll;

worker_connections 51200;

}

http

{

include       conf/mime.types;

default_type  application/octet-stream;

keepalive_timeout 120;

tcp_nodelay on;

upstream  www.s135.com {

server   192.168.1.2:80;

server   192.168.1.3:80;

server   192.168.1.4:80;

server   192.168.1.5:80;

}

upstream  blog.s135.com  {

server   192.168.1.7:8080;

server   192.168.1.7:8081;

server   192.168.1.7:8082;

}

server

{

listen  80;

server_name  www.s135.com;

location / {

proxy_pass        http://www.s135.com;

proxy_set_header   Host             $host;

[文章作者：张宴 本文版本：v1.0 最后修改：2008.11.19 转载请注明原文链接： http://blog.s135.com/post/379/]

在生产应用中，某台“Nginx+PHP+MySQL”接口数据服务器，扮演的角色十分重要，如果服务器硬件或Nginx、MySQL发生故障，而短时 间内无法恢复，后果将非常严重。为了避免单点故障，我设计了此套方案，编写了failover.sh脚本，实现了双机互备、全自动切换，故障转移时间只需 几十秒。

一、双机互备、全自动切换方案： 1、拓扑图：

2、解释： (1)、假设外网域名blog.s135.com解析到外网虚拟IP 72.249.146.214上，内网hosts设置db10对应内网虚拟IP 192.168.146.214

(2)、默认情况 下，由主机绑定内、外网虚拟IP，备机作为备份，当主机的MySQL、Nginx或服务器出现故障无法访问时，备机会自动接管内、外网虚拟IP。两台服务 器都启动负责监控、自动切换虚拟IP的守护进程/usr/bin/nohup /bin/sh /usr/local/webserver/failover/failover.sh 2>&1 > /dev/null &

(3)、主机和备机上的MySQL服务器互为主从，互相同步。在主机处于活动状态（即由主机绑定虚拟IP）时，读写主机的 MySQL，写到主机的数据会同步到备机；在备机处于活动状态时，读写备机的MySQL，写到备机的数据会同步到主机（如果主机上的MySQL死掉暂时无 法同步，主机上的MySQL恢复后，数据会自动从备机上同步过来，反之亦然）。

(4)、主机处于活动状态时，每20秒会把 /data0/htdocs/（网页、程序、图片存放目录）、/usr/local/webserver/php/etc/（php.ini等配置文件目 录）、/usr/local/webserver/nginx/conf/（Nginx配置文件目录）三个目录下的文件通过rsync推送到备机服务器上 的对应目录（增量推送，两台服务器上一样的文件不会重复推送），反之如果备机处于活动状态时，每20秒会尝试把文件推送到主机。rsync的配置文件见两 台服务器的/etc/rsyncd.conf，rsync守护进程的启动命令为rsync –daemon

3、自 动切换流程 (1)、主机默认绑定内、外网虚拟IP，当主机的MySQL、Nginx无法访问或服务器宕机，主机上的 failover.sh守护进程会自动摘除自己绑定的内、外网虚拟IP（如果主机上的failover.sh死掉，无法摘除自己绑定的虚拟IP也没关 系），备机上的failover.sh守护进程会自动接管备机原来绑定的内、外网虚拟IP，并发送ARPing包给内、外网网关更新MAC，强行接管。

(2)、备机绑定虚拟IP后，会发送ARPing包给内、外网网关，通知网关更新虚拟IP的 MAC地址为备机的MAC地址，从而保证了切换后能够通过虚拟IP及时访问到备机。

(3)、如果主机的MySQL、Nginx启动起 来，全部恢复正常访问，主机上的failover.sh守护进程会检测主机上的MySQL数据是否已经完全从备机上同步过来。如果同步延迟时间为0，主机 会自动接管内、外网虚拟IP，并发送ARPing包给内、外网网关，而备机也会自动摘除内、外网虚拟IP。

(4)、整个切换流程均由 failover.sh自动完成，无需人工处理。

4、注意事项（很重要）： (1)、crontab里的文件没有做自动同步，如果修改，需要手工在两台服务器上都做修改。

(2)、/data0/htdocs /目录内任何用ln -s建立的软连接，rsync不会自动同步，如果在一台服务器上建了软连接，需要手工在另外一台服务器上也建相同的软连接。

(3)、如果要删除/data0/htdocs/目录内的某些文件或目录，需要先删除处于活动状态（即绑定了虚拟IP）服务器上的文件或目录，再删除处 于备用状态服务器上的文件或目录。

(4)、除了/data0/htdocs/（网页、程序、图片存放目录）、/usr/local /webserver/php/etc/（php.ini等配置文件目录）、/usr/local/webserver/nginx/conf /（Nginx配置文件目录）三个目录之外的其他配置修改，需要在两台服务器上都做修改。

二、配置 文档与脚本： 1、主机、备机两台服务器的rsync配置（配置相同） (1)、rsync配置文件

vi /etc/rsyncd.conf

输入一些内容并保存：

引用

uid = root

gid = root

use chroot = no

[文章作者：张宴 本文版本：v1.2 最后修改：2007.07.09 转载请注明出处： http://blog.s135.com]

需 求背景： phpMyAdmin是一款不错的MySQL在线管理工具，但phpMyAdmin的cookie登录方式只能输入MySQL数据库 的用户名和密码，而想更改MySQL服务器地址和端口则须修改其配置文件config.default.php。当拥有多台数据库服务器，每台服务器又在 不同端口启动了多个MySQL服务，每次都修改配置文件就显得很麻烦，因此需要能够在登录界面直接输入MySQL服务器地址和端口的功能。

功 能要求： 假设phpMyAdmin的访问网址为 http://192.168.1.25/phpmyadmin/，能够通过输入MySQL服务器地址、端口、 用户名、密码登录远程MySQL服务器，对远程数据库进行管理。

修改后的phpMyAdmin登录入口截图：

下 载地址： http://ishare.iask.sina.com.cn/cgi-bin/fileid.cgi?fileid=1848024

实 现步骤：

1、打开“路径/phpmyadmin/libraries /config.default.php”，查找相关项并修改为以下内容：

2、打开“路径/phpmyadmin/index.php”，在文件最开头增加以下PHP代 码：

3、打开“路径/phpmyadmin/libraries/auth /cookie.auth.lib.php”，查找“”这行，在该行下方的第10行后（即“”这行后）增加以下HTML代码：

图示：

4、 创建一个可以从任何IP地址远程连接的MySQL帐号sina

MySQL默认的帐号为root，密码为空，只允许 localhost登录，因此需要创建一个可以从任何IP地址远程连接的MySQL帐号，本例中创建的帐号为sina，密码为zhangyan。 使用该帐号从phpMyAdmin登录后，别忘了在“权限”栏中修改密码。

(1)、Linux下的MySQL命令行客户 端添加帐号示例： A.登录使用默认3306端口的MySQL

引用

/usr/local/mysql/bin/mysql -u root -p

B.通过TCP连接管理不同端口的多个MySQL（注意：MySQL4.1以上版本才有 此项功能）

引用

/usr/local/mysql/bin/mysql -u root -p –protocol=tcp –host=localhost –port=3307

C.通过 socket套接字管理不同端口的多个MySQL

引 用

/usr/local/mysql/bin/mysql -u root -p –socket=/tmp/mysql3307.sock

D.通过端口和IP管理不同端口的多个MySQL

引用

/usr/local/mysql/bin/mysql -u root -p -P 3306 -h 127.0.0.1

Enter password: (输入密码，如果密码为空，直接回车) mysql> (在这儿输入以下的语句)

2008年4月18日，在Alexa安排的一次“ Scaling MySQL — Up or Out?”的小组辩论中，MySQL、Sun、 Flickr、Fotolog、Wkipedia、Facebook、YouTube等国际知名网站的DBA们，对其网站MySQL数据库服务器、Web 服务器、缓存服务器的数量，MySQL版本，编程语言类型，操作系统类型等问题进行了回答。

[文章作者：张宴 本文版本：v1.1 最后修改：2007.07.27 转载请注明出处： http://blog.s135.com]

这两天搭建了一组Apache服务器，每台服务器4G内存，采用的是prefork模式，一开始设置的连接数太少了，需要较长的时间去响应用户的请求， 后来修改了一下Apache 2.0.59的配置文件httpd.conf：

prefork MPM

StartServers: number of server processes to start

MinSpareServers: minimum number of server processes which are kept spare

MaxSpareServers: maximum number of server processes which are kept spare

MaxClients: maximum number of server processes allowed to start

MaxRequestsPerChild: maximum number of requests a server process servesStartServers         10

MinSpareServers      10

MaxSpareServers      15

ServerLimit          2000

MaxClients           2000

MaxRequestsPerChild  10000

查看httpd进程数（即prefork模式下 Apache能够处理的并发请求数）： Linux命令：

ps -ef | grep httpd | wc -l

官方教程:

[文章作者：张宴 本文版本：v1.0 最后修改：2007.08.02 转载请注明出处： http://blog.s135.com]

Squid web缓存加速软件目前已经是新浪、搜狐、网易等各大网站广泛应用。Squid会在设置的缓存目录下建立多个目录，每一个目录下又建立多个目录，然后才在 最里层的目录中存放缓存文件（object）。squid会根据用户请求网页的URL进行哈希，生成缓存文件，存放在某一个目录中。squid启动之后， 将在内存中建立一个哈希表，记录硬盘中缓存文件配置的情形。

对于类似 http://you.video.sina.com.cn/index.html 之 类的网页，squid只会生成一个缓存文件。可以用squid附带的squidclient工具清除：

引用

squidclient -m PURGE -p 80 “http://you.video.sina.com.cn/index.html”

而对于带有参数的网页，例如新浪播客的Flash播放器 http://vhead.blog.sina.com.cn/player/outer_player.swf?auto=0&vid=4469852&uid=1278987704， 因“?”后面的参数不同，导致URL也不同，squid会生成多个缓存文件，哈希分散存放在不同的目录。如果修改了这个outer_player.swf 文件，要更新squid缓存就要去清除不同目录下及内存中的很多个缓存文件，十分麻烦，于是我编写了一个Linux下的shell脚本，去完成这件麻烦的 事：

脚本文件名：clear_squid_cache.sh（8月2日修正了UC网友“城市中的寂寞”反馈的BUG）

引用

#!/bin/sh

squidcache_path=”/data1/squid/var/cache”

squidclient_path=”/usr/local/squid/bin/squidclient”

grep -a -r $1 $squidcache_path/* | strings | grep “http:” | awk -F’http:’ ‘{print “http:”$2;}’ > cache_list.txt

for url in cat cache_list.txt; do

$squidclient_path -m PURGE -p 80 $url

done

**注意：**请赋予clear_squid_cache.sh可执行权限（命令：chmod +x ./clear_squid_cache.sh）。请确保脚本所在目录可写。

设置： squidcache_path= 表示squid缓存目录的路径 squidclient_path= 表示squidclient程序所在的路径，默认为squid安装目录下的bin/squidclient

用法： 1、清除所有Flash缓存（扩展名.swf）： ./clear_squid_cache.sh swf

Memcachedb

协议： New BSD License 作者：stvchu, gary.caokai, forever.sky81 团队：新浪互动社区事业部──博客产品 网址： http://www.memcachedb.org/

Memcachedb = memcache + Berkeley DB

Memcachedb是一款支持高并发的分布式持久存储 系统，对任何原有memcached客户端来讲，它仍旧是个memcached，但是，它的数据是可以持久存储的。 前端：memcached 的网络层 后端：Berkeley DB存储

写速度：从本地服务器通过memcache客户端（libmemcache） set 2亿条16字节长的key，10字节长的Value的记录，耗时16572秒，平均速度12000条记录/秒。 读速度：从本地服务 器通过memcache客户端（libmemcache） get 100万条16字节长的key，10字节长的Value的记录，耗时103秒，平均速度10000条记录/秒。

• 支持的memcache命令 get, set, add, replace incr, decr delete stats flush_all

• 私有命令 db_checkpoint, db_archive db_ismaster, db_whoismaster (for replication)

编译及安装方法： http://blog.csdn.net/simonlsy/archive/2008/01/07/2027940.aspx

ncache

协议： New BSD License 作者：shinepf, shuiyang 团队：新 浪互动社区事业部──博客产品 网址： http://code.google.com/p/ncache/

ncache是一款基 于nginx的缓存系统，比Squid更快更高效。

01 02

03

04

05

06

07

08

09

10

以上图片来自PPT： http://ncache.googlecode.com/files/ncache.ppt

前言：dbcached 1.0 beta* 在 Memcached 1.2.4 的基础上编写而成，也是我的第一个开源C项目。编写 dbcached 的目的是为了最大限度的发挥 Memcached 内存缓存的优势，便捷地维护 Memcached 服务器节点哈希列表，智能地支持 Memcached 故障转移，同时保证数据的持久化存储。

dbcached

协议： New BSD License 作者：张宴 网址： http://code.google.com/p/dbcached/ dbcached 是什么?

● dbcached 是一款基于 Memcached 和 NMDB 的分布式 key-value 数据库内存缓存系统。

● dbcached = Memcached + 持久化存储管理器 + NMDB 客户端接口

● Memcached 是一款高性能的，分布式的内存对象缓存系统，用于在动态应用中减少数据库负载，提升访问速度。

● NMDB 是一款多协议网络数据库(dbm类)管理器，它由内存缓存和磁盘存储两部分构成，使用 QDBM 或 Berkeley DB 作为后端数据库。

● QDBM 是一个管理数据库的例程库，它参照 GDBM 为了下述三点而被开发：更高的处理速度，更小的数据库文件大小，和更简单的API。QDBM 读写速度比 Berkeley DB 要快，详细速度比较见《 Report of Benchmark Test》。 Memcached 和 dbcached 在功能上一样吗?

● 兼容：Memcached 能做的，dbcached 都能做。除此之外，dbcached 还将“Memcached、持久化存储管理器、NMDB 客户端接口”在一个程序中结合起来，对任何原有 Memcached 客户端来讲，dbcached 仍旧是个 Memcached 内存对象缓存系统，但是，它的数据可以持久存储到本机或其它服务器上的 QDBM 或 Berkeley DB 数据库中。

[文章作者：张宴 本文版本：v1.1 最后修改：2008.09.09 转载请注明原文链接： http://blog.s135.com/post/357/]

鉴于国内外还没有人撰写如何安装Memcache_engine的文章，于是，我根据自己的编译安装步骤，写下此文。

Memcache_engine是一个MySQL 5.1数据库的存储引擎，它能够让用户通过标准的SQL语句（SELECT/UPDATE/INSERTE/DELETE）访问Memcached（还支 持新浪的 Memcachedb、 dbcached）中 存放的数据。

限制： 1、Memcache表必须有主键。 2、只能使用主 键去查询，即只能使用SELECT … FROM … WHERE id = … 方式去查询。 3、不支持自增ID。

安装与使用： 1、编译安装memcache_engine的步骤：

cd /tmp

wget http://dev.mysql.com/get/Downloads/MySQL-5.1/mysql-5.1.26-rc.tar.gz/from/http://mirror.x10.com/mirror/mysql/

tar zxvf mysql-5.1.26-rc.tar.gz

#安装、配置MySQL的步骤省略，注意不要以静态方式编译安装。

wget http://download.tangent.org/libmemcached-0.23.tar.gz

tar zxvf libmemcached-0.23.tar.gz

cd libmemcached-0.23/

./configure –prefix=/usr/local/memcache_engine

make

make install

cd ../

wget http://xmlsoft.org/sources/libxml2-2.6.32.tar.gz

tar zxvf libxml2-2.6.32.tar.gz

cd libxml2-2.6.32/

./configure –prefix=/usr/local/memcache_engine

make

make install

cd ../

wget http://download.tangent.org/libxmlrow-0.2.tar.gz

tar zxvf libxmlrow-0.2.tar.gz

cd libxmlrow-0.2/

export PKG_CONFIG_PATH=/usr/local/memcache_engine/lib/pkgconfig/

./configure –prefix=/usr/local/memcache_engine

make

make install

[文章作者：张宴 本文版本：v1.0 最后修改：2009.01.21 转载请注明原文链接： http://blog.s135.com/post/394/]

key-value分布式存储系统查询速度快、存放数据量大、支持高并发，非常适合通过主键进行查询，但不能进行复杂的条件查询。如果辅以Real- Time Search Engine（实时搜索引擎）进行复杂条件检索、全文检索，就可以替代并发性能较低的MySQL等关系型数据库，达到高并发、高性能，节省几十倍服务器数 量的目的。以MemcacheDB、Tokyo Tyrant为代表的key-value分布式存储，在上万并发连接下，轻松地完成高速查询。而MySQL，在几百个并发连接下，就基本上崩溃了。

虽然key-value分布式存储具有极高的性能，但是只能做类似于MySQL的SELECT * FROM table WHERE id = 123;简单主键查询。

“搜索索引引擎＋key-value分布式存储”能够实现高并发的复杂条件查询、全文检索与数据显示。但是， 由于索引更新需要时间，目前还不能实现完全意义上的Real-Time Search（实时搜索），只能称之为Near Real-Time Search（准实时搜索）。“搜索索引引擎＋key-value分布式存储”除了做全文检索外，还可以在允许的索引延迟范围内，取代MySQL进行复杂 条件查询。

我的文章《 亿级数据的高并发通用搜索引擎架构设计》的程序编码已经完成，第一轮测试昨天已经结束，能够在高并发情况下实现 1分钟内索引更新，属于“Near Real-Time Search Engine（准实时搜索引擎）＋key-value分布式存储”应用。其中，索引引擎采用Sphinx，存储采用key-value分布式数据库 Tokyo Tyrant。

以下是常见的key-value分布式存储系统：

其中，以下几款值得关注：

1、 Hypertable：它是搜索引擎公司Zvents根据Google的9位研究人员在2006年发表的一篇论 文《 Bigtable： 结构化数据的分布存储系统》开发的一款开源分布式数据储存系统。Hypertable是按照1000节点比例设计，以 C++撰写，可架在 HDFS 和 KFS 上。尽管还在初期阶段，但已有不错的效能：写入 28M 列的资料，各节点写入速率可达7MB/s，读取速率可达 1M cells/s。Hypertable目前一直没有太多高负载和大存储的应用实例，但是最近，Hypertable项目得到了 百度 的赞助支持，相信其会有更好的发展。

2、 Tokyo Tyrant：它是日本最大的SNS社交网站 mixi.jp 开发的 Tokyo Cabinet key-value数据库网络接口。它拥有Memcached兼容协议，也可以通过HTTP协议进行数据交换。对任何原有Memcached客户端来讲， 可以将Tokyo Tyrant看成是一个Memcached，但是，它的数据是可以持久存储的。Tokyo Tyrant 具有故障转移、日志文件体积小、大数据量下表现出色等优势，详见： http://blog.s135.com/post/362.htm

Tokyo Cabinet 2009年1月18日发布的新版本（Version 1.4.0）已经实现 Table Database，将key-value数据库又扩展了一步，有了MySQL等关系型数据库的表和字段的概念，相信不久的将来，Tokyo Tyrant 也将支持这一功能。值得期待。

3、 CouchDB：它是Apache社区 基于 Erlang/OTP 构建的高性能、分布式容错非关系型数据库系统（NRDBMS）。它充分利用 Erlang 本身所提供的高并发、分布式容错基础平台，并且参考 Lotus Notes 数据库实现，采用简单的文档数据类型（document-oriented）。在其内部，文档数据均以 JSON 格式存储。对外，则通过基于 HTTP 的 REST 协议实现接口，可以用十几种语言进行自由操作。