Cdn间隙性故障总结
2008/5/6早上7:09分,使用cdn加速网站的用户来电话反应网站不能访问,后来没几分钟又正常了.通过查看流量,发现在这个时间点流量急剧下降.
登录天津的机器61.X.X.9, 查系统日志/var/log/messages及 squid缓存日志/usr/local/squid/var/logs/cache,皆发现 “May 6 09:07:06 ccryzcnc01 squid[31527]: WARNING: All dnsserver processes are busy. May 6 09:07:06 ccryzcnc01 squid[31527]: WARNING: up to 20 pending requests queued , May 6 09:07:09 ccryzcnc01 squid[31527]: dnsSubmit: queue overload, rejecting images.28.com ”这样的问题.再往上查这个服务器的父节点,于是登录squid配置文件定义的父cache(济南),未发现异常.
返回天津的机器61.X.X.9,查看其使用的dns服务器是那个(/etc/resolv.conf文件或者用nslookup [url]www.163.com[/url]得出首选dns服务器的ip) ,然后登录dns服务器124.X.X.46.查看系统日志 /var/log/messages,无异常.进bind目录看配置文件 named.conf,知道其日志文件的位置/var/named/chroot/var/named/named.log,检查日志文件在5月6日9点以后的访问情况,发现在9:07这一分钟内的dns 查询请求特别多,统计一下: grep "May 06 09:07" named.logs |wc –l 得出这60秒内的访问请求达26981,平均每秒400多次.这些请求多数是ldap用户发来的,再过滤一下,看是哪些机器发得最多:
grep "May 06 09:07" named.logs | grep ldap | awk '{print $6}'| awk -F# '{print $1}'| sort -r| uniq -c | sort -nr| head 输出结果:
|
请求次数
|
ip
|
备注
|
|
114
|
125.X.x.43
|
|
|
111
|
61.X.X.13
|
|
|
109
|
123.X.X.163
|
|
|
107
|
58.X.X.26
|
|
|
105
|
59.X.X.8
|
|
|
104
|
218.X.X.76
|
|
|
103
|
59.X.X.7
|
|
|
103
|
58.X.X.40
|
|
|
99
|
121.X.X.163
|
|
|
98
|
121.X.X.94
|
|
本文转自sery51CTO博客，原文链接： http://blog.51cto.com/sery/75399，如需转载请自行联系原作者
