日志是站点上最被浪费的一份记录。它一直在写,但多数人只在出问题那天打开一次,然后被几十兆的文字吓退。
先解决看的问题
不要直接翻原始文件。三个准备:
一,按天或按大小切成小文件,不然一次打开就占满内存;
二,只留必要天数的在线副本,更早的压缩存放——日志最大的代价不是看不见,是把磁盘写完;
三,先在样本上确认字段顺序:来源地址、时间、请求的路径、状态码、来源页、客户端标识。字段不对,后面所有统计都是错的。
五类异常
一,同一来源的高频请求。按来源地址统计单位时间内的请求条数,取最靠前的十个。看两件事:是不是已知的搜索引擎或订阅服务(这些是可以识别的),以及它们请求的路径是不是重复的少数几条。重复抓同一批地址的高频来源,往往是有人在采集内容,或者某个脚本在死循环。
二,集中的探测路径。大量请求不存在的路径,通常是固定的几个模式在试。这一类不代表被攻破,但代表有人在批量尝试。值得处理的方式是把这类探测的常见特征挡住,并且减少后台入口出现在可搜索的位置上。
三,错误状态码突增。按状态码分布看某一天有没有异常。两种完全不同的原因:一是自己改动了地址或删了页面,导致一批链接指向不存在的位置;二是服务器在处理上出问题。前者能从改动日期对上,后者要看响应时间。错误码突增最常见的原因是改版和清理,而不是攻击。
四,异常大的文件被反复下载。按大小排序看哪些条目传输量最大。视频、未压缩的图、备份文件被公开可访问,都在这张表上现形。这一项同时是性能问题和安全问题——如果备份或导出文件能通过地址访问,那就是必须立刻处理的事。
五,被反复尝试的后台入口。登录类地址在日志里出现的次数,比自己人访问的次数多得多时,说明有人在猜。要做的两件事是给登录加上尝试限制,以及确认账号是不是共用的——共用账号被猜中之后无法追溯。
每周十分钟的做法
不必建监控平台。每周固定跑三件事,都可以用简单命令完成:
一,取请求条数最多的来源地址十个,逐个判断是不是认识的;
二,取状态码不是正常的那批,按路径分组,看有没有成片的同一前缀——成片的是配置问题,零散的是失效链接;
三,取传输量最大的一批,确认没有不该公开的东西。
这三件做完,日志的绝大部分价值就拿到了。
三种把日志看没用的做法
- 装一个面板然后不看。面板只在你打开时才有价值,而且默认视图通常不是上面这三件事。
- 一直保留全部在线日志。半年后既查不动也占磁盘。按需要留三天到一个月,更早的压缩存档。
- 把日志与统计工具的数对比着找差异。两边的口径本来就不一样,差异是常态,看不出问题。
最后一句:日志最独特的价值是记录那些没有变成访问的行为——失败的尝试、被挡的请求、不存在的地址。这些在统计工具里完全不存在,而它们才是异常的主要来源。
- 上一篇:哪些图要写图片说明,怎么写
- 下一篇:子域名还是子目录:四种情况选哪个
请立即点击咨询我们或拨打咨询热线: 400-000-1828,我们会详细为你一一解答你心中的疑难。项目经理在线

