四两拨千斤：剖析安全管理中日志的作用

　　 

　　　日志文件一直都是网络管理人员在检查故障、排除网络错误时，查找“病源”的有利工具。

　　而Web日志记录由于数量大，分析难度高，令人忘而却步。

　　其实巧妙剖析Web日志记录，能够让网络管理人员领会到网络管理的乐趣所在。

　　你了解公司站点的访问情况吗？如果仅仅是简单地统计一下访问量，说明你还未真正利用Web站点为企业服务。事实上，对站点访问情况进行详细分析，尤其是Web日志分析，能帮助企业更好地作出商务决策。简单地，对制造商而言，可决定某类产品是否有继续生产的必要；或对站点进行针对性改造完善，使之更具吸引力，并让客户和企业内部用户能实现高效访问。为达到此目的，可手工进行Web日志分析，或采用商用Web分析工具进行自动分析，还可采用外包服务方式。

　　对网络主管来说，大量的Web日志记录信息难于管理，对日志数据的分析“破解”更是一项浩大的工程；面对堆积如山的日志数据，有的主管甚至无从下手。甚至在使用Web日志分析软件的用户都有此感觉。一般的Web服务器都配置有站点访问日志记录，且大多数在采用商业软件来分析日志文件数据，数据分析周期（每周或每天）进行，但很少有企业在真正基于分析工具得出的结论基础上进行站点改进。那么，针对站点访问的分析活动意义倒底何在呢？

　　Web分析要实现的功能

　　Web日志文件事实上是一些分离的“碎片”，日志分析软件的功能就是将这些碎片集合起来，从中剖析出有用信息，提高网站访问效率，进而为商务决策提供支撑服务。

　　例如，一个中等规模的电子产品批发商对其Web站点通信进行了数月分析，发现用户对安全产品兴趣很浓，如智能卡。于是公司针对其提供的安全产品发起了一场营销活动，两月后公司收益明显提升，以前销售一直不好的一些分公司业绩也开始名列前茅。

　　简单的日志分析方法是，运用te.net命令登录到Web服务器实时查看日志文件更新情况，这种方法查看的数据量大，但只能进行最基本的分析。通过观察抵达服务器的通信，能确定用户是否遇到了访问错误，是内部Web站点访问还是欲进入搜索引擎。如果用户指向搜索引擎，则可查看搜索类型以及关键字，以帮助企业建立相关的内容管理方案，进而制定相应的行销战略。

　　但这里有个问题，用户不可能一直守在机器旁查看日志信息更新情况。因而对通信进行深层分析的最好办法是采用专门的日志分析软件。

　　几乎所有大中型企业都构建有动态Web站点，能基于数据库生成各类站点信息，这就给用户访问行为分析带来了难度。因为所有站点URL都是类似的，站点分析工具有可能误将它们视为同一访问，如URL：www.mydomain.com/products.aspx?productid=20与www.mydomain.com/products.aspx?productid=21，大多数日志分析软件将它们视为同一页面，而忽略了附加参数，即要访问的产品编号。因而Web日志分析软件应具备参数识别能力，能依据完整的访问字符串分析站点访问行为。

　　例如，NetIQ的WebTrends分析工具在其高级管理功能选项中提供“URL参数分析”功能，能对特定页面内容进行分析。在用户提交页面名（products.aspx）和参数名（productid）后，工具能基于参数分析报告得出详细分析结果，如对特定产品页面的浏览访问次数。管理人员可据此获取更多有用信息，如站点中被访问最多或最少的产品，并运用转换文件将信息直观表达出来。

　　路径与参数分析同等重要

　　WebTrends并不是将参数作为整个路径的一部分来分析看待，参数拾取分析仅在参数分析报告形成中发生。但这种参数分析方法在登录、退出或路径分析报告中相当有用。

　　通过对用户或客户端访问Web站点的路径进行分析会发现，访问者不一定是从主页进入站点，在搜寻到所需信息后也不一定从主页退出。事实上，用户有可能经常绕过你认为重要的站点信息，包括主页中的核心内容。这就需要对站点内容进行调整，真正迎合用户的“口味”。例如，可采用启发式的即问即答服务方式，试探用户的访问取向。

　　大多数日志分析软件都能提供一定类型的路径分析报告。有一种“5%规则”：如果对Web站点特定页面（如某产品页面）的访问量超过了整个站点访问量的5%，则应将该页面视为与主页同等的访问优先级；据此可将其设定为趣味性动态内容、广告或专门链接。5%规则同样可运用于退出页面，以此保证用户访问Web站点时间更长，吸引他们购买更多产品或搜寻更多信息。

　　事实是，大多数访问者在站点呆的时间也就几分钟，而且很少购买产品。需要对退出页面进行分析，以决定访问者从哪个页面离开Web站点。如果不是从预想的目标页面退出，如仅列出产品类别而没有任何具体产品的页面，这时可通过改变站点架构或页面内容重新定位用户访问。另外就是，导致访问者退出页面的原因是多方面的，有可能是退出页面的内容过长或过短，或出现令访问者厌烦的内容，或出现链接中断，抑或是图片加载时间过长，因而要确定访问者退出特定页面的真正原因是件费时费力的事。一种简单方法是，通过变更内容来查看用户的访问行为。

　　WebTrends将参数分析与路径分析分离对待，因而要基于登录和退出页面得到有用结果，需要在报告中查看完整的URL（包括后续质询串）。在路径分析中（包括登录和退出页面报告），需要更为详尽的信息帮助进行管理。可以在每次出现订购或取消某产品时创建客户代码，并写入数据库，然后编写一程序来详尽报告数据库中的哪些产品经常被购买或更换。要实现这类复杂的日志分析，Datanautics提供的G2平台比较在行，它具备数据挖掘功能，能将日志文件数据与数据库信息进行关联。

　　错误分析

　　当用户浏览站点时，往往会发生这样或那样的错误提示，通常是“错误404文件未找到”。

　　导致404错误有三种可能：一是用户本身不在想要的Web站点主页面（如在搜索引擎结果页面），而点击了本不存在的页面链接；二是同一Web站点内链接错误；第三是用户输入URL错误。

　　很明显，对Web站点内或指向外部站点的链接进行有效管理相当重要。通常的日志分析软件不但能显示引发404错误的原因，而且能告诉主管访问者在试图进入哪个页面以及访问哪个文件（内部或外部的）时发生错误。

　　引发外部404错误的原因通常是Web站点进行了重新设计，如更新了Web架构，增加了访问地址录或改变了文件命名方式。可能有数千个外部站点链接到同一页面而该页面早已不存在，这跟存储变更一样，不一定通知客户存储位置已改变到何处。没有任何办法来自动管理外部404错误，但可设法减少或消除这类链接指向。例如，运用日志分析软件，用户能透过404错误发现来自外部Web站点的链接，并给这类Web站点主管发去电子邮件，告知链接更新信息。大多数情况下，链接会得到即时修复，客户能实现正常访问；更为重要的是，已链接到本站点的用户能不中断地从一个Web站点跳到另一站点。

原文转自：http://www.ltesting.net