[原创]用bandwidthd进行网络流量检测和分析

我的原创,分享给大家,觉得好的就顶一下啦,以便更多的人共同探索,发现问题,解决问题,总结问题.谢谢

[color=darkblue:58fc11ed3b]用bandwidthd进行网络流量检测和分析 
作者Kindgeorge 2005.1.10

在流量统计软件中有MRTG,NTOP,BANDWIDTHD等多种,
MRTG 只是显示某一网络接口的总量,
NTOP详细得来也很占系统资源.
但不知道大家用过bandwidthd没有,我就很喜欢它,因为它精简,直观.很容易配置.
好处:在任何一台电脑可以通过web界面用浏览器查看经过网关的各个ip流量,而且是分协议,分颜色显示,已经有直观的图象曲线.

在日常维护中, 网管人员最头痛的是内部网经常有人在大量传送文件而导致本来可怜的带宽变得更加狼狈.如果在网关上装上'bandwidthd' ,就可以追踪的是各个的 IP 的流量，而且可以用图象曲线显示各个ip的相应不同协议显示,还能分时段查看
例如包含HTTP, TCP, UDP, ICMP, VPN 以及 P2P 协议的各自流量,以ip为统计对象.
默认的颜色,TCP为绿色;HTTP为蓝色;FTP为浅蓝;P2P为粉红;UDP为棕褐色; ICMP为红色 . 打了补丁还可以增加你想检测端口.

例子:
http://bandwidthd.sourceforge.net/demo/
 
安装 bandwidthd 很简单. 
1.条件:要先安装有以下库：
如果没有请到相关网址下载:
libpcap 相关网址 http://www.tcpdump.org/
libpng相关网址(http://www.libpng.org/ ;
gd相关网址 http://www.boutell.com/gd/ ;
系统须有支持 System V IPC (基本上Linux都有) 

RedHat 9.0 自带的rpm包也可以,要装有下面的包:
gd-1.8.4-4
gd-devel-1.8.4-4
libpng-1.2.2-16
libpng-devel-1.2.2-16
libpcap-0.7.2-1
分别执行 rpm -ivh 软件包  进安装即可.

2.下载:
bandwidthd原始网址如下： 
http://bandwidthd.sourceforge.net/ 
里面有下载地址的连接,目前最新的版本是 bandwidthd 1.2.1b
下载bandwidthd-1.2.1b.tgz 放在/home/中(这个目录是我的习惯而已).
2.1.也下载一个补丁吧,这个补丁可以增加检测端口的,所以在这里还是先补了再安装.
在相关补丁(patchs)的连接里有这样一个补丁:
http://sourceforge.net/tracker/index.php?func=detail&aid=918875&group_id=89685&atid=591013 
下载bandwidthd-cp3-1.2.1b.patch.gz 也放在/home/中
这是为bandwidthd 1.2.1b所用的.
解压为bandwidthd-cp3-1.2.1b.patch

3. 安装
把bandwidthd-cp3-1.2.1b.patch放在bandwidthd-1.2.1b目录同一级.
3.1  tar -xvzf bandwidthd-1.2.1b.tgz
显示:
[root@mail bandwidthd]# tar zxvf bandwidthd-1.2.1b.tgz 
bandwidthd-1.2.1b/
bandwidthd-1.2.1b/etc/
bandwidthd-1.2.1b/etc/bandwidthd.conf
bandwidthd-1.2.1b/CHANGELOG
bandwidthd-1.2.1b/Makefile
bandwidthd-1.2.1b/Makefile.BSD
bandwidthd-1.2.1b/Makefile.Solaris
bandwidthd-1.2.1b/README
bandwidthd-1.2.1b/TODO
bandwidthd-1.2.1b/bandwidthd-0.4.kdevprj
bandwidthd-1.2.1b/bandwidthd.c
bandwidthd-1.2.1b/bandwidthd.h
bandwidthd-1.2.1b/conf.l
bandwidthd-1.2.1b/conf.y
bandwidthd-1.2.1b/graph.c
bandwidthd-1.2.1b/htdocs/
bandwidthd-1.2.1b/htdocs/index.html
bandwidthd-1.2.1b/htdocs/legend.gif
bandwidthd-1.2.1b/htdocs/logo.gif
bandwidthd-1.2.1b/htdocs/index2.html
bandwidthd-1.2.1b/htdocs/index3.html
bandwidthd-1.2.1b/htdocs/index4.html
bandwidthd-1.2.1b/conf.tab.c
bandwidthd-1.2.1b/conf.tab.h
bandwidthd-1.2.1b/conf.l.c
3.2  cd bandwidthd-1.2.1b
3.3 执行补丁:  patch -p1 < ../bandwidthd-cp3-1.2.1b.patch
显示:
[root@mail bandwidthd-1.2.1b]# patch -p1 < ../bandwidthd-cp3-1.2.1b.patch 
patching file bandwidthd-0.4.kdevprj
patching file bandwidthd.c
patching file bandwidthd.h
patching file conf.l
patching file conf.y
patching file etc/bandwidthd.conf
patching file etc/bandwidthd.conf.orig
patching file graph.c
patching file Makefile
patching file Makefile.BSD
patching file Makefile.Solaris
patching file tables.c
patching file tables.h

3.4 执行 make install 
显示:
[root@mail bandwidthd-1.2.1b]# make install
cc -I/usr/local/include -O3 -Wall   -c -o bandwidthd.o bandwidthd.c
cc -I/usr/local/include -O3 -Wall   -c -o graph.o graph.c
bison -d conf.y
cc -I/usr/local/include -O3 -Wall   -c -o conf.tab.o conf.tab.c
lex -s -i -t -I conf.l > conf.l.c
cc -O3  -c -o conf.l.o conf.l.c
cc -I/usr/local/include -O3 -Wall   -c -o tables.o tables.c
cc -I/usr/local/include -O3 -Wall bandwidthd.o graph.o conf.tab.o conf.l.o tables.o -o bandwidthd -L/usr/local/lib -lgd -lpng -lpcap  
if [ ! -d /usr/local/bandwidthd/etc ] ; then mkdir -p /usr/local/bandwidthd/etc ; fi
if [ ! -d /usr/local/bandwidthd/htdocs ] ; then mkdir -p /usr/local/bandwidthd/htdocs ; fi
cp bandwidthd /usr/local/bandwidthd
if [ ! -f /usr/local/bandwidthd/etc/bandwidthd.conf ] ; then cp etc/bandwidthd.conf /usr/local/bandwidthd/etc/ ; fi
cp htdocs/legend.gif /usr/local/bandwidthd/htdocs/
cp htdocs/logo.gif /usr/local/bandwidthd/htdocs/

3.5 至此即已安装完成，它会将 bandwidthd 安装 至 /usr/local/bandwidthd 下 

4. 设定 ,配置bandwidthd.conf 
bandwidthd 的设定也很简单，一个配置文件搞定,
一般修改一下网段和掩码,其他的用默认值即可,如果你熟悉英文,就看看其他选项.大概如下
编辑： 
/usr/local/bandwidthd/etc/bandwidthd.conf 
####################################################
# Bandwidthd.conf
# 
# Commented out options are here to provide
# documentation and represent defaults

# Subnets to collect statistics on
#subnet 10.0.0.0 255.0.0.0
#subnet 208.16.191.0 255.255.255.0
subnet 192.168.1.250 255.255.255.0  #以一网段为例
# Device to listen on
dev "eth0"  #(这是你要检测的网卡,可以调整为对应的网络连接设备)
把其中 subnet 的设定，以一网段为例： 
subnet 192.168.1.0 255.255.255.0 
###################################################
# Options that don't usually get changed
# An interval is 2.5 minutes, this is how many 
# intervals to skip before doing a graphing run
#skip_intervals 0  #默间隔认2.5 minutes 刷新

# Graph cutoff is how many k must be transfered by an
# ip before we bother to graph it
#graph_cutoff 1024  #默间1M 以上的流量才有图形

#Put interface in promiscuous mode to score to traffic
#that may not be routing through the host machine.
#promiscuous true   #让网卡在混杂模式中记录

#Log data to cdf file htdocs/log.cdf  在bandwidthd中生成log2.cdf  log.cdf格式数据记录
output_cdf true

#Read back the cdf file on startup 在启动bandwidth时重新读取cdf的数据
recover_cdf true

#Libpcap format filter string used to control what bandwidthd see's
#Please always include "ip" in the string to avoid strange problems
#以ip为过滤对象
filter "ip"

#Draw Graphs 
graph true

#以下是我打了补丁bandwidthd-cp3-1.2.1b.patch才有的,
# List of controled protocols
# format: item "item_name" rgb_color protocol ports 这是记录的格式:端口名字,RGB颜色,端口号
# obs.: The yellow (0xffff00) color is predefined to the "TOTAL" item 黄色预设为TOTAL的颜色
item "TCP"  0x00ff00 tcp  all
item "HTTP" 0x0000ff tcp  80 443
item "FTP"  0xc0c0ff tcp  20 21
item "P2P"  0xff00ff tcp  1044 1045 1214 4661 4661 4665 5190 5500 5501 5502 5503 6346 6347 6666 6667 7788 8888 8889 28864 288
65
item "UDP"  0x800000 udp  all
item "ICMP" 0xff0000 icmp all
item "SMTP"  0xFF8C00 tcp  25  
item "POP3"  0x00FFFF tcp  110

其中SMTP和POP3是我为了更详细的数据流而增加上去的.你也可以增加你想检测的端口,这就是为何我推荐打这个补丁再安装的原因.
存盘之后，便可执行。 
5. 运行 ,要先转到安装目录才能执行
cd /usr/local/bandwidthd 
./bandwidthd 
6. 显示： 
在web 主目录下做个软连接,执行 
ln -s /usr/local/bandwidthd/htdocs bandwidthd 
接着您便可用 http://你的主机/bandwidthd 

这样就可以在浏览器里面检测你需要的流量了

另外,更多配置方法:
1.把设定档中的 dev 增加更多的dev,或设成 any 可以监控更多设备 
2.如果认为TOP20太少了, 
就在还没MAKE时候先改graph.c 
graph.c中查找 
for (Counter=0; Counter < 21 && Counter < NumIps; Counter++) 
把21改成101 
就变成TOP100 
然后查找TOP20改为字符串TOP100 
然后存盘,再make install 即可.

此方法我已经实践通过,特意写成文档,以分享并感谢提供bandwidthd的开发者,如果觉得有更好的配置和使用方法,请互相交流. 如果有误请赐教.我的yahoo ID kindgeorge#yahoo.com 
Msn : kindgeorge # hotmail.com
本bandwidthd进行网络流量检测和分析如果结合tc+iptables进行流量控制,是一个绝妙的组合. 这样你就可以随时检测和控制网内所有机器及端口的流量了.
关于tc+iptables可以参考 http://bbs.chinaunix.net/forum/viewtopic.php?t=482589

更多的bandwidthd可以参考: http://free.tnc.edu.tw/modules/news/article.php?storyid=710
[/color:58fc11ed3b]

xuhehao 回复于：2005-01-11 09:01:55

精华，收藏了 :shock:

KindGeorge 回复于：2005-01-11 18:27:24

谢谢

零二年的夏天 回复于：2005-01-11 22:44:47

感谢分享！ :D

config t 回复于：2005-01-12 13:17:25

局域网用还不错,大的就不行了

好好先生 回复于：2005-01-12 13:23:40

感觉它的数据不是很准确,它装在哪台机器上哪台机器的流量明显比其它机器大很多,实际上并没有这么大的流量……

xuhehao 回复于：2005-01-12 13:35:38

[quote:2ad5b12d8f="好好先生"]感觉它的数据不是很准确,它装在哪台机器上哪台机器的流量明显比其它机器大很多,实际上并没有这么大的流量……[/quote:2ad5b12d8f] 统计流量据说AWStats不错，是基于apache的日志分析软件 :shock:

好好先生 回复于：2005-01-12 13:40:15

我现在用mrtg，感觉还可以吧

myld 回复于：2005-01-12 14:44:14

为什么我显示出来的跟没打过补丁一个样？？

platinum 回复于：2005-01-12 20:42:47

bandwidthd 和 mrtg 哪个占用CPU更少一些？ 因为我这两天做交换机的端口监测，共有12个交换机，每台48个点 我写了12个xxx.cfg，用crontab去执行，结果负载到了13.X，但是LINUX还能跑，不过5分钟之内是完不了了，于是把探测周期调成了7分钟

零二年的夏天 回复于：2005-01-12 20:50:43

楼主： 你的 libpng-1.2.2-16  libpng-devel-1.2.2-16  是否版本高了？

skylove 回复于：2005-01-12 21:28:58

这软件的做法是把网卡设置成混杂,然后利用tcpdump那样的方式来取数据,之后gd出图案来,所以除非正好你是在网关上用它,否则在有交换机的环境中用的话,根本得到的结果是偏差相当大的... 这软件我也在用,不过是在网关上,看个大概比例而已. mrtg是走snmp协议,所以统计数据上会真实一些.

xuhehao 回复于：2005-01-13 08:27:44

[quote:2644bae8a1="零二年的夏天"]楼主： 你的 libpng-1.2.2-16  libpng-devel-1.2.2-16  是否版本高了？[/quote:2644bae8a1] 我的libpng&libpng-devel版本是1.2.2.25 :roll:

platinum 回复于：2005-01-13 09:04:01

我的是libpng-1.2.5.tar.gz，源码编译安装，你们的都低了…… 另外，我同意skylove的理论，mrtg更准一些，而且估计mrtg也比bandwidthd占用CPU更少一些，bandwidthd太花哨了

KindGeorge 回复于：2005-01-13 09:12:51

我的redhat 9.0自带的版本: libpng-1.2.2-16  libpng-devel-1.2.2-16 另外,我装的另外一台redhat7.3 自带的版本是:  libpng-devel-1.0.12-2 libpng-1.0.12-2 经过长期观察,非常稳定

eagerlinuxer 回复于：2005-01-13 09:52:52

[quote:632fa89f7f="platinum"]bandwidthd 和 mrtg 哪个占用CPU更少一些？ 因为我这两天做交换机的端口监测，共有12个交换机，每台48个点 我写了12个xxx.cfg，用crontab去执行，结果负载到了13.X，但是LINUX还能跑，不过5分钟之内是完不了了，于..........[/quote:632fa89f7f] 那试试这个怎么样？这样用mrtg,系统负载会小很多。 http://bbs.chinaunix.net/forum/viewtopic.php?t=459659&highlight=eagerlinuxer

KindGeorge 回复于：2005-01-13 11:46:49

经过反复仔细的传送测试,结果如下表: 实际传送文件大小   显示结果   百分比 smtp  10.4k     13.1k      79.39% 270.1k    287.7k     93.89% 2.6M      2.7M       96.30% pop      12k       14.7k      81.64% 2.6M      3M         86.67% ftp 9.29M     9.4M       98.83% 78.22M    79.3M      98.74% 总所周知,由于tcp进行传送时,每次发送一个数据包都 都会发送一个ack包来确认,而每个ack包都需要占用一 个MSS中的大小,传送的文件越大,确认的ack包就越多,所以ack也占用些流量. 所以应该是显示出来的结果比实际传送的文件尺寸大一点.这是很容易理解的. 总的来说,这样的结果是十分满意的.

xxlmmf 回复于：2005-01-13 11:51:51

公司现在网关用的是SWITCH，我想把这个软件做到上面，怎么做呀？我现在只是在一台单机上用的，好像没有效果呀、?另外，单机上，显示的的多少 多少 的值是什么值呀>？

xuhehao 回复于：2005-01-13 12:13:58

[quote:3ba98be57f="xxlmmf"]公司现在网关用的是SWITCH，我想把这个软件做到上面，怎么做呀？我现在只是在一台单机上用的，好像没有效果呀、?另外，单机上，显示的的多少 多少 的值是什么值呀>？[/quote:3ba98be57f] 网关最起码是个路由器，怎么会是switch？ :shock:

platinum 回复于：2005-01-13 12:23:38

[quote:2651256008="eagerlinuxer"] 那试试这个怎么样？这样用mrtg,系统负载会小很多。 http://bbs.chinaunix.net/forum/viewtopic.php?t=459659&highlight=eagerlinuxer[/quote:2651256008] 哦，明白了，就是统计数据实时进行，绘图每小时一次 这样做可以有效降低负载，但是流量图就不能实时了 我现在还用的MRTG，但是不是5分钟统计一次，而是10分钟抓一次包

eagerlinuxer 回复于：2005-01-13 14:04:42

[quote:80fb5ff344="platinum"] 哦，明白了，就是统计数据实时进行，绘图每小时一次 这样做可以有效降低负载，但是流量图就不能实时了 我现在还用的MRTG，但是不是5分钟统计一次，而是10分钟抓一次包[/quote:80fb5ff344] 可以是实时的，我的做法是，在点击网页的链接时，运行我写的绘图用的perl脚本。如果只是十几个图的话，是很快的。我想你也不会把所有的图都显示在一个网页上吧，只让绘图程序更新网页上所需要的图就行了。这样就是要查看的时候才更新图片，都不用一小时更新一次。

platinum 回复于：2005-01-13 16:15:57

那每次浏览网页时都要根据数据生成正在访问的图片，是否速度会很慢？

wilsonyu 回复于：2005-01-13 16:22:02

强.....

eagerlinuxer 回复于：2005-01-14 10:03:54

[quote:d03a78d69d="platinum"]那每次浏览网页时都要根据数据生成正在访问的图片，是否速度会很慢？[/quote:d03a78d69d] 如果是十来个图片的话，是很快的，不会超过5秒。 如果你要显示的图片较多的话，我就见意你用rrd了，它的另一个好处是可以把多个数据画在一个图内，比如把12个switch的port流量画在一个图内，那是不是好很多了 ：） 不过，用rrd 的话，抓数据的脚本及画图的脚本都得自己写。

KindGeorge 回复于：2005-01-14 10:50:05

在此回应一下大家讨论用mrtg好还是bandwidthd好的问题,个人看法有: 1.mrtg 统计一个设备或网络卡整体流量是可以比较方便的. 2.要了解 MRTG 的运作，就必须了解一下 SNMP (Simple Network Management Protocol) 这个协议，因为 MRTG 是透过 SNMP 协议来监控流量的。所以，所有的 MRTG 所侦测的装置都必须符合 SNMP 的协议。那什么是 SNMP 呢？简单的说，就是一种可以提供装置（主机设备）的各类信息的一种协议，诸如：网络流量、主机名称、CPU用量等等的信息都可以藉由此一协议来提供。不过，由于不同厂牌的装置可能会有无法兼容的情况，因而后来又有所谓 MIB (Management Information Base) 的协议产生。不论如何， MRTG 就是藉由 SNMP 这个协议来监测与取得相关的信息以制作图表的！ 3.在使用bandwidthd之前,我就用mrtg,但用mrtg很难方便统计内部网内所有ip及分协议的单独的流量. 4.bandwidthd的好处就是可以方便的知道内部网单独一个ip流量,并且可以知道该ip各个协议产生的流量,比如,http,ftp,smtp,pop,icmp.等等,这样你就很容易观测到各台电脑的究竟用什么协议传送多少流量了,找出问题所在就更方便. 5.负载方面,我用一台586电脑64Mram做网关内接80多台频繁上网的电脑也跑得很爽. 最后,我想知道哪位有用mrtg来统计内部网所有ip并且分ip协议做监测流量的例子? 大家研究一下.谢谢

config t 回复于：2005-01-18 08:31:18

[quote:017b5704f5="KindGeorge"]在此回应一下大家讨论用mrtg好还是bandwidthd好的问题,个人看法有: 1.mrtg 统计一个设备或网络卡整体流量是可以比较方便的. 2.要了解 MRTG 的运作，就必须了解一下 SNMP (Simple Network Management Protocol) 这?.........[/quote:017b5704f5] bandwindthd与mrtg是两种不同的使用思维,不能说谁好不好用,只能说怎么用 如果对数据流量要求细致分析,当然用bandwinthd 好,像小企业或者统计服务器三层以上流量的用得比较好.不过如果骨干网或者isp大部分只好用mrtg.因为它的需要是要看整体运作情况.是网络质量

急不通 回复于：2005-01-18 15:10:16

要了解 MRTG 的运作，就必须了解一下 SNMP…… ==================== 简单的说，snmp它本身并不做流量监测工作，而是网络设备上各种管理监控数据输出（以及同外部管理软件交互）的通讯协议，能否用mrtg来统计内部网所有ip并且分ip协议做监测流量取决于snmp agent宿主设备是否支持 mrtg和bandwidth的区别也很简单：前者是由网络设备（route、switch）来采集数据，mrtg通过snmp协议从设备上查询取回监控数据而已；而bandwidth是由bandwidth主机数据采集，由于是以抓包为基础进行工作，所以在hub上可以正确采集到数据，而在一般交换机上则只能采集到本机流量和广播流量，除非交换机支持并正确配置了port mirro

studyboy 回复于：2005-01-18 15:22:53

[quote:de1ca4a226="platinum"]bandwidthd 和 mrtg 哪个占用CPU更少一些？ 因为我这两天做交换机的端口监测，共有12个交换机，每台48个点 我写了12个xxx.cfg，用crontab去执行，结果负载到了13.X，但是LINUX还能跑，不过5分钟之内是完不了了，于..........[/quote:de1ca4a226] 呵呵 用cacti吧，有cactid配合，我用来跑几百台设备至需要几秒

kwingart 回复于：2005-01-18 15:40:49

[root@gateway bandwidthd-1.2.1b]# make install cc -I/usr/local/include -O3 -Wall   -c -o bandwidthd.o bandwidthd.c cc -I/usr/local/include -O3 -Wall   -c -o graph.o graph.c bison -d conf.y make: bison: Command not found make: *** [conf.tab.c] Error 127

xiaojao 回复于：2005-01-21 09:27:43

我在rh73上安装可以成功，但是运行几个小时后就自动退出了？请问什么原因呢

congcn 回复于：2005-01-22 14:01:04

KindGeorge  你好！ 那流量总数多久才清除一次呢？

KindGeorge 回复于：2005-01-22 19:00:43

不会清除吧,你看看每day ,week,......会分不同时间统计的

dlcat 回复于：2005-01-22 21:38:56

[quote:b21cff7c29="xiaojao"]我在rh73上安装可以成功，但是运行几个小时后就自动退出了？请问什么原因呢[/quote:b21cff7c29] 是否采集核心上的数据,sniffer形式的监控,不管是那种,因为数据量处理不过来而死掉是经常的,所以这里经常会有人说我在用的时候开一下这类软件,平时不用.

congcn 回复于：2005-01-24 12:40:01

能否做到采集交换机某一个端口的数据呢？ 是不是运行稳定呢？

KindGeorge 回复于：2005-01-25 17:59:14

[quote:d2daf031bf="dlcat"] 是否采集核心上的数据,sniffer形式的监控,不管是那种,因为数据量处理不过来而死掉是经常的,所以这里经常会有人说我在用的时候开一下这类软件,平时不用.[/quote:d2daf031bf] 我也曾经遇到这种情况,有时候数据不再更新的情况,看了很多资料还没解开的迷,怀疑是数据量太大,系统应付不了,可以考虑增加内存等试一下. 也希望有此经验的朋友分享一下.

congcn 回复于：2005-01-25 18:28:35

这个软件占用内存多大， 我想装到代理服务器里可以统计一下用户用网络的情况？

congcn 回复于：2005-01-26 13:12:53

[root@proserver bandwidthd-1.2.1b]# make install cc -I/usr/local/include -O3 -Wall   -c -o bandwidthd.o bandwidthd.c In file included from bandwidthd.c:10: bandwidthd.h:11:18: pcap.h: No such file or directory make: *** [bandwidthd.o] Error 1 出现以上的错误，如何解决？

KindGeorge 回复于：2005-01-28 18:49:44

[quote:e50babe759="congcn"]hd.o] Error 1 出现以上的错误，如何解决？[/quote:e50babe759] 1.条件:要先安装有以下库：  如果没有请到相关网址下载:  libpcap 相关网址 http://www.tcpdump.org/ ; libpng相关网址(http://www.libpng.org/ ; gd相关网址 http://www.boutell.com/gd/ ; 系统须有支持 System V IPC (基本上Linux都有)  RedHat 9.0 自带的rpm包也可以,要装有下面的包:  gd-1.8.4-4  gd-devel-1.8.4-4  libpng-1.2.2-16  libpng-devel-1.2.2-16  libpcap-0.7.2-1  分别执行 rpm -ivh 软件包 进安装即可.

daijing.wu 回复于：2005-02-04 10:47:47

:em02:

zhubaotao 回复于：2005-04-14 11:31:48

我想用他来监视一台路由器,怎么监视呢?谢谢!!

原文转自：http://www.ltesting.net