简单的“抓网页”代码_Java

简单的“抓网页”代码

发表于：2007-07-04来源：作者：点击数：标签：

一、前言从一个网站上，看到一个“抓网页”的代码，觉得有点意思，但是没有提供源代码，于是，自己想写一个，其实代码比较简单的。二、代码 %@ page contentType="text/html;charset=gb2312"% % String sCurrentLine; String sTotalString; sCurrentLine="

一、前言

　　从一个网站上，看到一个“抓网页”的代码，觉得有点意思，但是没有提供源代码，于是，自己想写一个，其实代码比较简单的。

二、代码

<%@ page contentType="text/html;charset=gb2312"%>

<%

String sCurrentLine;

String sTotalString;

sCurrentLine="";

sTotalString="";

java.io.InputStream l_urlStream;

java.net.URL l_url = new java.net.URL("http://www.163.net/");

java.net.HttpURLConnection l_connection = (java.net.HttpURLConnection) l_url.openConnection();

l_connection.connect();

l_urlStream = l_connection.getInputStream();

java.io.BufferedReader l_reader = new java.io.BufferedReader(new java.io.InputStreamReader(l_urlStream));

while ((sCurrentLine = l_reader.readLine()) != null)

{

sTotalString+=sCurrentLine;

}

out.println(sTotalString);

%>

三、后记

　　虽然代码比较简单，但是，我认为根据这个，可以实现“网络爬虫”的功能，比如从页面找href连接，然后再得到那个连接，然后再“抓”，不停止地（当然可以限定层数），这样，可以实现“网页搜索”功能。

原文转自：http://www.ltesting.net

软件测试 > 测试开发技术 > 软件测试开发语言 > Java >