锐客网

  1. 首页 > 睿知 > it技术 > >

用java爬取网页源代码 java爬虫爬取网页内容( 二 )

IT技术网页


Java中支持的爬虫框架有很多 ， 比如WebMagic、Spider、Jsoup等 。
Jsoup拥有十分方便的api来处理html文档，比如参考了DOM对象的文档遍历方法，参考了CSS选择器的用法等等，因此我们可以使用Jsoup快速地掌握爬取页面数据的技巧 。
2、快速开始
1)分析HTML页面，明确哪些数据是需要抓取的
2)使用HttpClient读取HTML页面
HttpClient是一个处理Http协议数据的工具 ， 使用它可以将HTML页面作为输入流读进java程序中.
3)使用Jsoup解析html字符串
通过引入Jsoup工具 ， 直接调用parse方法来解析一个描述html页面内容的字符串来获得一个Document对象 。该Document对象以操作DOM树的方式来获得html页面上指定的内容 。
3、保存爬取的页面数据
1)保存普通数据到数据库中
将爬取的数据封装进实体Bean中，并存到数据库内 。
2)保存图片到服务器上
直接通过下载图片的方式将图片保存到服务器本地 。
Java访问指定URL并获取网页源代码1．编写useSourceViewer 类的基本框架，该类仅包括无返回值的main ()方法，该方法从参数中获取URL，通过输入缓冲和输出缓冲将该URL 原码输出 。
2．编写useSourceViewer 类，代码如下：
import java.net.*;
import java.io.*;
public class useSourceViewer
{
public static void main (String[] args)
{
if (args.length0)
{
try
{
//读入URL
URL u = new URL(args[0]);
InputStream in = u.openStream( );
// 为增加性能存储输入流
in = new BufferedInputStream(in);
// 将输入流连接到阅读器
Reader r = new InputStreamReader(in);
int c;
while ((c = r.read( )) != -1)
{
System.out.print((char) c);
}
Object o = u.getContent( );
System.out.println("I got a " + o.getClass().getName( ));
}
catch (MalformedURLException e)
{
System.err.println(args[0] + " is not a parseable URL");
}
catch (IOException e)
{
System.err.println(e);
}
} // end if
} // end main
} // end SourceViewer}
java中如何根据一个网址获得该网页的源代码 ， 急求import java.io.BufferedReader;
import java.io.InputStreamReader;
import java.net.HttpURLConnection;
import java.net.URL;
public class HttpTest {
String urlString;
public static void main(String[] args) throws Exception {
HttpTest client = new HttpTest(网址);
client.run();
}
public HttpTest(String urlString) {
this.urlString = urlString;
}
public void run() throws Exception {
//生成一个URL对象
URL url = new URL(urlString);
//打开URL
HttpURLConnection urlConnection = (HttpURLConnection) url.openConnection();
//得到输入流，即获得了网页的内容
BufferedReader reader = new BufferedReader(new InputStreamReader(urlConnection
.getInputStream()));
String line;
// 读取输入流的数据 ， 并显示
while ((line = reader.readLine()) != null){
System.out.println(line);
}
}
}
怎么用java代码爬取网页中视频的源地址，不第一种方式用java爬取网页源代码：1、用HttpClient模拟请求html 获取html源码；2、用jsoup方法抓取解析网页数据
第二种方式：1、用HttpClient模拟请求html 获取html源码；2、用正则抓取解析网页数据
有很多种方式能够获取html源码用java爬取网页源代码，源码获取到用java爬取网页源代码了数据解析就很容易了 。你可以百度一下有很多
java中如何根据一个网址获得该网页的源代码？package test;
import java.io.BufferedReader;

推荐阅读


上一篇：jqueryios开发，jquery网站开发

下一篇：耐玩的剧情射击游戏有哪些，耐玩的剧情射击游戏有哪些手机