锐客网

  1. 首页 > 睿知 > it技术 > >

java爬虫脚本代码 java爬虫技术原理

IT技术线程

如何用Java写一个爬虫我主要使用Jsoup解析 ， 获取源码有时候使用Jsoup，比较复杂的时候比如需要换ip，改编码或者模拟登陆的时候使用HttpClient，以下是抓取开源中国新闻的一段代码，可以运行 。
package demo;
import java.io.IOException;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
/**
*
* 使用JSoup 解析网页，语法使用 JS ， css，Jquery 选择器语法 ， 方便易懂
*
* Jsoup教程网：jsoup开发指南,jsoup中文使用手册,jsoup中文文档
*
* @author geekfly
*
*/
public class JsoupDemo {
public static void main(String[] args) throws IOException {
String url = "新闻资讯 - 开源中国社区";
Document document = Jsoup.connect(url).userAgent("Mozilla/5.0 (Windows NT 6.1; rv:30.0) Gecko/20100101 Firefox/30.0").get();
Elements elements = document.select("#RecentNewsList .Listli");
for (Element element : elements) {
Elements titleElement = element.select("h2 a");
String title = titleElement.text();
String link = titleElement.attr("href").trim();
Elements dataElement = element.select(".date");
Elements autherElement = dataElement.select("a");
String auther = autherElement.text();
autherElement.remove();
String date = dataElement.text();
String detail = element.select(".detail").text();
System.out.println("链接：" + link);
System.out.println("标题：" + title);
System.out.println("作者：" + auther);
System.out.println("发布时间： " + date);
System.out.println("详细信息： " + detail);
System.out.println();
System.out.println();
}
System.out.println(elements.size());
}
}
谁有java网络爬虫的代码，经打包给我/*
最简单的爬虫
*/
import java.io.File;
import java.net.URL;
import java.net.URLConnection;
import java.nio.file.Files;
import java.nio.file.Paths;
import java.util.Scanner;
import java.util.UUID;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
public class DownMM {
public static void main(String[] args) throws Exception {
//out为输出的路径,注意要以\\结尾
String out = "D:\\JSP\\pic\\java\\";
try{
File f = new File(out);
if(! f.exists()) {
f.mkdirs();
}
}catch(Exception e){
System.out.println("no");
}
String url = "
Pattern reg = Pattern.compile("img src=https://www.04ip.com/"(.*?)\"");
for(int j=0, i=1; i=10; i++){
URL uu = new URL(url+i);
URLConnection conn = uu.openConnection();
conn.setRequestProperty("User-Agent", "Mozilla/5.0 (Windows NT 6.3; WOW64; Trident/7.0; rv:11.0) like Gecko");
Scanner sc = new Scanner(conn.getInputStream());
Matcher m = reg.matcher(sc.useDelimiter("\\A").next());
while(m.find()){
Files.copy(new URL(m.group(1)).openStream(), Paths.get(out + UUID.randomUUID() + ".jpg"));
System.out.println("已下载:"+j++);
}
}
}
}
Java网络爬虫怎么实现？网络爬虫是一个自动提取网页的程序java爬虫脚本代码 ， 它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成 。
传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列，直到满足系统的一定停止条件 。对于垂直搜索来说，聚焦爬虫 ， 即有针对性地爬取特定主题网页的爬虫，更为适合 。
以下是一个使用java实现的简单爬虫核心代码java爬虫脚本代码：
public void crawl() throws Throwable {
while (continueCrawling()) {

推荐阅读


上一篇：路由器怎么能连接wifi，路由器怎么能连接到另一个路由

下一篇：单人射击fpp游戏，单人射击游戏排行榜