百度360必应搜狗淘宝本站头条
分布式事务框架shiro框架java日志框架框架图cad怎么画框架
当前位置：网站首页 > 技术文章 > 正文

使用JSoup实现简单的爬虫技术（爬虫js破解实战）

ccwgpt 2024-10-04 13:58 28 浏览 0 评论

1.Jsoup简述

Java中支持的爬虫框架有很多，比如WebMagic、Spider、Jsoup等。今天我们使用Jsoup来实现一个简单的爬虫程序。

?Jsoup拥有十分方便的api来处理html文档，比如参考了DOM对象的文档遍历方法，参考了CSS选择器的用法等等，因此我们可以使用Jsoup快速地掌握爬取页面数据的技巧。

2.快速开始

1）编写HTML页面

<html>

<head>

<meta http-equiv="Content-Type" content="text/html; charset=utf-8">

<title>Insert title here</title>

</head>

<body>

<table>

<thead>

<tr>

<td>商品名字</td>

<td>商品图片</td>

</tr>

</thead>

<tbody>

<tr>

<td class="pname">product1</td>

<td class="pimg"><img src="img/1.bmp"/></td>

</tr>

<tr>

<td class="pname">product2</td>

<td class="pimg"><img src="img/2.bmp"/></td>

</tr>

</tbody>

</table>

</body>

</html>

页面中表格的商品信息是我们要爬取的数据。其中属性pname类的商品名称，以及属于pimg类的商品图片。

2）使用HttpClient读取HTML页面

HttpClient是一个处理Http协议数据的工具，使用它可以将HTML页面作为输入流读进java程序中。可以从http://hc.apache.org/下载HttpClient的jar包。

//获得HttpClient对象

HttpClient httpClient = new DefaultHttpClient();

//定义要爬取数据的目标页面url

String url = "http://localhost:8080/MyShop/shop.jsp";

//使用HttpGet对象绑定url

HttpGet httpGet = new HttpGet(url);

//访问url获得响应消息封装在HttpResponse对象中

HttpResponse httpResponse = httpClient.execute(httpGet);

//entity中是响应消息的实体

HttpEntity entity = httpResponse.getEntity();

//使用EntityUtils的toString获得url指定页面的字符串内容，即html本身

String html = EntityUtils.toString(entity);

System.out.println(html);

3）使用Jsoup解析html字符串

通过引入Jsoup工具，直接调用parse方法来解析一个描述html页面内容的字符串来获得一个Document对象。该Document对象以操作DOM树的方式来获得html页面上指定的内容。相关API可以参考Jsoup官方文档：https://jsoup.org/cookbook/

下面我们使用Jsoup来获取上述html中指定的商品名称和价格的信息。

//JSOUP解析页面数据，获得Document对象

Document doc = Jsoup.parse(html);

//在Document对象的select方法中使用选择器来获得指定的元素，该选择器与CSS及Jquery的选择器相同。

Elements eles = doc.select("table tbody tr .pname");

Element ele = eles.get(0);

//获得指定元素的文本内容

System.out.println(ele.text());

Elements ele_imgs = doc.select("table tbody img");

//获得指定元素的src属性的值

String img_src = ele_imgs.get(0).attr("src");

System.out.println(img_src);

至此，我们已经实现使用HttpClient+Jsoup爬取HTML页面数据的功能。接下来，我们让效果更直观一些，比如将爬取的数据存到数据库中，将图片存到服务器上。

3.保存爬取的页面数据

1）保存普通数据到数据库中

将爬取的数据封装进实体Bean中，并存到数据库内。

//将数据封装到Javabean中

Product p = new Product();

p.setPid(UUID.randomUUID().toString());

p.setPname(ele.text());

p.setPimg(img_src);

//将存入数据库中

ProductDao dao = new ProductDao();

try {

dao.addProduct(p);

} catch (SQLException e) {

// TODO Auto-generated catch block

e.printStackTrace();

}

//dao的操作

public void addProduct(Product p) throws SQLException {

QueryRunner qr = new QueryRunner(JDBCUtil.getDataSource());

String sql = "insert into product values(?,?,?)";

qr.update(sql,p.getPid(),p.getPname(),p.getPimg());

}

2）保存图片到服务器上

直接通过下载图片的方式将图片保存到服务器本地。

private void downloadImg(HttpServletRequest request,Product p) throws ClientProtocolException, IOException {

//获得图片的原url

String url = "http://localhost:8080"+p.getPimg();

//使用HttpClient获得图片资源

HttpClient httpClient = new DefaultHttpClient();

HttpGet httpGet = new HttpGet(url);

HttpResponse httpResponse = httpClient.execute(httpGet);

//获得请求的图片资源的输入流

InputStream is = httpResponse.getEntity().getContent();

//在服务器本地创建文件，用于接收图片

String img_name = p.getPimg().substring(p.getPimg().lastIndexOf("/")+1);

String realPath = request.getRealPath("/Download/"+img_name);

File dir = new File(request.getRealPath("/Download"));

if(!dir.exists()){

//如果文件夹不存在，则创建

dir.mkdirs();

}

//读写数据，保存图片

File file = new File(realPath);

FileOutputStream fos = new FileOutputStream(file);

int b = 0;

while((b = is.read())!=-1){

fos.write(b);

}

fos.close();

}

4.总结

本案简单实现了使用HttpClient+Jsoup爬取网络数据，对于爬虫技术本身，还有很多值得深挖的地方，以后再为大家讲解。

相关推荐

火电厂智能管控新基建:全场景人员定位系统架构解析

在能源生产领域，火电厂以庞大的厂区规模、复杂的作业环境和密集的人机交互著称。从高温高压的锅炉房到精密复杂的电气设备间，从露天煤场到灰渣处理区，传统管理模式下的人员定位盲区，正成为制约安全生产与高效运营...

安全仪表系统(SIS)全生命周期管理:从设计到运维的深度解析

以下是一篇关于安全仪表系统（SIS）的技术解析与实践方法，涵盖系统架构、设计标准、实施流程及行业应用。安全仪表系统（SIS）是工业过程安全的最后一道防线，通过独立于基础控制系统的硬件和逻辑，在工艺失控...

数字化转型架构下的数据安全治理方案

这份PPT文件内容围绕数字化转型架构下的数据安全治理方案展开，主要探讨了数据质量治理、安全治理、全生命周期治理以及治理考核等方面的内容。更多参考及文档获取详见公众号：优享智库数据治理概述定义与目标：数...

安全完整性等级(SIL)分析报告编制与认证实践方法

以下是一篇关于安全完整性等级（SIL）分析报告的文章，涵盖SIL定级方法、验证流程、计算模型及工程实践。安全完整性等级（SIL）是量化安全仪表系统（SIS）性能的核心指标，由IEC61508/615...

项目管理体系框架（项目的管理体系）

Pokemon go下载教程 口袋妖怪Go下载解锁方法

#p#安卓下载#e#Pokemongo怎么下载?口袋妖怪go下载教程讲解。虽然锁区了但是大家还是有办法的,首先是口袋妖怪Go下载问题,很多口袋妖怪go的安卓玩家不知道怎么下载游戏,小编给大家详细解答...

抛弃Windows吧!谷歌推免费Chrome系统，一个U盘就搞定

在目前的个人电脑上，最主流的系统当然是Windows，不过除了Windows之外，我们也可以选择购买苹果的电脑，使用苹果的MacOS系统。不过除了苹果和微软的系统之外，实际上谷歌也有自己用于个人电脑...

谷歌误发ARM版Chrome安装包，致英特尔 /AMD用户无法安装

IT之家3月26日消息，科技媒体WindowsLatest昨日（3月25日）发布博文，报道称由于谷歌误发适用于ARM架构的安装包，导致用户从谷歌官网下载的ChromeSetu...

【Google Gemini极简教程】使用Flask和Gemini API构建一个AI BaaS

BaaS（BackendasaService，后端即服务）BaaS是一种云服务模型，它为开发者提供了一种便捷的方式来构建和管理应用程序的后端服务。BaaS提供了一系列的后端功能，如数据库管理...

第一资讯Windows 10 Mobile已成功安装谷歌Play Store

虽然微软并未正式推出WP可安装APK的功能，但近期有不少玩机爱好者已经在Windows10Mobile平台上用上了Android应用，而且随后还在需要谷歌服务框架（GoogleServices）...

宝可梦TCG Pocket谷歌账号登录，给你提供指南

《宝可梦TCGPocket》作为一款备受欢迎的卡牌对战游戏，为了给玩家提供更加便捷和安全的登录方式，支持使用谷歌账号进行登录。通过谷歌账号登录，您不仅可以快速进入游戏，还能享受账号数据同步、跨设备游...

秒变万能家庭服务器!斐讯N1 armbian安装指南

一直以来，我都想配置一台小型服务器放在家里玩一玩，但是x86架构的主机体积大功耗高，价格也不低。而树莓派的话，价格便宜一点，性能对于轻度使用也基本够用。可是树莓派仍然要两三百块钱，感觉还是有点贵。于是...

如何自己开发一个Google浏览器插件?

相信很多人都好奇，谷歌浏览器那么多的插件是如何开发的，我们如何开发一个自定义的Google浏览器插件，下面我们就来详细的给出一个开发Google浏览器插件的流程。准备环境首先需要有一个文本编辑器工具如...

我的世界手机版谷歌商店安装教程（我的世界谷歌下载）

在我的世界手机版升级到0.11.0版本后，很多玩家发现正式版需要有谷歌商店的验证也就是必须安装Googleplay才能玩。这次搞趣网小编就为大家带来我的世界手机版谷歌商店安装教程。有些手机自带Goo...

部落冲突安卓版谷歌怎么绑定 有无root都可以

部落冲突安卓版谷歌怎么绑定？下面小编为大家带来部落冲突安卓版谷歌绑定攻略详解，希望这篇攻略详解能够对大家有所帮助。首先准备这些东西(必须在网上自己下载，不要相信google应用)还需要下载"谷歌服务框...

取消回复欢迎 你 发表评论:

一周热门
最近发表
标签列表