当前位置：网站首页 > 技术文章 > 正文

java简单爬虫----Jsoup（java爬虫入门）

ccwgpt 2024-10-13 01:34 31 浏览 0 评论

Jsoup 是一个 Java 的开源HTML解析器，可直接解析某个URL地址、HTML文本内容。

Jsoup主要有以下功能：

1. 从一个URL，文件或字符串中解析HTML

2. 使用DOM或CSS选择器来查找、取出数据

3. 对HTML元素、属性、文本进行操作

基本步骤：

//下载网页String URL="输入网址"；Document document=Jsoup.cnnect("URL");

//在下载的document里进行检索的语句elements test=document.select("#div_JK").select("div.item_list").select("div:nth-child(1)").select("div.dTit.tracking-ad").select("a");

//这样test标签就是我们最开始右键单击检查的标签String Str=test.toString();

//将标签转化成字符串String text=test.text();

//将标签里的文本提取出来

实例演练

Jsoup在解析html方面还有很多功能，这里就不一一列举了。Jsoup的中文api地址：http://www.open-open.com/jsoup/

Jsoup在做爬虫方面，有着非常大优势。后续会选择一些现有开源的爬虫框架进行分析，与大家共享。欢迎大家拍砖。

java爬虫框架

上一篇：干货丨推荐十款高效率的Python爬虫框架，你用过几个?
下一篇：网络爬虫开源框架（爬虫框架的运行流程）

相关推荐

从MyBatis到App架构:设计模式全景应用指南: 从MyBatis到App架构：设计模式全景应用指南引言在企业级应用和服务端开发领域，MyBatis凭借其灵活、简洁、强大的ORM映射能力被广泛应用。而它之所以能拥有如此优秀的可扩展性和工程可维护性，正...

借Google Guava的启发，打造高扩展性App架构: 借GoogleGuava的启发，打造高扩展性App架构一、引言：架构升级的“桥梁”与范式革新在软件开发领域，桥接模式（BridgePattern）和函数式编程（FunctionalProgram...

国际原子能机构与俄乌双方达成核安全框架协议: 当地时间4月1日，国际原子能机构总干事拉斐尔·格罗西表示，他已与俄罗斯和乌克兰分别就乌克兰的核安保和安全达成了一个框架协议，包括在乌克兰核设施现场派驻少量国际原子能机构工作人员。（总台记者杨春）来源...

剖析 Web3 与传统网络模型的安全框架: 在互联网技术的浪潮中，Web3以其独特的安全框架，与传统的Web2网络模型形成了鲜明对比。本文将深入探讨这两种网络模型在安全框架上的差异，并分析各自的优势和挑战。Web3的安全框架特点Web3...

《人工智能安全治理框架》1.0版今天发布: 9月9日，记者从2024年国家网络安全宣传周主论坛获悉，全国网络安全标准化技术委员会发布《人工智能安全治理框架》1.0版。《框架》提出了包容审慎、确保安全，风险导向、敏捷治理，技管结合、协同应对，开放...

《人工智能安全治理框架》1.0版发布: 来源：新华社新华社广州9月9日电（记者胡林果、王思北）2024年国家网络安全宣传周主论坛9日在广州举办。主论坛上，全国网络安全标准化技术委员会发布了《人工智能安全治理框架》1.0版。据悉，框架以鼓励...

每日分享- Spring 微服务框架如何搭建?: Spring微服务框架是一种轻量级的分布式应用程序框架，它由Spring框架提供支持，是一种用于构建和部署基于微服务架构的应用程序的解决方案。下面是一些关于如何搭建Spring微服务框架的简单步骤：安...

开源微服务编排框架:Netflix Conductor: 简介：本文主要介绍netflixconductor的基本概念和主要运行机制。作者|夜阳来源|阿里技术公众号本文主要介绍netflixconductor的基本概念和主要运行机制。一简介ne...

树林中悬空的的简约框架别墅: 侧面夜景侧面全景夜景正面全景庭院泳池景观正面近景正面全景正面远景侧面近景侧面远景正面远景近景侧面远景庭院泳池景观视野开阔的客厅空间视野开阔的客厅空间视野开阔的客厅空间平面图...

原亚马逊开源 AWS 平台无服务器微框架: AWSServerless最受亚马逊AWS客户欢迎，AWSserverless,AWSLambda和AmazonAPI网关，可以让开发人员创建和运行内置API的应用程序，...

AC.调控金属有机框架微环境用于高效酶固定化及灵敏免疫分析: 全文简介将酶固定在金属有机框架（MOFs）中，可使酶在极端环境下发挥作用。然而，固定化酶通常面临受限且不合适的微环境，导致生物活性降低，严重影响其实际应用。在此，我们提出一种功能化分级多孔MOF...

微服务架构之API网关——在微服务项目中的技术框架和用法实践: API网关技术实战在介绍了API网关的相关理论之后，大家可以了解到API网关的作用和优缺点，接下来将为大家介绍API网关在微服务项目中的技术框架和用法实践。Zuul网关其实API网关并不是很难的技术，...

如何在米尔瑞芯微RK3576开发板上运行TinyMaix:超轻量级推理框架: 本文将介绍基于米尔电子MYD-LR3576开发平台部署超轻量级推理框架方案：TinyMaix摘自优秀创作者-短笛君TinyMaix是面向单片机的超轻量级的神经网络推理库，即TinyML推理库，可...

Spring Boot 3 vs Quarkus:2025年微服务框架性能终极对决: 2025年的微服务架构战场，Java生态的两大框架——SpringBoot3与Quarkus，凭借各自独特的设计理念和技术革新，在性能、资源消耗、开发效率等维度展开激烈角逐。本文将结合最新特性与真...

如何设计一个支持动态熔断降级的微服务流量治理框架?: 在微服务架构中，流量治理是保障系统稳定性的核心环节。以下从设计思路、考察点、技术深度三个维度解析该问题：一、设计框架核心模块（系统设计能力考察）流量采集层-实现方案：Prometheus埋点+自定...

取消回复欢迎你发表评论:

一周热门

最近发表

首页
收录
顶部