# Java爬虫框架 基于MVC架构的Java爬虫框架，支持多态扩展，可轻松添加新的网站爬虫。 ## 功能特性 - **MVC架构**：清晰的分层设计，职责分明 - **多态扩展**：通过继承BaseCrawler实现新爬虫 - **命令行界面**：支持交互式命令操作 - **自动识别**：根据URL自动选择合适的爬虫 - **日期提取**：支持从URL中提取发布日期 ## 支持的网站 | 网站 | 域名 | 爬虫名称 | |------|------|----------| | 湖南大学官网 | `*.hnu.edu.cn` | HunanUniversityCrawler | | 湖南大学新闻网 | `news.hnu.edu.cn` | HunanUniversityNewsCrawler | | 中国天气网 | `*.weather.com.cn` | ChinaWeatherCrawler | | 骑砍中文站 | `*.mountblade.com.cn` | MountBladeCrawler | ## 快速开始 ### 编译项目 ```bash javac -d target/classes src/main/java/com/crawler/**/*.java ``` ### 运行程序 ```bash java -cp target/classes com.crawler.Main ``` ### 命令行使用 ``` ======================================== Java爬虫框架 ======================================== ======================================== Java爬虫框架 - 命令行模式 ======================================== 输入 'help' 查看可用指令 ======================================== > help 可用指令: --------- help : 显示所有可用指令 list : 查看使用过的指令历史 crawl : 运行爬虫，输入URL自动选择爬虫 exit : 退出程序 > crawl 请输入要爬取的URL: https://www.mountblade.com.cn 使用爬虫: MountBladeCrawler ... ``` ## 项目结构 ``` src/main/java/com/crawler/ ├── Main.java # 主入口 ├── model/ │ ├── CrawlerData.java # 爬取数据模型（标题、链接、来源、发布日期） │ └── CrawlerConfig.java # 爬虫配置（超时时间、User-Agent） ├── view/ │ └── CrawlerView.java # 视图层（输出结果展示） ├── controller/ │ └── CrawlerController.java # 爬虫控制器 ├── crawler/ │ ├── Crawler.java # 爬虫接口 │ ├── BaseCrawler.java # 爬虫抽象基类 │ ├── CrawlerFactory.java # 爬虫工厂（自动选择爬虫） │ └── impl/ │ ├── ExampleCrawler.java # 通用爬虫 │ ├── TestCrawler.java # 测试爬虫 │ ├── HunanUniversityCrawler.java │ ├── HunanUniversityNewsCrawler.java │ ├── ChinaWeatherCrawler.java │ └── MountBladeCrawler.java └── command/ ├── Command.java # 命令接口 ├── BaseCommand.java # 命令抽象基类 ├── CommandHistory.java # 命令历史记录 ├── HelpCommand.java # 帮助命令 ├── ListCommand.java # 历史记录命令 ├── CrawlCommand.java # 爬虫命令 ├── ExitCommand.java # 退出命令 └── CommandController.java # 命令控制器 ``` ## 扩展新爬虫 只需继承 `BaseCrawler` 并重写两个方法： ```java package com.crawler.crawler.impl; import com.crawler.crawler.BaseCrawler; import com.crawler.model.CrawlerData; import java.util.ArrayList; import java.util.List; import java.util.regex.Matcher; import java.util.regex.Pattern; public class MyWebsiteCrawler extends BaseCrawler { private static final String BASE_URL = "https://www.mywebsite.com"; @Override public String getCrawlerName() { return "MyWebsiteCrawler"; } @Override protected List parseHtml(String html) { List results = new ArrayList<>(); // 使用正则表达式解析HTML Pattern pattern = Pattern.compile("([^<]+)"); Matcher matcher = pattern.matcher(html); while (matcher.find()) { CrawlerData data = new CrawlerData(); data.setTitle(matcher.group(2)); data.setUrl(normalizeUrl(matcher.group(1))); data.setSource(getCrawlerName()); data.setPublishDate(extractDateFromUrl(matcher.group(1))); results.add(data); } return results; } private String normalizeUrl(String url) { if (url.startsWith("/")) { return BASE_URL + url; } return url; } private String extractDateFromUrl(String url) { Pattern datePattern = Pattern.compile("/(\\d{4}-\\d{2}-\\d{2})/"); Matcher matcher = datePattern.matcher(url); return matcher.find() ? matcher.group(1) : null; } } ``` 然后在 `CrawlerFactory.java` 中添加识别规则： ```java crawlerPatterns.put("MyWebsiteCrawler", Pattern.compile(".*mywebsite\\.com.*", Pattern.CASE_INSENSITIVE)); ``` 并在 `createCrawlerByName` 方法中添加： ```java case "MyWebsiteCrawler": return new MyWebsiteCrawler(); ``` ## 架构设计 ### MVC模式 - **Model**：`CrawlerData`（数据模型）、`CrawlerConfig`（配置） - **View**：`CrawlerView`（结果展示） - **Controller**：`CrawlerController`（爬虫控制）、`CommandController`（命令控制） ### 多态设计 - `Crawler` 接口定义标准方法 - `BaseCrawler` 提供通用HTTP请求能力 - 各爬虫实现类继承 `BaseCrawler` 并重写 `parseHtml` 方法 ### 工厂模式 `CrawlerFactory` 根据URL模式自动选择合适的爬虫实现。 ## 配置说明 `CrawlerConfig` 支持以下配置： - `timeout`：HTTP请求超时时间（默认30000毫秒） - `userAgent`：User-Agent（默认模拟Chrome浏览器） ## 命令列表 | 命令 | 功能 | |------|------| | `help` | 显示所有可用指令 | | `list` | 查看使用过的指令历史 | | `crawl` | 运行爬虫，输入目标URL，爬取后可保存结果 | | `cache` | 缓存操作：save/load/list/delete | | `exit` | 退出程序 | ### cache 命令子操作 | 子操作 | 功能 | |--------|------| | `save` | 保存当前爬取数据到数据文件 | | `load` | 从数据文件读取数据 | | `list` | 列出 `data/` 目录中的所有文件 | | `delete` | 删除指定的数据文件或所有文件 | ### 数据目录 程序会自动创建 `data/` 目录用于保存爬取的数据文件。 ### 爬取后自动保存 使用 `crawl` 命令爬取完成后，系统会自动询问是否保存结果： ``` 爬虫运行完成，共获取 10 条数据 ======================================== 是否保存爬取结果? (y/n): y 请输入保存路径 (默认: data/crawler_data.json): 数据已保存到: data/crawler_data.json ``` ### 删除缓存文件示例 ``` > cache 请输入缓存操作 (save/load/list/delete): delete ======================================== 可选删除的文件: ======================================== [1] crawler_data.json (1024 bytes) [2] mountblade_data.json (2048 bytes) [all] 删除所有文件 ======================================== 请输入要删除的文件序号或 'all': 1 确定要删除 'crawler_data.json' 吗? (y/n): y 已删除: crawler_data.json ``` ## 输出示例 ``` [12] 标题: 骑砍2《战帆》v1.2.4与本体v1.4.4测试版更新日志 链接: https://www.mountblade.com.cn/news/Bannerlord/2026-05-13/3175.html 来源: MountBladeCrawler 发布日期: 2026-05-13 ---------------------------------------- ``` ## 异常处理 项目采用分层异常体系设计，区分受检异常和非受检异常： ### 异常分类 | 异常类型 | 说明 | 示例 | |---------|------|------| | **受检异常** | 可恢复异常，强制调用者处理 | `HttpRequestException`, `TimeoutException`, `HtmlParseException`, `DataExtractException` | | **非受检异常** | 编程错误，不可恢复 | `InvalidUrlException`, `UnsupportedCrawlerException` | ### 异常继承树 ``` CrawlerException (爬虫框架根异常 - 受检) ├── NetworkException (网络异常父类) │ ├── HttpRequestException (HTTP请求失败) │ └── TimeoutException (连接超时) └── ParseException (解析异常父类) ├── HtmlParseException (HTML解析失败) └── DataExtractException (数据提取失败) ConfigurationException (配置异常父类 - 非受检) ├── InvalidUrlException (无效URL) └── UnsupportedCrawlerException (不支持的爬虫) ``` ### 异常处理示例 ```java try { List data = crawler.crawl(); view.showData(data); } catch (HttpRequestException e) { view.showErrorMessage("HTTP请求失败: " + e.getStatusCode()); } catch (TimeoutException e) { view.showErrorMessage("连接超时，请稍后重试"); } catch (HtmlParseException e) { view.showErrorMessage("HTML解析失败: " + e.getSourceUrl()); } catch (CrawlerException e) { view.showErrorMessage("爬虫执行失败: " + e.getMessage()); } ``` 完整的异常设计文档请参考 [EXCEPTIONS.md](file:///C:/Users/黄志楷/Documents/ocix/学校相关/jwork/w12/EXCEPTIONS.md) ## 数据序列化 项目提供基于Jackson的JSON序列化工具类，支持将爬取数据保存到文件和从文件读取。 ### 使用示例 ```java import com.crawler.util.JsonSerializer; import com.crawler.model.CrawlerData; import java.util.List; List dataList = crawler.crawl(); JsonSerializer.serializeToFile(dataList, "output/crawler_data.json"); List loadedData = JsonSerializer.deserializeFromFile("output/crawler_data.json"); ``` ### JsonSerializer 类方法 | 方法 | 功能 | |------|------| | `serializeToFile(List, String)` | 将数据列表序列化到指定文件 | | `deserializeFromFile(String)` | 从文件反序列化数据列表 | | `toJsonString(List)` | 将数据列表转换为JSON字符串 | | `toJsonString(CrawlerData)` | 将单条数据转换为JSON字符串 | | `fromJsonString(String)` | 从JSON字符串反序列化数据列表 | | `fromJsonStringToSingle(String)` | 从JSON字符串反序列化单条数据 | ### 输出格式示例 ```json [ { "title": "新闻标题", "content": "新闻内容", "url": "https://example.com/news/1", "source": "ExampleCrawler", "publishDate": "2026-05-21" } ] ``` ## 技术栈 - Java 21+ - Java HttpClient（内置HTTP客户端） - Jackson（JSON序列化） - 正则表达式（HTML解析） ## 注意事项 1. 请遵守目标网站的robots.txt规则 2. 不要频繁请求，避免给目标服务器造成压力 3. 某些网站可能有反爬机制，可能需要添加额外的请求头 4. 建议在爬取前获取网站的爬取授权