锐客网

  1. 首页 > 睿知 > it技术 > >

python|通过Python爬虫技术获取小说信息

课程设计Python爬虫小说小说爬虫

资源下载地址：https://download.csdn.net/download/sheziqiong/85673772
实验目的 使用Python爬虫技术获取小说信息，包括小说名称、小说作者以及小说简介等作品信息！在实验中掌握Python的第三方库requests和lxml
实验内容

  1. 明确实验需求——获取小说页面的相关小说信息
  2. 使用Python的requests库获取响应信息
  3. 使用python的lxml库进行必要信息的提取
  4. 保存信息到txt文件中！
  5. 进行多页信息提取，找到规律
主要仪器设备（必填）
  1. python编译器Pycharm
  2. Chrome浏览器F12进行网页的分析
操作方法和实验步骤
  1. 确定网页URL链接：http://www.ijjxsw.com/txt/Xuanhuan/index_1.html
  2. 确定爬取的信息：小说名称、作者以及简介
python|通过Python爬虫技术获取小说信息
文章图片

  1. 进行网页的分析，在Chrome浏览器打开网页之后，按快捷键F12开始分析网页，得到要爬取得信息的标签和属性信息！
python|通过Python爬虫技术获取小说信息
文章图片

  1. 编写代码，逐步实现需求！
实验结果和分析 实验结果：通过编写代码，并合理解析页面以及多次调试解决爬虫过程中出现的问题，代码运行成功，获取到了第一页的10本小说的作者名、小说简介以及小说名称！
运行截图如下：
python|通过Python爬虫技术获取小说信息
文章图片

得到的txt文件截图：
python|通过Python爬虫技术获取小说信息
文章图片

实验分析：
本次实验通过编写爬虫代码，从网页中之间抓取信息，保存到本地文件中！较好的达到了实验前的需求！
讨论、心得
  1. Python爬虫技术能大大方便人们的生活，很多手工操作需要大量时间，但是通过编写python爬虫代码很快就能从网页中获取信息
  2. Txt文件保存信息有缺陷，格式方面很不美观，建议用excel替代
  3. 爬虫能获取大量数据，因此了解到了有反爬的相关内容
【python|通过Python爬虫技术获取小说信息】资源下载地址：https://download.csdn.net/download/sheziqiong/85673772

    推荐阅读


    上一篇：python|基于Python的决策树判断是否降雪

    下一篇：javascript|基于HTML5+JavaScript实现的网页录屏器设计