scrapy爬取途牛网站旅游数据

【scrapy爬取途牛网站旅游数据】描述:采取了scrapy框架对途牛网旅游数据进行了爬取,刚开始练手,所以只爬了四个字段用作测试,分别是景点名称、景点位置、景点开放时间、景点描述,爬取结果存的是json格式。
部分数据:
scrapy爬取途牛网站旅游数据
文章图片

部分代码:
scrapy爬取途牛网站旅游数据
文章图片

遇到的问题:start_urls是不能动态添加URL的,这个还需要研究,这里只是简单把所有待爬取的网址全扔进了start_urls里面,这是可行的,但是对网址的预处理就很耗时间了。然后是对汉字编码的处理,在scrapy中一开始传到json中的数据总是/uxxx类型的,这需要在pipeline.py、setting.py中都进行修改,具体修改如下:
在pipelines.py中,修改代码如下:

def __init__(self): self.file = codecs.open('items.json', 'wb', encoding='utf-8') # def process_item(self, item, spider): line = json.dumps(dict(item), ensure_ascii=False) + "\n" self.file.write(line) return item # def spider_closed(self, spider): self.file.close()

在settings.py中,添加如下代码:
ITEM_PIPELINES = { 'bdlv_spider.pipelines.BdlvSpiderPipeline': 800, }

其中,BdlvSpiderPipeline是pipelines.py中的类名。

    推荐阅读