python.requests实战58写字楼 python.requests实战58写字楼

1.先看效果

文章图片
image.png 2.思路
反爬虫，武装user-agent
【python.requests实战58写字楼】3.上源代码

import re import requests from bs4 import BeautifulSoup class Guiyang(object):def __init__(self): self.page = range(1,10) self.url = 'http://gy.58.com/zhaozu/?PGTID=0d00000d-0000-0ee8-d8e7-f5dce12e009e&ClickID={}'.format(self.page) self.headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36' ,'Host':'gy.58.com' ,'Upgrade-Insecure-Requests':'1' }self.link_url = self.get_data()def get_data(self):data = https://www.it610.com/article/{'PGTID':'0d00000d-0000-0ee8-d8e7-f5dce12e009e' ,'ClickID':'2' }r = requests.get(url=self.url,headers=self.headers,data=https://www.it610.com/article/data).texts = BeautifulSoup(r,'lxml').find('a',class_='on').get_text() #print(s) soup = BeautifulSoup(r,'lxml').find('ul',class_='house-list-wrap').find_all('li')for items in soup: link_url = items.find('a')['href']#每个url的链接 #get_link = requests.get(item_link_url,headers=headers).text name = items.find('span',attrs={'class':'title_des'}).get_text() location =items.find('p',class_='baseinfo').get_text().replace('\n','') #pricea = items.find('p',class_='sum').get_text().replace('\n','')+str('>每平米')+'\n\n' try: pricetoday = items.find('p',class_='unit').get_text().replace(' ','').replace('\n','').replace('\r','') print('{},{},{}'.format(pricetoday,location,name))except: passc = Guiyang() c.get_data()

python.requests实战58写字楼

推荐阅读

魅蓝6t怎么查看耗电应用_魅蓝6t查看耗电应用方法教程

讲一下九大行星有哪些

传说中的根治腹水的秘方偏方可不可信？

踏青的唯美句子简短精辟踏青的唯美句子简短

神鹰帝国未删减版烧书阁神鹰帝国翠微居

转氨酶偏高|转氨酶偏高一定是肝脏有问题吗？为你全面总结各种可能原因

m710q，魅蓝m710q手机多少钱

粗虚线代表什么意思，那图纸上虚线代表什么意思

钣金cae分析,CAe分析

床单多长时间换洗一次洗床单哪些事项是要注意的

突发！上海突然宣布重磅政策刚刚上海突然宣布大消息

东风橘根的功效与作用

花牛苹果变粉后苦味

怎样查询网上小额贷款 ?如何查询网上小额贷款 ?

只打一针的新冠疫苗多久产生抗体

童诗——树画圈记年

怎么防止盗号帐号被盗怎么盗回来

天气太热不想做饭，试试这5道面食，简单好吃又开胃，省力吃得好

面对不要脸的老赖,应该怎么办？

青菜胡萝卜面条煮吃的营养