锐客网

  1. 首页 > 睿知 > it技术 > >

python源码入口函数 python函数源代码( 二 )

IT技术内容


这里使用的是pyquery的方法来查找公众号主页入口地址
[python] view plain copy
#获得公众号主页地址
def get_wx_url_by_sougou_search_html(self, sougou_search_html):
doc = pq(sougou_search_html)
#print doc('p[class="tit"]')('a').attr('href')
#print doc('div[class=img-box]')('a').attr('href')
#通过pyquery的方式处理网页内容，类似用beautifulsoup，但是pyquery和jQuery的方法类似，找到公众号主页地址
return doc('div[class=txt-box]')('p[class=tit]')('a').attr('href')
4.获取公众号主页的文章列表
首先需要加载公众号主页，这里用的是phantomjs+webdriver, 因为这个主页的内容需要JS 渲染加载，采用之前的方法只能获得静态的网页内容
[python] view plain copy
#使用webdriver 加载公众号主页内容 ， 主要是js渲染的部分
def get_selenium_js_html(self, url):
browser = webdriver.PhantomJS()
browser.get(url)
time.sleep(3)
# 执行js得到整个页面内容
html = browser.execute_script("return document.documentElement.outerHTML")
return html
得到主页内容之后，获取文章列表，这个文章列表中有我们需要的内容
[python] view plain copy
#获取公众号文章内容
def parse_wx_articles_by_html(self, selenium_html):
doc = pq(selenium_html)
print '开始查找内容msg'
return doc('div[class="weui_media_box appmsg"]')
#有的公众号仅仅有10篇文章，有的可能多一点
#return doc('div[class="weui_msg_card"]')#公众号只有10篇文章文章的
5.解析每一个文章列表 ， 获取我们需要的信息
6.处理对应的内容
包括文章名字，地址，简介 ， 发表时间等
7.保存文章内容
以html的格式保存到本地
同时将上一步骤的内容保存成excel 的格式
8.保存json数据
这样，每一步拆分完，爬取公众号的文章就不是特别难python源码入口函数了 。
三、源码
第一版源码如下：
[python] view plain copy
#!/usr/bin/python
# coding: utf-8
import sys
reload(sys)
sys.setdefaultencoding('utf-8')
from urllib import quote
from pyquery import PyQuery as pq
from selenium import webdriver
import requests
【python源码入口函数 python函数源代码】import time
import re
import json
import os
class weixin_spider:
def __init__(self, kw):
' 构造函数 '
self.kw = kw
# 搜狐微信搜索链接
#self.sogou_search_url = ';query=%sie=utf8_sug_=n_sug_type_=' % quote(self.kw)
self.sogou_search_url = ';query=%sie=utf8s_from=input_sug_=n_sug_type_=' % quote(self.kw)
# 爬虫伪装
self.headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:47.0) Gecko/20100101 FirePHP/0refox/47.0 FirePHP/0.7.4.1'}
# 操作超时时长
self.timeout = 5
self.s = requests.Session()
def get_search_result_by_kw(self):
self.log('搜索地址为：%s' % self.sogou_search_url)
return self.s.get(self.sogou_search_url, headers=self.headers, timeout=self.timeout).content
def get_wx_url_by_sougou_search_html(self, sougou_search_html):
' 根据返回sougou_search_html，从中获取公众号主页链接 '
doc = pq(sougou_search_html)
#print doc('p[class="tit"]')('a').attr('href')
#print doc('div[class=img-box]')('a').attr('href')
#通过pyquery的方式处理网页内容 ， 类似用beautifulsoup，但是pyquery和jQuery的方法类似，找到公众号主页地址
return doc('div[class=txt-box]')('p[class=tit]')('a').attr('href')
def get_selenium_js_html(self, wx_url):
' 执行js渲染内容 ， 并返回渲染后的html内容 '
browser = webdriver.PhantomJS()

推荐阅读


上一篇：php安装redis扩展yum，php安装redis扩展

下一篇：视频号单篇数据怎么看到，视频号的观看数