三:总结三:总结

1.多线程
线程:python的thread模块是比较底层的模块,python的threading模块是对thread做了一些
包装的,可以更加方便的被使用
python的threading.Thread类有一个run方法，用于定义线程的功能函数，
可以在自己的线程类中覆盖该方法。而创建自己的线程实例后，
通过Thread类的start方法，可以启动该线程，交给python虚拟机进行调度，
当该线程获得执行的机会时，就会调用run方法执行线程。
2.互斥锁
当多个线程几乎同时修改某一个共享数据的时候，需要进行同步控制
线程同步能够保证多个线程安全访问竞争资源，最简单的同步机制是引入互斥锁。
互斥锁为资源引入一个状态：锁定/非锁定
某个线程要更改共享数据时，先将其锁定，此时资源的状态为“锁定”，其他线程不能更改；
直到该线程释放资源，将资源的状态变成“非锁定”，其他的线程才能再次锁定该资源。
互斥锁保证了每次只有一个线程进行写入操作，
从而保证了多线程情况下数据的正确性。
3.死锁问题
在线程间共享多个资源的时候，
如果两个线程分别占有一部分资源并且同时等待对方的资源，就会造成死锁。
4.多线程爬虫
Queue（队列对象） Queue是python中的标准库，可以直接import Queue引用;
队列是线程间最常用的交换数据的形式
包中的常用方法:
Queue.qsize() 返回队列的大小
Queue.empty() 如果队列为空，返回True,反之False
Queue.full() 如果队列满了，返回True,反之False
Queue.full 与 maxsize 大小对应
Queue.get([block[, timeout]])获取队列，timeout等待时间
创建一个“队列”对象
import Queue
myqueue = Queue.Queue(maxsize = 10)
将一个值放入队列中
myqueue.put(10)
将一个值从队列中取出
myqueue.get()
5.多进程
进程：一个程序运行起来后，代码+用到的资源称之为进程，它是操作系统分配资源的基本单元。
不仅可以通过线程完成多任务，进程也是可以的
工作中，任务数往往大于cpu的核数，即一定有一些任务正在执行，而另外一些任务在等待cpu进行执行，
因此导致了有了不同的状态
进程的创建:
multiprocessing模块就是跨平台版本的多进程模块，提供了一个Process类来代表一个进程对象，这个对象可以理解为是一个独立的进程，
可以执行另外的事情
6.携程
协程，又称微线程，纤程。英文名Coroutine。
协程是python个中另外一种实现多任务的方式，
只不过比线程更小占用更小执行单元（理解为需要的资源）。
为啥说它是一个执行单元，因为它自带CPU寄存器上下文。这样只要在合适的时机，
我们可以把一个协程切换到另一个协程。只要这个过程中保存或恢复
CPU上下文那么程序还是可以运行的。
协程和线程差异:
在实现多任务时, 线程切换从系统层面远不止保存和恢复 CPU上下文这么简单。
操作系统为了程序运行的高效性每个线程都有自己缓存Cache等等数据，
操作系统还会帮你做这些数据的恢复操作。所以线程的切换非常耗性能。
但是协程的切换只是单纯的操作CPU的上下文，
所以一秒钟切换个上百万次系统都抗的住。
7.Selenium
Selenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，
类型像我们玩游戏用的按键精灵，可以按指定的命令自动操作，
不同是Selenium 可以直接运行在浏览器上，
它支持所有主流的浏览器（包括PhantomJS这些无界面的浏览器）。
Selenium 可以根据我们的指令，让浏览器自动加载页面，获取需要的数据，
甚至页面截屏，或者判断网站上某些动作是否发生。
页面的相关操作：
获取name标签值
element = driver.find_element_by_name("user-name")
获取标签名值
element = driver.find_elements_by_tag_name("input")
也可以通过XPath来匹配
element = driver.find_element_by_xpath("//input[@id='passwd-id']")
关于元素的选取，有如下的API 单个元素选取
find_element_by_id
find_elements_by_name
find_elements_by_xpath
find_elements_by_link_text
find_elements_by_partial_link_text
find_elements_by_tag_name
find_elements_by_class_name
find_elements_by_css_selector
selenium执行JavaScript语句:
driver = webdriver.PhantomJS(路径)
driver.get("https://www.baidu.com/")

#### 给搜索输入框标红的javascript脚本 js = "var q=document.getElementById(\"kw\"); q.style.border=\"2px solid red\"; "#### 调用给搜索输入框标红js脚本 driver.execute_script(js)#### 查看页面快照 driver.save_screenshot("redbaidu.png")#### js隐藏元素，将获取的图片元素隐藏 img = driver.find_element_by_xpath("//*[@id='lg']/img") driver.execute_script('$(arguments[0]).fadeOut()',img)#### 向下滚动到页面底部 driver.execute_script("window.scrollTop(0,document.body.scrollHeight)")#### 弹出弹窗 driver.execute_script('alert("This is a alert")')#### 查看页面快照 driver.save_screenshot("nullbaidu.png")driver.quit()

模拟滚动条滚动到底部

from selenium import webdriver import timedriver = webdriver.PhantomJS() driver.get( "https://movie.douban.com/typerank?type_name=剧情&type=11&interval_id=100:90&action=" )#### 向下滚动10000像素 js = "document.body.scrollTop=10000" #js="var q=document.documentElement.scrollTop=10000" time.sleep(3)##### 查看页面快照 driver.save_screenshot("douban.png")#####执行JS语句 driver.execute_script(js) time.sleep(10)##### 查看页面快照 driver.save_screenshot("newdouban.png")#### 退出浏览器 driver.quit()

8.mongo数据库的操作
查看当前数据库名称
db
列出所有在物理上存在的数据库
show dbs
切换数据库如果数据库不存在，则指向数据库，但不创建，直到插入数据或创建集合时数据库才被创建
use 数据库名称
查看当前数据库信息
db.stats()
数据库删除:db.dropDatabase()

db：当前数据库的名字。 collections：当前数据库的集合数。 objects：当前数据库所有集合总所包含的对象（即文档）的数量。 avgObjSize：每个文档的平均大小（以字节为单位）。 dataSize：此数据库中保存的未压缩数据的总大小，不是指占有磁盘大小，单位是bytes。 storageSize：分配给此数据库的集合用于存储文档的空间总量，也就是当前数据库占有磁盘大小，单位是bytes。 numExtents：当前数据库所有集合包含的扩展数量的统计。 indexes：数据库中包含的所有集合的索引总数，也就是system.indexes表数据行数。 indexSize：此数据库上创建的所有索引的总大小，单位是bytes

【三:总结】创建集合:
db.createCollection(name, options)
查看当前数据库所有集合
show collections：当前数据库的集合数。
删除集合:
db.集合名称.drop() 如果成功删除选定集合，则 drop() 方法返回 true，否则返回 false
9.mongo与python交互以及增删该查
pip3 install pymongo import pymongo
from bson.objectid import ObjectId
创建一个mongodb的客户端呢连接 mongo_client = pymongo.MongoClient(
host='127.0.0.1',
port=27017
)
切换到指定的数据库 db = mongo_client.mongo1805 db = mongo_client['mongo1805']
使用集合(存在直接使用,不存在直接创建) col_name = db.students col_name = db['students']
def insert_data():
document = {
'name':'dufuhao',
'num':'110',
'gender':'1'
}
document1 = {
'name': 'dufuhao2',
'num': '1100',
'gender': '0'
}
document2 = {
'name': 'dufuhao3',
'num': '1100',
'gender': '0'
}

result = col_name.insert(document) print(result) result = col_name.insert([document2,document1]) # col_name.insert_one() # col_name.insert_many() print(result)

def remove_data():

#multi=True,表示删除多条 result = col_name.remove({'name':'dufuhao'}) #删除一条 result = col_name.remove({'name': 'dufuhao'},multi=False)#删除一条 col_name.delete_one() #删除多条 col_name.delete_many()

def update_data():
#指定属性更新
result = col_name.update({'name':'dufuhao3'},{'$set':{'gender':'1'}})
print(result)
#全文的那个更新
result = col_name.update({'name': 'dufuhao3'}, {'gender': '1'})
print(result)

#根据_id跟新属性 result = col_name.update( {'_id':ObjectId("5c00937011575e4353efa716")}, {'$set':{'num':'1200'}} ) print(result)

def find_data():
result = col_name.find({})
print(result)
result = col_name.find({'gender':'1'})
print([ i for i in result])
if name == 'main':

# insert_data() # remove_data() # update_data() find_data()

10.scrapy框架
Scrapy 是一个基于 Twisted 的异步处理框架,是纯 Python 实现的爬虫框架,其架构清晰, 榄块之
间的榈合程度低,可扩展性极强,可以灵活完成各种需求。我们只需要定制开发几个模块就可以轻松
实现一个爬虫
Scrapy框架的架构组成:
Engine 。引擎,处理整个系统的数据流处理、触发事务,是整个框架的核心。
Item 。项目,它定义了爬取结果的数据结构,爬取的数据会被赋值成该 Item 对象。
Scheduler 。调度器,接受引擎发过来的请求并将其加入队列中 , 在引擎再次请求的时候将
请求提供给引擎。
Down loader。下载器,下载网页内容,并将网页内容返回给蜘蛛。
Spiders 。蜘蛛,其内定义了爬取的逻辑和网页的解析规则 ,它主要负责解析响应并生成提取
结果和新的请求。
Item Pipel i ne 。项目管道,负责处理由蜘蛛从网页中抽取的项目,它的主要任务是清洗、验
证和存储数据。
Downloader Middlewares 。下载器中间件,位于引擎和下载器之间的钩子框架,主要处理引
擎与下载器之间的请求及响应。
Spide Middlewares 蜘蛛中间件,位于引擎和蜘蛛之间的钩子框架,主要处理蜘蛛输入的
响应和输出的结果及新的请求
创建项目命令:scrapy startproject 项目名字
创建爬虫文件:scrapy genspider 爬虫文件域名