python异步函数 python异步执行命令( 二 )


这里解决的方式是通过asyncio.wait方法等待一个协程列表,默认是等待所有协程结束后返回,会返回一个完成(done)列表,以及一个待办(pending)列表 。
如果我们不想要协程对象而是结果,那么我们可以使用asyncio.gather
结果输出如下:
通过asyncio.ensure_future我们就能创建一个协程,跟调用一个函数差别不大 , 为了等待所有任务完成之后退出,我们需要使用asyncio.wait等方法来等待,如果只想要协程输出的结果,我们可以使用asyncio.gather来获取结果 。
虽然前面能够随心所欲的创建协程,但是就像多线程一样,我们也需要处理协程之间的同步问题,为了保持语法及使用情况的一致,多线程中用到的同步功能,asyncio中基本也能找到, 并且用法基本一致,不一致的地方主要是需要用异步的关键字,比如async with/ await等
通过锁让并发慢下来,让协程一个一个的运行 。
输出如下:
通过观察很容易发现,并发的速度因为锁而慢下来了,因为每次只有一个协程能获得锁,所以并发变成了串行 。
通过事件来通知特定的协程开始工作,假设有一个任务是根据http响应结果选择是否激活 。
输出如下:
可以看到事件(Event)等待者都是在得到响应内容之后输出,并且事件(Event)可以是多个协程同时等待 。
上面的事件虽然很棒,能够在不同的协程之间同步状态,并且也能够一次性同步所有的等待协程,但是还不够精细化,比如想通知指定数量的等待协程,这个时候Event就无能为力了 , 所以同步原语中出现了Condition 。
输出如下:
可以看到,前面两个等待的协程是在同一时刻完成,而不是全部等待完成 。
通过创建协程的数量来控制并发并不是非常优雅的方式,所以可以通过信号量的方式来控制并发 。
输出如下:
可以发现 , 虽然同时创建了三个协程,但是同一时刻只有两个协程工作 , 而另外一个协程需要等待一个协程让出信号量才能运行 。
无论是协程还是线程,任务之间的状态同步还是很重要的,所以有了应对各种同步机制的同步原语,因为要保证一个资源同一个时刻只能一个任务访问 , 所以引入了锁,又因为需要一个任务等待另一个任务,或者多个任务等待某个任务,因此引入了事件(Event),但是为了更精细的控制通知的程度,所以又引入了条件(Condition), 通过条件可以控制一次通知多少的任务 。
有时候的并发需求是通过一个变量控制并发任务的并发数而不是通过创建协程的数量来控制并发,所以引入了信号量(Semaphore),这样就可以在创建的协程数远远大于并发数的情况下让协程在指定的并发量情况下并发 。
不得不承认异步编程相比起同步编程的生态要小的很多,所以不可能完全异步编程,因此需要一种方式兼容 。
多线程是为了兼容同步得代码 。
多进程是为了利用CPU多核的能力 。
输出如下:
可以看到总耗时1秒,说明所有的线程跟进程是同时运行的 。
下面是本人使用过的一些异步库 , 仅供参考
web框架
http客户端
数据库
ORM
虽然异步库发展得还算不错,但是中肯的说并没有覆盖方方面面 。
虽然我鼓励大家尝试异步编程,但是本文的最后却是让大家谨慎的选择开发环境,如果你觉得本文的并发,同步,兼容多线程,多进程不值得一提 , 那么我十分推荐你尝试以异步编程的方式开始一个新的项目,如果你对其中一些还有疑问或者你确定了要使用的依赖库并且大多数是没有异步库替代的 , 那么我还是建议你直接按照自己擅长的同步编程开始 。

推荐阅读