Wrapping asyncio.gather in a timeout(包装异步。在超时时聚集)
问题描述
我看过asyncio.gather vs asyncio.wait,但不确定这是否解决了这个特定问题。我要做的是用timeout
参数将asyncio.gather()
协程包装在asyncio.wait_for()
中。我还需要满足以下条件:
return_exceptions=True
(来自asyncio.gather()
)-我希望在结果中包含异常实例,而不是将异常传播到等待时间gather()
的任务- 顺序:保留
asyncio.gather()
的属性,即结果顺序与输入顺序相同。(否则,将输出映射回输入。)asyncio.wait_for()
未通过此条件,我不确定实现此条件的理想方法。
超时针对整个整个asyncio.gather()
等待对象列表--如果它们陷入超时或返回异常,这两种情况中的任何一种都应该将异常实例放在结果列表中。
考虑此设置:
上面的程序,使用n = 10
,执行运行时间为0.5秒,在异步运行时还会有一些开销。(random.random()
将均匀分布在[0,1)中。)
假设我要将其作为超时强加给整个操作(即在协程main()
上):
现在可以使用asyncio.wait()
,但问题是结果是set
对象,所以肯定不能保证asyncio.gather()
的排序返回值属性:
task
实例映射回iterable
中的输入。它们的任务ID通过tasks = [asyncio.create_task(coro(i)) for i in it]
有效地丢失在函数作用域中。是否有Python方式/使用异步API来模仿asyncio.gather()
此处的行为?推荐答案
查看底层_wait()
协程,此协程将传递一个任务列表,并将修改这些任务的状态。这意味着,在main()
范围内,tasks = [asyncio.create_task(coro(i)) for i in it]
中的tasks
将通过调用await asyncio.wait(tasks, timeout=timeout)
进行修改。与返回(done, pending)
元组不同,一种解决方法是只返回tasks
本身,这保留了输入it
的顺序。wait()
/_wait()
只是将任务分成已完成/挂起的子集,在这种情况下,我们可以丢弃这些子集,并使用其元素已更改的tasks
的整个列表。
在这种情况下有三种可能的任务状态:
- 任务返回有效结果(
coro()
),未引发异常,并且在timeout
下完成。它的.cancelled()
将为false,并且它有一个有效的.result()
,该.result()
不是异常实例 - 任务在有机会返回结果或引发异常之前超时。它将显示
.cancelled()
,其.exception()
将引发CancelledError
- 允许时间完成并从
coro()
引发异常的任务;它将显示.cancelled()
为False,其exception()
将引发
(所有这些都在asyncio/futures.py中列出。)
插图:
现在应用上面的逻辑,它使res
保持与输入相对应的顺序:
这篇关于包装异步。在超时时聚集的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持编程学习网!