Windows 上的 Python 并行处理是否存在任何已知问题？

Question

这也许不是问这个问题的合适地方，但我不确定还能去哪里问这个问题。我的硕士论文旨在尝试使用并行计算来加速随机生物学模拟。我已经为模拟的并行化编写了一些标准格式的代码。pool.map此代码适用于我的 9 个模拟中的 7 个，但在其他两个上使用时似乎卡住了。由于在家等工作和硬件/软件限制，我唯一可用的操作系统是适用于 Linux 的 Windows 子系统和 Windows powershell（我都尝试过）。我的主管建议的一件事是，这个问题可能与我的操作系统有关，Windows 在并行化方面可能不如 Linux。但我正在努力寻找任何确凿的证据来支持这一点。那么有没有人知道任何论文或指向其他帖子的链接可能提供有关 Windows 操作系统是否存在 Python 并行处理问题的一些信息？干杯

Answer 1

我不知道正式论文，但使用dask.org的 dask 取得了很多实际成功 所以这是否是一个好的答案在很大程度上取决于你是否只想要结果，或者你是否正在进行深入研究。

我和我的团队大约一年前开始使用 dask 来并行化需要Pandas/numpy数小时才能运行的大型作业（如果它们没有耗尽内存）。使用 dask，我们能够将这些时间缩短到几分钟，并获得成功（即相同）的结果。

仍然建议使用大量 RAM，但并行化功能和流程仪表板/反馈是向前迈出的一大步。