Python 进程间通信性能对比

6次阅读

multiprocessing.queue吞吐量低、延迟高,因序列化与锁开销;pipe延迟更低、带宽更高,适合一对一通信;共享内存和mmap避免拷贝,适合大数据;unix域套接字灵活但需处理粘包。

Python 进程间通信性能对比

如果您需要在多个 python 进程之间传递数据,不同通信机制的实际吞吐量、延迟和资源开销存在显著差异。以下是几种主流进程间通信方式的性能对比分析步骤:

一、使用 multiprocessing.Queue

multiprocessing.Queue 基于底层管道和锁实现,适用于多生产者多消费者场景,但序列化与线程安全机制会引入额外开销。

1、导入 multiprocessing 模块并创建 Queue 实例。

2、在子进程中调用 queue.put() 发送序列化后的对象

立即学习Python免费学习笔记(深入)”;

3、在主进程中调用 queue.get() 接收对象,每次调用触发反序列化操作。

4、重复执行 10000 次收发操作,记录总耗时与内存占用峰值。

二、使用 multiprocessing.Pipe

multiprocessing.Pipe 创建一对连接的端点,仅支持一对一通信,绕过队列的锁和缓冲管理,因此延迟更低、带宽更高。

1、调用 multiprocessing.Pipe() 获取 conn1 和 conn2 两个连接对象。

2、在发送进程调用 conn1.send() 直接写入字节流。

3、在接收进程调用 conn2.recv() 同步读取,不经过中间序列化队列。

4、关闭未使用的连接端,避免文件描述符泄漏。

三、使用共享内存(multiprocessing.shared_memory)

共享内存允许进程直接读写同一块物理内存区域,避免数据拷贝,适合传输大型 numpy 数组或二进制块。

1、调用 shared_memory.SharedMemory(create=True, size=1024*1024) 创建 1MB 共享内存块。

2、将数据通过 memoryview 写入 shm.buf,确保字节对齐与边界安全。

3、子进程通过名称附加到同一共享内存对象,直接访问 shm.buf。

4、通信完成后,由创建方显式调用 shm.close() 和 shm.unlink() 释放资源。

四、使用文件映射(mmap)

mmap 将文件或匿名内存区域映射为进程地址空间的一部分,支持随机访问和大块数据零拷贝交换。

1、在主进程中使用 mmap.mmap(-1, Length=1024*1024) 创建匿名映射。

2、将结构化数据按预定义偏移写入 mmap 对象。

3、通过 os.fork() 或 multiprocessing.Process 启动子进程,继承 mmap 句柄。

4、子进程在相同偏移处读取原始字节,需自行处理字节序与解析逻辑。

五、使用 Unix 域套接字(socket.AF_UNIX)

Unix 域套接字提供面向连接或无连接的本地通信,内核路径优化使其性能接近 Pipe,但支持更灵活的消息边界控制。

1、主进程调用 socket.socket(socket.AF_UNIX, socket.SOCK_STREAM) 创建服务端套接字。

2、绑定到本地路径(如 /tmp/proc_comm.sock),并监听连接请求。

3、子进程创建客户端套接字,connect 到该路径,建立双向字节流通道。

4、双方使用 send() 和 recv() 传输数据,需手动处理消息长度头以避免粘包

text=ZqhQzanResources