Windows和Linux下使用共享内存在C++和Python之间共享DataFrame

WilliamCode

已于 2022-08-25 16:22:26 修改

阅读量3.3k

点赞数 3

分类专栏： Linux 文章标签： linux windows c++

于 2022-05-03 18:18:43 首次发布

本文链接：https://blog.csdn.net/WilliamCode/article/details/124557454

版权

参考资料

windows api: https://docs.microsoft.com/en-us/windows/win32/api/
《Linux-UNIX系统编程手册》
Python Doc: https://docs.python.org/3/library/mmap.html
Linux manual: https://man7.org/linux/man-pages/man2/mmap.2.html

实现（windows）

主要功能

用C++创建共享内存，用Python进行读取，用csv格式传递DataFrame

Q&A

Q：为什么使用csv格式？
A：如果使用binary格式，需要用python的struct.unpack解析二进制数据，相当于在Python环境下执行数据解析，这会非常慢，数据量大的话，可能会比写文件还慢。使用csv，C++写入一个字符流，Python中调用pd.read_csv，也是在C++代码中解析csv，因此比较快。
Q：为什么不将Python嵌入到C++中，用函数参数传递来传递DataFrame
A：这种方式传递参数，也会非常非常慢

实现步骤

调用CreateFile创建文件
调用CreateFileMapping将创建的内存文件映射到本进程的内存空间
调用MapViewOfFile获得共享内存在本进程内存空间内的地址
写数据

2022-08-25补充-用numpy共享raw binary data

// in C++ code, share an int array as example
// create shared memory first, lp_base is the shared memory ptr
int32_t stocks[] = { 1,2, 300001, 688001 };
int len = sizeof(stocks);
char* ptr = (char*)lp_base;
memcpy(ptr,