在C中进行结构化序列化并通过MPI进行传输

Question

我已经定义了一个自定义结构，并希望使用MPI_Bsend（或MPI_Send）将其发送到另一个MPI进程。这是我的结构：struct car{  int shifts;  int topSpeed;}myCar;但是，除了基本类型，MPI似乎不支持复杂数据类型的直接“传输”，如上面的struct。我听说我可能必须使用“序列化”。我应该如何处理并将“ myCar”发送给进程5？

Answer 1

耶利米是对的-MPI_Type_create_struct是前往此处的方法。

重要的是要记住，MPI是一个库，而不是语言的内置库。因此它无法“看到”结构将其自身序列化的样子。因此，要发送复杂的数据类型，必须显式定义其布局。在确实具有序列化支持的语言中，一组MPI包装器可以方便地利用它。例如，mpi4py利用python的pickle透明地发送复杂的数据类型；但是在C语言中，您必须卷起袖子，自己动手做。

对于您的结构，它看起来像这样：

#include <stdio.h>

#include <stdlib.h>

#include <mpi.h>

#include <stddef.h>

typedef struct car_s {

        int shifts;

        int topSpeed;

} car;

int main(int argc, char **argv) {

    const int tag = 13;

    int size, rank;

    MPI_Init(&argc, &argv);

    MPI_Comm_size(MPI_COMM_WORLD, &size);

    if (size < 2) {

        fprintf(stderr,"Requires at least two processes.\n");

        exit(-1);

    }

    /* create a type for struct car */

    const int nitems=2;

    int          blocklengths[2] = {1,1};

    MPI_Datatype types[2] = {MPI_INT, MPI_INT};

    MPI_Datatype mpi_car_type;

    MPI_Aint     offsets[2];

    offsets[0] = offsetof(car, shifts);

    offsets[1] = offsetof(car, topSpeed);

    MPI_Type_create_struct(nitems, blocklengths, offsets, types, &mpi_car_type);

    MPI_Type_commit(&mpi_car_type);

    MPI_Comm_rank(MPI_COMM_WORLD, &rank);

    if (rank == 0) {

        car send;

        send.shifts = 4;

        send.topSpeed = 100;

        const int dest = 1;

        MPI_Send(&send,   1, mpi_car_type, dest, tag, MPI_COMM_WORLD);

        printf("Rank %d: sent structure car\n", rank);

    }

    if (rank == 1) {

        MPI_Status status;

        const int src=0;

        car recv;

        MPI_Recv(&recv,   1, mpi_car_type, src, tag, MPI_COMM_WORLD, &status);

        printf("Rank %d: Received: shifts = %d topSpeed = %d\n", rank,

                 recv.shifts, recv.topSpeed);

    }

    MPI_Type_free(&mpi_car_type);

    MPI_Finalize();

    return 0;

}

Answer 2

尽管乔纳森·杜尔西（Jonathan Dursi）的回答是正确的，但它过于复杂。MPI提供了更简单，通用性更小的类型构造函数，更适合您的问题。MPI_Type_create_struct仅当您具有不同的基本类型（例如int和float）时才需要。

对于您的示例，存在几种更好的解决方案：

假设两个整数在连续的内存区域中对齐（即，就像整数数组一样），则根本不需要派生的数据类型。只需发送/接收两个具有type MPI_INT变量的地址的type元素car即可用作发送/接收缓冲区：

MPI_Send(&send, 2, MPI_INT, dest, tag, MPI_COMM_WORLD);

MPI_Recv(&recv, 2, MPI_INT, src, tag, MPI_COMM_WORLD, &status);

如果要使用派生的数据类型（例如，出于可读性或乐趣），则可以使用MPI_Type_contiguous与数组相对应的数据类型：

MPI_Type_contiguous(2, MPI_INT, &mpi_car_type);

如果两个整数的对齐方式不同（很可能不是这种情况，但这是与机器相关的，并且MPI实现存在于许多不同的平台上），则可以使用MPI_Type_indexed_block：它接受一组位移数组（如MPI_Type_create_struct），但是只有一个旧类型参数，每个块的块长按定义为1：

MPI_Aint offsets[2];

offsets[0] = offsetof(car, shifts) ; //most likely going to be 0 

offsets[1] = offsetof(car, topSpeed);

MPI_Type_indexed_block(2, offsets, MPI_INT);

尽管其他解决方案在语义上是正确的，但它很难阅读，并且可能会导致较大的性能损失。

Answer 3

int MPI_Send(const void *buf, int count, MPI_Datatype datatype, int dest, int tag, MPI_Comm comm)

OpenMPI将发送count * sizeof(datatype)从开始的连续字节，buf以允许发送类似int数组的内容。例如，如果声明一个10 int数组int arr[10]，则可以使用

MPI_Send(arr, 10, MPI_INT, 1, 0, MPI_COMM_WORLD);

并收到类似的消息。由于buf是空指针，我们可以通过发送sizeof(my_struct)字节并在接收端将其强制转换为结构来滥用此结构来发送结构。这是一个例子：

#include "mpi.h"

#include <stdio.h>

typedef struct 

{

    char a;

    int b;

    short c;

} my_struct;

int main (int argc, char *argv[])

{

    int  numtasks, taskid;

    MPI_Init(&argc, &argv);

    MPI_Comm_rank(MPI_COMM_WORLD, &taskid);

    MPI_Comm_size(MPI_COMM_WORLD, &numtasks);

    if (taskid == 0) 

    {

        my_struct m;

        m.a = '!';

        m.b = 1234;

        m.c = 5678;

        MPI_Send(&m, sizeof(my_struct), MPI_CHAR, 1, 0, MPI_COMM_WORLD);

    }

    else 

    {

        my_struct m;

        MPI_Recv(&m, sizeof(my_struct), MPI_CHAR, 0, 0, MPI_COMM_WORLD, 

                 MPI_STATUS_IGNORE);

        printf("%c %d %d\n", m.a, m.b, m.c); 

    }

    MPI_Finalize();

}

由于C数组是连续存储数据的，所以我们甚至可以像构造m数组一样发送结构数组。因此，如果您有一个my_struct m_array[10]，则可以发送（并以类似方式接收）

MPI_Send(m_array, sizeof(my_struct) * 10, MPI_CHAR, 1, 0, MPI_COMM_WORLD);