habanalabs: define uAPI to export FD for DMA-BUF
authorOded Gabbay <ogabbay@kernel.org>
Sun, 11 Apr 2021 05:26:50 +0000 (08:26 +0300)
committerOded Gabbay <ogabbay@kernel.org>
Mon, 18 Oct 2021 09:05:47 +0000 (12:05 +0300)
User process might want to share the device memory with another
driver/device, and to allow it to access it over PCIe (P2P).

To enable this, we utilize the dma-buf mechanism and add a dma-buf
exporter support, so the other driver can import the device memory and
access it.

The device memory is allocated using our existing allocation uAPI,
where the user will get a handle that represents the allocation.

The user will then need to call the new
uAPI (HL_MEM_OP_EXPORT_DMABUF_FD) and give the handle as a parameter.

The driver will return a FD that represents the DMA-BUF object that
was created to match that allocation.

Signed-off-by: Oded Gabbay <ogabbay@kernel.org>
Reviewed-by: Tomer Tayar <ttayar@habana.ai>
Reviewed-by: Greg Kroah-Hartman <gregkh@linuxfoundation.org>
Acked-by: Daniel Vetter <daniel.vetter@ffwll.ch>
include/uapi/misc/habanalabs.h

index fe73630..00b3095 100644 (file)
@@ -960,6 +960,10 @@ union hl_wait_cs_args {
 #define HL_MEM_OP_UNMAP                        3
 /* Opcode to map a hw block */
 #define HL_MEM_OP_MAP_BLOCK            4
+/* Opcode to create DMA-BUF object for an existing device memory allocation
+ * and to export an FD of that DMA-BUF back to the caller
+ */
+#define HL_MEM_OP_EXPORT_DMABUF_FD     5
 
 /* Memory flags */
 #define HL_MEM_CONTIGUOUS      0x1
@@ -1031,11 +1035,26 @@ struct hl_mem_in {
                        /* Virtual address returned from HL_MEM_OP_MAP */
                        __u64 device_virt_addr;
                } unmap;
+
+               /* HL_MEM_OP_EXPORT_DMABUF_FD */
+               struct {
+                       /* Handle returned from HL_MEM_OP_ALLOC. In Gaudi,
+                        * where we don't have MMU for the device memory, the
+                        * driver expects a physical address (instead of
+                        * a handle) in the device memory space.
+                        */
+                       __u64 handle;
+                       /* Size of memory allocation. Relevant only for GAUDI */
+                       __u64 mem_size;
+               } export_dmabuf_fd;
        };
 
        /* HL_MEM_OP_* */
        __u32 op;
-       /* HL_MEM_* flags */
+       /* HL_MEM_* flags.
+        * For the HL_MEM_OP_EXPORT_DMABUF_FD opcode, this field holds the
+        * DMA-BUF file/FD flags.
+        */
        __u32 flags;
        /* Context ID - Currently not in use */
        __u32 ctx_id;
@@ -1072,6 +1091,13 @@ struct hl_mem_out {
 
                        __u32 pad;
                };
+
+               /* Returned in HL_MEM_OP_EXPORT_DMABUF_FD. Represents the
+                * DMA-BUF object that was created to describe a memory
+                * allocation on the device's memory space. The FD should be
+                * passed to the importer driver
+                */
+               __s32 fd;
        };
 };