io_uring/tctx.h

   1 // SPDX-License-Identifier: GPL-2.0
   2
   3 #include <linux/llist.h>
   4
   5 /*
   6  * Arbitrary limit, can be raised if need be
   7  */
   8 #define IO_RINGFD_REG_MAX 16
   9
  10 struct io_uring_task {
  11         /* submission side */
  12         int                             cached_refs;
  13         const struct io_ring_ctx        *last;
  14         struct io_wq                    *io_wq;
  15         struct file                     *registered_rings[IO_RINGFD_REG_MAX];
  16
  17         struct xarray                   xa;
  18         struct wait_queue_head          wait;
  19         atomic_t                        in_idle;
  20         atomic_t                        inflight_tracked;
  21         struct percpu_counter           inflight;
  22
  23         struct { /* task_work */
  24                 struct llist_head       task_list;
  25                 struct callback_head    task_work;
  26         } ____cacheline_aligned_in_smp;
  27 };
  28
  29 struct io_tctx_node {
  30         struct list_head        ctx_node;
  31         struct task_struct      *task;
  32         struct io_ring_ctx      *ctx;
  33 };
  34
  35 int io_uring_alloc_task_context(struct task_struct *task,
  36                                 struct io_ring_ctx *ctx);
  37 void io_uring_del_tctx_node(unsigned long index);
  38 int __io_uring_add_tctx_node(struct io_ring_ctx *ctx, bool submitter);
  39 void io_uring_clean_tctx(struct io_uring_task *tctx);
  40
  41 void io_uring_unreg_ringfd(void);
  42 int io_ringfd_register(struct io_ring_ctx *ctx, void __user *__arg,
  43                        unsigned nr_args);
  44 int io_ringfd_unregister(struct io_ring_ctx *ctx, void __user *__arg,
  45                          unsigned nr_args);
  46
  47 /*
  48  * Note that this task has used io_uring. We use it for cancelation purposes.
  49  */
  50 static inline int io_uring_add_tctx_node(struct io_ring_ctx *ctx)
  51 {
  52         struct io_uring_task *tctx = current->io_uring;
  53
  54         if (likely(tctx && tctx->last == ctx))
  55                 return 0;
  56         return __io_uring_add_tctx_node(ctx, true);
  57 }