include/linux/mempool.h

   1 /* SPDX-License-Identifier: GPL-2.0 */
   2 /*
   3  * memory buffer pool support
   4  */
   5 #ifndef _LINUX_MEMPOOL_H
   6 #define _LINUX_MEMPOOL_H
   7
   8 #include <linux/wait.h>
   9 #include <linux/compiler.h>
  10
  11 struct kmem_cache;
  12
  13 typedef void * (mempool_alloc_t)(gfp_t gfp_mask, void *pool_data);
  14 typedef void (mempool_free_t)(void *element, void *pool_data);
  15
  16 typedef struct mempool_s {
  17         spinlock_t lock;
  18         int min_nr;             /* nr of elements at *elements */
  19         int curr_nr;            /* Current nr of elements at *elements */
  20         void **elements;
  21
  22         void *pool_data;
  23         mempool_alloc_t *alloc;
  24         mempool_free_t *free;
  25         wait_queue_head_t wait;
  26 } mempool_t;
  27
  28 static inline bool mempool_initialized(mempool_t *pool)
  29 {
  30         return pool->elements != NULL;
  31 }
  32
  33 static inline bool mempool_is_saturated(mempool_t *pool)
  34 {
  35         return READ_ONCE(pool->curr_nr) >= pool->min_nr;
  36 }
  37
  38 void mempool_exit(mempool_t *pool);
  39 int mempool_init_node(mempool_t *pool, int min_nr, mempool_alloc_t *alloc_fn,
  40                       mempool_free_t *free_fn, void *pool_data,
  41                       gfp_t gfp_mask, int node_id);
  42 int mempool_init(mempool_t *pool, int min_nr, mempool_alloc_t *alloc_fn,
  43                  mempool_free_t *free_fn, void *pool_data);
  44
  45 extern mempool_t *mempool_create(int min_nr, mempool_alloc_t *alloc_fn,
  46                         mempool_free_t *free_fn, void *pool_data);
  47 extern mempool_t *mempool_create_node(int min_nr, mempool_alloc_t *alloc_fn,
  48                         mempool_free_t *free_fn, void *pool_data,
  49                         gfp_t gfp_mask, int nid);
  50
  51 extern int mempool_resize(mempool_t *pool, int new_min_nr);
  52 extern void mempool_destroy(mempool_t *pool);
  53 extern void *mempool_alloc(mempool_t *pool, gfp_t gfp_mask) __malloc;
  54 extern void *mempool_alloc_preallocated(mempool_t *pool) __malloc;
  55 extern void mempool_free(void *element, mempool_t *pool);
  56
  57 /*
  58  * A mempool_alloc_t and mempool_free_t that get the memory from
  59  * a slab cache that is passed in through pool_data.
  60  * Note: the slab cache may not have a ctor function.
  61  */
  62 void *mempool_alloc_slab(gfp_t gfp_mask, void *pool_data);
  63 void mempool_free_slab(void *element, void *pool_data);
  64
  65 static inline int
  66 mempool_init_slab_pool(mempool_t *pool, int min_nr, struct kmem_cache *kc)
  67 {
  68         return mempool_init(pool, min_nr, mempool_alloc_slab,
  69                             mempool_free_slab, (void *) kc);
  70 }
  71
  72 static inline mempool_t *
  73 mempool_create_slab_pool(int min_nr, struct kmem_cache *kc)
  74 {
  75         return mempool_create(min_nr, mempool_alloc_slab, mempool_free_slab,
  76                               (void *) kc);
  77 }
  78
  79 /*
  80  * a mempool_alloc_t and a mempool_free_t to kmalloc and kfree the
  81  * amount of memory specified by pool_data
  82  */
  83 void *mempool_kmalloc(gfp_t gfp_mask, void *pool_data);
  84 void mempool_kfree(void *element, void *pool_data);
  85
  86 static inline int mempool_init_kmalloc_pool(mempool_t *pool, int min_nr, size_t size)
  87 {
  88         return mempool_init(pool, min_nr, mempool_kmalloc,
  89                             mempool_kfree, (void *) size);
  90 }
  91
  92 static inline mempool_t *mempool_create_kmalloc_pool(int min_nr, size_t size)
  93 {
  94         return mempool_create(min_nr, mempool_kmalloc, mempool_kfree,
  95                               (void *) size);
  96 }
  97
  98 void *mempool_kvmalloc(gfp_t gfp_mask, void *pool_data);
  99 void mempool_kvfree(void *element, void *pool_data);
 100
 101 static inline int mempool_init_kvmalloc_pool(mempool_t *pool, int min_nr, size_t size)
 102 {
 103         return mempool_init(pool, min_nr, mempool_kvmalloc, mempool_kvfree, (void *) size);
 104 }
 105
 106 static inline mempool_t *mempool_create_kvmalloc_pool(int min_nr, size_t size)
 107 {
 108         return mempool_create(min_nr, mempool_kvmalloc, mempool_kvfree, (void *) size);
 109 }
 110
 111 /*
 112  * A mempool_alloc_t and mempool_free_t for a simple page allocator that
 113  * allocates pages of the order specified by pool_data
 114  */
 115 void *mempool_alloc_pages(gfp_t gfp_mask, void *pool_data);
 116 void mempool_free_pages(void *element, void *pool_data);
 117
 118 static inline int mempool_init_page_pool(mempool_t *pool, int min_nr, int order)
 119 {
 120         return mempool_init(pool, min_nr, mempool_alloc_pages,
 121                             mempool_free_pages, (void *)(long)order);
 122 }
 123
 124 static inline mempool_t *mempool_create_page_pool(int min_nr, int order)
 125 {
 126         return mempool_create(min_nr, mempool_alloc_pages, mempool_free_pages,
 127                               (void *)(long)order);
 128 }
 129
 130 #endif /* _LINUX_MEMPOOL_H */