include/linux/balloon_compaction.h

   1 /* SPDX-License-Identifier: GPL-2.0 */
   2 /*
   3  * include/linux/balloon_compaction.h
   4  *
   5  * Common interface definitions for making balloon pages movable by compaction.
   6  *
   7  * Despite being perfectly possible to perform ballooned pages migration, they
   8  * make a special corner case to compaction scans because balloon pages are not
   9  * enlisted at any LRU list like the other pages we do compact / migrate.
  10  *
  11  * As the page isolation scanning step a compaction thread does is a lockless
  12  * procedure (from a page standpoint), it might bring some racy situations while
  13  * performing balloon page compaction. In order to sort out these racy scenarios
  14  * and safely perform balloon's page compaction and migration we must, always,
  15  * ensure following these three simple rules:
  16  *
  17  *   i. when updating a balloon's page ->mapping element, strictly do it under
  18  *      the following lock order, independently of the far superior
  19  *      locking scheme (lru_lock, balloon_lock):
  20  *          +-page_lock(page);
  21  *            +--spin_lock_irq(&b_dev_info->pages_lock);
  22  *                  ... page->mapping updates here ...
  23  *
  24  *  ii. before isolating or dequeueing a balloon page from the balloon device
  25  *      pages list, the page reference counter must be raised by one and the
  26  *      extra refcount must be dropped when the page is enqueued back into
  27  *      the balloon device page list, thus a balloon page keeps its reference
  28  *      counter raised only while it is under our special handling;
  29  *
  30  * iii. after the lockless scan step have selected a potential balloon page for
  31  *      isolation, re-test the PageBalloon mark and the PagePrivate flag
  32  *      under the proper page lock, to ensure isolating a valid balloon page
  33  *      (not yet isolated, nor under release procedure)
  34  *
  35  *  iv. isolation or dequeueing procedure must clear PagePrivate flag under
  36  *      page lock together with removing page from balloon device page list.
  37  *
  38  * The functions provided by this interface are placed to help on coping with
  39  * the aforementioned balloon page corner case, as well as to ensure the simple
  40  * set of exposed rules are satisfied while we are dealing with balloon pages
  41  * compaction / migration.
  42  *
  43  * Copyright (C) 2012, Red Hat, Inc.  Rafael Aquini <aquini@redhat.com>
  44  */
  45 #ifndef _LINUX_BALLOON_COMPACTION_H
  46 #define _LINUX_BALLOON_COMPACTION_H
  47 #include <linux/pagemap.h>
  48 #include <linux/page-flags.h>
  49 #include <linux/migrate.h>
  50 #include <linux/gfp.h>
  51 #include <linux/err.h>
  52 #include <linux/fs.h>
  53
  54 /*
  55  * Balloon device information descriptor.
  56  * This struct is used to allow the common balloon compaction interface
  57  * procedures to find the proper balloon device holding memory pages they'll
  58  * have to cope for page compaction / migration, as well as it serves the
  59  * balloon driver as a page book-keeper for its registered balloon devices.
  60  */
  61 struct balloon_dev_info {
  62         unsigned long isolated_pages;   /* # of isolated pages for migration */
  63         spinlock_t pages_lock;          /* Protection to pages list */
  64         struct list_head pages;         /* Pages enqueued & handled to Host */
  65         int (*migratepage)(struct balloon_dev_info *, struct page *newpage,
  66                         struct page *page, enum migrate_mode mode);
  67         struct inode *inode;
  68 };
  69
  70 extern struct page *balloon_page_enqueue(struct balloon_dev_info *b_dev_info);
  71 extern struct page *balloon_page_dequeue(struct balloon_dev_info *b_dev_info);
  72
  73 static inline void balloon_devinfo_init(struct balloon_dev_info *balloon)
  74 {
  75         balloon->isolated_pages = 0;
  76         spin_lock_init(&balloon->pages_lock);
  77         INIT_LIST_HEAD(&balloon->pages);
  78         balloon->migratepage = NULL;
  79         balloon->inode = NULL;
  80 }
  81
  82 #ifdef CONFIG_BALLOON_COMPACTION
  83 extern const struct address_space_operations balloon_aops;
  84 extern bool balloon_page_isolate(struct page *page,
  85                                 isolate_mode_t mode);
  86 extern void balloon_page_putback(struct page *page);
  87 extern int balloon_page_migrate(struct address_space *mapping,
  88                                 struct page *newpage,
  89                                 struct page *page, enum migrate_mode mode);
  90
  91 /*
  92  * balloon_page_insert - insert a page into the balloon's page list and make
  93  *                       the page->private assignment accordingly.
  94  * @balloon : pointer to balloon device
  95  * @page    : page to be assigned as a 'balloon page'
  96  *
  97  * Caller must ensure the page is locked and the spin_lock protecting balloon
  98  * pages list is held before inserting a page into the balloon device.
  99  */
 100 static inline void balloon_page_insert(struct balloon_dev_info *balloon,
 101                                        struct page *page)
 102 {
 103         __SetPageBalloon(page);
 104         __SetPageMovable(page, balloon->inode->i_mapping);
 105         set_page_private(page, (unsigned long)balloon);
 106         list_add(&page->lru, &balloon->pages);
 107 }
 108
 109 /*
 110  * balloon_page_delete - delete a page from balloon's page list and clear
 111  *                       the page->private assignement accordingly.
 112  * @page    : page to be released from balloon's page list
 113  *
 114  * Caller must ensure the page is locked and the spin_lock protecting balloon
 115  * pages list is held before deleting a page from the balloon device.
 116  */
 117 static inline void balloon_page_delete(struct page *page)
 118 {
 119         __ClearPageBalloon(page);
 120         __ClearPageMovable(page);
 121         set_page_private(page, 0);
 122         /*
 123          * No touch page.lru field once @page has been isolated
 124          * because VM is using the field.
 125          */
 126         if (!PageIsolated(page))
 127                 list_del(&page->lru);
 128 }
 129
 130 /*
 131  * balloon_page_device - get the b_dev_info descriptor for the balloon device
 132  *                       that enqueues the given page.
 133  */
 134 static inline struct balloon_dev_info *balloon_page_device(struct page *page)
 135 {
 136         return (struct balloon_dev_info *)page_private(page);
 137 }
 138
 139 static inline gfp_t balloon_mapping_gfp_mask(void)
 140 {
 141         return GFP_HIGHUSER_MOVABLE;
 142 }
 143
 144 #else /* !CONFIG_BALLOON_COMPACTION */
 145
 146 static inline void balloon_page_insert(struct balloon_dev_info *balloon,
 147                                        struct page *page)
 148 {
 149         __SetPageBalloon(page);
 150         list_add(&page->lru, &balloon->pages);
 151 }
 152
 153 static inline void balloon_page_delete(struct page *page)
 154 {
 155         __ClearPageBalloon(page);
 156         list_del(&page->lru);
 157 }
 158
 159 static inline bool __is_movable_balloon_page(struct page *page)
 160 {
 161         return false;
 162 }
 163
 164 static inline bool balloon_page_movable(struct page *page)
 165 {
 166         return false;
 167 }
 168
 169 static inline bool isolated_balloon_page(struct page *page)
 170 {
 171         return false;
 172 }
 173
 174 static inline bool balloon_page_isolate(struct page *page)
 175 {
 176         return false;
 177 }
 178
 179 static inline void balloon_page_putback(struct page *page)
 180 {
 181         return;
 182 }
 183
 184 static inline int balloon_page_migrate(struct page *newpage,
 185                                 struct page *page, enum migrate_mode mode)
 186 {
 187         return 0;
 188 }
 189
 190 static inline gfp_t balloon_mapping_gfp_mask(void)
 191 {
 192         return GFP_HIGHUSER;
 193 }
 194
 195 #endif /* CONFIG_BALLOON_COMPACTION */
 196 #endif /* _LINUX_BALLOON_COMPACTION_H */