include/linux/mm_inline.h

   1 /* SPDX-License-Identifier: GPL-2.0 */
   2 #ifndef LINUX_MM_INLINE_H
   3 #define LINUX_MM_INLINE_H
   4
   5 #include <linux/huge_mm.h>
   6 #include <linux/swap.h>
   7
   8 /**
   9  * page_is_file_lru - should the page be on a file LRU or anon LRU?
  10  * @page: the page to test
  11  *
  12  * Returns 1 if @page is a regular filesystem backed page cache page or a lazily
  13  * freed anonymous page (e.g. via MADV_FREE).  Returns 0 if @page is a normal
  14  * anonymous page, a tmpfs page or otherwise ram or swap backed page.  Used by
  15  * functions that manipulate the LRU lists, to sort a page onto the right LRU
  16  * list.
  17  *
  18  * We would like to get this info without a page flag, but the state
  19  * needs to survive until the page is last deleted from the LRU, which
  20  * could be as far down as __page_cache_release.
  21  */
  22 static inline int page_is_file_lru(struct page *page)
  23 {
  24         return !PageSwapBacked(page);
  25 }
  26
  27 static __always_inline void __update_lru_size(struct lruvec *lruvec,
  28                                 enum lru_list lru, enum zone_type zid,
  29                                 int nr_pages)
  30 {
  31         struct pglist_data *pgdat = lruvec_pgdat(lruvec);
  32
  33         __mod_lruvec_state(lruvec, NR_LRU_BASE + lru, nr_pages);
  34         __mod_zone_page_state(&pgdat->node_zones[zid],
  35                                 NR_ZONE_LRU_BASE + lru, nr_pages);
  36 }
  37
  38 static __always_inline void update_lru_size(struct lruvec *lruvec,
  39                                 enum lru_list lru, enum zone_type zid,
  40                                 int nr_pages)
  41 {
  42         __update_lru_size(lruvec, lru, zid, nr_pages);
  43 #ifdef CONFIG_MEMCG
  44         mem_cgroup_update_lru_size(lruvec, lru, zid, nr_pages);
  45 #endif
  46 }
  47
  48 /**
  49  * page_lru_base_type - which LRU list type should a page be on?
  50  * @page: the page to test
  51  *
  52  * Used for LRU list index arithmetic.
  53  *
  54  * Returns the base LRU type - file or anon - @page should be on.
  55  */
  56 static inline enum lru_list page_lru_base_type(struct page *page)
  57 {
  58         if (page_is_file_lru(page))
  59                 return LRU_INACTIVE_FILE;
  60         return LRU_INACTIVE_ANON;
  61 }
  62
  63 /**
  64  * __clear_page_lru_flags - clear page lru flags before releasing a page
  65  * @page: the page that was on lru and now has a zero reference
  66  */
  67 static __always_inline void __clear_page_lru_flags(struct page *page)
  68 {
  69         __ClearPageLRU(page);
  70
  71         /* this shouldn't happen, so leave the flags to bad_page() */
  72         if (PageActive(page) && PageUnevictable(page))
  73                 return;
  74
  75         __ClearPageActive(page);
  76         __ClearPageUnevictable(page);
  77 }
  78
  79 /**
  80  * page_lru - which LRU list should a page be on?
  81  * @page: the page to test
  82  *
  83  * Returns the LRU list a page should be on, as an index
  84  * into the array of LRU lists.
  85  */
  86 static __always_inline enum lru_list page_lru(struct page *page)
  87 {
  88         enum lru_list lru;
  89
  90         if (PageUnevictable(page))
  91                 lru = LRU_UNEVICTABLE;
  92         else {
  93                 lru = page_lru_base_type(page);
  94                 if (PageActive(page))
  95                         lru += LRU_ACTIVE;
  96         }
  97         return lru;
  98 }
  99
 100 static __always_inline void add_page_to_lru_list(struct page *page,
 101                                 struct lruvec *lruvec)
 102 {
 103         enum lru_list lru = page_lru(page);
 104
 105         update_lru_size(lruvec, lru, page_zonenum(page), thp_nr_pages(page));
 106         list_add(&page->lru, &lruvec->lists[lru]);
 107 }
 108
 109 static __always_inline void add_page_to_lru_list_tail(struct page *page,
 110                                 struct lruvec *lruvec)
 111 {
 112         enum lru_list lru = page_lru(page);
 113
 114         update_lru_size(lruvec, lru, page_zonenum(page), thp_nr_pages(page));
 115         list_add_tail(&page->lru, &lruvec->lists[lru]);
 116 }
 117
 118 static __always_inline void del_page_from_lru_list(struct page *page,
 119                                 struct lruvec *lruvec)
 120 {
 121         list_del(&page->lru);
 122         update_lru_size(lruvec, page_lru(page), page_zonenum(page),
 123                         -thp_nr_pages(page));
 124 }
 125 #endif