include/linux/mm_inline.h

   1 /* SPDX-License-Identifier: GPL-2.0 */
   2 #ifndef LINUX_MM_INLINE_H
   3 #define LINUX_MM_INLINE_H
   4
   5 #include <linux/huge_mm.h>
   6 #include <linux/swap.h>
   7
   8 /**
   9  * page_is_file_lru - should the page be on a file LRU or anon LRU?
  10  * @page: the page to test
  11  *
  12  * Returns 1 if @page is a regular filesystem backed page cache page or a lazily
  13  * freed anonymous page (e.g. via MADV_FREE).  Returns 0 if @page is a normal
  14  * anonymous page, a tmpfs page or otherwise ram or swap backed page.  Used by
  15  * functions that manipulate the LRU lists, to sort a page onto the right LRU
  16  * list.
  17  *
  18  * We would like to get this info without a page flag, but the state
  19  * needs to survive until the page is last deleted from the LRU, which
  20  * could be as far down as __page_cache_release.
  21  */
  22 static inline int page_is_file_lru(struct page *page)
  23 {
  24         return !PageSwapBacked(page);
  25 }
  26
  27 static __always_inline void __update_lru_size(struct lruvec *lruvec,
  28                                 enum lru_list lru, enum zone_type zid,
  29                                 int nr_pages)
  30 {
  31         struct pglist_data *pgdat = lruvec_pgdat(lruvec);
  32
  33         __mod_lruvec_state(lruvec, NR_LRU_BASE + lru, nr_pages);
  34         __mod_zone_page_state(&pgdat->node_zones[zid],
  35                                 NR_ZONE_LRU_BASE + lru, nr_pages);
  36 }
  37
  38 static __always_inline void update_lru_size(struct lruvec *lruvec,
  39                                 enum lru_list lru, enum zone_type zid,
  40                                 int nr_pages)
  41 {
  42         __update_lru_size(lruvec, lru, zid, nr_pages);
  43 #ifdef CONFIG_MEMCG
  44         mem_cgroup_update_lru_size(lruvec, lru, zid, nr_pages);
  45 #endif
  46 }
  47
  48 /**
  49  * page_lru_base_type - which LRU list type should a page be on?
  50  * @page: the page to test
  51  *
  52  * Used for LRU list index arithmetic.
  53  *
  54  * Returns the base LRU type - file or anon - @page should be on.
  55  */
  56 static inline enum lru_list page_lru_base_type(struct page *page)
  57 {
  58         if (page_is_file_lru(page))
  59                 return LRU_INACTIVE_FILE;
  60         return LRU_INACTIVE_ANON;
  61 }
  62
  63 /**
  64  * __clear_page_lru_flags - clear page lru flags before releasing a page
  65  * @page: the page that was on lru and now has a zero reference
  66  */
  67 static __always_inline void __clear_page_lru_flags(struct page *page)
  68 {
  69         VM_BUG_ON_PAGE(!PageLRU(page), page);
  70
  71         __ClearPageLRU(page);
  72
  73         /* this shouldn't happen, so leave the flags to bad_page() */
  74         if (PageActive(page) && PageUnevictable(page))
  75                 return;
  76
  77         __ClearPageActive(page);
  78         __ClearPageUnevictable(page);
  79 }
  80
  81 /**
  82  * page_lru - which LRU list should a page be on?
  83  * @page: the page to test
  84  *
  85  * Returns the LRU list a page should be on, as an index
  86  * into the array of LRU lists.
  87  */
  88 static __always_inline enum lru_list page_lru(struct page *page)
  89 {
  90         enum lru_list lru;
  91
  92         VM_BUG_ON_PAGE(PageActive(page) && PageUnevictable(page), page);
  93
  94         if (PageUnevictable(page))
  95                 lru = LRU_UNEVICTABLE;
  96         else {
  97                 lru = page_lru_base_type(page);
  98                 if (PageActive(page))
  99                         lru += LRU_ACTIVE;
 100         }
 101         return lru;
 102 }
 103
 104 static __always_inline void add_page_to_lru_list(struct page *page,
 105                                 struct lruvec *lruvec)
 106 {
 107         enum lru_list lru = page_lru(page);
 108
 109         update_lru_size(lruvec, lru, page_zonenum(page), thp_nr_pages(page));
 110         list_add(&page->lru, &lruvec->lists[lru]);
 111 }
 112
 113 static __always_inline void add_page_to_lru_list_tail(struct page *page,
 114                                 struct lruvec *lruvec)
 115 {
 116         enum lru_list lru = page_lru(page);
 117
 118         update_lru_size(lruvec, lru, page_zonenum(page), thp_nr_pages(page));
 119         list_add_tail(&page->lru, &lruvec->lists[lru]);
 120 }
 121
 122 static __always_inline void del_page_from_lru_list(struct page *page,
 123                                 struct lruvec *lruvec)
 124 {
 125         list_del(&page->lru);
 126         update_lru_size(lruvec, page_lru(page), page_zonenum(page),
 127                         -thp_nr_pages(page));
 128 }
 129 #endif