arch/arm64/include/asm/tlb.h

   1 /*
   2  * Based on arch/arm/include/asm/tlb.h
   3  *
   4  * Copyright (C) 2002 Russell King
   5  * Copyright (C) 2012 ARM Ltd.
   6  *
   7  * This program is free software; you can redistribute it and/or modify
   8  * it under the terms of the GNU General Public License version 2 as
   9  * published by the Free Software Foundation.
  10  *
  11  * This program is distributed in the hope that it will be useful,
  12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  14  * GNU General Public License for more details.
  15  *
  16  * You should have received a copy of the GNU General Public License
  17  * along with this program.  If not, see <http://www.gnu.org/licenses/>.
  18  */
  19 #ifndef __ASM_TLB_H
  20 #define __ASM_TLB_H
  21
  22 #include <linux/pagemap.h>
  23 #include <linux/swap.h>
  24
  25 static inline void __tlb_remove_table(void *_table)
  26 {
  27         free_page_and_swap_cache((struct page *)_table);
  28 }
  29
  30 static void tlb_flush(struct mmu_gather *tlb);
  31
  32 #include <asm-generic/tlb.h>
  33
  34 static inline void tlb_flush(struct mmu_gather *tlb)
  35 {
  36         struct vm_area_struct vma = TLB_FLUSH_VMA(tlb->mm, 0);
  37         bool last_level = !tlb->freed_tables;
  38         unsigned long stride = tlb_get_unmap_size(tlb);
  39
  40         /*
  41          * If we're tearing down the address space then we only care about
  42          * invalidating the walk-cache, since the ASID allocator won't
  43          * reallocate our ASID without invalidating the entire TLB.
  44          */
  45         if (tlb->fullmm) {
  46                 if (!last_level)
  47                         flush_tlb_mm(tlb->mm);
  48                 return;
  49         }
  50
  51         __flush_tlb_range(&vma, tlb->start, tlb->end, stride, last_level);
  52 }
  53
  54 static inline void __pte_free_tlb(struct mmu_gather *tlb, pgtable_t pte,
  55                                   unsigned long addr)
  56 {
  57         pgtable_page_dtor(pte);
  58         tlb_remove_table(tlb, pte);
  59 }
  60
  61 #if CONFIG_PGTABLE_LEVELS > 2
  62 static inline void __pmd_free_tlb(struct mmu_gather *tlb, pmd_t *pmdp,
  63                                   unsigned long addr)
  64 {
  65         tlb_remove_table(tlb, virt_to_page(pmdp));
  66 }
  67 #endif
  68
  69 #if CONFIG_PGTABLE_LEVELS > 3
  70 static inline void __pud_free_tlb(struct mmu_gather *tlb, pud_t *pudp,
  71                                   unsigned long addr)
  72 {
  73         tlb_remove_table(tlb, virt_to_page(pudp));
  74 }
  75 #endif
  76
  77 #endif