arch/arm64/include/asm/mte.h

   1 /* SPDX-License-Identifier: GPL-2.0 */
   2 /*
   3  * Copyright (C) 2020 ARM Ltd.
   4  */
   5 #ifndef __ASM_MTE_H
   6 #define __ASM_MTE_H
   7
   8 #include <asm/compiler.h>
   9 #include <asm/mte-def.h>
  10
  11 #ifndef __ASSEMBLY__
  12
  13 #include <linux/bitfield.h>
  14 #include <linux/page-flags.h>
  15 #include <linux/types.h>
  16
  17 #include <asm/pgtable-types.h>
  18
  19 void mte_clear_page_tags(void *addr);
  20 unsigned long mte_copy_tags_from_user(void *to, const void __user *from,
  21                                       unsigned long n);
  22 unsigned long mte_copy_tags_to_user(void __user *to, void *from,
  23                                     unsigned long n);
  24 int mte_save_tags(struct page *page);
  25 void mte_save_page_tags(const void *page_addr, void *tag_storage);
  26 bool mte_restore_tags(swp_entry_t entry, struct page *page);
  27 void mte_restore_page_tags(void *page_addr, const void *tag_storage);
  28 void mte_invalidate_tags(int type, pgoff_t offset);
  29 void mte_invalidate_tags_area(int type);
  30 void *mte_allocate_tag_storage(void);
  31 void mte_free_tag_storage(char *storage);
  32
  33 #ifdef CONFIG_ARM64_MTE
  34
  35 /* track which pages have valid allocation tags */
  36 #define PG_mte_tagged   PG_arch_2
  37
  38 void mte_zero_clear_page_tags(void *addr);
  39 void mte_sync_tags(pte_t old_pte, pte_t pte);
  40 void mte_copy_page_tags(void *kto, const void *kfrom);
  41 void mte_thread_init_user(void);
  42 void mte_thread_switch(struct task_struct *next);
  43 void mte_suspend_enter(void);
  44 long set_mte_ctrl(struct task_struct *task, unsigned long arg);
  45 long get_mte_ctrl(struct task_struct *task);
  46 int mte_ptrace_copy_tags(struct task_struct *child, long request,
  47                          unsigned long addr, unsigned long data);
  48
  49 #else /* CONFIG_ARM64_MTE */
  50
  51 /* unused if !CONFIG_ARM64_MTE, silence the compiler */
  52 #define PG_mte_tagged   0
  53
  54 static inline void mte_zero_clear_page_tags(void *addr)
  55 {
  56 }
  57 static inline void mte_sync_tags(pte_t old_pte, pte_t pte)
  58 {
  59 }
  60 static inline void mte_copy_page_tags(void *kto, const void *kfrom)
  61 {
  62 }
  63 static inline void mte_thread_init_user(void)
  64 {
  65 }
  66 static inline void mte_thread_switch(struct task_struct *next)
  67 {
  68 }
  69 static inline void mte_suspend_enter(void)
  70 {
  71 }
  72 static inline long set_mte_ctrl(struct task_struct *task, unsigned long arg)
  73 {
  74         return 0;
  75 }
  76 static inline long get_mte_ctrl(struct task_struct *task)
  77 {
  78         return 0;
  79 }
  80 static inline int mte_ptrace_copy_tags(struct task_struct *child,
  81                                        long request, unsigned long addr,
  82                                        unsigned long data)
  83 {
  84         return -EIO;
  85 }
  86
  87 #endif /* CONFIG_ARM64_MTE */
  88
  89 #ifdef CONFIG_KASAN_HW_TAGS
  90 /* Whether the MTE asynchronous mode is enabled. */
  91 DECLARE_STATIC_KEY_FALSE(mte_async_mode);
  92
  93 static inline bool system_uses_mte_async_mode(void)
  94 {
  95         return static_branch_unlikely(&mte_async_mode);
  96 }
  97
  98 void mte_check_tfsr_el1(void);
  99
 100 static inline void mte_check_tfsr_entry(void)
 101 {
 102         mte_check_tfsr_el1();
 103 }
 104
 105 static inline void mte_check_tfsr_exit(void)
 106 {
 107         /*
 108          * The asynchronous faults are sync'ed automatically with
 109          * TFSR_EL1 on kernel entry but for exit an explicit dsb()
 110          * is required.
 111          */
 112         dsb(nsh);
 113         isb();
 114
 115         mte_check_tfsr_el1();
 116 }
 117 #else
 118 static inline bool system_uses_mte_async_mode(void)
 119 {
 120         return false;
 121 }
 122 static inline void mte_check_tfsr_el1(void)
 123 {
 124 }
 125 static inline void mte_check_tfsr_entry(void)
 126 {
 127 }
 128 static inline void mte_check_tfsr_exit(void)
 129 {
 130 }
 131 #endif /* CONFIG_KASAN_HW_TAGS */
 132
 133 #endif /* __ASSEMBLY__ */
 134 #endif /* __ASM_MTE_H  */