Merge tag 'for-linus-5.10b-rc5-tag' of git://git.kernel.org/pub/scm/linux/kernel...
[linux-2.6-microblaze.git] / arch / arm / kernel / entry-ftrace.S
1 /* SPDX-License-Identifier: GPL-2.0-only */
2
3 #include <asm/assembler.h>
4 #include <asm/ftrace.h>
5 #include <asm/unwind.h>
6
7 #include "entry-header.S"
8
9 /*
10  * When compiling with -pg, gcc inserts a call to the mcount routine at the
11  * start of every function.  In mcount, apart from the function's address (in
12  * lr), we need to get hold of the function's caller's address.
13  *
14  * Newer GCCs (4.4+) solve this problem by using a version of mcount with call
15  * sites like:
16  *
17  *      push    {lr}
18  *      bl      __gnu_mcount_nc
19  *
20  * With these compilers, frame pointers are not necessary.
21  *
22  * mcount can be thought of as a function called in the middle of a subroutine
23  * call.  As such, it needs to be transparent for both the caller and the
24  * callee: the original lr needs to be restored when leaving mcount, and no
25  * registers should be clobbered.  (In the __gnu_mcount_nc implementation, we
26  * clobber the ip register.  This is OK because the ARM calling convention
27  * allows it to be clobbered in subroutines and doesn't use it to hold
28  * parameters.)
29  *
30  * When using dynamic ftrace, we patch out the mcount call by a "pop {lr}"
31  * instead of the __gnu_mcount_nc call (see arch/arm/kernel/ftrace.c).
32  */
33
34 .macro mcount_adjust_addr rd, rn
35         bic     \rd, \rn, #1            @ clear the Thumb bit if present
36         sub     \rd, \rd, #MCOUNT_INSN_SIZE
37 .endm
38
39 .macro __mcount suffix
40         mcount_enter
41         ldr     r0, =ftrace_trace_function
42         ldr     r2, [r0]
43         adr     r0, .Lftrace_stub
44         cmp     r0, r2
45         bne     1f
46
47 #ifdef CONFIG_FUNCTION_GRAPH_TRACER
48         ldr     r1, =ftrace_graph_return
49         ldr     r2, [r1]
50         cmp     r0, r2
51         bne     ftrace_graph_caller\suffix
52
53         ldr     r1, =ftrace_graph_entry
54         ldr     r2, [r1]
55         ldr     r0, =ftrace_graph_entry_stub
56         cmp     r0, r2
57         bne     ftrace_graph_caller\suffix
58 #endif
59
60         mcount_exit
61
62 1:      mcount_get_lr   r1                      @ lr of instrumented func
63         mcount_adjust_addr      r0, lr          @ instrumented function
64         badr    lr, 2f
65         mov     pc, r2
66 2:      mcount_exit
67 .endm
68
69 #ifdef CONFIG_DYNAMIC_FTRACE_WITH_REGS
70
71 .macro __ftrace_regs_caller
72
73         sub     sp, sp, #8      @ space for PC and CPSR OLD_R0,
74                                 @ OLD_R0 will overwrite previous LR
75
76         add     ip, sp, #12     @ move in IP the value of SP as it was
77                                 @ before the push {lr} of the mcount mechanism
78
79         str     lr, [sp, #0]    @ store LR instead of PC
80
81         ldr     lr, [sp, #8]    @ get previous LR
82
83         str     r0, [sp, #8]    @ write r0 as OLD_R0 over previous LR
84
85         stmdb   sp!, {ip, lr}
86         stmdb   sp!, {r0-r11, lr}
87
88         @ stack content at this point:
89         @ 0  4          48   52       56            60   64    68       72
90         @ R0 | R1 | ... | LR | SP + 4 | previous LR | LR | PSR | OLD_R0 |
91
92         mov r3, sp                              @ struct pt_regs*
93
94         ldr r2, =function_trace_op
95         ldr r2, [r2]                            @ pointer to the current
96                                                 @ function tracing op
97
98         ldr     r1, [sp, #S_LR]                 @ lr of instrumented func
99
100         ldr     lr, [sp, #S_PC]                 @ get LR
101
102         mcount_adjust_addr      r0, lr          @ instrumented function
103
104         .globl ftrace_regs_call
105 ftrace_regs_call:
106         bl      ftrace_stub
107
108 #ifdef CONFIG_FUNCTION_GRAPH_TRACER
109         .globl ftrace_graph_regs_call
110 ftrace_graph_regs_call:
111         mov     r0, r0
112 #endif
113
114         @ pop saved regs
115         ldmia   sp!, {r0-r12}                   @ restore r0 through r12
116         ldr     ip, [sp, #8]                    @ restore PC
117         ldr     lr, [sp, #4]                    @ restore LR
118         ldr     sp, [sp, #0]                    @ restore SP
119         mov     pc, ip                          @ return
120 .endm
121
122 #ifdef CONFIG_FUNCTION_GRAPH_TRACER
123 .macro __ftrace_graph_regs_caller
124
125         sub     r0, fp, #4              @ lr of instrumented routine (parent)
126
127         @ called from __ftrace_regs_caller
128         ldr     r1, [sp, #S_PC]         @ instrumented routine (func)
129         mcount_adjust_addr      r1, r1
130
131         mov     r2, fp                  @ frame pointer
132         bl      prepare_ftrace_return
133
134         @ pop registers saved in ftrace_regs_caller
135         ldmia   sp!, {r0-r12}                   @ restore r0 through r12
136         ldr     ip, [sp, #8]                    @ restore PC
137         ldr     lr, [sp, #4]                    @ restore LR
138         ldr     sp, [sp, #0]                    @ restore SP
139         mov     pc, ip                          @ return
140
141 .endm
142 #endif
143 #endif
144
145 .macro __ftrace_caller suffix
146         mcount_enter
147
148         mcount_get_lr   r1                      @ lr of instrumented func
149         mcount_adjust_addr      r0, lr          @ instrumented function
150
151 #ifdef CONFIG_DYNAMIC_FTRACE_WITH_REGS
152         ldr r2, =function_trace_op
153         ldr r2, [r2]                            @ pointer to the current
154                                                 @ function tracing op
155         mov r3, #0                              @ regs is NULL
156 #endif
157
158         .globl ftrace_call\suffix
159 ftrace_call\suffix:
160         bl      ftrace_stub
161
162 #ifdef CONFIG_FUNCTION_GRAPH_TRACER
163         .globl ftrace_graph_call\suffix
164 ftrace_graph_call\suffix:
165         mov     r0, r0
166 #endif
167
168         mcount_exit
169 .endm
170
171 .macro __ftrace_graph_caller
172         sub     r0, fp, #4              @ &lr of instrumented routine (&parent)
173 #ifdef CONFIG_DYNAMIC_FTRACE
174         @ called from __ftrace_caller, saved in mcount_enter
175         ldr     r1, [sp, #16]           @ instrumented routine (func)
176         mcount_adjust_addr      r1, r1
177 #else
178         @ called from __mcount, untouched in lr
179         mcount_adjust_addr      r1, lr  @ instrumented routine (func)
180 #endif
181         mov     r2, fp                  @ frame pointer
182         bl      prepare_ftrace_return
183         mcount_exit
184 .endm
185
186 /*
187  * __gnu_mcount_nc
188  */
189
190 .macro mcount_enter
191 /*
192  * This pad compensates for the push {lr} at the call site.  Note that we are
193  * unable to unwind through a function which does not otherwise save its lr.
194  */
195  UNWIND(.pad    #4)
196         stmdb   sp!, {r0-r3, lr}
197  UNWIND(.save   {r0-r3, lr})
198 .endm
199
200 .macro mcount_get_lr reg
201         ldr     \reg, [sp, #20]
202 .endm
203
204 .macro mcount_exit
205         ldmia   sp!, {r0-r3, ip, lr}
206         ret     ip
207 .endm
208
209 ENTRY(__gnu_mcount_nc)
210 UNWIND(.fnstart)
211 #ifdef CONFIG_DYNAMIC_FTRACE
212         mov     ip, lr
213         ldmia   sp!, {lr}
214         ret     ip
215 #else
216         __mcount
217 #endif
218 UNWIND(.fnend)
219 ENDPROC(__gnu_mcount_nc)
220
221 #ifdef CONFIG_DYNAMIC_FTRACE
222 ENTRY(ftrace_caller)
223 UNWIND(.fnstart)
224         __ftrace_caller
225 UNWIND(.fnend)
226 ENDPROC(ftrace_caller)
227
228 #ifdef CONFIG_DYNAMIC_FTRACE_WITH_REGS
229 ENTRY(ftrace_regs_caller)
230 UNWIND(.fnstart)
231         __ftrace_regs_caller
232 UNWIND(.fnend)
233 ENDPROC(ftrace_regs_caller)
234 #endif
235
236 #endif
237
238 #ifdef CONFIG_FUNCTION_GRAPH_TRACER
239 ENTRY(ftrace_graph_caller)
240 UNWIND(.fnstart)
241         __ftrace_graph_caller
242 UNWIND(.fnend)
243 ENDPROC(ftrace_graph_caller)
244
245 #ifdef CONFIG_DYNAMIC_FTRACE_WITH_REGS
246 ENTRY(ftrace_graph_regs_caller)
247 UNWIND(.fnstart)
248         __ftrace_graph_regs_caller
249 UNWIND(.fnend)
250 ENDPROC(ftrace_graph_regs_caller)
251 #endif
252 #endif
253
254 .purgem mcount_enter
255 .purgem mcount_get_lr
256 .purgem mcount_exit
257
258 #ifdef CONFIG_FUNCTION_GRAPH_TRACER
259         .globl return_to_handler
260 return_to_handler:
261         stmdb   sp!, {r0-r3}
262         mov     r0, fp                  @ frame pointer
263         bl      ftrace_return_to_handler
264         mov     lr, r0                  @ r0 has real ret addr
265         ldmia   sp!, {r0-r3}
266         ret     lr
267 #endif
268
269 ENTRY(ftrace_stub)
270 .Lftrace_stub:
271         ret     lr
272 ENDPROC(ftrace_stub)