Merge tag 'asoc-v5.6-2' of https://git.kernel.org/pub/scm/linux/kernel/git/broonie...
[linux-2.6-microblaze.git] / arch / s390 / lib / mem.S
1 /* SPDX-License-Identifier: GPL-2.0 */
2 /*
3  * String handling functions.
4  *
5  * Copyright IBM Corp. 2012
6  */
7
8 #include <linux/linkage.h>
9 #include <asm/export.h>
10 #include <asm/nospec-insn.h>
11
12         GEN_BR_THUNK %r14
13
14 /*
15  * void *memmove(void *dest, const void *src, size_t n)
16  */
17 WEAK(memmove)
18 ENTRY(__memmove)
19         ltgr    %r4,%r4
20         lgr     %r1,%r2
21         jz      .Lmemmove_exit
22         aghi    %r4,-1
23         clgr    %r2,%r3
24         jnh     .Lmemmove_forward
25         la      %r5,1(%r4,%r3)
26         clgr    %r2,%r5
27         jl      .Lmemmove_reverse
28 .Lmemmove_forward:
29         srlg    %r0,%r4,8
30         ltgr    %r0,%r0
31         jz      .Lmemmove_forward_remainder
32 .Lmemmove_forward_loop:
33         mvc     0(256,%r1),0(%r3)
34         la      %r1,256(%r1)
35         la      %r3,256(%r3)
36         brctg   %r0,.Lmemmove_forward_loop
37 .Lmemmove_forward_remainder:
38         larl    %r5,.Lmemmove_mvc
39         ex      %r4,0(%r5)
40 .Lmemmove_exit:
41         BR_EX   %r14
42 .Lmemmove_reverse:
43         ic      %r0,0(%r4,%r3)
44         stc     %r0,0(%r4,%r1)
45         brctg   %r4,.Lmemmove_reverse
46         ic      %r0,0(%r4,%r3)
47         stc     %r0,0(%r4,%r1)
48         BR_EX   %r14
49 .Lmemmove_mvc:
50         mvc     0(1,%r1),0(%r3)
51 ENDPROC(__memmove)
52 EXPORT_SYMBOL(memmove)
53
54 /*
55  * memset implementation
56  *
57  * This code corresponds to the C construct below. We do distinguish
58  * between clearing (c == 0) and setting a memory array (c != 0) simply
59  * because nearly all memset invocations in the kernel clear memory and
60  * the xc instruction is preferred in such cases.
61  *
62  * void *memset(void *s, int c, size_t n)
63  * {
64  *      if (likely(c == 0))
65  *              return __builtin_memset(s, 0, n);
66  *      return __builtin_memset(s, c, n);
67  * }
68  */
69 WEAK(memset)
70 ENTRY(__memset)
71         ltgr    %r4,%r4
72         jz      .Lmemset_exit
73         ltgr    %r3,%r3
74         jnz     .Lmemset_fill
75         aghi    %r4,-1
76         srlg    %r3,%r4,8
77         ltgr    %r3,%r3
78         lgr     %r1,%r2
79         jz      .Lmemset_clear_remainder
80 .Lmemset_clear_loop:
81         xc      0(256,%r1),0(%r1)
82         la      %r1,256(%r1)
83         brctg   %r3,.Lmemset_clear_loop
84 .Lmemset_clear_remainder:
85         larl    %r3,.Lmemset_xc
86         ex      %r4,0(%r3)
87 .Lmemset_exit:
88         BR_EX   %r14
89 .Lmemset_fill:
90         cghi    %r4,1
91         lgr     %r1,%r2
92         je      .Lmemset_fill_exit
93         aghi    %r4,-2
94         srlg    %r5,%r4,8
95         ltgr    %r5,%r5
96         jz      .Lmemset_fill_remainder
97 .Lmemset_fill_loop:
98         stc     %r3,0(%r1)
99         mvc     1(255,%r1),0(%r1)
100         la      %r1,256(%r1)
101         brctg   %r5,.Lmemset_fill_loop
102 .Lmemset_fill_remainder:
103         stc     %r3,0(%r1)
104         larl    %r5,.Lmemset_mvc
105         ex      %r4,0(%r5)
106         BR_EX   %r14
107 .Lmemset_fill_exit:
108         stc     %r3,0(%r1)
109         BR_EX   %r14
110 .Lmemset_xc:
111         xc      0(1,%r1),0(%r1)
112 .Lmemset_mvc:
113         mvc     1(1,%r1),0(%r1)
114 ENDPROC(__memset)
115 EXPORT_SYMBOL(memset)
116
117 /*
118  * memcpy implementation
119  *
120  * void *memcpy(void *dest, const void *src, size_t n)
121  */
122 WEAK(memcpy)
123 ENTRY(__memcpy)
124         ltgr    %r4,%r4
125         jz      .Lmemcpy_exit
126         aghi    %r4,-1
127         srlg    %r5,%r4,8
128         ltgr    %r5,%r5
129         lgr     %r1,%r2
130         jnz     .Lmemcpy_loop
131 .Lmemcpy_remainder:
132         larl    %r5,.Lmemcpy_mvc
133         ex      %r4,0(%r5)
134 .Lmemcpy_exit:
135         BR_EX   %r14
136 .Lmemcpy_loop:
137         mvc     0(256,%r1),0(%r3)
138         la      %r1,256(%r1)
139         la      %r3,256(%r3)
140         brctg   %r5,.Lmemcpy_loop
141         j       .Lmemcpy_remainder
142 .Lmemcpy_mvc:
143         mvc     0(1,%r1),0(%r3)
144 ENDPROC(__memcpy)
145 EXPORT_SYMBOL(memcpy)
146
147 /*
148  * __memset16/32/64
149  *
150  * void *__memset16(uint16_t *s, uint16_t v, size_t count)
151  * void *__memset32(uint32_t *s, uint32_t v, size_t count)
152  * void *__memset64(uint64_t *s, uint64_t v, size_t count)
153  */
154 .macro __MEMSET bits,bytes,insn
155 ENTRY(__memset\bits)
156         ltgr    %r4,%r4
157         jz      .L__memset_exit\bits
158         cghi    %r4,\bytes
159         je      .L__memset_store\bits
160         aghi    %r4,-(\bytes+1)
161         srlg    %r5,%r4,8
162         ltgr    %r5,%r5
163         lgr     %r1,%r2
164         jz      .L__memset_remainder\bits
165 .L__memset_loop\bits:
166         \insn   %r3,0(%r1)
167         mvc     \bytes(256-\bytes,%r1),0(%r1)
168         la      %r1,256(%r1)
169         brctg   %r5,.L__memset_loop\bits
170 .L__memset_remainder\bits:
171         \insn   %r3,0(%r1)
172         larl    %r5,.L__memset_mvc\bits
173         ex      %r4,0(%r5)
174         BR_EX   %r14
175 .L__memset_store\bits:
176         \insn   %r3,0(%r2)
177 .L__memset_exit\bits:
178         BR_EX   %r14
179 .L__memset_mvc\bits:
180         mvc     \bytes(1,%r1),0(%r1)
181 ENDPROC(__memset\bits)
182 .endm
183
184 __MEMSET 16,2,sth
185 EXPORT_SYMBOL(__memset16)
186
187 __MEMSET 32,4,st
188 EXPORT_SYMBOL(__memset32)
189
190 __MEMSET 64,8,stg
191 EXPORT_SYMBOL(__memset64)