Merge branch 'writeback-for-next' of git://git.kernel.org/pub/scm/linux/kernel/git...
[linux-2.6-microblaze.git] / arch / sparc / lib / NG4copy_page.S
1 /* NG4copy_page.S: Niagara-4 optimized copy page.
2  *
3  * Copyright (C) 2012 (davem@davemloft.net)
4  */
5
6 #include <asm/asi.h>
7 #include <asm/page.h>
8
9         .text
10         .align          32
11
12         .register       %g2, #scratch
13         .register       %g3, #scratch
14
15         .globl          NG4copy_user_page
16 NG4copy_user_page:      /* %o0=dest, %o1=src, %o2=vaddr */
17         prefetch        [%o1 + 0x000], #n_reads_strong
18         prefetch        [%o1 + 0x040], #n_reads_strong
19         prefetch        [%o1 + 0x080], #n_reads_strong
20         prefetch        [%o1 + 0x0c0], #n_reads_strong
21         set             PAGE_SIZE, %g7
22         prefetch        [%o1 + 0x100], #n_reads_strong
23         prefetch        [%o1 + 0x140], #n_reads_strong
24         prefetch        [%o1 + 0x180], #n_reads_strong
25         prefetch        [%o1 + 0x1c0], #n_reads_strong
26 1:
27         ldx             [%o1 + 0x00], %o2
28         subcc           %g7, 0x40, %g7
29         ldx             [%o1 + 0x08], %o3
30         ldx             [%o1 + 0x10], %o4
31         ldx             [%o1 + 0x18], %o5
32         ldx             [%o1 + 0x20], %g1
33         stxa            %o2, [%o0] ASI_ST_BLKINIT_MRU_P
34         add             %o0, 0x08, %o0
35         ldx             [%o1 + 0x28], %g2
36         stxa            %o3, [%o0] ASI_ST_BLKINIT_MRU_P
37         add             %o0, 0x08, %o0
38         ldx             [%o1 + 0x30], %g3
39         stxa            %o4, [%o0] ASI_ST_BLKINIT_MRU_P
40         add             %o0, 0x08, %o0
41         ldx             [%o1 + 0x38], %o2
42         add             %o1, 0x40, %o1
43         stxa            %o5, [%o0] ASI_ST_BLKINIT_MRU_P
44         add             %o0, 0x08, %o0
45         stxa            %g1, [%o0] ASI_ST_BLKINIT_MRU_P
46         add             %o0, 0x08, %o0
47         stxa            %g2, [%o0] ASI_ST_BLKINIT_MRU_P
48         add             %o0, 0x08, %o0
49         stxa            %g3, [%o0] ASI_ST_BLKINIT_MRU_P
50         add             %o0, 0x08, %o0
51         stxa            %o2, [%o0] ASI_ST_BLKINIT_MRU_P
52         add             %o0, 0x08, %o0
53         bne,pt          %icc, 1b
54          prefetch       [%o1 + 0x200], #n_reads_strong
55         retl
56          membar         #StoreLoad | #StoreStore
57         .size           NG4copy_user_page,.-NG4copy_user_page