arch/powerpc/kernel/head_8xx.S

   1 /* SPDX-License-Identifier: GPL-2.0-or-later */
   2 /*
   3  *  PowerPC version
   4  *    Copyright (C) 1995-1996 Gary Thomas (gdt@linuxppc.org)
   5  *  Rewritten by Cort Dougan (cort@cs.nmt.edu) for PReP
   6  *    Copyright (C) 1996 Cort Dougan <cort@cs.nmt.edu>
   7  *  Low-level exception handlers and MMU support
   8  *  rewritten by Paul Mackerras.
   9  *    Copyright (C) 1996 Paul Mackerras.
  10  *  MPC8xx modifications by Dan Malek
  11  *    Copyright (C) 1997 Dan Malek (dmalek@jlc.net).
  12  *
  13  *  This file contains low-level support and setup for PowerPC 8xx
  14  *  embedded processors, including trap and interrupt dispatch.
  15  */
  16
  17 #include <linux/init.h>
  18 #include <linux/magic.h>
  19 #include <linux/pgtable.h>
  20 #include <linux/sizes.h>
  21 #include <asm/processor.h>
  22 #include <asm/page.h>
  23 #include <asm/mmu.h>
  24 #include <asm/cache.h>
  25 #include <asm/cputable.h>
  26 #include <asm/thread_info.h>
  27 #include <asm/ppc_asm.h>
  28 #include <asm/asm-offsets.h>
  29 #include <asm/ptrace.h>
  30 #include <asm/export.h>
  31 #include <asm/code-patching-asm.h>
  32
  33 /*
  34  * Value for the bits that have fixed value in RPN entries.
  35  * Also used for tagging DAR for DTLBerror.
  36  */
  37 #define RPN_PATTERN     0x00f0
  38
  39 #include "head_32.h"
  40
  41 .macro compare_to_kernel_boundary scratch, addr
  42 #if CONFIG_TASK_SIZE <= 0x80000000 && CONFIG_PAGE_OFFSET >= 0x80000000
  43 /* By simply checking Address >= 0x80000000, we know if its a kernel address */
  44         not.    \scratch, \addr
  45 #else
  46         rlwinm  \scratch, \addr, 16, 0xfff8
  47         cmpli   cr0, \scratch, PAGE_OFFSET@h
  48 #endif
  49 .endm
  50
  51 #define PAGE_SHIFT_512K         19
  52 #define PAGE_SHIFT_8M           23
  53
  54         __HEAD
  55 _ENTRY(_stext);
  56 _ENTRY(_start);
  57
  58 /* MPC8xx
  59  * This port was done on an MBX board with an 860.  Right now I only
  60  * support an ELF compressed (zImage) boot from EPPC-Bug because the
  61  * code there loads up some registers before calling us:
  62  *   r3: ptr to board info data
  63  *   r4: initrd_start or if no initrd then 0
  64  *   r5: initrd_end - unused if r4 is 0
  65  *   r6: Start of command line string
  66  *   r7: End of command line string
  67  *
  68  * I decided to use conditional compilation instead of checking PVR and
  69  * adding more processor specific branches around code I don't need.
  70  * Since this is an embedded processor, I also appreciate any memory
  71  * savings I can get.
  72  *
  73  * The MPC8xx does not have any BATs, but it supports large page sizes.
  74  * We first initialize the MMU to support 8M byte pages, then load one
  75  * entry into each of the instruction and data TLBs to map the first
  76  * 8M 1:1.  I also mapped an additional I/O space 1:1 so we can get to
  77  * the "internal" processor registers before MMU_init is called.
  78  *
  79  *      -- Dan
  80  */
  81         .globl  __start
  82 __start:
  83         mr      r31,r3                  /* save device tree ptr */
  84
  85         /* We have to turn on the MMU right away so we get cache modes
  86          * set correctly.
  87          */
  88         bl      initial_mmu
  89
  90 /* We now have the lower 8 Meg mapped into TLB entries, and the caches
  91  * ready to work.
  92  */
  93
  94 turn_on_mmu:
  95         mfmsr   r0
  96         ori     r0,r0,MSR_DR|MSR_IR
  97         mtspr   SPRN_SRR1,r0
  98         lis     r0,start_here@h
  99         ori     r0,r0,start_here@l
 100         mtspr   SPRN_SRR0,r0
 101         rfi                             /* enables MMU */
 102
 103
 104 #ifdef CONFIG_PERF_EVENTS
 105         .align  4
 106
 107         .globl  itlb_miss_counter
 108 itlb_miss_counter:
 109         .space  4
 110
 111         .globl  dtlb_miss_counter
 112 dtlb_miss_counter:
 113         .space  4
 114
 115         .globl  instruction_counter
 116 instruction_counter:
 117         .space  4
 118 #endif
 119
 120 /* System reset */
 121         EXCEPTION(0x100, Reset, system_reset_exception, EXC_XFER_STD)
 122
 123 /* Machine check */
 124         . = 0x200
 125 MachineCheck:
 126         EXCEPTION_PROLOG handle_dar_dsisr=1
 127         addi r3,r1,STACK_FRAME_OVERHEAD
 128         EXC_XFER_STD(0x200, machine_check_exception)
 129
 130 /* External interrupt */
 131         EXCEPTION(0x500, HardwareInterrupt, do_IRQ, EXC_XFER_LITE)
 132
 133 /* Alignment exception */
 134         . = 0x600
 135 Alignment:
 136         EXCEPTION_PROLOG handle_dar_dsisr=1
 137         addi    r3,r1,STACK_FRAME_OVERHEAD
 138         b       .Lalignment_exception_ool
 139
 140 /* Program check exception */
 141         EXCEPTION(0x700, ProgramCheck, program_check_exception, EXC_XFER_STD)
 142
 143 /* Decrementer */
 144         EXCEPTION(0x900, Decrementer, timer_interrupt, EXC_XFER_LITE)
 145
 146         /* With VMAP_STACK there's not enough room for this at 0x600 */
 147         . = 0xa00
 148 .Lalignment_exception_ool:
 149         EXC_XFER_STD(0x600, alignment_exception)
 150
 151 /* System call */
 152         . = 0xc00
 153 SystemCall:
 154         SYSCALL_ENTRY   0xc00
 155
 156 /* Single step - not used on 601 */
 157         EXCEPTION(0xd00, SingleStep, single_step_exception, EXC_XFER_STD)
 158
 159 /* On the MPC8xx, this is a software emulation interrupt.  It occurs
 160  * for all unimplemented and illegal instructions.
 161  */
 162         EXCEPTION(0x1000, SoftEmu, emulation_assist_interrupt, EXC_XFER_STD)
 163
 164         . = 0x1100
 165 /*
 166  * For the MPC8xx, this is a software tablewalk to load the instruction
 167  * TLB.  The task switch loads the M_TWB register with the pointer to the first
 168  * level table.
 169  * If we discover there is no second level table (value is zero) or if there
 170  * is an invalid pte, we load that into the TLB, which causes another fault
 171  * into the TLB Error interrupt where we can handle such problems.
 172  * We have to use the MD_xxx registers for the tablewalk because the
 173  * equivalent MI_xxx registers only perform the attribute functions.
 174  */
 175
 176 #ifdef CONFIG_8xx_CPU15
 177 #define INVALIDATE_ADJACENT_PAGES_CPU15(addr, tmp)      \
 178         addi    tmp, addr, PAGE_SIZE;   \
 179         tlbie   tmp;                    \
 180         addi    tmp, addr, -PAGE_SIZE;  \
 181         tlbie   tmp
 182 #else
 183 #define INVALIDATE_ADJACENT_PAGES_CPU15(addr, tmp)
 184 #endif
 185
 186 InstructionTLBMiss:
 187         mtspr   SPRN_SPRG_SCRATCH2, r10
 188         mtspr   SPRN_M_TW, r11
 189
 190         /* If we are faulting a kernel address, we have to use the
 191          * kernel page tables.
 192          */
 193         mfspr   r10, SPRN_SRR0  /* Get effective address of fault */
 194         INVALIDATE_ADJACENT_PAGES_CPU15(r10, r11)
 195         mtspr   SPRN_MD_EPN, r10
 196 #ifdef CONFIG_MODULES
 197         mfcr    r11
 198         compare_to_kernel_boundary r10, r10
 199 #endif
 200         mfspr   r10, SPRN_M_TWB /* Get level 1 table */
 201 #ifdef CONFIG_MODULES
 202         blt+    3f
 203         rlwinm  r10, r10, 0, 20, 31
 204         oris    r10, r10, (swapper_pg_dir - PAGE_OFFSET)@ha
 205 3:
 206         mtcr    r11
 207 #endif
 208         lwz     r11, (swapper_pg_dir-PAGE_OFFSET)@l(r10)        /* Get level 1 entry */
 209         mtspr   SPRN_MD_TWC, r11
 210         mfspr   r10, SPRN_MD_TWC
 211         lwz     r10, 0(r10)     /* Get the pte */
 212         rlwimi  r11, r10, 0, _PAGE_GUARDED | _PAGE_ACCESSED
 213         rlwimi  r11, r10, 32 - 9, _PMD_PAGE_512K
 214         mtspr   SPRN_MI_TWC, r11
 215         /* The Linux PTE won't go exactly into the MMU TLB.
 216          * Software indicator bits 20 and 23 must be clear.
 217          * Software indicator bits 22, 24, 25, 26, and 27 must be
 218          * set.  All other Linux PTE bits control the behavior
 219          * of the MMU.
 220          */
 221         rlwinm  r10, r10, 0, ~0x0f00    /* Clear bits 20-23 */
 222         rlwimi  r10, r10, 4, 0x0400     /* Copy _PAGE_EXEC into bit 21 */
 223         ori     r10, r10, RPN_PATTERN | 0x200 /* Set 22 and 24-27 */
 224         mtspr   SPRN_MI_RPN, r10        /* Update TLB entry */
 225
 226         /* Restore registers */
 227 0:      mfspr   r10, SPRN_SPRG_SCRATCH2
 228         mfspr   r11, SPRN_M_TW
 229         rfi
 230         patch_site      0b, patch__itlbmiss_exit_1
 231
 232 #ifdef CONFIG_PERF_EVENTS
 233         patch_site      0f, patch__itlbmiss_perf
 234 0:      lwz     r10, (itlb_miss_counter - PAGE_OFFSET)@l(0)
 235         addi    r10, r10, 1
 236         stw     r10, (itlb_miss_counter - PAGE_OFFSET)@l(0)
 237         mfspr   r10, SPRN_SPRG_SCRATCH2
 238         mfspr   r11, SPRN_M_TW
 239         rfi
 240 #endif
 241
 242         . = 0x1200
 243 DataStoreTLBMiss:
 244         mtspr   SPRN_SPRG_SCRATCH2, r10
 245         mtspr   SPRN_M_TW, r11
 246         mfcr    r11
 247
 248         /* If we are faulting a kernel address, we have to use the
 249          * kernel page tables.
 250          */
 251         mfspr   r10, SPRN_MD_EPN
 252         compare_to_kernel_boundary r10, r10
 253         mfspr   r10, SPRN_M_TWB /* Get level 1 table */
 254         blt+    3f
 255         rlwinm  r10, r10, 0, 20, 31
 256         oris    r10, r10, (swapper_pg_dir - PAGE_OFFSET)@ha
 257 3:
 258         mtcr    r11
 259         lwz     r11, (swapper_pg_dir-PAGE_OFFSET)@l(r10)        /* Get level 1 entry */
 260
 261         mtspr   SPRN_MD_TWC, r11
 262         mfspr   r10, SPRN_MD_TWC
 263         lwz     r10, 0(r10)     /* Get the pte */
 264
 265         /* Insert Guarded and Accessed flags into the TWC from the Linux PTE.
 266          * It is bit 27 of both the Linux PTE and the TWC (at least
 267          * I got that right :-).  It will be better when we can put
 268          * this into the Linux pgd/pmd and load it in the operation
 269          * above.
 270          */
 271         rlwimi  r11, r10, 0, _PAGE_GUARDED | _PAGE_ACCESSED
 272         rlwimi  r11, r10, 32 - 9, _PMD_PAGE_512K
 273         mtspr   SPRN_MD_TWC, r11
 274
 275         /* The Linux PTE won't go exactly into the MMU TLB.
 276          * Software indicator bits 24, 25, 26, and 27 must be
 277          * set.  All other Linux PTE bits control the behavior
 278          * of the MMU.
 279          */
 280         li      r11, RPN_PATTERN
 281         rlwimi  r10, r11, 0, 24, 27     /* Set 24-27 */
 282         mtspr   SPRN_MD_RPN, r10        /* Update TLB entry */
 283         mtspr   SPRN_DAR, r11           /* Tag DAR */
 284
 285         /* Restore registers */
 286
 287 0:      mfspr   r10, SPRN_SPRG_SCRATCH2
 288         mfspr   r11, SPRN_M_TW
 289         rfi
 290         patch_site      0b, patch__dtlbmiss_exit_1
 291
 292 #ifdef CONFIG_PERF_EVENTS
 293         patch_site      0f, patch__dtlbmiss_perf
 294 0:      lwz     r10, (dtlb_miss_counter - PAGE_OFFSET)@l(0)
 295         addi    r10, r10, 1
 296         stw     r10, (dtlb_miss_counter - PAGE_OFFSET)@l(0)
 297         mfspr   r10, SPRN_SPRG_SCRATCH2
 298         mfspr   r11, SPRN_M_TW
 299         rfi
 300 #endif
 301
 302 /* This is an instruction TLB error on the MPC8xx.  This could be due
 303  * to many reasons, such as executing guarded memory or illegal instruction
 304  * addresses.  There is nothing to do but handle a big time error fault.
 305  */
 306         . = 0x1300
 307 InstructionTLBError:
 308         EXCEPTION_PROLOG
 309         andis.  r5,r9,DSISR_SRR1_MATCH_32S@h /* Filter relevant SRR1 bits */
 310         andis.  r10,r9,SRR1_ISI_NOPT@h
 311         beq+    .Litlbie
 312         tlbie   r12
 313         /* 0x400 is InstructionAccess exception, needed by bad_page_fault() */
 314 .Litlbie:
 315         stw     r12, _DAR(r11)
 316         stw     r5, _DSISR(r11)
 317         EXC_XFER_LITE(0x400, handle_page_fault)
 318
 319 /* This is the data TLB error on the MPC8xx.  This could be due to
 320  * many reasons, including a dirty update to a pte.  We bail out to
 321  * a higher level function that can handle it.
 322  */
 323         . = 0x1400
 324 DataTLBError:
 325         EXCEPTION_PROLOG_0 handle_dar_dsisr=1
 326         mfspr   r11, SPRN_DAR
 327         cmpwi   cr1, r11, RPN_PATTERN
 328         beq-    cr1, FixupDAR   /* must be a buggy dcbX, icbi insn. */
 329 DARFixed:/* Return from dcbx instruction bug workaround */
 330         EXCEPTION_PROLOG_1
 331         EXCEPTION_PROLOG_2 handle_dar_dsisr=1
 332         lwz     r4, _DAR(r11)
 333         lwz     r5, _DSISR(r11)
 334         andis.  r10,r5,DSISR_NOHPTE@h
 335         beq+    .Ldtlbie
 336         tlbie   r4
 337 .Ldtlbie:
 338         /* 0x300 is DataAccess exception, needed by bad_page_fault() */
 339         EXC_XFER_LITE(0x300, handle_page_fault)
 340
 341 #ifdef CONFIG_VMAP_STACK
 342         vmap_stack_overflow_exception
 343 #endif
 344
 345 /* On the MPC8xx, these next four traps are used for development
 346  * support of breakpoints and such.  Someday I will get around to
 347  * using them.
 348  */
 349 do_databreakpoint:
 350         EXCEPTION_PROLOG_1
 351         EXCEPTION_PROLOG_2 handle_dar_dsisr=1
 352         addi    r3,r1,STACK_FRAME_OVERHEAD
 353         mfspr   r4,SPRN_BAR
 354         stw     r4,_DAR(r11)
 355         EXC_XFER_STD(0x1c00, do_break)
 356
 357         . = 0x1c00
 358 DataBreakpoint:
 359         EXCEPTION_PROLOG_0 handle_dar_dsisr=1
 360         mfspr   r11, SPRN_SRR0
 361         cmplwi  cr1, r11, (.Ldtlbie - PAGE_OFFSET)@l
 362         cmplwi  cr7, r11, (.Litlbie - PAGE_OFFSET)@l
 363         cror    4*cr1+eq, 4*cr1+eq, 4*cr7+eq
 364         bne     cr1, do_databreakpoint
 365         mtcr    r10
 366         mfspr   r10, SPRN_SPRG_SCRATCH0
 367         mfspr   r11, SPRN_SPRG_SCRATCH1
 368         rfi
 369
 370 #ifdef CONFIG_PERF_EVENTS
 371         . = 0x1d00
 372 InstructionBreakpoint:
 373         mtspr   SPRN_SPRG_SCRATCH0, r10
 374         lwz     r10, (instruction_counter - PAGE_OFFSET)@l(0)
 375         addi    r10, r10, -1
 376         stw     r10, (instruction_counter - PAGE_OFFSET)@l(0)
 377         lis     r10, 0xffff
 378         ori     r10, r10, 0x01
 379         mtspr   SPRN_COUNTA, r10
 380         mfspr   r10, SPRN_SPRG_SCRATCH0
 381         rfi
 382 #else
 383         EXCEPTION(0x1d00, Trap_1d, unknown_exception, EXC_XFER_STD)
 384 #endif
 385         EXCEPTION(0x1e00, Trap_1e, unknown_exception, EXC_XFER_STD)
 386         EXCEPTION(0x1f00, Trap_1f, unknown_exception, EXC_XFER_STD)
 387
 388         . = 0x2000
 389
 390 /* This is the procedure to calculate the data EA for buggy dcbx,dcbi instructions
 391  * by decoding the registers used by the dcbx instruction and adding them.
 392  * DAR is set to the calculated address.
 393  */
 394 FixupDAR:/* Entry point for dcbx workaround. */
 395         mtspr   SPRN_M_TW, r10
 396         /* fetch instruction from memory. */
 397         mfspr   r10, SPRN_SRR0
 398         mtspr   SPRN_MD_EPN, r10
 399         rlwinm  r11, r10, 16, 0xfff8
 400         cmpli   cr1, r11, PAGE_OFFSET@h
 401         mfspr   r11, SPRN_M_TWB /* Get level 1 table */
 402         blt+    cr1, 3f
 403
 404         /* create physical page address from effective address */
 405         tophys(r11, r10)
 406         mfspr   r11, SPRN_M_TWB /* Get level 1 table */
 407         rlwinm  r11, r11, 0, 20, 31
 408         oris    r11, r11, (swapper_pg_dir - PAGE_OFFSET)@ha
 409 3:
 410         lwz     r11, (swapper_pg_dir-PAGE_OFFSET)@l(r11)        /* Get the level 1 entry */
 411         mtspr   SPRN_MD_TWC, r11
 412         mtcrf   0x01, r11
 413         mfspr   r11, SPRN_MD_TWC
 414         lwz     r11, 0(r11)     /* Get the pte */
 415         bt      28,200f         /* bit 28 = Large page (8M) */
 416         /* concat physical page address(r11) and page offset(r10) */
 417         rlwimi  r11, r10, 0, 32 - PAGE_SHIFT, 31
 418 201:    lwz     r11,0(r11)
 419 /* Check if it really is a dcbx instruction. */
 420 /* dcbt and dcbtst does not generate DTLB Misses/Errors,
 421  * no need to include them here */
 422         xoris   r10, r11, 0x7c00        /* check if major OP code is 31 */
 423         rlwinm  r10, r10, 0, 21, 5
 424         cmpwi   cr1, r10, 2028  /* Is dcbz? */
 425         beq+    cr1, 142f
 426         cmpwi   cr1, r10, 940   /* Is dcbi? */
 427         beq+    cr1, 142f
 428         cmpwi   cr1, r10, 108   /* Is dcbst? */
 429         beq+    cr1, 144f               /* Fix up store bit! */
 430         cmpwi   cr1, r10, 172   /* Is dcbf? */
 431         beq+    cr1, 142f
 432         cmpwi   cr1, r10, 1964  /* Is icbi? */
 433         beq+    cr1, 142f
 434 141:    mfspr   r10,SPRN_M_TW
 435         b       DARFixed        /* Nope, go back to normal TLB processing */
 436
 437 200:
 438         /* concat physical page address(r11) and page offset(r10) */
 439         rlwimi  r11, r10, 0, 32 - PAGE_SHIFT_8M, 31
 440         b       201b
 441
 442 144:    mfspr   r10, SPRN_DSISR
 443         rlwinm  r10, r10,0,7,5  /* Clear store bit for buggy dcbst insn */
 444         mtspr   SPRN_DSISR, r10
 445 142:    /* continue, it was a dcbx, dcbi instruction. */
 446         mfctr   r10
 447         mtdar   r10                     /* save ctr reg in DAR */
 448         rlwinm  r10, r11, 24, 24, 28    /* offset into jump table for reg RB */
 449         addi    r10, r10, 150f@l        /* add start of table */
 450         mtctr   r10                     /* load ctr with jump address */
 451         xor     r10, r10, r10           /* sum starts at zero */
 452         bctr                            /* jump into table */
 453 150:
 454         add     r10, r10, r0    ;b      151f
 455         add     r10, r10, r1    ;b      151f
 456         add     r10, r10, r2    ;b      151f
 457         add     r10, r10, r3    ;b      151f
 458         add     r10, r10, r4    ;b      151f
 459         add     r10, r10, r5    ;b      151f
 460         add     r10, r10, r6    ;b      151f
 461         add     r10, r10, r7    ;b      151f
 462         add     r10, r10, r8    ;b      151f
 463         add     r10, r10, r9    ;b      151f
 464         mtctr   r11     ;b      154f    /* r10 needs special handling */
 465         mtctr   r11     ;b      153f    /* r11 needs special handling */
 466         add     r10, r10, r12   ;b      151f
 467         add     r10, r10, r13   ;b      151f
 468         add     r10, r10, r14   ;b      151f
 469         add     r10, r10, r15   ;b      151f
 470         add     r10, r10, r16   ;b      151f
 471         add     r10, r10, r17   ;b      151f
 472         add     r10, r10, r18   ;b      151f
 473         add     r10, r10, r19   ;b      151f
 474         add     r10, r10, r20   ;b      151f
 475         add     r10, r10, r21   ;b      151f
 476         add     r10, r10, r22   ;b      151f
 477         add     r10, r10, r23   ;b      151f
 478         add     r10, r10, r24   ;b      151f
 479         add     r10, r10, r25   ;b      151f
 480         add     r10, r10, r26   ;b      151f
 481         add     r10, r10, r27   ;b      151f
 482         add     r10, r10, r28   ;b      151f
 483         add     r10, r10, r29   ;b      151f
 484         add     r10, r10, r30   ;b      151f
 485         add     r10, r10, r31
 486 151:
 487         rlwinm  r11,r11,19,24,28        /* offset into jump table for reg RA */
 488         cmpwi   cr1, r11, 0
 489         beq     cr1, 152f               /* if reg RA is zero, don't add it */
 490         addi    r11, r11, 150b@l        /* add start of table */
 491         mtctr   r11                     /* load ctr with jump address */
 492         rlwinm  r11,r11,0,16,10         /* make sure we don't execute this more than once */
 493         bctr                            /* jump into table */
 494 152:
 495         mfdar   r11
 496         mtctr   r11                     /* restore ctr reg from DAR */
 497         mfspr   r11, SPRN_SPRG_THREAD
 498         stw     r10, DAR(r11)
 499         mfspr   r10, SPRN_DSISR
 500         stw     r10, DSISR(r11)
 501         mfspr   r10,SPRN_M_TW
 502         b       DARFixed                /* Go back to normal TLB handling */
 503
 504         /* special handling for r10,r11 since these are modified already */
 505 153:    mfspr   r11, SPRN_SPRG_SCRATCH1 /* load r11 from SPRN_SPRG_SCRATCH1 */
 506         add     r10, r10, r11   /* add it */
 507         mfctr   r11             /* restore r11 */
 508         b       151b
 509 154:    mfspr   r11, SPRN_SPRG_SCRATCH0 /* load r10 from SPRN_SPRG_SCRATCH0 */
 510         add     r10, r10, r11   /* add it */
 511         mfctr   r11             /* restore r11 */
 512         b       151b
 513
 514 /*
 515  * This is where the main kernel code starts.
 516  */
 517 start_here:
 518         /* ptr to current */
 519         lis     r2,init_task@h
 520         ori     r2,r2,init_task@l
 521
 522         /* ptr to phys current thread */
 523         tophys(r4,r2)
 524         addi    r4,r4,THREAD    /* init task's THREAD */
 525         mtspr   SPRN_SPRG_THREAD,r4
 526
 527         /* stack */
 528         lis     r1,init_thread_union@ha
 529         addi    r1,r1,init_thread_union@l
 530         lis     r0, STACK_END_MAGIC@h
 531         ori     r0, r0, STACK_END_MAGIC@l
 532         stw     r0, 0(r1)
 533         li      r0,0
 534         stwu    r0,THREAD_SIZE-STACK_FRAME_OVERHEAD(r1)
 535
 536         lis     r6, swapper_pg_dir@ha
 537         tophys(r6,r6)
 538         mtspr   SPRN_M_TWB, r6
 539
 540         bl      early_init      /* We have to do this with MMU on */
 541
 542 /*
 543  * Decide what sort of machine this is and initialize the MMU.
 544  */
 545 #ifdef CONFIG_KASAN
 546         bl      kasan_early_init
 547 #endif
 548         li      r3,0
 549         mr      r4,r31
 550         bl      machine_init
 551         bl      MMU_init
 552
 553 /*
 554  * Go back to running unmapped so we can load up new values
 555  * and change to using our exception vectors.
 556  * On the 8xx, all we have to do is invalidate the TLB to clear
 557  * the old 8M byte TLB mappings and load the page table base register.
 558  */
 559         /* The right way to do this would be to track it down through
 560          * init's THREAD like the context switch code does, but this is
 561          * easier......until someone changes init's static structures.
 562          */
 563         lis     r4,2f@h
 564         ori     r4,r4,2f@l
 565         tophys(r4,r4)
 566         li      r3,MSR_KERNEL & ~(MSR_IR|MSR_DR)
 567         mtspr   SPRN_SRR0,r4
 568         mtspr   SPRN_SRR1,r3
 569         rfi
 570 /* Load up the kernel context */
 571 2:
 572 #ifdef CONFIG_PIN_TLB_IMMR
 573         lis     r0, MD_TWAM@h
 574         oris    r0, r0, 0x1f00
 575         mtspr   SPRN_MD_CTR, r0
 576         LOAD_REG_IMMEDIATE(r0, VIRT_IMMR_BASE | MD_EVALID)
 577         tlbie   r0
 578         mtspr   SPRN_MD_EPN, r0
 579         LOAD_REG_IMMEDIATE(r0, MD_SVALID | MD_PS512K | MD_GUARDED)
 580         mtspr   SPRN_MD_TWC, r0
 581         mfspr   r0, SPRN_IMMR
 582         rlwinm  r0, r0, 0, 0xfff80000
 583         ori     r0, r0, 0xf0 | _PAGE_DIRTY | _PAGE_SPS | _PAGE_SH | \
 584                         _PAGE_NO_CACHE | _PAGE_PRESENT
 585         mtspr   SPRN_MD_RPN, r0
 586         lis     r0, (MD_TWAM | MD_RSV4I)@h
 587         mtspr   SPRN_MD_CTR, r0
 588 #endif
 589 #if !defined(CONFIG_PIN_TLB_DATA) && !defined(CONFIG_PIN_TLB_IMMR)
 590         lis     r0, MD_TWAM@h
 591         mtspr   SPRN_MD_CTR, r0
 592 #endif
 593         tlbia                   /* Clear all TLB entries */
 594         sync                    /* wait for tlbia/tlbie to finish */
 595
 596         /* set up the PTE pointers for the Abatron bdiGDB.
 597         */
 598         lis     r5, abatron_pteptrs@h
 599         ori     r5, r5, abatron_pteptrs@l
 600         stw     r5, 0xf0(0)     /* Must match your Abatron config file */
 601         tophys(r5,r5)
 602         lis     r6, swapper_pg_dir@h
 603         ori     r6, r6, swapper_pg_dir@l
 604         stw     r6, 0(r5)
 605
 606 /* Now turn on the MMU for real! */
 607         li      r4,MSR_KERNEL
 608         lis     r3,start_kernel@h
 609         ori     r3,r3,start_kernel@l
 610         mtspr   SPRN_SRR0,r3
 611         mtspr   SPRN_SRR1,r4
 612         rfi                     /* enable MMU and jump to start_kernel */
 613
 614 /* Set up the initial MMU state so we can do the first level of
 615  * kernel initialization.  This maps the first 8 MBytes of memory 1:1
 616  * virtual to physical.  Also, set the cache mode since that is defined
 617  * by TLB entries and perform any additional mapping (like of the IMMR).
 618  * If configured to pin some TLBs, we pin the first 8 Mbytes of kernel,
 619  * 24 Mbytes of data, and the 512k IMMR space.  Anything not covered by
 620  * these mappings is mapped by page tables.
 621  */
 622 initial_mmu:
 623         li      r8, 0
 624         mtspr   SPRN_MI_CTR, r8         /* remove PINNED ITLB entries */
 625         lis     r10, MD_TWAM@h
 626         mtspr   SPRN_MD_CTR, r10        /* remove PINNED DTLB entries */
 627
 628         tlbia                   /* Invalidate all TLB entries */
 629
 630         lis     r8, MI_APG_INIT@h       /* Set protection modes */
 631         ori     r8, r8, MI_APG_INIT@l
 632         mtspr   SPRN_MI_AP, r8
 633         lis     r8, MD_APG_INIT@h
 634         ori     r8, r8, MD_APG_INIT@l
 635         mtspr   SPRN_MD_AP, r8
 636
 637         /* Map the lower RAM (up to 32 Mbytes) into the ITLB and DTLB */
 638         lis     r8, MI_RSV4I@h
 639         ori     r8, r8, 0x1c00
 640         oris    r12, r10, MD_RSV4I@h
 641         ori     r12, r12, 0x1c00
 642         li      r9, 4                           /* up to 4 pages of 8M */
 643         mtctr   r9
 644         lis     r9, KERNELBASE@h                /* Create vaddr for TLB */
 645         li      r10, MI_PS8MEG | _PMD_ACCESSED | MI_SVALID
 646         li      r11, MI_BOOTINIT                /* Create RPN for address 0 */
 647 1:
 648         mtspr   SPRN_MI_CTR, r8 /* Set instruction MMU control */
 649         addi    r8, r8, 0x100
 650         ori     r0, r9, MI_EVALID               /* Mark it valid */
 651         mtspr   SPRN_MI_EPN, r0
 652         mtspr   SPRN_MI_TWC, r10
 653         mtspr   SPRN_MI_RPN, r11                /* Store TLB entry */
 654         mtspr   SPRN_MD_CTR, r12
 655         addi    r12, r12, 0x100
 656         mtspr   SPRN_MD_EPN, r0
 657         mtspr   SPRN_MD_TWC, r10
 658         mtspr   SPRN_MD_RPN, r11
 659         addis   r9, r9, 0x80
 660         addis   r11, r11, 0x80
 661
 662         bdnz    1b
 663
 664         /* Since the cache is enabled according to the information we
 665          * just loaded into the TLB, invalidate and enable the caches here.
 666          * We should probably check/set other modes....later.
 667          */
 668         lis     r8, IDC_INVALL@h
 669         mtspr   SPRN_IC_CST, r8
 670         mtspr   SPRN_DC_CST, r8
 671         lis     r8, IDC_ENABLE@h
 672         mtspr   SPRN_IC_CST, r8
 673         mtspr   SPRN_DC_CST, r8
 674         /* Disable debug mode entry on breakpoints */
 675         mfspr   r8, SPRN_DER
 676 #ifdef CONFIG_PERF_EVENTS
 677         rlwinm  r8, r8, 0, ~0xc
 678 #else
 679         rlwinm  r8, r8, 0, ~0x8
 680 #endif
 681         mtspr   SPRN_DER, r8
 682         blr
 683
 684 _GLOBAL(mmu_pin_tlb)
 685         lis     r9, (1f - PAGE_OFFSET)@h
 686         ori     r9, r9, (1f - PAGE_OFFSET)@l
 687         mfmsr   r10
 688         mflr    r11
 689         li      r12, MSR_KERNEL & ~(MSR_IR | MSR_DR | MSR_RI)
 690         rlwinm  r0, r10, 0, ~MSR_RI
 691         rlwinm  r0, r0, 0, ~MSR_EE
 692         mtmsr   r0
 693         isync
 694         .align  4
 695         mtspr   SPRN_SRR0, r9
 696         mtspr   SPRN_SRR1, r12
 697         rfi
 698 1:
 699         li      r5, 0
 700         lis     r6, MD_TWAM@h
 701         mtspr   SPRN_MI_CTR, r5
 702         mtspr   SPRN_MD_CTR, r6
 703         tlbia
 704
 705         LOAD_REG_IMMEDIATE(r5, 28 << 8)
 706         LOAD_REG_IMMEDIATE(r6, PAGE_OFFSET)
 707         LOAD_REG_IMMEDIATE(r7, MI_SVALID | MI_PS8MEG | _PMD_ACCESSED)
 708         LOAD_REG_IMMEDIATE(r8, 0xf0 | _PAGE_RO | _PAGE_SPS | _PAGE_SH | _PAGE_PRESENT)
 709         LOAD_REG_ADDR(r9, _sinittext)
 710         li      r0, 4
 711         mtctr   r0
 712
 713 2:      ori     r0, r6, MI_EVALID
 714         mtspr   SPRN_MI_CTR, r5
 715         mtspr   SPRN_MI_EPN, r0
 716         mtspr   SPRN_MI_TWC, r7
 717         mtspr   SPRN_MI_RPN, r8
 718         addi    r5, r5, 0x100
 719         addis   r6, r6, SZ_8M@h
 720         addis   r8, r8, SZ_8M@h
 721         cmplw   r6, r9
 722         bdnzt   lt, 2b
 723         lis     r0, MI_RSV4I@h
 724         mtspr   SPRN_MI_CTR, r0
 725
 726         LOAD_REG_IMMEDIATE(r5, 28 << 8 | MD_TWAM)
 727 #ifdef CONFIG_PIN_TLB_DATA
 728         LOAD_REG_IMMEDIATE(r6, PAGE_OFFSET)
 729         LOAD_REG_IMMEDIATE(r7, MI_SVALID | MI_PS8MEG | _PMD_ACCESSED)
 730 #ifdef CONFIG_PIN_TLB_IMMR
 731         li      r0, 3
 732 #else
 733         li      r0, 4
 734 #endif
 735         mtctr   r0
 736         cmpwi   r4, 0
 737         beq     4f
 738         LOAD_REG_IMMEDIATE(r8, 0xf0 | _PAGE_RO | _PAGE_SPS | _PAGE_SH | _PAGE_PRESENT)
 739         LOAD_REG_ADDR(r9, _sinittext)
 740
 741 2:      ori     r0, r6, MD_EVALID
 742         mtspr   SPRN_MD_CTR, r5
 743         mtspr   SPRN_MD_EPN, r0
 744         mtspr   SPRN_MD_TWC, r7
 745         mtspr   SPRN_MD_RPN, r8
 746         addi    r5, r5, 0x100
 747         addis   r6, r6, SZ_8M@h
 748         addis   r8, r8, SZ_8M@h
 749         cmplw   r6, r9
 750         bdnzt   lt, 2b
 751
 752 4:      LOAD_REG_IMMEDIATE(r8, 0xf0 | _PAGE_SPS | _PAGE_SH | _PAGE_PRESENT)
 753 2:      ori     r0, r6, MD_EVALID
 754         mtspr   SPRN_MD_CTR, r5
 755         mtspr   SPRN_MD_EPN, r0
 756         mtspr   SPRN_MD_TWC, r7
 757         mtspr   SPRN_MD_RPN, r8
 758         addi    r5, r5, 0x100
 759         addis   r6, r6, SZ_8M@h
 760         addis   r8, r8, SZ_8M@h
 761         cmplw   r6, r3
 762         bdnzt   lt, 2b
 763 #endif
 764 #ifdef CONFIG_PIN_TLB_IMMR
 765         LOAD_REG_IMMEDIATE(r0, VIRT_IMMR_BASE | MD_EVALID)
 766         LOAD_REG_IMMEDIATE(r7, MD_SVALID | MD_PS512K | MD_GUARDED | _PMD_ACCESSED)
 767         mfspr   r8, SPRN_IMMR
 768         rlwinm  r8, r8, 0, 0xfff80000
 769         ori     r8, r8, 0xf0 | _PAGE_DIRTY | _PAGE_SPS | _PAGE_SH | \
 770                         _PAGE_NO_CACHE | _PAGE_PRESENT
 771         mtspr   SPRN_MD_CTR, r5
 772         mtspr   SPRN_MD_EPN, r0
 773         mtspr   SPRN_MD_TWC, r7
 774         mtspr   SPRN_MD_RPN, r8
 775 #endif
 776 #if defined(CONFIG_PIN_TLB_IMMR) || defined(CONFIG_PIN_TLB_DATA)
 777         lis     r0, (MD_RSV4I | MD_TWAM)@h
 778         mtspr   SPRN_MI_CTR, r0
 779 #endif
 780         mtspr   SPRN_SRR1, r10
 781         mtspr   SPRN_SRR0, r11
 782         rfi
 783
 784 /*
 785  * We put a few things here that have to be page-aligned.
 786  * This stuff goes at the beginning of the data segment,
 787  * which is page-aligned.
 788  */
 789         .data
 790         .globl  sdata
 791 sdata:
 792         .globl  empty_zero_page
 793         .align  PAGE_SHIFT
 794 empty_zero_page:
 795         .space  PAGE_SIZE
 796 EXPORT_SYMBOL(empty_zero_page)
 797
 798         .globl  swapper_pg_dir
 799 swapper_pg_dir:
 800         .space  PGD_TABLE_SIZE
 801
 802 /* Room for two PTE table poiners, usually the kernel and current user
 803  * pointer to their respective root page table (pgdir).
 804  */
 805         .globl  abatron_pteptrs
 806 abatron_pteptrs:
 807         .space  8