arch/x86/boot/compressed/head_32.S

   1 /* SPDX-License-Identifier: GPL-2.0 */
   2 /*
   3  *  linux/boot/head.S
   4  *
   5  *  Copyright (C) 1991, 1992, 1993  Linus Torvalds
   6  */
   7
   8 /*
   9  *  head.S contains the 32-bit startup code.
  10  *
  11  * NOTE!!! Startup happens at absolute address 0x00001000, which is also where
  12  * the page directory will exist. The startup code will be overwritten by
  13  * the page directory. [According to comments etc elsewhere on a compressed
  14  * kernel it will end up at 0x1000 + 1Mb I hope so as I assume this. - AC]
  15  *
  16  * Page 0 is deliberately kept safe, since System Management Mode code in
  17  * laptops may need to access the BIOS data stored there.  This is also
  18  * useful for future device drivers that either access the BIOS via VM86
  19  * mode.
  20  */
  21
  22 /*
  23  * High loaded stuff by Hans Lermen & Werner Almesberger, Feb. 1996
  24  */
  25         .text
  26
  27 #include <linux/init.h>
  28 #include <linux/linkage.h>
  29 #include <asm/segment.h>
  30 #include <asm/page_types.h>
  31 #include <asm/boot.h>
  32 #include <asm/asm-offsets.h>
  33 #include <asm/bootparam.h>
  34
  35 /*
  36  * The 32-bit x86 assembler in binutils 2.26 will generate R_386_GOT32X
  37  * relocation to get the symbol address in PIC.  When the compressed x86
  38  * kernel isn't built as PIC, the linker optimizes R_386_GOT32X
  39  * relocations to their fixed symbol addresses.  However, when the
  40  * compressed x86 kernel is loaded at a different address, it leads
  41  * to the following load failure:
  42  *
  43  *   Failed to allocate space for phdrs
  44  *
  45  * during the decompression stage.
  46  *
  47  * If the compressed x86 kernel is relocatable at run-time, it should be
  48  * compiled with -fPIE, instead of -fPIC, if possible and should be built as
  49  * Position Independent Executable (PIE) so that linker won't optimize
  50  * R_386_GOT32X relocation to its fixed symbol address.  Older
  51  * linkers generate R_386_32 relocations against locally defined symbols,
  52  * _bss, _ebss, _got and _egot, in PIE.  It isn't wrong, just less
  53  * optimal than R_386_RELATIVE.  But the x86 kernel fails to properly handle
  54  * R_386_32 relocations when relocating the kernel.  To generate
  55  * R_386_RELATIVE relocations, we mark _bss, _ebss, _got and _egot as
  56  * hidden:
  57  */
  58         .hidden _bss
  59         .hidden _ebss
  60         .hidden _got
  61         .hidden _egot
  62
  63         __HEAD
  64 SYM_FUNC_START(startup_32)
  65         cld
  66         cli
  67
  68 /*
  69  * Calculate the delta between where we were compiled to run
  70  * at and where we were actually loaded at.  This can only be done
  71  * with a short local call on x86.  Nothing  else will tell us what
  72  * address we are running at.  The reserved chunk of the real-mode
  73  * data at 0x1e4 (defined as a scratch field) are used as the stack
  74  * for this calculation. Only 4 bytes are needed.
  75  */
  76         leal    (BP_scratch+4)(%esi), %esp
  77         call    1f
  78 1:      popl    %ebp
  79         subl    $1b, %ebp
  80
  81         /* Load new GDT */
  82         leal    gdt(%ebp), %eax
  83         movl    %eax, 2(%eax)
  84         lgdt    (%eax)
  85
  86         /* Load segment registers with our descriptors */
  87         movl    $__BOOT_DS, %eax
  88         movl    %eax, %ds
  89         movl    %eax, %es
  90         movl    %eax, %fs
  91         movl    %eax, %gs
  92         movl    %eax, %ss
  93
  94 /*
  95  * %ebp contains the address we are loaded at by the boot loader and %ebx
  96  * contains the address where we should move the kernel image temporarily
  97  * for safe in-place decompression.
  98  */
  99
 100 #ifdef CONFIG_RELOCATABLE
 101         movl    %ebp, %ebx
 102         movl    BP_kernel_alignment(%esi), %eax
 103         decl    %eax
 104         addl    %eax, %ebx
 105         notl    %eax
 106         andl    %eax, %ebx
 107         cmpl    $LOAD_PHYSICAL_ADDR, %ebx
 108         jge     1f
 109 #endif
 110         movl    $LOAD_PHYSICAL_ADDR, %ebx
 111 1:
 112
 113         /* Target address to relocate to for decompression */
 114         movl    BP_init_size(%esi), %eax
 115         subl    $_end, %eax
 116         addl    %eax, %ebx
 117
 118         /* Set up the stack */
 119         leal    boot_stack_end(%ebx), %esp
 120
 121         /* Zero EFLAGS */
 122         pushl   $0
 123         popfl
 124
 125 /*
 126  * Copy the compressed kernel to the end of our buffer
 127  * where decompression in place becomes safe.
 128  */
 129         pushl   %esi
 130         leal    (_bss-4)(%ebp), %esi
 131         leal    (_bss-4)(%ebx), %edi
 132         movl    $(_bss - startup_32), %ecx
 133         shrl    $2, %ecx
 134         std
 135         rep     movsl
 136         cld
 137         popl    %esi
 138
 139         /*
 140          * The GDT may get overwritten either during the copy we just did or
 141          * during extract_kernel below. To avoid any issues, repoint the GDTR
 142          * to the new copy of the GDT. EAX still contains the previously
 143          * calculated relocation offset of init_size - _end.
 144          */
 145         leal    gdt(%ebx), %edx
 146         addl    %eax, 2(%edx)
 147         lgdt    (%edx)
 148
 149 /*
 150  * Jump to the relocated address.
 151  */
 152         leal    .Lrelocated(%ebx), %eax
 153         jmp     *%eax
 154 SYM_FUNC_END(startup_32)
 155
 156 #ifdef CONFIG_EFI_STUB
 157 SYM_FUNC_START(efi32_stub_entry)
 158 SYM_FUNC_START_ALIAS(efi_stub_entry)
 159         add     $0x4, %esp
 160         call    efi_main
 161         movl    %eax, %esi
 162         movl    BP_code32_start(%esi), %eax
 163         leal    startup_32(%eax), %eax
 164         jmp     *%eax
 165 SYM_FUNC_END(efi32_stub_entry)
 166 SYM_FUNC_END_ALIAS(efi_stub_entry)
 167 #endif
 168
 169         .text
 170 SYM_FUNC_START_LOCAL_NOALIGN(.Lrelocated)
 171
 172 /*
 173  * Clear BSS (stack is currently empty)
 174  */
 175         xorl    %eax, %eax
 176         leal    _bss(%ebx), %edi
 177         leal    _ebss(%ebx), %ecx
 178         subl    %edi, %ecx
 179         shrl    $2, %ecx
 180         rep     stosl
 181
 182 /*
 183  * Adjust our own GOT
 184  */
 185         leal    _got(%ebx), %edx
 186         leal    _egot(%ebx), %ecx
 187 1:
 188         cmpl    %ecx, %edx
 189         jae     2f
 190         addl    %ebx, (%edx)
 191         addl    $4, %edx
 192         jmp     1b
 193 2:
 194
 195 /*
 196  * Do the extraction, and jump to the new kernel..
 197  */
 198                                 /* push arguments for extract_kernel: */
 199         pushl   $z_output_len   /* decompressed length, end of relocs */
 200
 201         leal    _end(%ebx), %eax
 202         subl    BP_init_size(%esi), %eax
 203         pushl   %eax            /* output address */
 204
 205         pushl   $z_input_len    /* input_len */
 206         leal    input_data(%ebx), %eax
 207         pushl   %eax            /* input_data */
 208         leal    boot_heap(%ebx), %eax
 209         pushl   %eax            /* heap area */
 210         pushl   %esi            /* real mode pointer */
 211         call    extract_kernel  /* returns kernel location in %eax */
 212         addl    $24, %esp
 213
 214 /*
 215  * Jump to the extracted kernel.
 216  */
 217         xorl    %ebx, %ebx
 218         jmp     *%eax
 219 SYM_FUNC_END(.Lrelocated)
 220
 221         .data
 222         .balign 8
 223 SYM_DATA_START_LOCAL(gdt)
 224         .word   gdt_end - gdt - 1
 225         .long   0
 226         .word   0
 227         .quad   0x0000000000000000      /* Reserved */
 228         .quad   0x00cf9a000000ffff      /* __KERNEL_CS */
 229         .quad   0x00cf92000000ffff      /* __KERNEL_DS */
 230 SYM_DATA_END_LABEL(gdt, SYM_L_LOCAL, gdt_end)
 231
 232 /*
 233  * Stack and heap for uncompression
 234  */
 235         .bss
 236         .balign 4
 237 boot_heap:
 238         .fill BOOT_HEAP_SIZE, 1, 0
 239 boot_stack:
 240         .fill BOOT_STACK_SIZE, 1, 0
 241 boot_stack_end: