arch/powerpc/kernel/vmlinux.lds.S

   1 /* SPDX-License-Identifier: GPL-2.0 */
   2 #ifdef CONFIG_PPC64
   3 #define PROVIDE32(x)    PROVIDE(__unused__##x)
   4 #else
   5 #define PROVIDE32(x)    PROVIDE(x)
   6 #endif
   7
   8 #define BSS_FIRST_SECTIONS *(.bss.prominit)
   9 #define EMITS_PT_NOTE
  10 #define RO_EXCEPTION_TABLE_ALIGN        0
  11
  12 #define SOFT_MASK_TABLE(align)                                          \
  13         . = ALIGN(align);                                               \
  14         __soft_mask_table : AT(ADDR(__soft_mask_table) - LOAD_OFFSET) { \
  15                 __start___soft_mask_table = .;                          \
  16                 KEEP(*(__soft_mask_table))                              \
  17                 __stop___soft_mask_table = .;                           \
  18         }
  19
  20 #define RESTART_TABLE(align)                                            \
  21         . = ALIGN(align);                                               \
  22         __restart_table : AT(ADDR(__restart_table) - LOAD_OFFSET) {     \
  23                 __start___restart_table = .;                            \
  24                 KEEP(*(__restart_table))                                \
  25                 __stop___restart_table = .;                             \
  26         }
  27
  28 #include <asm/page.h>
  29 #include <asm-generic/vmlinux.lds.h>
  30 #include <asm/cache.h>
  31 #include <asm/thread_info.h>
  32
  33 #define STRICT_ALIGN_SIZE       (1 << CONFIG_DATA_SHIFT)
  34
  35 ENTRY(_stext)
  36
  37 PHDRS {
  38         text PT_LOAD FLAGS(7); /* RWX */
  39         note PT_NOTE FLAGS(0);
  40 }
  41
  42 #ifdef CONFIG_PPC64
  43 OUTPUT_ARCH(powerpc:common64)
  44 jiffies = jiffies_64;
  45 #else
  46 OUTPUT_ARCH(powerpc:common)
  47 jiffies = jiffies_64 + 4;
  48 #endif
  49 SECTIONS
  50 {
  51         . = KERNELBASE;
  52
  53 /*
  54  * Text, read only data and other permanent read-only sections
  55  */
  56
  57         _text = .;
  58         _stext = .;
  59
  60         /*
  61          * Head text.
  62          * This needs to be in its own output section to avoid ld placing
  63          * branch trampoline stubs randomly throughout the fixed sections,
  64          * which it will do (even if the branch comes from another section)
  65          * in order to optimize stub generation.
  66          */
  67         .head.text : AT(ADDR(.head.text) - LOAD_OFFSET) {
  68 #ifdef CONFIG_PPC64
  69                 KEEP(*(.head.text.first_256B));
  70 #ifdef CONFIG_PPC_BOOK3E
  71 #else
  72                 KEEP(*(.head.text.real_vectors));
  73                 *(.head.text.real_trampolines);
  74                 KEEP(*(.head.text.virt_vectors));
  75                 *(.head.text.virt_trampolines);
  76 # if defined(CONFIG_PPC_PSERIES) || defined(CONFIG_PPC_POWERNV)
  77                 KEEP(*(.head.data.fwnmi_page));
  78 # endif
  79 #endif
  80 #else /* !CONFIG_PPC64 */
  81                 HEAD_TEXT
  82 #endif
  83         } :text
  84
  85         __head_end = .;
  86
  87 #ifdef CONFIG_PPC64
  88         /*
  89          * ALIGN(0) overrides the default output section alignment because
  90          * this needs to start right after .head.text in order for fixed
  91          * section placement to work.
  92          */
  93         .text ALIGN(0) : AT(ADDR(.text) - LOAD_OFFSET) {
  94 #ifdef CONFIG_LD_HEAD_STUB_CATCH
  95                 KEEP(*(.linker_stub_catch));
  96                 . = . ;
  97 #endif
  98
  99 #else
 100         .text : AT(ADDR(.text) - LOAD_OFFSET) {
 101                 ALIGN_FUNCTION();
 102 #endif
 103                 /* careful! __ftr_alt_* sections need to be close to .text */
 104                 *(.text.hot .text.hot.* TEXT_MAIN .text.fixup .text.unlikely .text.unlikely.* .fixup __ftr_alt_* .ref.text);
 105 #ifdef CONFIG_PPC64
 106                 *(.tramp.ftrace.text);
 107 #endif
 108                 NOINSTR_TEXT
 109                 SCHED_TEXT
 110                 CPUIDLE_TEXT
 111                 LOCK_TEXT
 112                 KPROBES_TEXT
 113                 IRQENTRY_TEXT
 114                 SOFTIRQENTRY_TEXT
 115                 /*
 116                  * -Os builds call FP save/restore functions. The powerpc64
 117                  * linker generates those on demand in the .sfpr section.
 118                  * .sfpr gets placed at the beginning of a group of input
 119                  * sections, which can break start-of-text offset if it is
 120                  * included with the main text sections, so put it by itself.
 121                  */
 122                 *(.sfpr);
 123                 MEM_KEEP(init.text)
 124                 MEM_KEEP(exit.text)
 125
 126 #ifdef CONFIG_PPC32
 127                 *(.got1)
 128                 __got2_start = .;
 129                 *(.got2)
 130                 __got2_end = .;
 131 #endif /* CONFIG_PPC32 */
 132
 133         } :text
 134
 135         . = ALIGN(PAGE_SIZE);
 136         _etext = .;
 137         PROVIDE32 (etext = .);
 138
 139         /* Read-only data */
 140         RO_DATA(PAGE_SIZE)
 141
 142 #ifdef CONFIG_PPC64
 143         SOFT_MASK_TABLE(8)
 144         RESTART_TABLE(8)
 145
 146         . = ALIGN(8);
 147         __stf_entry_barrier_fixup : AT(ADDR(__stf_entry_barrier_fixup) - LOAD_OFFSET) {
 148                 __start___stf_entry_barrier_fixup = .;
 149                 *(__stf_entry_barrier_fixup)
 150                 __stop___stf_entry_barrier_fixup = .;
 151         }
 152
 153         . = ALIGN(8);
 154         __uaccess_flush_fixup : AT(ADDR(__uaccess_flush_fixup) - LOAD_OFFSET) {
 155                 __start___uaccess_flush_fixup = .;
 156                 *(__uaccess_flush_fixup)
 157                 __stop___uaccess_flush_fixup = .;
 158         }
 159
 160         . = ALIGN(8);
 161         __entry_flush_fixup : AT(ADDR(__entry_flush_fixup) - LOAD_OFFSET) {
 162                 __start___entry_flush_fixup = .;
 163                 *(__entry_flush_fixup)
 164                 __stop___entry_flush_fixup = .;
 165         }
 166
 167         . = ALIGN(8);
 168         __scv_entry_flush_fixup : AT(ADDR(__scv_entry_flush_fixup) - LOAD_OFFSET) {
 169                 __start___scv_entry_flush_fixup = .;
 170                 *(__scv_entry_flush_fixup)
 171                 __stop___scv_entry_flush_fixup = .;
 172         }
 173
 174         . = ALIGN(8);
 175         __stf_exit_barrier_fixup : AT(ADDR(__stf_exit_barrier_fixup) - LOAD_OFFSET) {
 176                 __start___stf_exit_barrier_fixup = .;
 177                 *(__stf_exit_barrier_fixup)
 178                 __stop___stf_exit_barrier_fixup = .;
 179         }
 180
 181         . = ALIGN(8);
 182         __rfi_flush_fixup : AT(ADDR(__rfi_flush_fixup) - LOAD_OFFSET) {
 183                 __start___rfi_flush_fixup = .;
 184                 *(__rfi_flush_fixup)
 185                 __stop___rfi_flush_fixup = .;
 186         }
 187 #endif /* CONFIG_PPC64 */
 188
 189 #ifdef CONFIG_PPC_BARRIER_NOSPEC
 190         . = ALIGN(8);
 191         __spec_barrier_fixup : AT(ADDR(__spec_barrier_fixup) - LOAD_OFFSET) {
 192                 __start___barrier_nospec_fixup = .;
 193                 *(__barrier_nospec_fixup)
 194                 __stop___barrier_nospec_fixup = .;
 195         }
 196 #endif /* CONFIG_PPC_BARRIER_NOSPEC */
 197
 198 #ifdef CONFIG_PPC_FSL_BOOK3E
 199         . = ALIGN(8);
 200         __spec_btb_flush_fixup : AT(ADDR(__spec_btb_flush_fixup) - LOAD_OFFSET) {
 201                 __start__btb_flush_fixup = .;
 202                 *(__btb_flush_fixup)
 203                 __stop__btb_flush_fixup = .;
 204         }
 205 #endif
 206
 207 /*
 208  * Init sections discarded at runtime
 209  */
 210         . = ALIGN(STRICT_ALIGN_SIZE);
 211         __init_begin = .;
 212         . = ALIGN(PAGE_SIZE);
 213         .init.text : AT(ADDR(.init.text) - LOAD_OFFSET) {
 214                 _sinittext = .;
 215                 INIT_TEXT
 216
 217                 /*
 218                  *.init.text might be RO so we must ensure this section ends on
 219                  * a page boundary.
 220                  */
 221                 . = ALIGN(PAGE_SIZE);
 222                 _einittext = .;
 223 #ifdef CONFIG_PPC64
 224                 *(.tramp.ftrace.init);
 225 #endif
 226         } :text
 227
 228         /* .exit.text is discarded at runtime, not link time,
 229          * to deal with references from __bug_table
 230          */
 231         .exit.text : AT(ADDR(.exit.text) - LOAD_OFFSET) {
 232                 EXIT_TEXT
 233         }
 234
 235         . = ALIGN(PAGE_SIZE);
 236
 237         INIT_DATA_SECTION(16)
 238
 239         . = ALIGN(8);
 240         __ftr_fixup : AT(ADDR(__ftr_fixup) - LOAD_OFFSET) {
 241                 __start___ftr_fixup = .;
 242                 KEEP(*(__ftr_fixup))
 243                 __stop___ftr_fixup = .;
 244         }
 245         . = ALIGN(8);
 246         __mmu_ftr_fixup : AT(ADDR(__mmu_ftr_fixup) - LOAD_OFFSET) {
 247                 __start___mmu_ftr_fixup = .;
 248                 KEEP(*(__mmu_ftr_fixup))
 249                 __stop___mmu_ftr_fixup = .;
 250         }
 251         . = ALIGN(8);
 252         __lwsync_fixup : AT(ADDR(__lwsync_fixup) - LOAD_OFFSET) {
 253                 __start___lwsync_fixup = .;
 254                 KEEP(*(__lwsync_fixup))
 255                 __stop___lwsync_fixup = .;
 256         }
 257 #ifdef CONFIG_PPC64
 258         . = ALIGN(8);
 259         __fw_ftr_fixup : AT(ADDR(__fw_ftr_fixup) - LOAD_OFFSET) {
 260                 __start___fw_ftr_fixup = .;
 261                 KEEP(*(__fw_ftr_fixup))
 262                 __stop___fw_ftr_fixup = .;
 263         }
 264 #endif
 265
 266         PERCPU_SECTION(L1_CACHE_BYTES)
 267
 268         . = ALIGN(8);
 269         .machine.desc : AT(ADDR(.machine.desc) - LOAD_OFFSET) {
 270                 __machine_desc_start = . ;
 271                 KEEP(*(.machine.desc))
 272                 __machine_desc_end = . ;
 273         }
 274 #ifdef CONFIG_RELOCATABLE
 275         . = ALIGN(8);
 276         .dynsym : AT(ADDR(.dynsym) - LOAD_OFFSET)
 277         {
 278 #ifdef CONFIG_PPC32
 279                 __dynamic_symtab = .;
 280 #endif
 281                 *(.dynsym)
 282         }
 283         .dynstr : AT(ADDR(.dynstr) - LOAD_OFFSET) { *(.dynstr) }
 284         .dynamic : AT(ADDR(.dynamic) - LOAD_OFFSET)
 285         {
 286                 __dynamic_start = .;
 287                 *(.dynamic)
 288         }
 289         .hash : AT(ADDR(.hash) - LOAD_OFFSET) { *(.hash) }
 290         .gnu.hash : AT(ADDR(.gnu.hash) - LOAD_OFFSET) { *(.gnu.hash) }
 291         .interp : AT(ADDR(.interp) - LOAD_OFFSET) { *(.interp) }
 292         .rela.dyn : AT(ADDR(.rela.dyn) - LOAD_OFFSET)
 293         {
 294                 __rela_dyn_start = .;
 295                 *(.rela*)
 296         }
 297 #endif
 298         /* .exit.data is discarded at runtime, not link time,
 299          * to deal with references from .exit.text
 300          */
 301         .exit.data : AT(ADDR(.exit.data) - LOAD_OFFSET) {
 302                 EXIT_DATA
 303         }
 304
 305         /* freed after init ends here */
 306         . = ALIGN(PAGE_SIZE);
 307         __init_end = .;
 308
 309 /*
 310  * And now the various read/write data
 311  */
 312
 313         . = ALIGN(PAGE_SIZE);
 314         _sdata = .;
 315
 316 #ifdef CONFIG_PPC32
 317         .data : AT(ADDR(.data) - LOAD_OFFSET) {
 318                 DATA_DATA
 319 #ifdef CONFIG_UBSAN
 320                 *(.data..Lubsan_data*)
 321                 *(.data..Lubsan_type*)
 322 #endif
 323                 *(.data.rel*)
 324                 *(SDATA_MAIN)
 325                 *(.sdata2)
 326                 *(.got.plt) *(.got)
 327                 *(.plt)
 328                 *(.branch_lt)
 329         }
 330 #else
 331         .data : AT(ADDR(.data) - LOAD_OFFSET) {
 332                 DATA_DATA
 333 #ifdef CONFIG_UBSAN
 334                 *(.data..Lubsan_data*)
 335                 *(.data..Lubsan_type*)
 336 #endif
 337                 *(.data.rel*)
 338                 *(.toc1)
 339                 *(.branch_lt)
 340         }
 341
 342         .opd : AT(ADDR(.opd) - LOAD_OFFSET) {
 343                 __start_opd = .;
 344                 KEEP(*(.opd))
 345                 __end_opd = .;
 346         }
 347
 348         . = ALIGN(256);
 349         .got : AT(ADDR(.got) - LOAD_OFFSET) {
 350                 __toc_start = .;
 351 #ifndef CONFIG_RELOCATABLE
 352                 __prom_init_toc_start = .;
 353                 arch/powerpc/kernel/prom_init.o*(.toc .got)
 354                 __prom_init_toc_end = .;
 355 #endif
 356                 *(.got)
 357                 *(.toc)
 358         }
 359 #endif
 360
 361         /* The initial task and kernel stack */
 362         INIT_TASK_DATA_SECTION(THREAD_ALIGN)
 363
 364         .data..page_aligned : AT(ADDR(.data..page_aligned) - LOAD_OFFSET) {
 365                 PAGE_ALIGNED_DATA(PAGE_SIZE)
 366         }
 367
 368         .data..cacheline_aligned : AT(ADDR(.data..cacheline_aligned) - LOAD_OFFSET) {
 369                 CACHELINE_ALIGNED_DATA(L1_CACHE_BYTES)
 370         }
 371
 372         .data..read_mostly : AT(ADDR(.data..read_mostly) - LOAD_OFFSET) {
 373                 READ_MOSTLY_DATA(L1_CACHE_BYTES)
 374         }
 375
 376         . = ALIGN(PAGE_SIZE);
 377         .data_nosave : AT(ADDR(.data_nosave) - LOAD_OFFSET) {
 378                 NOSAVE_DATA
 379         }
 380
 381         BUG_TABLE
 382
 383         . = ALIGN(PAGE_SIZE);
 384         _edata  =  .;
 385         PROVIDE32 (edata = .);
 386
 387 /*
 388  * And finally the bss
 389  */
 390
 391         BSS_SECTION(0, 0, 0)
 392
 393         . = ALIGN(PAGE_SIZE);
 394         _end = . ;
 395         PROVIDE32 (end = .);
 396
 397         STABS_DEBUG
 398         DWARF_DEBUG
 399         ELF_DETAILS
 400
 401         DISCARDS
 402         /DISCARD/ : {
 403                 *(*.EMB.apuinfo)
 404                 *(.glink .iplt .plt .rela* .comment)
 405                 *(.gnu.version*)
 406                 *(.gnu.attributes)
 407                 *(.eh_frame)
 408         }
 409 }