x86/efi: Push EFI_MEMMAP check into leaf routines
[linux-2.6-microblaze.git] / arch / x86 / platform / efi / quirks.c
1 // SPDX-License-Identifier: GPL-2.0-only
2 #define pr_fmt(fmt) "efi: " fmt
3
4 #include <linux/init.h>
5 #include <linux/kernel.h>
6 #include <linux/string.h>
7 #include <linux/time.h>
8 #include <linux/types.h>
9 #include <linux/efi.h>
10 #include <linux/slab.h>
11 #include <linux/memblock.h>
12 #include <linux/acpi.h>
13 #include <linux/dmi.h>
14
15 #include <asm/e820/api.h>
16 #include <asm/efi.h>
17 #include <asm/uv/uv.h>
18 #include <asm/cpu_device_id.h>
19 #include <asm/reboot.h>
20
21 #define EFI_MIN_RESERVE 5120
22
23 #define EFI_DUMMY_GUID \
24         EFI_GUID(0x4424ac57, 0xbe4b, 0x47dd, 0x9e, 0x97, 0xed, 0x50, 0xf0, 0x9f, 0x92, 0xa9)
25
26 #define QUARK_CSH_SIGNATURE             0x5f435348      /* _CSH */
27 #define QUARK_SECURITY_HEADER_SIZE      0x400
28
29 /*
30  * Header prepended to the standard EFI capsule on Quark systems the are based
31  * on Intel firmware BSP.
32  * @csh_signature:      Unique identifier to sanity check signed module
33  *                      presence ("_CSH").
34  * @version:            Current version of CSH used. Should be one for Quark A0.
35  * @modulesize:         Size of the entire module including the module header
36  *                      and payload.
37  * @security_version_number_index: Index of SVN to use for validation of signed
38  *                      module.
39  * @security_version_number: Used to prevent against roll back of modules.
40  * @rsvd_module_id:     Currently unused for Clanton (Quark).
41  * @rsvd_module_vendor: Vendor Identifier. For Intel products value is
42  *                      0x00008086.
43  * @rsvd_date:          BCD representation of build date as yyyymmdd, where
44  *                      yyyy=4 digit year, mm=1-12, dd=1-31.
45  * @headersize:         Total length of the header including including any
46  *                      padding optionally added by the signing tool.
47  * @hash_algo:          What Hash is used in the module signing.
48  * @cryp_algo:          What Crypto is used in the module signing.
49  * @keysize:            Total length of the key data including including any
50  *                      padding optionally added by the signing tool.
51  * @signaturesize:      Total length of the signature including including any
52  *                      padding optionally added by the signing tool.
53  * @rsvd_next_header:   32-bit pointer to the next Secure Boot Module in the
54  *                      chain, if there is a next header.
55  * @rsvd:               Reserved, padding structure to required size.
56  *
57  * See also QuartSecurityHeader_t in
58  * Quark_EDKII_v1.2.1.1/QuarkPlatformPkg/Include/QuarkBootRom.h
59  * from https://downloadcenter.intel.com/download/23197/Intel-Quark-SoC-X1000-Board-Support-Package-BSP
60  */
61 struct quark_security_header {
62         u32 csh_signature;
63         u32 version;
64         u32 modulesize;
65         u32 security_version_number_index;
66         u32 security_version_number;
67         u32 rsvd_module_id;
68         u32 rsvd_module_vendor;
69         u32 rsvd_date;
70         u32 headersize;
71         u32 hash_algo;
72         u32 cryp_algo;
73         u32 keysize;
74         u32 signaturesize;
75         u32 rsvd_next_header;
76         u32 rsvd[2];
77 };
78
79 static const efi_char16_t efi_dummy_name[] = L"DUMMY";
80
81 static bool efi_no_storage_paranoia;
82
83 /*
84  * Some firmware implementations refuse to boot if there's insufficient
85  * space in the variable store. The implementation of garbage collection
86  * in some FW versions causes stale (deleted) variables to take up space
87  * longer than intended and space is only freed once the store becomes
88  * almost completely full.
89  *
90  * Enabling this option disables the space checks in
91  * efi_query_variable_store() and forces garbage collection.
92  *
93  * Only enable this option if deleting EFI variables does not free up
94  * space in your variable store, e.g. if despite deleting variables
95  * you're unable to create new ones.
96  */
97 static int __init setup_storage_paranoia(char *arg)
98 {
99         efi_no_storage_paranoia = true;
100         return 0;
101 }
102 early_param("efi_no_storage_paranoia", setup_storage_paranoia);
103
104 /*
105  * Deleting the dummy variable which kicks off garbage collection
106 */
107 void efi_delete_dummy_variable(void)
108 {
109         efi.set_variable_nonblocking((efi_char16_t *)efi_dummy_name,
110                                      &EFI_DUMMY_GUID,
111                                      EFI_VARIABLE_NON_VOLATILE |
112                                      EFI_VARIABLE_BOOTSERVICE_ACCESS |
113                                      EFI_VARIABLE_RUNTIME_ACCESS, 0, NULL);
114 }
115
116 /*
117  * In the nonblocking case we do not attempt to perform garbage
118  * collection if we do not have enough free space. Rather, we do the
119  * bare minimum check and give up immediately if the available space
120  * is below EFI_MIN_RESERVE.
121  *
122  * This function is intended to be small and simple because it is
123  * invoked from crash handler paths.
124  */
125 static efi_status_t
126 query_variable_store_nonblocking(u32 attributes, unsigned long size)
127 {
128         efi_status_t status;
129         u64 storage_size, remaining_size, max_size;
130
131         status = efi.query_variable_info_nonblocking(attributes, &storage_size,
132                                                      &remaining_size,
133                                                      &max_size);
134         if (status != EFI_SUCCESS)
135                 return status;
136
137         if (remaining_size - size < EFI_MIN_RESERVE)
138                 return EFI_OUT_OF_RESOURCES;
139
140         return EFI_SUCCESS;
141 }
142
143 /*
144  * Some firmware implementations refuse to boot if there's insufficient space
145  * in the variable store. Ensure that we never use more than a safe limit.
146  *
147  * Return EFI_SUCCESS if it is safe to write 'size' bytes to the variable
148  * store.
149  */
150 efi_status_t efi_query_variable_store(u32 attributes, unsigned long size,
151                                       bool nonblocking)
152 {
153         efi_status_t status;
154         u64 storage_size, remaining_size, max_size;
155
156         if (!(attributes & EFI_VARIABLE_NON_VOLATILE))
157                 return 0;
158
159         if (nonblocking)
160                 return query_variable_store_nonblocking(attributes, size);
161
162         status = efi.query_variable_info(attributes, &storage_size,
163                                          &remaining_size, &max_size);
164         if (status != EFI_SUCCESS)
165                 return status;
166
167         /*
168          * We account for that by refusing the write if permitting it would
169          * reduce the available space to under 5KB. This figure was provided by
170          * Samsung, so should be safe.
171          */
172         if ((remaining_size - size < EFI_MIN_RESERVE) &&
173                 !efi_no_storage_paranoia) {
174
175                 /*
176                  * Triggering garbage collection may require that the firmware
177                  * generate a real EFI_OUT_OF_RESOURCES error. We can force
178                  * that by attempting to use more space than is available.
179                  */
180                 unsigned long dummy_size = remaining_size + 1024;
181                 void *dummy = kzalloc(dummy_size, GFP_KERNEL);
182
183                 if (!dummy)
184                         return EFI_OUT_OF_RESOURCES;
185
186                 status = efi.set_variable((efi_char16_t *)efi_dummy_name,
187                                           &EFI_DUMMY_GUID,
188                                           EFI_VARIABLE_NON_VOLATILE |
189                                           EFI_VARIABLE_BOOTSERVICE_ACCESS |
190                                           EFI_VARIABLE_RUNTIME_ACCESS,
191                                           dummy_size, dummy);
192
193                 if (status == EFI_SUCCESS) {
194                         /*
195                          * This should have failed, so if it didn't make sure
196                          * that we delete it...
197                          */
198                         efi_delete_dummy_variable();
199                 }
200
201                 kfree(dummy);
202
203                 /*
204                  * The runtime code may now have triggered a garbage collection
205                  * run, so check the variable info again
206                  */
207                 status = efi.query_variable_info(attributes, &storage_size,
208                                                  &remaining_size, &max_size);
209
210                 if (status != EFI_SUCCESS)
211                         return status;
212
213                 /*
214                  * There still isn't enough room, so return an error
215                  */
216                 if (remaining_size - size < EFI_MIN_RESERVE)
217                         return EFI_OUT_OF_RESOURCES;
218         }
219
220         return EFI_SUCCESS;
221 }
222 EXPORT_SYMBOL_GPL(efi_query_variable_store);
223
224 /*
225  * The UEFI specification makes it clear that the operating system is
226  * free to do whatever it wants with boot services code after
227  * ExitBootServices() has been called. Ignoring this recommendation a
228  * significant bunch of EFI implementations continue calling into boot
229  * services code (SetVirtualAddressMap). In order to work around such
230  * buggy implementations we reserve boot services region during EFI
231  * init and make sure it stays executable. Then, after
232  * SetVirtualAddressMap(), it is discarded.
233  *
234  * However, some boot services regions contain data that is required
235  * by drivers, so we need to track which memory ranges can never be
236  * freed. This is done by tagging those regions with the
237  * EFI_MEMORY_RUNTIME attribute.
238  *
239  * Any driver that wants to mark a region as reserved must use
240  * efi_mem_reserve() which will insert a new EFI memory descriptor
241  * into efi.memmap (splitting existing regions if necessary) and tag
242  * it with EFI_MEMORY_RUNTIME.
243  */
244 void __init efi_arch_mem_reserve(phys_addr_t addr, u64 size)
245 {
246         phys_addr_t new_phys, new_size;
247         struct efi_mem_range mr;
248         efi_memory_desc_t md;
249         int num_entries;
250         void *new;
251
252         if (efi_mem_desc_lookup(addr, &md) ||
253             md.type != EFI_BOOT_SERVICES_DATA) {
254                 pr_err("Failed to lookup EFI memory descriptor for %pa\n", &addr);
255                 return;
256         }
257
258         if (addr + size > md.phys_addr + (md.num_pages << EFI_PAGE_SHIFT)) {
259                 pr_err("Region spans EFI memory descriptors, %pa\n", &addr);
260                 return;
261         }
262
263         /* No need to reserve regions that will never be freed. */
264         if (md.attribute & EFI_MEMORY_RUNTIME)
265                 return;
266
267         size += addr % EFI_PAGE_SIZE;
268         size = round_up(size, EFI_PAGE_SIZE);
269         addr = round_down(addr, EFI_PAGE_SIZE);
270
271         mr.range.start = addr;
272         mr.range.end = addr + size - 1;
273         mr.attribute = md.attribute | EFI_MEMORY_RUNTIME;
274
275         num_entries = efi_memmap_split_count(&md, &mr.range);
276         num_entries += efi.memmap.nr_map;
277
278         new_size = efi.memmap.desc_size * num_entries;
279
280         new_phys = efi_memmap_alloc(num_entries);
281         if (!new_phys) {
282                 pr_err("Could not allocate boot services memmap\n");
283                 return;
284         }
285
286         new = early_memremap(new_phys, new_size);
287         if (!new) {
288                 pr_err("Failed to map new boot services memmap\n");
289                 return;
290         }
291
292         efi_memmap_insert(&efi.memmap, new, &mr);
293         early_memunmap(new, new_size);
294
295         efi_memmap_install(new_phys, num_entries);
296 }
297
298 /*
299  * Helper function for efi_reserve_boot_services() to figure out if we
300  * can free regions in efi_free_boot_services().
301  *
302  * Use this function to ensure we do not free regions owned by somebody
303  * else. We must only reserve (and then free) regions:
304  *
305  * - Not within any part of the kernel
306  * - Not the BIOS reserved area (E820_TYPE_RESERVED, E820_TYPE_NVS, etc)
307  */
308 static __init bool can_free_region(u64 start, u64 size)
309 {
310         if (start + size > __pa_symbol(_text) && start <= __pa_symbol(_end))
311                 return false;
312
313         if (!e820__mapped_all(start, start+size, E820_TYPE_RAM))
314                 return false;
315
316         return true;
317 }
318
319 void __init efi_reserve_boot_services(void)
320 {
321         efi_memory_desc_t *md;
322
323         if (!efi_enabled(EFI_MEMMAP))
324                 return;
325
326         for_each_efi_memory_desc(md) {
327                 u64 start = md->phys_addr;
328                 u64 size = md->num_pages << EFI_PAGE_SHIFT;
329                 bool already_reserved;
330
331                 if (md->type != EFI_BOOT_SERVICES_CODE &&
332                     md->type != EFI_BOOT_SERVICES_DATA)
333                         continue;
334
335                 already_reserved = memblock_is_region_reserved(start, size);
336
337                 /*
338                  * Because the following memblock_reserve() is paired
339                  * with memblock_free_late() for this region in
340                  * efi_free_boot_services(), we must be extremely
341                  * careful not to reserve, and subsequently free,
342                  * critical regions of memory (like the kernel image) or
343                  * those regions that somebody else has already
344                  * reserved.
345                  *
346                  * A good example of a critical region that must not be
347                  * freed is page zero (first 4Kb of memory), which may
348                  * contain boot services code/data but is marked
349                  * E820_TYPE_RESERVED by trim_bios_range().
350                  */
351                 if (!already_reserved) {
352                         memblock_reserve(start, size);
353
354                         /*
355                          * If we are the first to reserve the region, no
356                          * one else cares about it. We own it and can
357                          * free it later.
358                          */
359                         if (can_free_region(start, size))
360                                 continue;
361                 }
362
363                 /*
364                  * We don't own the region. We must not free it.
365                  *
366                  * Setting this bit for a boot services region really
367                  * doesn't make sense as far as the firmware is
368                  * concerned, but it does provide us with a way to tag
369                  * those regions that must not be paired with
370                  * memblock_free_late().
371                  */
372                 md->attribute |= EFI_MEMORY_RUNTIME;
373         }
374 }
375
376 /*
377  * Apart from having VA mappings for EFI boot services code/data regions,
378  * (duplicate) 1:1 mappings were also created as a quirk for buggy firmware. So,
379  * unmap both 1:1 and VA mappings.
380  */
381 static void __init efi_unmap_pages(efi_memory_desc_t *md)
382 {
383         pgd_t *pgd = efi_mm.pgd;
384         u64 pa = md->phys_addr;
385         u64 va = md->virt_addr;
386
387         /*
388          * To Do: Remove this check after adding functionality to unmap EFI boot
389          * services code/data regions from direct mapping area because
390          * "efi=old_map" maps EFI regions in swapper_pg_dir.
391          */
392         if (efi_enabled(EFI_OLD_MEMMAP))
393                 return;
394
395         /*
396          * EFI mixed mode has all RAM mapped to access arguments while making
397          * EFI runtime calls, hence don't unmap EFI boot services code/data
398          * regions.
399          */
400         if (!efi_is_native())
401                 return;
402
403         if (kernel_unmap_pages_in_pgd(pgd, pa, md->num_pages))
404                 pr_err("Failed to unmap 1:1 mapping for 0x%llx\n", pa);
405
406         if (kernel_unmap_pages_in_pgd(pgd, va, md->num_pages))
407                 pr_err("Failed to unmap VA mapping for 0x%llx\n", va);
408 }
409
410 void __init efi_free_boot_services(void)
411 {
412         phys_addr_t new_phys, new_size;
413         efi_memory_desc_t *md;
414         int num_entries = 0;
415         void *new, *new_md;
416
417         for_each_efi_memory_desc(md) {
418                 unsigned long long start = md->phys_addr;
419                 unsigned long long size = md->num_pages << EFI_PAGE_SHIFT;
420                 size_t rm_size;
421
422                 if (md->type != EFI_BOOT_SERVICES_CODE &&
423                     md->type != EFI_BOOT_SERVICES_DATA) {
424                         num_entries++;
425                         continue;
426                 }
427
428                 /* Do not free, someone else owns it: */
429                 if (md->attribute & EFI_MEMORY_RUNTIME) {
430                         num_entries++;
431                         continue;
432                 }
433
434                 /*
435                  * Before calling set_virtual_address_map(), EFI boot services
436                  * code/data regions were mapped as a quirk for buggy firmware.
437                  * Unmap them from efi_pgd before freeing them up.
438                  */
439                 efi_unmap_pages(md);
440
441                 /*
442                  * Nasty quirk: if all sub-1MB memory is used for boot
443                  * services, we can get here without having allocated the
444                  * real mode trampoline.  It's too late to hand boot services
445                  * memory back to the memblock allocator, so instead
446                  * try to manually allocate the trampoline if needed.
447                  *
448                  * I've seen this on a Dell XPS 13 9350 with firmware
449                  * 1.4.4 with SGX enabled booting Linux via Fedora 24's
450                  * grub2-efi on a hard disk.  (And no, I don't know why
451                  * this happened, but Linux should still try to boot rather
452                  * panicing early.)
453                  */
454                 rm_size = real_mode_size_needed();
455                 if (rm_size && (start + rm_size) < (1<<20) && size >= rm_size) {
456                         set_real_mode_mem(start);
457                         start += rm_size;
458                         size -= rm_size;
459                 }
460
461                 memblock_free_late(start, size);
462         }
463
464         if (!num_entries)
465                 return;
466
467         new_size = efi.memmap.desc_size * num_entries;
468         new_phys = efi_memmap_alloc(num_entries);
469         if (!new_phys) {
470                 pr_err("Failed to allocate new EFI memmap\n");
471                 return;
472         }
473
474         new = memremap(new_phys, new_size, MEMREMAP_WB);
475         if (!new) {
476                 pr_err("Failed to map new EFI memmap\n");
477                 return;
478         }
479
480         /*
481          * Build a new EFI memmap that excludes any boot services
482          * regions that are not tagged EFI_MEMORY_RUNTIME, since those
483          * regions have now been freed.
484          */
485         new_md = new;
486         for_each_efi_memory_desc(md) {
487                 if (!(md->attribute & EFI_MEMORY_RUNTIME) &&
488                     (md->type == EFI_BOOT_SERVICES_CODE ||
489                      md->type == EFI_BOOT_SERVICES_DATA))
490                         continue;
491
492                 memcpy(new_md, md, efi.memmap.desc_size);
493                 new_md += efi.memmap.desc_size;
494         }
495
496         memunmap(new);
497
498         if (efi_memmap_install(new_phys, num_entries)) {
499                 pr_err("Could not install new EFI memmap\n");
500                 return;
501         }
502 }
503
504 /*
505  * A number of config table entries get remapped to virtual addresses
506  * after entering EFI virtual mode. However, the kexec kernel requires
507  * their physical addresses therefore we pass them via setup_data and
508  * correct those entries to their respective physical addresses here.
509  *
510  * Currently only handles smbios which is necessary for some firmware
511  * implementation.
512  */
513 int __init efi_reuse_config(u64 tables, int nr_tables)
514 {
515         int i, sz, ret = 0;
516         void *p, *tablep;
517         struct efi_setup_data *data;
518
519         if (nr_tables == 0)
520                 return 0;
521
522         if (!efi_setup)
523                 return 0;
524
525         if (!efi_enabled(EFI_64BIT))
526                 return 0;
527
528         data = early_memremap(efi_setup, sizeof(*data));
529         if (!data) {
530                 ret = -ENOMEM;
531                 goto out;
532         }
533
534         if (!data->smbios)
535                 goto out_memremap;
536
537         sz = sizeof(efi_config_table_64_t);
538
539         p = tablep = early_memremap(tables, nr_tables * sz);
540         if (!p) {
541                 pr_err("Could not map Configuration table!\n");
542                 ret = -ENOMEM;
543                 goto out_memremap;
544         }
545
546         for (i = 0; i < efi.systab->nr_tables; i++) {
547                 efi_guid_t guid;
548
549                 guid = ((efi_config_table_64_t *)p)->guid;
550
551                 if (!efi_guidcmp(guid, SMBIOS_TABLE_GUID))
552                         ((efi_config_table_64_t *)p)->table = data->smbios;
553                 p += sz;
554         }
555         early_memunmap(tablep, nr_tables * sz);
556
557 out_memremap:
558         early_memunmap(data, sizeof(*data));
559 out:
560         return ret;
561 }
562
563 static const struct dmi_system_id sgi_uv1_dmi[] = {
564         { NULL, "SGI UV1",
565                 {       DMI_MATCH(DMI_PRODUCT_NAME,     "Stoutland Platform"),
566                         DMI_MATCH(DMI_PRODUCT_VERSION,  "1.0"),
567                         DMI_MATCH(DMI_BIOS_VENDOR,      "SGI.COM"),
568                 }
569         },
570         { } /* NULL entry stops DMI scanning */
571 };
572
573 void __init efi_apply_memmap_quirks(void)
574 {
575         /*
576          * Once setup is done earlier, unmap the EFI memory map on mismatched
577          * firmware/kernel architectures since there is no support for runtime
578          * services.
579          */
580         if (!efi_runtime_supported()) {
581                 pr_info("Setup done, disabling due to 32/64-bit mismatch\n");
582                 efi_memmap_unmap();
583         }
584
585         /* UV2+ BIOS has a fix for this issue.  UV1 still needs the quirk. */
586         if (dmi_check_system(sgi_uv1_dmi))
587                 set_bit(EFI_OLD_MEMMAP, &efi.flags);
588 }
589
590 /*
591  * For most modern platforms the preferred method of powering off is via
592  * ACPI. However, there are some that are known to require the use of
593  * EFI runtime services and for which ACPI does not work at all.
594  *
595  * Using EFI is a last resort, to be used only if no other option
596  * exists.
597  */
598 bool efi_reboot_required(void)
599 {
600         if (!acpi_gbl_reduced_hardware)
601                 return false;
602
603         efi_reboot_quirk_mode = EFI_RESET_WARM;
604         return true;
605 }
606
607 bool efi_poweroff_required(void)
608 {
609         return acpi_gbl_reduced_hardware || acpi_no_s5;
610 }
611
612 #ifdef CONFIG_EFI_CAPSULE_QUIRK_QUARK_CSH
613
614 static int qrk_capsule_setup_info(struct capsule_info *cap_info, void **pkbuff,
615                                   size_t hdr_bytes)
616 {
617         struct quark_security_header *csh = *pkbuff;
618
619         /* Only process data block that is larger than the security header */
620         if (hdr_bytes < sizeof(struct quark_security_header))
621                 return 0;
622
623         if (csh->csh_signature != QUARK_CSH_SIGNATURE ||
624             csh->headersize != QUARK_SECURITY_HEADER_SIZE)
625                 return 1;
626
627         /* Only process data block if EFI header is included */
628         if (hdr_bytes < QUARK_SECURITY_HEADER_SIZE +
629                         sizeof(efi_capsule_header_t))
630                 return 0;
631
632         pr_debug("Quark security header detected\n");
633
634         if (csh->rsvd_next_header != 0) {
635                 pr_err("multiple Quark security headers not supported\n");
636                 return -EINVAL;
637         }
638
639         *pkbuff += csh->headersize;
640         cap_info->total_size = csh->headersize;
641
642         /*
643          * Update the first page pointer to skip over the CSH header.
644          */
645         cap_info->phys[0] += csh->headersize;
646
647         /*
648          * cap_info->capsule should point at a virtual mapping of the entire
649          * capsule, starting at the capsule header. Our image has the Quark
650          * security header prepended, so we cannot rely on the default vmap()
651          * mapping created by the generic capsule code.
652          * Given that the Quark firmware does not appear to care about the
653          * virtual mapping, let's just point cap_info->capsule at our copy
654          * of the capsule header.
655          */
656         cap_info->capsule = &cap_info->header;
657
658         return 1;
659 }
660
661 #define ICPU(family, model, quirk_handler) \
662         { X86_VENDOR_INTEL, family, model, X86_FEATURE_ANY, \
663           (unsigned long)&quirk_handler }
664
665 static const struct x86_cpu_id efi_capsule_quirk_ids[] = {
666         ICPU(5, 9, qrk_capsule_setup_info),     /* Intel Quark X1000 */
667         { }
668 };
669
670 int efi_capsule_setup_info(struct capsule_info *cap_info, void *kbuff,
671                            size_t hdr_bytes)
672 {
673         int (*quirk_handler)(struct capsule_info *, void **, size_t);
674         const struct x86_cpu_id *id;
675         int ret;
676
677         if (hdr_bytes < sizeof(efi_capsule_header_t))
678                 return 0;
679
680         cap_info->total_size = 0;
681
682         id = x86_match_cpu(efi_capsule_quirk_ids);
683         if (id) {
684                 /*
685                  * The quirk handler is supposed to return
686                  *  - a value > 0 if the setup should continue, after advancing
687                  *    kbuff as needed
688                  *  - 0 if not enough hdr_bytes are available yet
689                  *  - a negative error code otherwise
690                  */
691                 quirk_handler = (typeof(quirk_handler))id->driver_data;
692                 ret = quirk_handler(cap_info, &kbuff, hdr_bytes);
693                 if (ret <= 0)
694                         return ret;
695         }
696
697         memcpy(&cap_info->header, kbuff, sizeof(cap_info->header));
698
699         cap_info->total_size += cap_info->header.imagesize;
700
701         return __efi_capsule_setup_info(cap_info);
702 }
703
704 #endif
705
706 /*
707  * If any access by any efi runtime service causes a page fault, then,
708  * 1. If it's efi_reset_system(), reboot through BIOS.
709  * 2. If any other efi runtime service, then
710  *    a. Return error status to the efi caller process.
711  *    b. Disable EFI Runtime Services forever and
712  *    c. Freeze efi_rts_wq and schedule new process.
713  *
714  * @return: Returns, if the page fault is not handled. This function
715  * will never return if the page fault is handled successfully.
716  */
717 void efi_recover_from_page_fault(unsigned long phys_addr)
718 {
719         if (!IS_ENABLED(CONFIG_X86_64))
720                 return;
721
722         /*
723          * Make sure that an efi runtime service caused the page fault.
724          * "efi_mm" cannot be used to check if the page fault had occurred
725          * in the firmware context because efi=old_map doesn't use efi_pgd.
726          */
727         if (efi_rts_work.efi_rts_id == EFI_NONE)
728                 return;
729
730         /*
731          * Address range 0x0000 - 0x0fff is always mapped in the efi_pgd, so
732          * page faulting on these addresses isn't expected.
733          */
734         if (phys_addr <= 0x0fff)
735                 return;
736
737         /*
738          * Print stack trace as it might be useful to know which EFI Runtime
739          * Service is buggy.
740          */
741         WARN(1, FW_BUG "Page fault caused by firmware at PA: 0x%lx\n",
742              phys_addr);
743
744         /*
745          * Buggy efi_reset_system() is handled differently from other EFI
746          * Runtime Services as it doesn't use efi_rts_wq. Although,
747          * native_machine_emergency_restart() says that machine_real_restart()
748          * could fail, it's better not to compilcate this fault handler
749          * because this case occurs *very* rarely and hence could be improved
750          * on a need by basis.
751          */
752         if (efi_rts_work.efi_rts_id == EFI_RESET_SYSTEM) {
753                 pr_info("efi_reset_system() buggy! Reboot through BIOS\n");
754                 machine_real_restart(MRR_BIOS);
755                 return;
756         }
757
758         /*
759          * Before calling EFI Runtime Service, the kernel has switched the
760          * calling process to efi_mm. Hence, switch back to task_mm.
761          */
762         arch_efi_call_virt_teardown();
763
764         /* Signal error status to the efi caller process */
765         efi_rts_work.status = EFI_ABORTED;
766         complete(&efi_rts_work.efi_rts_comp);
767
768         clear_bit(EFI_RUNTIME_SERVICES, &efi.flags);
769         pr_info("Froze efi_rts_wq and disabled EFI Runtime Services\n");
770
771         /*
772          * Call schedule() in an infinite loop, so that any spurious wake ups
773          * will never run efi_rts_wq again.
774          */
775         for (;;) {
776                 set_current_state(TASK_IDLE);
777                 schedule();
778         }
779
780         return;
781 }