arch/powerpc/kernel/rtas.c

   1 // SPDX-License-Identifier: GPL-2.0-or-later
   2 /*
   3  *
   4  * Procedures for interfacing to the RTAS on CHRP machines.
   5  *
   6  * Peter Bergner, IBM   March 2001.
   7  * Copyright (C) 2001 IBM.
   8  */
   9
  10 #include <stdarg.h>
  11 #include <linux/kernel.h>
  12 #include <linux/types.h>
  13 #include <linux/spinlock.h>
  14 #include <linux/export.h>
  15 #include <linux/init.h>
  16 #include <linux/capability.h>
  17 #include <linux/delay.h>
  18 #include <linux/cpu.h>
  19 #include <linux/sched.h>
  20 #include <linux/smp.h>
  21 #include <linux/completion.h>
  22 #include <linux/cpumask.h>
  23 #include <linux/memblock.h>
  24 #include <linux/slab.h>
  25 #include <linux/reboot.h>
  26 #include <linux/syscalls.h>
  27
  28 #include <asm/interrupt.h>
  29 #include <asm/prom.h>
  30 #include <asm/rtas.h>
  31 #include <asm/hvcall.h>
  32 #include <asm/machdep.h>
  33 #include <asm/firmware.h>
  34 #include <asm/page.h>
  35 #include <asm/param.h>
  36 #include <asm/delay.h>
  37 #include <linux/uaccess.h>
  38 #include <asm/udbg.h>
  39 #include <asm/syscalls.h>
  40 #include <asm/smp.h>
  41 #include <linux/atomic.h>
  42 #include <asm/time.h>
  43 #include <asm/mmu.h>
  44 #include <asm/topology.h>
  45 #include <asm/paca.h>
  46
  47 /* This is here deliberately so it's only used in this file */
  48 void enter_rtas(unsigned long);
  49
  50 static inline void do_enter_rtas(unsigned long args)
  51 {
  52         enter_rtas(args);
  53
  54         srr_regs_clobbered(); /* rtas uses SRRs, invalidate */
  55 }
  56
  57 struct rtas_t rtas = {
  58         .lock = __ARCH_SPIN_LOCK_UNLOCKED
  59 };
  60 EXPORT_SYMBOL(rtas);
  61
  62 DEFINE_SPINLOCK(rtas_data_buf_lock);
  63 EXPORT_SYMBOL(rtas_data_buf_lock);
  64
  65 char rtas_data_buf[RTAS_DATA_BUF_SIZE] __cacheline_aligned;
  66 EXPORT_SYMBOL(rtas_data_buf);
  67
  68 unsigned long rtas_rmo_buf;
  69
  70 /*
  71  * If non-NULL, this gets called when the kernel terminates.
  72  * This is done like this so rtas_flash can be a module.
  73  */
  74 void (*rtas_flash_term_hook)(int);
  75 EXPORT_SYMBOL(rtas_flash_term_hook);
  76
  77 /* RTAS use home made raw locking instead of spin_lock_irqsave
  78  * because those can be called from within really nasty contexts
  79  * such as having the timebase stopped which would lockup with
  80  * normal locks and spinlock debugging enabled
  81  */
  82 static unsigned long lock_rtas(void)
  83 {
  84         unsigned long flags;
  85
  86         local_irq_save(flags);
  87         preempt_disable();
  88         arch_spin_lock(&rtas.lock);
  89         return flags;
  90 }
  91
  92 static void unlock_rtas(unsigned long flags)
  93 {
  94         arch_spin_unlock(&rtas.lock);
  95         local_irq_restore(flags);
  96         preempt_enable();
  97 }
  98
  99 /*
 100  * call_rtas_display_status and call_rtas_display_status_delay
 101  * are designed only for very early low-level debugging, which
 102  * is why the token is hard-coded to 10.
 103  */
 104 static void call_rtas_display_status(unsigned char c)
 105 {
 106         unsigned long s;
 107
 108         if (!rtas.base)
 109                 return;
 110
 111         s = lock_rtas();
 112         rtas_call_unlocked(&rtas.args, 10, 1, 1, NULL, c);
 113         unlock_rtas(s);
 114 }
 115
 116 static void call_rtas_display_status_delay(char c)
 117 {
 118         static int pending_newline = 0;  /* did last write end with unprinted newline? */
 119         static int width = 16;
 120
 121         if (c == '\n') {
 122                 while (width-- > 0)
 123                         call_rtas_display_status(' ');
 124                 width = 16;
 125                 mdelay(500);
 126                 pending_newline = 1;
 127         } else {
 128                 if (pending_newline) {
 129                         call_rtas_display_status('\r');
 130                         call_rtas_display_status('\n');
 131                 }
 132                 pending_newline = 0;
 133                 if (width--) {
 134                         call_rtas_display_status(c);
 135                         udelay(10000);
 136                 }
 137         }
 138 }
 139
 140 void __init udbg_init_rtas_panel(void)
 141 {
 142         udbg_putc = call_rtas_display_status_delay;
 143 }
 144
 145 #ifdef CONFIG_UDBG_RTAS_CONSOLE
 146
 147 /* If you think you're dying before early_init_dt_scan_rtas() does its
 148  * work, you can hard code the token values for your firmware here and
 149  * hardcode rtas.base/entry etc.
 150  */
 151 static unsigned int rtas_putchar_token = RTAS_UNKNOWN_SERVICE;
 152 static unsigned int rtas_getchar_token = RTAS_UNKNOWN_SERVICE;
 153
 154 static void udbg_rtascon_putc(char c)
 155 {
 156         int tries;
 157
 158         if (!rtas.base)
 159                 return;
 160
 161         /* Add CRs before LFs */
 162         if (c == '\n')
 163                 udbg_rtascon_putc('\r');
 164
 165         /* if there is more than one character to be displayed, wait a bit */
 166         for (tries = 0; tries < 16; tries++) {
 167                 if (rtas_call(rtas_putchar_token, 1, 1, NULL, c) == 0)
 168                         break;
 169                 udelay(1000);
 170         }
 171 }
 172
 173 static int udbg_rtascon_getc_poll(void)
 174 {
 175         int c;
 176
 177         if (!rtas.base)
 178                 return -1;
 179
 180         if (rtas_call(rtas_getchar_token, 0, 2, &c))
 181                 return -1;
 182
 183         return c;
 184 }
 185
 186 static int udbg_rtascon_getc(void)
 187 {
 188         int c;
 189
 190         while ((c = udbg_rtascon_getc_poll()) == -1)
 191                 ;
 192
 193         return c;
 194 }
 195
 196
 197 void __init udbg_init_rtas_console(void)
 198 {
 199         udbg_putc = udbg_rtascon_putc;
 200         udbg_getc = udbg_rtascon_getc;
 201         udbg_getc_poll = udbg_rtascon_getc_poll;
 202 }
 203 #endif /* CONFIG_UDBG_RTAS_CONSOLE */
 204
 205 void rtas_progress(char *s, unsigned short hex)
 206 {
 207         struct device_node *root;
 208         int width;
 209         const __be32 *p;
 210         char *os;
 211         static int display_character, set_indicator;
 212         static int display_width, display_lines, form_feed;
 213         static const int *row_width;
 214         static DEFINE_SPINLOCK(progress_lock);
 215         static int current_line;
 216         static int pending_newline = 0;  /* did last write end with unprinted newline? */
 217
 218         if (!rtas.base)
 219                 return;
 220
 221         if (display_width == 0) {
 222                 display_width = 0x10;
 223                 if ((root = of_find_node_by_path("/rtas"))) {
 224                         if ((p = of_get_property(root,
 225                                         "ibm,display-line-length", NULL)))
 226                                 display_width = be32_to_cpu(*p);
 227                         if ((p = of_get_property(root,
 228                                         "ibm,form-feed", NULL)))
 229                                 form_feed = be32_to_cpu(*p);
 230                         if ((p = of_get_property(root,
 231                                         "ibm,display-number-of-lines", NULL)))
 232                                 display_lines = be32_to_cpu(*p);
 233                         row_width = of_get_property(root,
 234                                         "ibm,display-truncation-length", NULL);
 235                         of_node_put(root);
 236                 }
 237                 display_character = rtas_token("display-character");
 238                 set_indicator = rtas_token("set-indicator");
 239         }
 240
 241         if (display_character == RTAS_UNKNOWN_SERVICE) {
 242                 /* use hex display if available */
 243                 if (set_indicator != RTAS_UNKNOWN_SERVICE)
 244                         rtas_call(set_indicator, 3, 1, NULL, 6, 0, hex);
 245                 return;
 246         }
 247
 248         spin_lock(&progress_lock);
 249
 250         /*
 251          * Last write ended with newline, but we didn't print it since
 252          * it would just clear the bottom line of output. Print it now
 253          * instead.
 254          *
 255          * If no newline is pending and form feed is supported, clear the
 256          * display with a form feed; otherwise, print a CR to start output
 257          * at the beginning of the line.
 258          */
 259         if (pending_newline) {
 260                 rtas_call(display_character, 1, 1, NULL, '\r');
 261                 rtas_call(display_character, 1, 1, NULL, '\n');
 262                 pending_newline = 0;
 263         } else {
 264                 current_line = 0;
 265                 if (form_feed)
 266                         rtas_call(display_character, 1, 1, NULL,
 267                                   (char)form_feed);
 268                 else
 269                         rtas_call(display_character, 1, 1, NULL, '\r');
 270         }
 271
 272         if (row_width)
 273                 width = row_width[current_line];
 274         else
 275                 width = display_width;
 276         os = s;
 277         while (*os) {
 278                 if (*os == '\n' || *os == '\r') {
 279                         /* If newline is the last character, save it
 280                          * until next call to avoid bumping up the
 281                          * display output.
 282                          */
 283                         if (*os == '\n' && !os[1]) {
 284                                 pending_newline = 1;
 285                                 current_line++;
 286                                 if (current_line > display_lines-1)
 287                                         current_line = display_lines-1;
 288                                 spin_unlock(&progress_lock);
 289                                 return;
 290                         }
 291
 292                         /* RTAS wants CR-LF, not just LF */
 293
 294                         if (*os == '\n') {
 295                                 rtas_call(display_character, 1, 1, NULL, '\r');
 296                                 rtas_call(display_character, 1, 1, NULL, '\n');
 297                         } else {
 298                                 /* CR might be used to re-draw a line, so we'll
 299                                  * leave it alone and not add LF.
 300                                  */
 301                                 rtas_call(display_character, 1, 1, NULL, *os);
 302                         }
 303
 304                         if (row_width)
 305                                 width = row_width[current_line];
 306                         else
 307                                 width = display_width;
 308                 } else {
 309                         width--;
 310                         rtas_call(display_character, 1, 1, NULL, *os);
 311                 }
 312
 313                 os++;
 314
 315                 /* if we overwrite the screen length */
 316                 if (width <= 0)
 317                         while ((*os != 0) && (*os != '\n') && (*os != '\r'))
 318                                 os++;
 319         }
 320
 321         spin_unlock(&progress_lock);
 322 }
 323 EXPORT_SYMBOL(rtas_progress);           /* needed by rtas_flash module */
 324
 325 int rtas_token(const char *service)
 326 {
 327         const __be32 *tokp;
 328         if (rtas.dev == NULL)
 329                 return RTAS_UNKNOWN_SERVICE;
 330         tokp = of_get_property(rtas.dev, service, NULL);
 331         return tokp ? be32_to_cpu(*tokp) : RTAS_UNKNOWN_SERVICE;
 332 }
 333 EXPORT_SYMBOL(rtas_token);
 334
 335 int rtas_service_present(const char *service)
 336 {
 337         return rtas_token(service) != RTAS_UNKNOWN_SERVICE;
 338 }
 339 EXPORT_SYMBOL(rtas_service_present);
 340
 341 #ifdef CONFIG_RTAS_ERROR_LOGGING
 342 /*
 343  * Return the firmware-specified size of the error log buffer
 344  *  for all rtas calls that require an error buffer argument.
 345  *  This includes 'check-exception' and 'rtas-last-error'.
 346  */
 347 int rtas_get_error_log_max(void)
 348 {
 349         static int rtas_error_log_max;
 350         if (rtas_error_log_max)
 351                 return rtas_error_log_max;
 352
 353         rtas_error_log_max = rtas_token ("rtas-error-log-max");
 354         if ((rtas_error_log_max == RTAS_UNKNOWN_SERVICE) ||
 355             (rtas_error_log_max > RTAS_ERROR_LOG_MAX)) {
 356                 printk (KERN_WARNING "RTAS: bad log buffer size %d\n",
 357                         rtas_error_log_max);
 358                 rtas_error_log_max = RTAS_ERROR_LOG_MAX;
 359         }
 360         return rtas_error_log_max;
 361 }
 362 EXPORT_SYMBOL(rtas_get_error_log_max);
 363
 364
 365 static char rtas_err_buf[RTAS_ERROR_LOG_MAX];
 366 static int rtas_last_error_token;
 367
 368 /** Return a copy of the detailed error text associated with the
 369  *  most recent failed call to rtas.  Because the error text
 370  *  might go stale if there are any other intervening rtas calls,
 371  *  this routine must be called atomically with whatever produced
 372  *  the error (i.e. with rtas.lock still held from the previous call).
 373  */
 374 static char *__fetch_rtas_last_error(char *altbuf)
 375 {
 376         struct rtas_args err_args, save_args;
 377         u32 bufsz;
 378         char *buf = NULL;
 379
 380         if (rtas_last_error_token == -1)
 381                 return NULL;
 382
 383         bufsz = rtas_get_error_log_max();
 384
 385         err_args.token = cpu_to_be32(rtas_last_error_token);
 386         err_args.nargs = cpu_to_be32(2);
 387         err_args.nret = cpu_to_be32(1);
 388         err_args.args[0] = cpu_to_be32(__pa(rtas_err_buf));
 389         err_args.args[1] = cpu_to_be32(bufsz);
 390         err_args.args[2] = 0;
 391
 392         save_args = rtas.args;
 393         rtas.args = err_args;
 394
 395         do_enter_rtas(__pa(&rtas.args));
 396
 397         err_args = rtas.args;
 398         rtas.args = save_args;
 399
 400         /* Log the error in the unlikely case that there was one. */
 401         if (unlikely(err_args.args[2] == 0)) {
 402                 if (altbuf) {
 403                         buf = altbuf;
 404                 } else {
 405                         buf = rtas_err_buf;
 406                         if (slab_is_available())
 407                                 buf = kmalloc(RTAS_ERROR_LOG_MAX, GFP_ATOMIC);
 408                 }
 409                 if (buf)
 410                         memcpy(buf, rtas_err_buf, RTAS_ERROR_LOG_MAX);
 411         }
 412
 413         return buf;
 414 }
 415
 416 #define get_errorlog_buffer()   kmalloc(RTAS_ERROR_LOG_MAX, GFP_KERNEL)
 417
 418 #else /* CONFIG_RTAS_ERROR_LOGGING */
 419 #define __fetch_rtas_last_error(x)      NULL
 420 #define get_errorlog_buffer()           NULL
 421 #endif
 422
 423
 424 static void
 425 va_rtas_call_unlocked(struct rtas_args *args, int token, int nargs, int nret,
 426                       va_list list)
 427 {
 428         int i;
 429
 430         args->token = cpu_to_be32(token);
 431         args->nargs = cpu_to_be32(nargs);
 432         args->nret  = cpu_to_be32(nret);
 433         args->rets  = &(args->args[nargs]);
 434
 435         for (i = 0; i < nargs; ++i)
 436                 args->args[i] = cpu_to_be32(va_arg(list, __u32));
 437
 438         for (i = 0; i < nret; ++i)
 439                 args->rets[i] = 0;
 440
 441         do_enter_rtas(__pa(args));
 442 }
 443
 444 void rtas_call_unlocked(struct rtas_args *args, int token, int nargs, int nret, ...)
 445 {
 446         va_list list;
 447
 448         va_start(list, nret);
 449         va_rtas_call_unlocked(args, token, nargs, nret, list);
 450         va_end(list);
 451 }
 452
 453 int rtas_call(int token, int nargs, int nret, int *outputs, ...)
 454 {
 455         va_list list;
 456         int i;
 457         unsigned long s;
 458         struct rtas_args *rtas_args;
 459         char *buff_copy = NULL;
 460         int ret;
 461
 462         if (!rtas.entry || token == RTAS_UNKNOWN_SERVICE)
 463                 return -1;
 464
 465         s = lock_rtas();
 466
 467         /* We use the global rtas args buffer */
 468         rtas_args = &rtas.args;
 469
 470         va_start(list, outputs);
 471         va_rtas_call_unlocked(rtas_args, token, nargs, nret, list);
 472         va_end(list);
 473
 474         /* A -1 return code indicates that the last command couldn't
 475            be completed due to a hardware error. */
 476         if (be32_to_cpu(rtas_args->rets[0]) == -1)
 477                 buff_copy = __fetch_rtas_last_error(NULL);
 478
 479         if (nret > 1 && outputs != NULL)
 480                 for (i = 0; i < nret-1; ++i)
 481                         outputs[i] = be32_to_cpu(rtas_args->rets[i+1]);
 482         ret = (nret > 0)? be32_to_cpu(rtas_args->rets[0]): 0;
 483
 484         unlock_rtas(s);
 485
 486         if (buff_copy) {
 487                 log_error(buff_copy, ERR_TYPE_RTAS_LOG, 0);
 488                 if (slab_is_available())
 489                         kfree(buff_copy);
 490         }
 491         return ret;
 492 }
 493 EXPORT_SYMBOL(rtas_call);
 494
 495 /* For RTAS_BUSY (-2), delay for 1 millisecond.  For an extended busy status
 496  * code of 990n, perform the hinted delay of 10^n (last digit) milliseconds.
 497  */
 498 unsigned int rtas_busy_delay_time(int status)
 499 {
 500         int order;
 501         unsigned int ms = 0;
 502
 503         if (status == RTAS_BUSY) {
 504                 ms = 1;
 505         } else if (status >= RTAS_EXTENDED_DELAY_MIN &&
 506                    status <= RTAS_EXTENDED_DELAY_MAX) {
 507                 order = status - RTAS_EXTENDED_DELAY_MIN;
 508                 for (ms = 1; order > 0; order--)
 509                         ms *= 10;
 510         }
 511
 512         return ms;
 513 }
 514 EXPORT_SYMBOL(rtas_busy_delay_time);
 515
 516 /* For an RTAS busy status code, perform the hinted delay. */
 517 unsigned int rtas_busy_delay(int status)
 518 {
 519         unsigned int ms;
 520
 521         might_sleep();
 522         ms = rtas_busy_delay_time(status);
 523         if (ms && need_resched())
 524                 msleep(ms);
 525
 526         return ms;
 527 }
 528 EXPORT_SYMBOL(rtas_busy_delay);
 529
 530 static int rtas_error_rc(int rtas_rc)
 531 {
 532         int rc;
 533
 534         switch (rtas_rc) {
 535                 case -1:                /* Hardware Error */
 536                         rc = -EIO;
 537                         break;
 538                 case -3:                /* Bad indicator/domain/etc */
 539                         rc = -EINVAL;
 540                         break;
 541                 case -9000:             /* Isolation error */
 542                         rc = -EFAULT;
 543                         break;
 544                 case -9001:             /* Outstanding TCE/PTE */
 545                         rc = -EEXIST;
 546                         break;
 547                 case -9002:             /* No usable slot */
 548                         rc = -ENODEV;
 549                         break;
 550                 default:
 551                         printk(KERN_ERR "%s: unexpected RTAS error %d\n",
 552                                         __func__, rtas_rc);
 553                         rc = -ERANGE;
 554                         break;
 555         }
 556         return rc;
 557 }
 558
 559 int rtas_get_power_level(int powerdomain, int *level)
 560 {
 561         int token = rtas_token("get-power-level");
 562         int rc;
 563
 564         if (token == RTAS_UNKNOWN_SERVICE)
 565                 return -ENOENT;
 566
 567         while ((rc = rtas_call(token, 1, 2, level, powerdomain)) == RTAS_BUSY)
 568                 udelay(1);
 569
 570         if (rc < 0)
 571                 return rtas_error_rc(rc);
 572         return rc;
 573 }
 574 EXPORT_SYMBOL(rtas_get_power_level);
 575
 576 int rtas_set_power_level(int powerdomain, int level, int *setlevel)
 577 {
 578         int token = rtas_token("set-power-level");
 579         int rc;
 580
 581         if (token == RTAS_UNKNOWN_SERVICE)
 582                 return -ENOENT;
 583
 584         do {
 585                 rc = rtas_call(token, 2, 2, setlevel, powerdomain, level);
 586         } while (rtas_busy_delay(rc));
 587
 588         if (rc < 0)
 589                 return rtas_error_rc(rc);
 590         return rc;
 591 }
 592 EXPORT_SYMBOL(rtas_set_power_level);
 593
 594 int rtas_get_sensor(int sensor, int index, int *state)
 595 {
 596         int token = rtas_token("get-sensor-state");
 597         int rc;
 598
 599         if (token == RTAS_UNKNOWN_SERVICE)
 600                 return -ENOENT;
 601
 602         do {
 603                 rc = rtas_call(token, 2, 2, state, sensor, index);
 604         } while (rtas_busy_delay(rc));
 605
 606         if (rc < 0)
 607                 return rtas_error_rc(rc);
 608         return rc;
 609 }
 610 EXPORT_SYMBOL(rtas_get_sensor);
 611
 612 int rtas_get_sensor_fast(int sensor, int index, int *state)
 613 {
 614         int token = rtas_token("get-sensor-state");
 615         int rc;
 616
 617         if (token == RTAS_UNKNOWN_SERVICE)
 618                 return -ENOENT;
 619
 620         rc = rtas_call(token, 2, 2, state, sensor, index);
 621         WARN_ON(rc == RTAS_BUSY || (rc >= RTAS_EXTENDED_DELAY_MIN &&
 622                                     rc <= RTAS_EXTENDED_DELAY_MAX));
 623
 624         if (rc < 0)
 625                 return rtas_error_rc(rc);
 626         return rc;
 627 }
 628
 629 bool rtas_indicator_present(int token, int *maxindex)
 630 {
 631         int proplen, count, i;
 632         const struct indicator_elem {
 633                 __be32 token;
 634                 __be32 maxindex;
 635         } *indicators;
 636
 637         indicators = of_get_property(rtas.dev, "rtas-indicators", &proplen);
 638         if (!indicators)
 639                 return false;
 640
 641         count = proplen / sizeof(struct indicator_elem);
 642
 643         for (i = 0; i < count; i++) {
 644                 if (__be32_to_cpu(indicators[i].token) != token)
 645                         continue;
 646                 if (maxindex)
 647                         *maxindex = __be32_to_cpu(indicators[i].maxindex);
 648                 return true;
 649         }
 650
 651         return false;
 652 }
 653 EXPORT_SYMBOL(rtas_indicator_present);
 654
 655 int rtas_set_indicator(int indicator, int index, int new_value)
 656 {
 657         int token = rtas_token("set-indicator");
 658         int rc;
 659
 660         if (token == RTAS_UNKNOWN_SERVICE)
 661                 return -ENOENT;
 662
 663         do {
 664                 rc = rtas_call(token, 3, 1, NULL, indicator, index, new_value);
 665         } while (rtas_busy_delay(rc));
 666
 667         if (rc < 0)
 668                 return rtas_error_rc(rc);
 669         return rc;
 670 }
 671 EXPORT_SYMBOL(rtas_set_indicator);
 672
 673 /*
 674  * Ignoring RTAS extended delay
 675  */
 676 int rtas_set_indicator_fast(int indicator, int index, int new_value)
 677 {
 678         int rc;
 679         int token = rtas_token("set-indicator");
 680
 681         if (token == RTAS_UNKNOWN_SERVICE)
 682                 return -ENOENT;
 683
 684         rc = rtas_call(token, 3, 1, NULL, indicator, index, new_value);
 685
 686         WARN_ON(rc == RTAS_BUSY || (rc >= RTAS_EXTENDED_DELAY_MIN &&
 687                                     rc <= RTAS_EXTENDED_DELAY_MAX));
 688
 689         if (rc < 0)
 690                 return rtas_error_rc(rc);
 691
 692         return rc;
 693 }
 694
 695 /**
 696  * rtas_ibm_suspend_me() - Call ibm,suspend-me to suspend the LPAR.
 697  *
 698  * @fw_status: RTAS call status will be placed here if not NULL.
 699  *
 700  * rtas_ibm_suspend_me() should be called only on a CPU which has
 701  * received H_CONTINUE from the H_JOIN hcall. All other active CPUs
 702  * should be waiting to return from H_JOIN.
 703  *
 704  * rtas_ibm_suspend_me() may suspend execution of the OS
 705  * indefinitely. Callers should take appropriate measures upon return, such as
 706  * resetting watchdog facilities.
 707  *
 708  * Callers may choose to retry this call if @fw_status is
 709  * %RTAS_THREADS_ACTIVE.
 710  *
 711  * Return:
 712  * 0          - The partition has resumed from suspend, possibly after
 713  *              migration to a different host.
 714  * -ECANCELED - The operation was aborted.
 715  * -EAGAIN    - There were other CPUs not in H_JOIN at the time of the call.
 716  * -EBUSY     - Some other condition prevented the suspend from succeeding.
 717  * -EIO       - Hardware/platform error.
 718  */
 719 int rtas_ibm_suspend_me(int *fw_status)
 720 {
 721         int fwrc;
 722         int ret;
 723
 724         fwrc = rtas_call(rtas_token("ibm,suspend-me"), 0, 1, NULL);
 725
 726         switch (fwrc) {
 727         case 0:
 728                 ret = 0;
 729                 break;
 730         case RTAS_SUSPEND_ABORTED:
 731                 ret = -ECANCELED;
 732                 break;
 733         case RTAS_THREADS_ACTIVE:
 734                 ret = -EAGAIN;
 735                 break;
 736         case RTAS_NOT_SUSPENDABLE:
 737         case RTAS_OUTSTANDING_COPROC:
 738                 ret = -EBUSY;
 739                 break;
 740         case -1:
 741         default:
 742                 ret = -EIO;
 743                 break;
 744         }
 745
 746         if (fw_status)
 747                 *fw_status = fwrc;
 748
 749         return ret;
 750 }
 751
 752 void __noreturn rtas_restart(char *cmd)
 753 {
 754         if (rtas_flash_term_hook)
 755                 rtas_flash_term_hook(SYS_RESTART);
 756         printk("RTAS system-reboot returned %d\n",
 757                rtas_call(rtas_token("system-reboot"), 0, 1, NULL));
 758         for (;;);
 759 }
 760
 761 void rtas_power_off(void)
 762 {
 763         if (rtas_flash_term_hook)
 764                 rtas_flash_term_hook(SYS_POWER_OFF);
 765         /* allow power on only with power button press */
 766         printk("RTAS power-off returned %d\n",
 767                rtas_call(rtas_token("power-off"), 2, 1, NULL, -1, -1));
 768         for (;;);
 769 }
 770
 771 void __noreturn rtas_halt(void)
 772 {
 773         if (rtas_flash_term_hook)
 774                 rtas_flash_term_hook(SYS_HALT);
 775         /* allow power on only with power button press */
 776         printk("RTAS power-off returned %d\n",
 777                rtas_call(rtas_token("power-off"), 2, 1, NULL, -1, -1));
 778         for (;;);
 779 }
 780
 781 /* Must be in the RMO region, so we place it here */
 782 static char rtas_os_term_buf[2048];
 783
 784 void rtas_os_term(char *str)
 785 {
 786         int status;
 787
 788         /*
 789          * Firmware with the ibm,extended-os-term property is guaranteed
 790          * to always return from an ibm,os-term call. Earlier versions without
 791          * this property may terminate the partition which we want to avoid
 792          * since it interferes with panic_timeout.
 793          */
 794         if (RTAS_UNKNOWN_SERVICE == rtas_token("ibm,os-term") ||
 795             RTAS_UNKNOWN_SERVICE == rtas_token("ibm,extended-os-term"))
 796                 return;
 797
 798         snprintf(rtas_os_term_buf, 2048, "OS panic: %s", str);
 799
 800         do {
 801                 status = rtas_call(rtas_token("ibm,os-term"), 1, 1, NULL,
 802                                    __pa(rtas_os_term_buf));
 803         } while (rtas_busy_delay(status));
 804
 805         if (status != 0)
 806                 printk(KERN_EMERG "ibm,os-term call failed %d\n", status);
 807 }
 808
 809 /**
 810  * rtas_activate_firmware() - Activate a new version of firmware.
 811  *
 812  * Activate a new version of partition firmware. The OS must call this
 813  * after resuming from a partition hibernation or migration in order
 814  * to maintain the ability to perform live firmware updates. It's not
 815  * catastrophic for this method to be absent or to fail; just log the
 816  * condition in that case.
 817  *
 818  * Context: This function may sleep.
 819  */
 820 void rtas_activate_firmware(void)
 821 {
 822         int token;
 823         int fwrc;
 824
 825         token = rtas_token("ibm,activate-firmware");
 826         if (token == RTAS_UNKNOWN_SERVICE) {
 827                 pr_notice("ibm,activate-firmware method unavailable\n");
 828                 return;
 829         }
 830
 831         do {
 832                 fwrc = rtas_call(token, 0, 1, NULL);
 833         } while (rtas_busy_delay(fwrc));
 834
 835         if (fwrc)
 836                 pr_err("ibm,activate-firmware failed (%i)\n", fwrc);
 837 }
 838
 839 #ifdef CONFIG_PPC_PSERIES
 840 /**
 841  * rtas_call_reentrant() - Used for reentrant rtas calls
 842  * @token:      Token for desired reentrant RTAS call
 843  * @nargs:      Number of Input Parameters
 844  * @nret:       Number of Output Parameters
 845  * @outputs:    Array of outputs
 846  * @...:        Inputs for desired RTAS call
 847  *
 848  * According to LoPAR documentation, only "ibm,int-on", "ibm,int-off",
 849  * "ibm,get-xive" and "ibm,set-xive" are currently reentrant.
 850  * Reentrant calls need their own rtas_args buffer, so not using rtas.args, but
 851  * PACA one instead.
 852  *
 853  * Return:      -1 on error,
 854  *              First output value of RTAS call if (nret > 0),
 855  *              0 otherwise,
 856  */
 857 int rtas_call_reentrant(int token, int nargs, int nret, int *outputs, ...)
 858 {
 859         va_list list;
 860         struct rtas_args *args;
 861         unsigned long flags;
 862         int i, ret = 0;
 863
 864         if (!rtas.entry || token == RTAS_UNKNOWN_SERVICE)
 865                 return -1;
 866
 867         local_irq_save(flags);
 868         preempt_disable();
 869
 870         /* We use the per-cpu (PACA) rtas args buffer */
 871         args = local_paca->rtas_args_reentrant;
 872
 873         va_start(list, outputs);
 874         va_rtas_call_unlocked(args, token, nargs, nret, list);
 875         va_end(list);
 876
 877         if (nret > 1 && outputs)
 878                 for (i = 0; i < nret - 1; ++i)
 879                         outputs[i] = be32_to_cpu(args->rets[i + 1]);
 880
 881         if (nret > 0)
 882                 ret = be32_to_cpu(args->rets[0]);
 883
 884         local_irq_restore(flags);
 885         preempt_enable();
 886
 887         return ret;
 888 }
 889
 890 #endif /* CONFIG_PPC_PSERIES */
 891
 892 /**
 893  * Find a specific pseries error log in an RTAS extended event log.
 894  * @log: RTAS error/event log
 895  * @section_id: two character section identifier
 896  *
 897  * Returns a pointer to the specified errorlog or NULL if not found.
 898  */
 899 struct pseries_errorlog *get_pseries_errorlog(struct rtas_error_log *log,
 900                                               uint16_t section_id)
 901 {
 902         struct rtas_ext_event_log_v6 *ext_log =
 903                 (struct rtas_ext_event_log_v6 *)log->buffer;
 904         struct pseries_errorlog *sect;
 905         unsigned char *p, *log_end;
 906         uint32_t ext_log_length = rtas_error_extended_log_length(log);
 907         uint8_t log_format = rtas_ext_event_log_format(ext_log);
 908         uint32_t company_id = rtas_ext_event_company_id(ext_log);
 909
 910         /* Check that we understand the format */
 911         if (ext_log_length < sizeof(struct rtas_ext_event_log_v6) ||
 912             log_format != RTAS_V6EXT_LOG_FORMAT_EVENT_LOG ||
 913             company_id != RTAS_V6EXT_COMPANY_ID_IBM)
 914                 return NULL;
 915
 916         log_end = log->buffer + ext_log_length;
 917         p = ext_log->vendor_log;
 918
 919         while (p < log_end) {
 920                 sect = (struct pseries_errorlog *)p;
 921                 if (pseries_errorlog_id(sect) == section_id)
 922                         return sect;
 923                 p += pseries_errorlog_length(sect);
 924         }
 925
 926         return NULL;
 927 }
 928
 929 #ifdef CONFIG_PPC_RTAS_FILTER
 930
 931 /*
 932  * The sys_rtas syscall, as originally designed, allows root to pass
 933  * arbitrary physical addresses to RTAS calls. A number of RTAS calls
 934  * can be abused to write to arbitrary memory and do other things that
 935  * are potentially harmful to system integrity, and thus should only
 936  * be used inside the kernel and not exposed to userspace.
 937  *
 938  * All known legitimate users of the sys_rtas syscall will only ever
 939  * pass addresses that fall within the RMO buffer, and use a known
 940  * subset of RTAS calls.
 941  *
 942  * Accordingly, we filter RTAS requests to check that the call is
 943  * permitted, and that provided pointers fall within the RMO buffer.
 944  * The rtas_filters list contains an entry for each permitted call,
 945  * with the indexes of the parameters which are expected to contain
 946  * addresses and sizes of buffers allocated inside the RMO buffer.
 947  */
 948 struct rtas_filter {
 949         const char *name;
 950         int token;
 951         /* Indexes into the args buffer, -1 if not used */
 952         int buf_idx1;
 953         int size_idx1;
 954         int buf_idx2;
 955         int size_idx2;
 956
 957         int fixed_size;
 958 };
 959
 960 static struct rtas_filter rtas_filters[] __ro_after_init = {
 961         { "ibm,activate-firmware", -1, -1, -1, -1, -1 },
 962         { "ibm,configure-connector", -1, 0, -1, 1, -1, 4096 },  /* Special cased */
 963         { "display-character", -1, -1, -1, -1, -1 },
 964         { "ibm,display-message", -1, 0, -1, -1, -1 },
 965         { "ibm,errinjct", -1, 2, -1, -1, -1, 1024 },
 966         { "ibm,close-errinjct", -1, -1, -1, -1, -1 },
 967         { "ibm,open-errinjct", -1, -1, -1, -1, -1 },
 968         { "ibm,get-config-addr-info2", -1, -1, -1, -1, -1 },
 969         { "ibm,get-dynamic-sensor-state", -1, 1, -1, -1, -1 },
 970         { "ibm,get-indices", -1, 2, 3, -1, -1 },
 971         { "get-power-level", -1, -1, -1, -1, -1 },
 972         { "get-sensor-state", -1, -1, -1, -1, -1 },
 973         { "ibm,get-system-parameter", -1, 1, 2, -1, -1 },
 974         { "get-time-of-day", -1, -1, -1, -1, -1 },
 975         { "ibm,get-vpd", -1, 0, -1, 1, 2 },
 976         { "ibm,lpar-perftools", -1, 2, 3, -1, -1 },
 977         { "ibm,platform-dump", -1, 4, 5, -1, -1 },
 978         { "ibm,read-slot-reset-state", -1, -1, -1, -1, -1 },
 979         { "ibm,scan-log-dump", -1, 0, 1, -1, -1 },
 980         { "ibm,set-dynamic-indicator", -1, 2, -1, -1, -1 },
 981         { "ibm,set-eeh-option", -1, -1, -1, -1, -1 },
 982         { "set-indicator", -1, -1, -1, -1, -1 },
 983         { "set-power-level", -1, -1, -1, -1, -1 },
 984         { "set-time-for-power-on", -1, -1, -1, -1, -1 },
 985         { "ibm,set-system-parameter", -1, 1, -1, -1, -1 },
 986         { "set-time-of-day", -1, -1, -1, -1, -1 },
 987 #ifdef CONFIG_CPU_BIG_ENDIAN
 988         { "ibm,suspend-me", -1, -1, -1, -1, -1 },
 989         { "ibm,update-nodes", -1, 0, -1, -1, -1, 4096 },
 990         { "ibm,update-properties", -1, 0, -1, -1, -1, 4096 },
 991 #endif
 992         { "ibm,physical-attestation", -1, 0, 1, -1, -1 },
 993 };
 994
 995 static bool in_rmo_buf(u32 base, u32 end)
 996 {
 997         return base >= rtas_rmo_buf &&
 998                 base < (rtas_rmo_buf + RTAS_USER_REGION_SIZE) &&
 999                 base <= end &&
1000                 end >= rtas_rmo_buf &&
1001                 end < (rtas_rmo_buf + RTAS_USER_REGION_SIZE);
1002 }
1003
1004 static bool block_rtas_call(int token, int nargs,
1005                             struct rtas_args *args)
1006 {
1007         int i;
1008
1009         for (i = 0; i < ARRAY_SIZE(rtas_filters); i++) {
1010                 struct rtas_filter *f = &rtas_filters[i];
1011                 u32 base, size, end;
1012
1013                 if (token != f->token)
1014                         continue;
1015
1016                 if (f->buf_idx1 != -1) {
1017                         base = be32_to_cpu(args->args[f->buf_idx1]);
1018                         if (f->size_idx1 != -1)
1019                                 size = be32_to_cpu(args->args[f->size_idx1]);
1020                         else if (f->fixed_size)
1021                                 size = f->fixed_size;
1022                         else
1023                                 size = 1;
1024
1025                         end = base + size - 1;
1026                         if (!in_rmo_buf(base, end))
1027                                 goto err;
1028                 }
1029
1030                 if (f->buf_idx2 != -1) {
1031                         base = be32_to_cpu(args->args[f->buf_idx2]);
1032                         if (f->size_idx2 != -1)
1033                                 size = be32_to_cpu(args->args[f->size_idx2]);
1034                         else if (f->fixed_size)
1035                                 size = f->fixed_size;
1036                         else
1037                                 size = 1;
1038                         end = base + size - 1;
1039
1040                         /*
1041                          * Special case for ibm,configure-connector where the
1042                          * address can be 0
1043                          */
1044                         if (!strcmp(f->name, "ibm,configure-connector") &&
1045                             base == 0)
1046                                 return false;
1047
1048                         if (!in_rmo_buf(base, end))
1049                                 goto err;
1050                 }
1051
1052                 return false;
1053         }
1054
1055 err:
1056         pr_err_ratelimited("sys_rtas: RTAS call blocked - exploit attempt?\n");
1057         pr_err_ratelimited("sys_rtas: token=0x%x, nargs=%d (called by %s)\n",
1058                            token, nargs, current->comm);
1059         return true;
1060 }
1061
1062 static void __init rtas_syscall_filter_init(void)
1063 {
1064         unsigned int i;
1065
1066         for (i = 0; i < ARRAY_SIZE(rtas_filters); i++)
1067                 rtas_filters[i].token = rtas_token(rtas_filters[i].name);
1068 }
1069
1070 #else
1071
1072 static bool block_rtas_call(int token, int nargs,
1073                             struct rtas_args *args)
1074 {
1075         return false;
1076 }
1077
1078 static void __init rtas_syscall_filter_init(void)
1079 {
1080 }
1081
1082 #endif /* CONFIG_PPC_RTAS_FILTER */
1083
1084 /* We assume to be passed big endian arguments */
1085 SYSCALL_DEFINE1(rtas, struct rtas_args __user *, uargs)
1086 {
1087         struct rtas_args args;
1088         unsigned long flags;
1089         char *buff_copy, *errbuf = NULL;
1090         int nargs, nret, token;
1091
1092         if (!capable(CAP_SYS_ADMIN))
1093                 return -EPERM;
1094
1095         if (!rtas.entry)
1096                 return -EINVAL;
1097
1098         if (copy_from_user(&args, uargs, 3 * sizeof(u32)) != 0)
1099                 return -EFAULT;
1100
1101         nargs = be32_to_cpu(args.nargs);
1102         nret  = be32_to_cpu(args.nret);
1103         token = be32_to_cpu(args.token);
1104
1105         if (nargs >= ARRAY_SIZE(args.args)
1106             || nret > ARRAY_SIZE(args.args)
1107             || nargs + nret > ARRAY_SIZE(args.args))
1108                 return -EINVAL;
1109
1110         /* Copy in args. */
1111         if (copy_from_user(args.args, uargs->args,
1112                            nargs * sizeof(rtas_arg_t)) != 0)
1113                 return -EFAULT;
1114
1115         if (token == RTAS_UNKNOWN_SERVICE)
1116                 return -EINVAL;
1117
1118         args.rets = &args.args[nargs];
1119         memset(args.rets, 0, nret * sizeof(rtas_arg_t));
1120
1121         if (block_rtas_call(token, nargs, &args))
1122                 return -EINVAL;
1123
1124         /* Need to handle ibm,suspend_me call specially */
1125         if (token == rtas_token("ibm,suspend-me")) {
1126
1127                 /*
1128                  * rtas_ibm_suspend_me assumes the streamid handle is in cpu
1129                  * endian, or at least the hcall within it requires it.
1130                  */
1131                 int rc = 0;
1132                 u64 handle = ((u64)be32_to_cpu(args.args[0]) << 32)
1133                               | be32_to_cpu(args.args[1]);
1134                 rc = rtas_syscall_dispatch_ibm_suspend_me(handle);
1135                 if (rc == -EAGAIN)
1136                         args.rets[0] = cpu_to_be32(RTAS_NOT_SUSPENDABLE);
1137                 else if (rc == -EIO)
1138                         args.rets[0] = cpu_to_be32(-1);
1139                 else if (rc)
1140                         return rc;
1141                 goto copy_return;
1142         }
1143
1144         buff_copy = get_errorlog_buffer();
1145
1146         flags = lock_rtas();
1147
1148         rtas.args = args;
1149         do_enter_rtas(__pa(&rtas.args));
1150         args = rtas.args;
1151
1152         /* A -1 return code indicates that the last command couldn't
1153            be completed due to a hardware error. */
1154         if (be32_to_cpu(args.rets[0]) == -1)
1155                 errbuf = __fetch_rtas_last_error(buff_copy);
1156
1157         unlock_rtas(flags);
1158
1159         if (buff_copy) {
1160                 if (errbuf)
1161                         log_error(errbuf, ERR_TYPE_RTAS_LOG, 0);
1162                 kfree(buff_copy);
1163         }
1164
1165  copy_return:
1166         /* Copy out args. */
1167         if (copy_to_user(uargs->args + nargs,
1168                          args.args + nargs,
1169                          nret * sizeof(rtas_arg_t)) != 0)
1170                 return -EFAULT;
1171
1172         return 0;
1173 }
1174
1175 /*
1176  * Call early during boot, before mem init, to retrieve the RTAS
1177  * information from the device-tree and allocate the RMO buffer for userland
1178  * accesses.
1179  */
1180 void __init rtas_initialize(void)
1181 {
1182         unsigned long rtas_region = RTAS_INSTANTIATE_MAX;
1183         u32 base, size, entry;
1184         int no_base, no_size, no_entry;
1185
1186         /* Get RTAS dev node and fill up our "rtas" structure with infos
1187          * about it.
1188          */
1189         rtas.dev = of_find_node_by_name(NULL, "rtas");
1190         if (!rtas.dev)
1191                 return;
1192
1193         no_base = of_property_read_u32(rtas.dev, "linux,rtas-base", &base);
1194         no_size = of_property_read_u32(rtas.dev, "rtas-size", &size);
1195         if (no_base || no_size) {
1196                 of_node_put(rtas.dev);
1197                 rtas.dev = NULL;
1198                 return;
1199         }
1200
1201         rtas.base = base;
1202         rtas.size = size;
1203         no_entry = of_property_read_u32(rtas.dev, "linux,rtas-entry", &entry);
1204         rtas.entry = no_entry ? rtas.base : entry;
1205
1206         /* If RTAS was found, allocate the RMO buffer for it and look for
1207          * the stop-self token if any
1208          */
1209 #ifdef CONFIG_PPC64
1210         if (firmware_has_feature(FW_FEATURE_LPAR))
1211                 rtas_region = min(ppc64_rma_size, RTAS_INSTANTIATE_MAX);
1212 #endif
1213         rtas_rmo_buf = memblock_phys_alloc_range(RTAS_USER_REGION_SIZE, PAGE_SIZE,
1214                                                  0, rtas_region);
1215         if (!rtas_rmo_buf)
1216                 panic("ERROR: RTAS: Failed to allocate %lx bytes below %pa\n",
1217                       PAGE_SIZE, &rtas_region);
1218
1219 #ifdef CONFIG_RTAS_ERROR_LOGGING
1220         rtas_last_error_token = rtas_token("rtas-last-error");
1221 #endif
1222
1223         rtas_syscall_filter_init();
1224 }
1225
1226 int __init early_init_dt_scan_rtas(unsigned long node,
1227                 const char *uname, int depth, void *data)
1228 {
1229         const u32 *basep, *entryp, *sizep;
1230
1231         if (depth != 1 || strcmp(uname, "rtas") != 0)
1232                 return 0;
1233
1234         basep  = of_get_flat_dt_prop(node, "linux,rtas-base", NULL);
1235         entryp = of_get_flat_dt_prop(node, "linux,rtas-entry", NULL);
1236         sizep  = of_get_flat_dt_prop(node, "rtas-size", NULL);
1237
1238         if (basep && entryp && sizep) {
1239                 rtas.base = *basep;
1240                 rtas.entry = *entryp;
1241                 rtas.size = *sizep;
1242         }
1243
1244 #ifdef CONFIG_UDBG_RTAS_CONSOLE
1245         basep = of_get_flat_dt_prop(node, "put-term-char", NULL);
1246         if (basep)
1247                 rtas_putchar_token = *basep;
1248
1249         basep = of_get_flat_dt_prop(node, "get-term-char", NULL);
1250         if (basep)
1251                 rtas_getchar_token = *basep;
1252
1253         if (rtas_putchar_token != RTAS_UNKNOWN_SERVICE &&
1254             rtas_getchar_token != RTAS_UNKNOWN_SERVICE)
1255                 udbg_init_rtas_console();
1256
1257 #endif
1258
1259         /* break now */
1260         return 1;
1261 }
1262
1263 static arch_spinlock_t timebase_lock;
1264 static u64 timebase = 0;
1265
1266 void rtas_give_timebase(void)
1267 {
1268         unsigned long flags;
1269
1270         local_irq_save(flags);
1271         hard_irq_disable();
1272         arch_spin_lock(&timebase_lock);
1273         rtas_call(rtas_token("freeze-time-base"), 0, 1, NULL);
1274         timebase = get_tb();
1275         arch_spin_unlock(&timebase_lock);
1276
1277         while (timebase)
1278                 barrier();
1279         rtas_call(rtas_token("thaw-time-base"), 0, 1, NULL);
1280         local_irq_restore(flags);
1281 }
1282
1283 void rtas_take_timebase(void)
1284 {
1285         while (!timebase)
1286                 barrier();
1287         arch_spin_lock(&timebase_lock);
1288         set_tb(timebase >> 32, timebase & 0xffffffff);
1289         timebase = 0;
1290         arch_spin_unlock(&timebase_lock);
1291 }