drivers/acpi/arm64/iort.c

   1 /*
   2  * Copyright (C) 2016, Semihalf
   3  *      Author: Tomasz Nowicki <tn@semihalf.com>
   4  *
   5  * This program is free software; you can redistribute it and/or modify it
   6  * under the terms and conditions of the GNU General Public License,
   7  * version 2, as published by the Free Software Foundation.
   8  *
   9  * This program is distributed in the hope it will be useful, but WITHOUT
  10  * ANY WARRANTY; without even the implied warranty of MERCHANTABILITY or
  11  * FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License for
  12  * more details.
  13  *
  14  * This file implements early detection/parsing of I/O mapping
  15  * reported to OS through firmware via I/O Remapping Table (IORT)
  16  * IORT document number: ARM DEN 0049A
  17  */
  18
  19 #define pr_fmt(fmt)     "ACPI: IORT: " fmt
  20
  21 #include <linux/acpi_iort.h>
  22 #include <linux/iommu.h>
  23 #include <linux/kernel.h>
  24 #include <linux/list.h>
  25 #include <linux/pci.h>
  26 #include <linux/platform_device.h>
  27 #include <linux/slab.h>
  28
  29 #define IORT_TYPE_MASK(type)    (1 << (type))
  30 #define IORT_MSI_TYPE           (1 << ACPI_IORT_NODE_ITS_GROUP)
  31 #define IORT_IOMMU_TYPE         ((1 << ACPI_IORT_NODE_SMMU) |   \
  32                                 (1 << ACPI_IORT_NODE_SMMU_V3))
  33
  34 struct iort_its_msi_chip {
  35         struct list_head        list;
  36         struct fwnode_handle    *fw_node;
  37         phys_addr_t             base_addr;
  38         u32                     translation_id;
  39 };
  40
  41 struct iort_fwnode {
  42         struct list_head list;
  43         struct acpi_iort_node *iort_node;
  44         struct fwnode_handle *fwnode;
  45 };
  46 static LIST_HEAD(iort_fwnode_list);
  47 static DEFINE_SPINLOCK(iort_fwnode_lock);
  48
  49 /**
  50  * iort_set_fwnode() - Create iort_fwnode and use it to register
  51  *                     iommu data in the iort_fwnode_list
  52  *
  53  * @node: IORT table node associated with the IOMMU
  54  * @fwnode: fwnode associated with the IORT node
  55  *
  56  * Returns: 0 on success
  57  *          <0 on failure
  58  */
  59 static inline int iort_set_fwnode(struct acpi_iort_node *iort_node,
  60                                   struct fwnode_handle *fwnode)
  61 {
  62         struct iort_fwnode *np;
  63
  64         np = kzalloc(sizeof(struct iort_fwnode), GFP_ATOMIC);
  65
  66         if (WARN_ON(!np))
  67                 return -ENOMEM;
  68
  69         INIT_LIST_HEAD(&np->list);
  70         np->iort_node = iort_node;
  71         np->fwnode = fwnode;
  72
  73         spin_lock(&iort_fwnode_lock);
  74         list_add_tail(&np->list, &iort_fwnode_list);
  75         spin_unlock(&iort_fwnode_lock);
  76
  77         return 0;
  78 }
  79
  80 /**
  81  * iort_get_fwnode() - Retrieve fwnode associated with an IORT node
  82  *
  83  * @node: IORT table node to be looked-up
  84  *
  85  * Returns: fwnode_handle pointer on success, NULL on failure
  86  */
  87 static inline struct fwnode_handle *iort_get_fwnode(
  88                         struct acpi_iort_node *node)
  89 {
  90         struct iort_fwnode *curr;
  91         struct fwnode_handle *fwnode = NULL;
  92
  93         spin_lock(&iort_fwnode_lock);
  94         list_for_each_entry(curr, &iort_fwnode_list, list) {
  95                 if (curr->iort_node == node) {
  96                         fwnode = curr->fwnode;
  97                         break;
  98                 }
  99         }
 100         spin_unlock(&iort_fwnode_lock);
 101
 102         return fwnode;
 103 }
 104
 105 /**
 106  * iort_delete_fwnode() - Delete fwnode associated with an IORT node
 107  *
 108  * @node: IORT table node associated with fwnode to delete
 109  */
 110 static inline void iort_delete_fwnode(struct acpi_iort_node *node)
 111 {
 112         struct iort_fwnode *curr, *tmp;
 113
 114         spin_lock(&iort_fwnode_lock);
 115         list_for_each_entry_safe(curr, tmp, &iort_fwnode_list, list) {
 116                 if (curr->iort_node == node) {
 117                         list_del(&curr->list);
 118                         kfree(curr);
 119                         break;
 120                 }
 121         }
 122         spin_unlock(&iort_fwnode_lock);
 123 }
 124
 125 /**
 126  * iort_get_iort_node() - Retrieve iort_node associated with an fwnode
 127  *
 128  * @fwnode: fwnode associated with device to be looked-up
 129  *
 130  * Returns: iort_node pointer on success, NULL on failure
 131  */
 132 static inline struct acpi_iort_node *iort_get_iort_node(
 133                         struct fwnode_handle *fwnode)
 134 {
 135         struct iort_fwnode *curr;
 136         struct acpi_iort_node *iort_node = NULL;
 137
 138         spin_lock(&iort_fwnode_lock);
 139         list_for_each_entry(curr, &iort_fwnode_list, list) {
 140                 if (curr->fwnode == fwnode) {
 141                         iort_node = curr->iort_node;
 142                         break;
 143                 }
 144         }
 145         spin_unlock(&iort_fwnode_lock);
 146
 147         return iort_node;
 148 }
 149
 150 typedef acpi_status (*iort_find_node_callback)
 151         (struct acpi_iort_node *node, void *context);
 152
 153 /* Root pointer to the mapped IORT table */
 154 static struct acpi_table_header *iort_table;
 155
 156 static LIST_HEAD(iort_msi_chip_list);
 157 static DEFINE_SPINLOCK(iort_msi_chip_lock);
 158
 159 /**
 160  * iort_register_domain_token() - register domain token along with related
 161  * ITS ID and base address to the list from where we can get it back later on.
 162  * @trans_id: ITS ID.
 163  * @base: ITS base address.
 164  * @fw_node: Domain token.
 165  *
 166  * Returns: 0 on success, -ENOMEM if no memory when allocating list element
 167  */
 168 int iort_register_domain_token(int trans_id, phys_addr_t base,
 169                                struct fwnode_handle *fw_node)
 170 {
 171         struct iort_its_msi_chip *its_msi_chip;
 172
 173         its_msi_chip = kzalloc(sizeof(*its_msi_chip), GFP_KERNEL);
 174         if (!its_msi_chip)
 175                 return -ENOMEM;
 176
 177         its_msi_chip->fw_node = fw_node;
 178         its_msi_chip->translation_id = trans_id;
 179         its_msi_chip->base_addr = base;
 180
 181         spin_lock(&iort_msi_chip_lock);
 182         list_add(&its_msi_chip->list, &iort_msi_chip_list);
 183         spin_unlock(&iort_msi_chip_lock);
 184
 185         return 0;
 186 }
 187
 188 /**
 189  * iort_deregister_domain_token() - Deregister domain token based on ITS ID
 190  * @trans_id: ITS ID.
 191  *
 192  * Returns: none.
 193  */
 194 void iort_deregister_domain_token(int trans_id)
 195 {
 196         struct iort_its_msi_chip *its_msi_chip, *t;
 197
 198         spin_lock(&iort_msi_chip_lock);
 199         list_for_each_entry_safe(its_msi_chip, t, &iort_msi_chip_list, list) {
 200                 if (its_msi_chip->translation_id == trans_id) {
 201                         list_del(&its_msi_chip->list);
 202                         kfree(its_msi_chip);
 203                         break;
 204                 }
 205         }
 206         spin_unlock(&iort_msi_chip_lock);
 207 }
 208
 209 /**
 210  * iort_find_domain_token() - Find domain token based on given ITS ID
 211  * @trans_id: ITS ID.
 212  *
 213  * Returns: domain token when find on the list, NULL otherwise
 214  */
 215 struct fwnode_handle *iort_find_domain_token(int trans_id)
 216 {
 217         struct fwnode_handle *fw_node = NULL;
 218         struct iort_its_msi_chip *its_msi_chip;
 219
 220         spin_lock(&iort_msi_chip_lock);
 221         list_for_each_entry(its_msi_chip, &iort_msi_chip_list, list) {
 222                 if (its_msi_chip->translation_id == trans_id) {
 223                         fw_node = its_msi_chip->fw_node;
 224                         break;
 225                 }
 226         }
 227         spin_unlock(&iort_msi_chip_lock);
 228
 229         return fw_node;
 230 }
 231
 232 static struct acpi_iort_node *iort_scan_node(enum acpi_iort_node_type type,
 233                                              iort_find_node_callback callback,
 234                                              void *context)
 235 {
 236         struct acpi_iort_node *iort_node, *iort_end;
 237         struct acpi_table_iort *iort;
 238         int i;
 239
 240         if (!iort_table)
 241                 return NULL;
 242
 243         /* Get the first IORT node */
 244         iort = (struct acpi_table_iort *)iort_table;
 245         iort_node = ACPI_ADD_PTR(struct acpi_iort_node, iort,
 246                                  iort->node_offset);
 247         iort_end = ACPI_ADD_PTR(struct acpi_iort_node, iort_table,
 248                                 iort_table->length);
 249
 250         for (i = 0; i < iort->node_count; i++) {
 251                 if (WARN_TAINT(iort_node >= iort_end, TAINT_FIRMWARE_WORKAROUND,
 252                                "IORT node pointer overflows, bad table!\n"))
 253                         return NULL;
 254
 255                 if (iort_node->type == type &&
 256                     ACPI_SUCCESS(callback(iort_node, context)))
 257                         return iort_node;
 258
 259                 iort_node = ACPI_ADD_PTR(struct acpi_iort_node, iort_node,
 260                                          iort_node->length);
 261         }
 262
 263         return NULL;
 264 }
 265
 266 static acpi_status iort_match_node_callback(struct acpi_iort_node *node,
 267                                             void *context)
 268 {
 269         struct device *dev = context;
 270         acpi_status status = AE_NOT_FOUND;
 271
 272         if (node->type == ACPI_IORT_NODE_NAMED_COMPONENT) {
 273                 struct acpi_buffer buf = { ACPI_ALLOCATE_BUFFER, NULL };
 274                 struct acpi_device *adev = to_acpi_device_node(dev->fwnode);
 275                 struct acpi_iort_named_component *ncomp;
 276
 277                 if (!adev)
 278                         goto out;
 279
 280                 status = acpi_get_name(adev->handle, ACPI_FULL_PATHNAME, &buf);
 281                 if (ACPI_FAILURE(status)) {
 282                         dev_warn(dev, "Can't get device full path name\n");
 283                         goto out;
 284                 }
 285
 286                 ncomp = (struct acpi_iort_named_component *)node->node_data;
 287                 status = !strcmp(ncomp->device_name, buf.pointer) ?
 288                                                         AE_OK : AE_NOT_FOUND;
 289                 acpi_os_free(buf.pointer);
 290         } else if (node->type == ACPI_IORT_NODE_PCI_ROOT_COMPLEX) {
 291                 struct acpi_iort_root_complex *pci_rc;
 292                 struct pci_bus *bus;
 293
 294                 bus = to_pci_bus(dev);
 295                 pci_rc = (struct acpi_iort_root_complex *)node->node_data;
 296
 297                 /*
 298                  * It is assumed that PCI segment numbers maps one-to-one
 299                  * with root complexes. Each segment number can represent only
 300                  * one root complex.
 301                  */
 302                 status = pci_rc->pci_segment_number == pci_domain_nr(bus) ?
 303                                                         AE_OK : AE_NOT_FOUND;
 304         }
 305 out:
 306         return status;
 307 }
 308
 309 static int iort_id_map(struct acpi_iort_id_mapping *map, u8 type, u32 rid_in,
 310                        u32 *rid_out)
 311 {
 312         /* Single mapping does not care for input id */
 313         if (map->flags & ACPI_IORT_ID_SINGLE_MAPPING) {
 314                 if (type == ACPI_IORT_NODE_NAMED_COMPONENT ||
 315                     type == ACPI_IORT_NODE_PCI_ROOT_COMPLEX) {
 316                         *rid_out = map->output_base;
 317                         return 0;
 318                 }
 319
 320                 pr_warn(FW_BUG "[map %p] SINGLE MAPPING flag not allowed for node type %d, skipping ID map\n",
 321                         map, type);
 322                 return -ENXIO;
 323         }
 324
 325         if (rid_in < map->input_base ||
 326             (rid_in >= map->input_base + map->id_count))
 327                 return -ENXIO;
 328
 329         *rid_out = map->output_base + (rid_in - map->input_base);
 330         return 0;
 331 }
 332
 333 static struct acpi_iort_node *iort_node_get_id(struct acpi_iort_node *node,
 334                                                u32 *id_out, int index)
 335 {
 336         struct acpi_iort_node *parent;
 337         struct acpi_iort_id_mapping *map;
 338
 339         if (!node->mapping_offset || !node->mapping_count ||
 340                                      index >= node->mapping_count)
 341                 return NULL;
 342
 343         map = ACPI_ADD_PTR(struct acpi_iort_id_mapping, node,
 344                            node->mapping_offset + index * sizeof(*map));
 345
 346         /* Firmware bug! */
 347         if (!map->output_reference) {
 348                 pr_err(FW_BUG "[node %p type %d] ID map has NULL parent reference\n",
 349                        node, node->type);
 350                 return NULL;
 351         }
 352
 353         parent = ACPI_ADD_PTR(struct acpi_iort_node, iort_table,
 354                                map->output_reference);
 355
 356         if (map->flags & ACPI_IORT_ID_SINGLE_MAPPING) {
 357                 if (node->type == ACPI_IORT_NODE_NAMED_COMPONENT ||
 358                     node->type == ACPI_IORT_NODE_PCI_ROOT_COMPLEX ||
 359                     node->type == ACPI_IORT_NODE_SMMU_V3 ||
 360                     node->type == ACPI_IORT_NODE_PMCG) {
 361                         *id_out = map->output_base;
 362                         return parent;
 363                 }
 364         }
 365
 366         return NULL;
 367 }
 368
 369 static int iort_get_id_mapping_index(struct acpi_iort_node *node)
 370 {
 371         struct acpi_iort_smmu_v3 *smmu;
 372
 373         switch (node->type) {
 374         case ACPI_IORT_NODE_SMMU_V3:
 375                 /*
 376                  * SMMUv3 dev ID mapping index was introduced in revision 1
 377                  * table, not available in revision 0
 378                  */
 379                 if (node->revision < 1)
 380                         return -EINVAL;
 381
 382                 smmu = (struct acpi_iort_smmu_v3 *)node->node_data;
 383                 /*
 384                  * ID mapping index is only ignored if all interrupts are
 385                  * GSIV based
 386                  */
 387                 if (smmu->event_gsiv && smmu->pri_gsiv && smmu->gerr_gsiv
 388                     && smmu->sync_gsiv)
 389                         return -EINVAL;
 390
 391                 if (smmu->id_mapping_index >= node->mapping_count) {
 392                         pr_err(FW_BUG "[node %p type %d] ID mapping index overflows valid mappings\n",
 393                                node, node->type);
 394                         return -EINVAL;
 395                 }
 396
 397                 return smmu->id_mapping_index;
 398         case ACPI_IORT_NODE_PMCG:
 399                 return 0;
 400         default:
 401                 return -EINVAL;
 402         }
 403 }
 404
 405 static struct acpi_iort_node *iort_node_map_id(struct acpi_iort_node *node,
 406                                                u32 id_in, u32 *id_out,
 407                                                u8 type_mask)
 408 {
 409         u32 id = id_in;
 410
 411         /* Parse the ID mapping tree to find specified node type */
 412         while (node) {
 413                 struct acpi_iort_id_mapping *map;
 414                 int i, index;
 415
 416                 if (IORT_TYPE_MASK(node->type) & type_mask) {
 417                         if (id_out)
 418                                 *id_out = id;
 419                         return node;
 420                 }
 421
 422                 if (!node->mapping_offset || !node->mapping_count)
 423                         goto fail_map;
 424
 425                 map = ACPI_ADD_PTR(struct acpi_iort_id_mapping, node,
 426                                    node->mapping_offset);
 427
 428                 /* Firmware bug! */
 429                 if (!map->output_reference) {
 430                         pr_err(FW_BUG "[node %p type %d] ID map has NULL parent reference\n",
 431                                node, node->type);
 432                         goto fail_map;
 433                 }
 434
 435                 /*
 436                  * Get the special ID mapping index (if any) and skip its
 437                  * associated ID map to prevent erroneous multi-stage
 438                  * IORT ID translations.
 439                  */
 440                 index = iort_get_id_mapping_index(node);
 441
 442                 /* Do the ID translation */
 443                 for (i = 0; i < node->mapping_count; i++, map++) {
 444                         /* if it is special mapping index, skip it */
 445                         if (i == index)
 446                                 continue;
 447
 448                         if (!iort_id_map(map, node->type, id, &id))
 449                                 break;
 450                 }
 451
 452                 if (i == node->mapping_count)
 453                         goto fail_map;
 454
 455                 node = ACPI_ADD_PTR(struct acpi_iort_node, iort_table,
 456                                     map->output_reference);
 457         }
 458
 459 fail_map:
 460         /* Map input ID to output ID unchanged on mapping failure */
 461         if (id_out)
 462                 *id_out = id_in;
 463
 464         return NULL;
 465 }
 466
 467 static struct acpi_iort_node *iort_node_map_platform_id(
 468                 struct acpi_iort_node *node, u32 *id_out, u8 type_mask,
 469                 int index)
 470 {
 471         struct acpi_iort_node *parent;
 472         u32 id;
 473
 474         /* step 1: retrieve the initial dev id */
 475         parent = iort_node_get_id(node, &id, index);
 476         if (!parent)
 477                 return NULL;
 478
 479         /*
 480          * optional step 2: map the initial dev id if its parent is not
 481          * the target type we want, map it again for the use cases such
 482          * as NC (named component) -> SMMU -> ITS. If the type is matched,
 483          * return the initial dev id and its parent pointer directly.
 484          */
 485         if (!(IORT_TYPE_MASK(parent->type) & type_mask))
 486                 parent = iort_node_map_id(parent, id, id_out, type_mask);
 487         else
 488                 if (id_out)
 489                         *id_out = id;
 490
 491         return parent;
 492 }
 493
 494 static struct acpi_iort_node *iort_find_dev_node(struct device *dev)
 495 {
 496         struct pci_bus *pbus;
 497
 498         if (!dev_is_pci(dev)) {
 499                 struct acpi_iort_node *node;
 500                 /*
 501                  * scan iort_fwnode_list to see if it's an iort platform
 502                  * device (such as SMMU, PMCG),its iort node already cached
 503                  * and associated with fwnode when iort platform devices
 504                  * were initialized.
 505                  */
 506                 node = iort_get_iort_node(dev->fwnode);
 507                 if (node)
 508                         return node;
 509
 510                 /*
 511                  * if not, then it should be a platform device defined in
 512                  * DSDT/SSDT (with Named Component node in IORT)
 513                  */
 514                 return iort_scan_node(ACPI_IORT_NODE_NAMED_COMPONENT,
 515                                       iort_match_node_callback, dev);
 516         }
 517
 518         /* Find a PCI root bus */
 519         pbus = to_pci_dev(dev)->bus;
 520         while (!pci_is_root_bus(pbus))
 521                 pbus = pbus->parent;
 522
 523         return iort_scan_node(ACPI_IORT_NODE_PCI_ROOT_COMPLEX,
 524                               iort_match_node_callback, &pbus->dev);
 525 }
 526
 527 /**
 528  * iort_msi_map_rid() - Map a MSI requester ID for a device
 529  * @dev: The device for which the mapping is to be done.
 530  * @req_id: The device requester ID.
 531  *
 532  * Returns: mapped MSI RID on success, input requester ID otherwise
 533  */
 534 u32 iort_msi_map_rid(struct device *dev, u32 req_id)
 535 {
 536         struct acpi_iort_node *node;
 537         u32 dev_id;
 538
 539         node = iort_find_dev_node(dev);
 540         if (!node)
 541                 return req_id;
 542
 543         iort_node_map_id(node, req_id, &dev_id, IORT_MSI_TYPE);
 544         return dev_id;
 545 }
 546
 547 /**
 548  * iort_pmsi_get_dev_id() - Get the device id for a device
 549  * @dev: The device for which the mapping is to be done.
 550  * @dev_id: The device ID found.
 551  *
 552  * Returns: 0 for successful find a dev id, -ENODEV on error
 553  */
 554 int iort_pmsi_get_dev_id(struct device *dev, u32 *dev_id)
 555 {
 556         int i, index;
 557         struct acpi_iort_node *node;
 558
 559         node = iort_find_dev_node(dev);
 560         if (!node)
 561                 return -ENODEV;
 562
 563         index = iort_get_id_mapping_index(node);
 564         /* if there is a valid index, go get the dev_id directly */
 565         if (index >= 0) {
 566                 if (iort_node_get_id(node, dev_id, index))
 567                         return 0;
 568         } else {
 569                 for (i = 0; i < node->mapping_count; i++) {
 570                         if (iort_node_map_platform_id(node, dev_id,
 571                                                       IORT_MSI_TYPE, i))
 572                                 return 0;
 573                 }
 574         }
 575
 576         return -ENODEV;
 577 }
 578
 579 static int __maybe_unused iort_find_its_base(u32 its_id, phys_addr_t *base)
 580 {
 581         struct iort_its_msi_chip *its_msi_chip;
 582         int ret = -ENODEV;
 583
 584         spin_lock(&iort_msi_chip_lock);
 585         list_for_each_entry(its_msi_chip, &iort_msi_chip_list, list) {
 586                 if (its_msi_chip->translation_id == its_id) {
 587                         *base = its_msi_chip->base_addr;
 588                         ret = 0;
 589                         break;
 590                 }
 591         }
 592         spin_unlock(&iort_msi_chip_lock);
 593
 594         return ret;
 595 }
 596
 597 /**
 598  * iort_dev_find_its_id() - Find the ITS identifier for a device
 599  * @dev: The device.
 600  * @req_id: Device's requester ID
 601  * @idx: Index of the ITS identifier list.
 602  * @its_id: ITS identifier.
 603  *
 604  * Returns: 0 on success, appropriate error value otherwise
 605  */
 606 static int iort_dev_find_its_id(struct device *dev, u32 req_id,
 607                                 unsigned int idx, int *its_id)
 608 {
 609         struct acpi_iort_its_group *its;
 610         struct acpi_iort_node *node;
 611
 612         node = iort_find_dev_node(dev);
 613         if (!node)
 614                 return -ENXIO;
 615
 616         node = iort_node_map_id(node, req_id, NULL, IORT_MSI_TYPE);
 617         if (!node)
 618                 return -ENXIO;
 619
 620         /* Move to ITS specific data */
 621         its = (struct acpi_iort_its_group *)node->node_data;
 622         if (idx > its->its_count) {
 623                 dev_err(dev, "requested ITS ID index [%d] is greater than available [%d]\n",
 624                         idx, its->its_count);
 625                 return -ENXIO;
 626         }
 627
 628         *its_id = its->identifiers[idx];
 629         return 0;
 630 }
 631
 632 /**
 633  * iort_get_device_domain() - Find MSI domain related to a device
 634  * @dev: The device.
 635  * @req_id: Requester ID for the device.
 636  *
 637  * Returns: the MSI domain for this device, NULL otherwise
 638  */
 639 struct irq_domain *iort_get_device_domain(struct device *dev, u32 req_id)
 640 {
 641         struct fwnode_handle *handle;
 642         int its_id;
 643
 644         if (iort_dev_find_its_id(dev, req_id, 0, &its_id))
 645                 return NULL;
 646
 647         handle = iort_find_domain_token(its_id);
 648         if (!handle)
 649                 return NULL;
 650
 651         return irq_find_matching_fwnode(handle, DOMAIN_BUS_PCI_MSI);
 652 }
 653
 654 static void iort_set_device_domain(struct device *dev,
 655                                    struct acpi_iort_node *node)
 656 {
 657         struct acpi_iort_its_group *its;
 658         struct acpi_iort_node *msi_parent;
 659         struct acpi_iort_id_mapping *map;
 660         struct fwnode_handle *iort_fwnode;
 661         struct irq_domain *domain;
 662         int index;
 663
 664         index = iort_get_id_mapping_index(node);
 665         if (index < 0)
 666                 return;
 667
 668         map = ACPI_ADD_PTR(struct acpi_iort_id_mapping, node,
 669                            node->mapping_offset + index * sizeof(*map));
 670
 671         /* Firmware bug! */
 672         if (!map->output_reference ||
 673             !(map->flags & ACPI_IORT_ID_SINGLE_MAPPING)) {
 674                 pr_err(FW_BUG "[node %p type %d] Invalid MSI mapping\n",
 675                        node, node->type);
 676                 return;
 677         }
 678
 679         msi_parent = ACPI_ADD_PTR(struct acpi_iort_node, iort_table,
 680                                   map->output_reference);
 681
 682         if (!msi_parent || msi_parent->type != ACPI_IORT_NODE_ITS_GROUP)
 683                 return;
 684
 685         /* Move to ITS specific data */
 686         its = (struct acpi_iort_its_group *)msi_parent->node_data;
 687
 688         iort_fwnode = iort_find_domain_token(its->identifiers[0]);
 689         if (!iort_fwnode)
 690                 return;
 691
 692         domain = irq_find_matching_fwnode(iort_fwnode, DOMAIN_BUS_PLATFORM_MSI);
 693         if (domain)
 694                 dev_set_msi_domain(dev, domain);
 695 }
 696
 697 /**
 698  * iort_get_platform_device_domain() - Find MSI domain related to a
 699  * platform device
 700  * @dev: the dev pointer associated with the platform device
 701  *
 702  * Returns: the MSI domain for this device, NULL otherwise
 703  */
 704 static struct irq_domain *iort_get_platform_device_domain(struct device *dev)
 705 {
 706         struct acpi_iort_node *node, *msi_parent = NULL;
 707         struct fwnode_handle *iort_fwnode;
 708         struct acpi_iort_its_group *its;
 709         int i;
 710
 711         /* find its associated iort node */
 712         node = iort_scan_node(ACPI_IORT_NODE_NAMED_COMPONENT,
 713                               iort_match_node_callback, dev);
 714         if (!node)
 715                 return NULL;
 716
 717         /* then find its msi parent node */
 718         for (i = 0; i < node->mapping_count; i++) {
 719                 msi_parent = iort_node_map_platform_id(node, NULL,
 720                                                        IORT_MSI_TYPE, i);
 721                 if (msi_parent)
 722                         break;
 723         }
 724
 725         if (!msi_parent)
 726                 return NULL;
 727
 728         /* Move to ITS specific data */
 729         its = (struct acpi_iort_its_group *)msi_parent->node_data;
 730
 731         iort_fwnode = iort_find_domain_token(its->identifiers[0]);
 732         if (!iort_fwnode)
 733                 return NULL;
 734
 735         return irq_find_matching_fwnode(iort_fwnode, DOMAIN_BUS_PLATFORM_MSI);
 736 }
 737
 738 void acpi_configure_pmsi_domain(struct device *dev)
 739 {
 740         struct irq_domain *msi_domain;
 741
 742         msi_domain = iort_get_platform_device_domain(dev);
 743         if (msi_domain)
 744                 dev_set_msi_domain(dev, msi_domain);
 745 }
 746
 747 static int __maybe_unused __get_pci_rid(struct pci_dev *pdev, u16 alias,
 748                                         void *data)
 749 {
 750         u32 *rid = data;
 751
 752         *rid = alias;
 753         return 0;
 754 }
 755
 756 static int arm_smmu_iort_xlate(struct device *dev, u32 streamid,
 757                                struct fwnode_handle *fwnode,
 758                                const struct iommu_ops *ops)
 759 {
 760         int ret = iommu_fwspec_init(dev, fwnode, ops);
 761
 762         if (!ret)
 763                 ret = iommu_fwspec_add_ids(dev, &streamid, 1);
 764
 765         return ret;
 766 }
 767
 768 static inline bool iort_iommu_driver_enabled(u8 type)
 769 {
 770         switch (type) {
 771         case ACPI_IORT_NODE_SMMU_V3:
 772                 return IS_BUILTIN(CONFIG_ARM_SMMU_V3);
 773         case ACPI_IORT_NODE_SMMU:
 774                 return IS_BUILTIN(CONFIG_ARM_SMMU);
 775         default:
 776                 pr_warn("IORT node type %u does not describe an SMMU\n", type);
 777                 return false;
 778         }
 779 }
 780
 781 #ifdef CONFIG_IOMMU_API
 782 static struct acpi_iort_node *iort_get_msi_resv_iommu(struct device *dev)
 783 {
 784         struct acpi_iort_node *iommu;
 785         struct iommu_fwspec *fwspec = dev_iommu_fwspec_get(dev);
 786
 787         iommu = iort_get_iort_node(fwspec->iommu_fwnode);
 788
 789         if (iommu && (iommu->type == ACPI_IORT_NODE_SMMU_V3)) {
 790                 struct acpi_iort_smmu_v3 *smmu;
 791
 792                 smmu = (struct acpi_iort_smmu_v3 *)iommu->node_data;
 793                 if (smmu->model == ACPI_IORT_SMMU_V3_HISILICON_HI161X)
 794                         return iommu;
 795         }
 796
 797         return NULL;
 798 }
 799
 800 static inline const struct iommu_ops *iort_fwspec_iommu_ops(struct device *dev)
 801 {
 802         struct iommu_fwspec *fwspec = dev_iommu_fwspec_get(dev);
 803
 804         return (fwspec && fwspec->ops) ? fwspec->ops : NULL;
 805 }
 806
 807 static inline int iort_add_device_replay(const struct iommu_ops *ops,
 808                                          struct device *dev)
 809 {
 810         int err = 0;
 811
 812         if (dev->bus && !device_iommu_mapped(dev))
 813                 err = iommu_probe_device(dev);
 814
 815         return err;
 816 }
 817
 818 /**
 819  * iort_iommu_msi_get_resv_regions - Reserved region driver helper
 820  * @dev: Device from iommu_get_resv_regions()
 821  * @head: Reserved region list from iommu_get_resv_regions()
 822  *
 823  * Returns: Number of msi reserved regions on success (0 if platform
 824  *          doesn't require the reservation or no associated msi regions),
 825  *          appropriate error value otherwise. The ITS interrupt translation
 826  *          spaces (ITS_base + SZ_64K, SZ_64K) associated with the device
 827  *          are the msi reserved regions.
 828  */
 829 int iort_iommu_msi_get_resv_regions(struct device *dev, struct list_head *head)
 830 {
 831         struct iommu_fwspec *fwspec = dev_iommu_fwspec_get(dev);
 832         struct acpi_iort_its_group *its;
 833         struct acpi_iort_node *iommu_node, *its_node = NULL;
 834         int i, resv = 0;
 835
 836         iommu_node = iort_get_msi_resv_iommu(dev);
 837         if (!iommu_node)
 838                 return 0;
 839
 840         /*
 841          * Current logic to reserve ITS regions relies on HW topologies
 842          * where a given PCI or named component maps its IDs to only one
 843          * ITS group; if a PCI or named component can map its IDs to
 844          * different ITS groups through IORT mappings this function has
 845          * to be reworked to ensure we reserve regions for all ITS groups
 846          * a given PCI or named component may map IDs to.
 847          */
 848
 849         for (i = 0; i < fwspec->num_ids; i++) {
 850                 its_node = iort_node_map_id(iommu_node,
 851                                         fwspec->ids[i],
 852                                         NULL, IORT_MSI_TYPE);
 853                 if (its_node)
 854                         break;
 855         }
 856
 857         if (!its_node)
 858                 return 0;
 859
 860         /* Move to ITS specific data */
 861         its = (struct acpi_iort_its_group *)its_node->node_data;
 862
 863         for (i = 0; i < its->its_count; i++) {
 864                 phys_addr_t base;
 865
 866                 if (!iort_find_its_base(its->identifiers[i], &base)) {
 867                         int prot = IOMMU_WRITE | IOMMU_NOEXEC | IOMMU_MMIO;
 868                         struct iommu_resv_region *region;
 869
 870                         region = iommu_alloc_resv_region(base + SZ_64K, SZ_64K,
 871                                                          prot, IOMMU_RESV_MSI);
 872                         if (region) {
 873                                 list_add_tail(&region->list, head);
 874                                 resv++;
 875                         }
 876                 }
 877         }
 878
 879         return (resv == its->its_count) ? resv : -ENODEV;
 880 }
 881 #else
 882 static inline const struct iommu_ops *iort_fwspec_iommu_ops(struct device *dev)
 883 { return NULL; }
 884 static inline int iort_add_device_replay(const struct iommu_ops *ops,
 885                                          struct device *dev)
 886 { return 0; }
 887 int iort_iommu_msi_get_resv_regions(struct device *dev, struct list_head *head)
 888 { return 0; }
 889 #endif
 890
 891 static int iort_iommu_xlate(struct device *dev, struct acpi_iort_node *node,
 892                             u32 streamid)
 893 {
 894         const struct iommu_ops *ops;
 895         struct fwnode_handle *iort_fwnode;
 896
 897         if (!node)
 898                 return -ENODEV;
 899
 900         iort_fwnode = iort_get_fwnode(node);
 901         if (!iort_fwnode)
 902                 return -ENODEV;
 903
 904         /*
 905          * If the ops look-up fails, this means that either
 906          * the SMMU drivers have not been probed yet or that
 907          * the SMMU drivers are not built in the kernel;
 908          * Depending on whether the SMMU drivers are built-in
 909          * in the kernel or not, defer the IOMMU configuration
 910          * or just abort it.
 911          */
 912         ops = iommu_ops_from_fwnode(iort_fwnode);
 913         if (!ops)
 914                 return iort_iommu_driver_enabled(node->type) ?
 915                        -EPROBE_DEFER : -ENODEV;
 916
 917         return arm_smmu_iort_xlate(dev, streamid, iort_fwnode, ops);
 918 }
 919
 920 struct iort_pci_alias_info {
 921         struct device *dev;
 922         struct acpi_iort_node *node;
 923 };
 924
 925 static int iort_pci_iommu_init(struct pci_dev *pdev, u16 alias, void *data)
 926 {
 927         struct iort_pci_alias_info *info = data;
 928         struct acpi_iort_node *parent;
 929         u32 streamid;
 930
 931         parent = iort_node_map_id(info->node, alias, &streamid,
 932                                   IORT_IOMMU_TYPE);
 933         return iort_iommu_xlate(info->dev, parent, streamid);
 934 }
 935
 936 static int nc_dma_get_range(struct device *dev, u64 *size)
 937 {
 938         struct acpi_iort_node *node;
 939         struct acpi_iort_named_component *ncomp;
 940
 941         node = iort_scan_node(ACPI_IORT_NODE_NAMED_COMPONENT,
 942                               iort_match_node_callback, dev);
 943         if (!node)
 944                 return -ENODEV;
 945
 946         ncomp = (struct acpi_iort_named_component *)node->node_data;
 947
 948         *size = ncomp->memory_address_limit >= 64 ? U64_MAX :
 949                         1ULL<<ncomp->memory_address_limit;
 950
 951         return 0;
 952 }
 953
 954 static int rc_dma_get_range(struct device *dev, u64 *size)
 955 {
 956         struct acpi_iort_node *node;
 957         struct acpi_iort_root_complex *rc;
 958         struct pci_bus *pbus = to_pci_dev(dev)->bus;
 959
 960         node = iort_scan_node(ACPI_IORT_NODE_PCI_ROOT_COMPLEX,
 961                               iort_match_node_callback, &pbus->dev);
 962         if (!node || node->revision < 1)
 963                 return -ENODEV;
 964
 965         rc = (struct acpi_iort_root_complex *)node->node_data;
 966
 967         *size = rc->memory_address_limit >= 64 ? U64_MAX :
 968                         1ULL<<rc->memory_address_limit;
 969
 970         return 0;
 971 }
 972
 973 /**
 974  * iort_dma_setup() - Set-up device DMA parameters.
 975  *
 976  * @dev: device to configure
 977  * @dma_addr: device DMA address result pointer
 978  * @size: DMA range size result pointer
 979  */
 980 void iort_dma_setup(struct device *dev, u64 *dma_addr, u64 *dma_size)
 981 {
 982         u64 mask, dmaaddr = 0, size = 0, offset = 0;
 983         int ret, msb;
 984
 985         /*
 986          * If @dev is expected to be DMA-capable then the bus code that created
 987          * it should have initialised its dma_mask pointer by this point. For
 988          * now, we'll continue the legacy behaviour of coercing it to the
 989          * coherent mask if not, but we'll no longer do so quietly.
 990          */
 991         if (!dev->dma_mask) {
 992                 dev_warn(dev, "DMA mask not set\n");
 993                 dev->dma_mask = &dev->coherent_dma_mask;
 994         }
 995
 996         if (dev->coherent_dma_mask)
 997                 size = max(dev->coherent_dma_mask, dev->coherent_dma_mask + 1);
 998         else
 999                 size = 1ULL << 32;
1000
1001         if (dev_is_pci(dev)) {
1002                 ret = acpi_dma_get_range(dev, &dmaaddr, &offset, &size);
1003                 if (ret == -ENODEV)
1004                         ret = rc_dma_get_range(dev, &size);
1005         } else {
1006                 ret = nc_dma_get_range(dev, &size);
1007         }
1008
1009         if (!ret) {
1010                 msb = fls64(dmaaddr + size - 1);
1011                 /*
1012                  * Round-up to the power-of-two mask or set
1013                  * the mask to the whole 64-bit address space
1014                  * in case the DMA region covers the full
1015                  * memory window.
1016                  */
1017                 mask = msb == 64 ? U64_MAX : (1ULL << msb) - 1;
1018                 /*
1019                  * Limit coherent and dma mask based on size
1020                  * retrieved from firmware.
1021                  */
1022                 dev->bus_dma_mask = mask;
1023                 dev->coherent_dma_mask = mask;
1024                 *dev->dma_mask = mask;
1025         }
1026
1027         *dma_addr = dmaaddr;
1028         *dma_size = size;
1029
1030         dev->dma_pfn_offset = PFN_DOWN(offset);
1031         dev_dbg(dev, "dma_pfn_offset(%#08llx)\n", offset);
1032 }
1033
1034 static bool iort_pci_rc_supports_ats(struct acpi_iort_node *node)
1035 {
1036         struct acpi_iort_root_complex *pci_rc;
1037
1038         pci_rc = (struct acpi_iort_root_complex *)node->node_data;
1039         return pci_rc->ats_attribute & ACPI_IORT_ATS_SUPPORTED;
1040 }
1041
1042 /**
1043  * iort_iommu_configure - Set-up IOMMU configuration for a device.
1044  *
1045  * @dev: device to configure
1046  *
1047  * Returns: iommu_ops pointer on configuration success
1048  *          NULL on configuration failure
1049  */
1050 const struct iommu_ops *iort_iommu_configure(struct device *dev)
1051 {
1052         struct acpi_iort_node *node, *parent;
1053         const struct iommu_ops *ops;
1054         u32 streamid = 0;
1055         int err = -ENODEV;
1056
1057         /*
1058          * If we already translated the fwspec there
1059          * is nothing left to do, return the iommu_ops.
1060          */
1061         ops = iort_fwspec_iommu_ops(dev);
1062         if (ops)
1063                 return ops;
1064
1065         if (dev_is_pci(dev)) {
1066                 struct pci_bus *bus = to_pci_dev(dev)->bus;
1067                 struct iort_pci_alias_info info = { .dev = dev };
1068
1069                 node = iort_scan_node(ACPI_IORT_NODE_PCI_ROOT_COMPLEX,
1070                                       iort_match_node_callback, &bus->dev);
1071                 if (!node)
1072                         return NULL;
1073
1074                 info.node = node;
1075                 err = pci_for_each_dma_alias(to_pci_dev(dev),
1076                                              iort_pci_iommu_init, &info);
1077
1078                 if (!err && iort_pci_rc_supports_ats(node))
1079                         dev->iommu_fwspec->flags |= IOMMU_FWSPEC_PCI_RC_ATS;
1080         } else {
1081                 int i = 0;
1082
1083                 node = iort_scan_node(ACPI_IORT_NODE_NAMED_COMPONENT,
1084                                       iort_match_node_callback, dev);
1085                 if (!node)
1086                         return NULL;
1087
1088                 do {
1089                         parent = iort_node_map_platform_id(node, &streamid,
1090                                                            IORT_IOMMU_TYPE,
1091                                                            i++);
1092
1093                         if (parent)
1094                                 err = iort_iommu_xlate(dev, parent, streamid);
1095                 } while (parent && !err);
1096         }
1097
1098         /*
1099          * If we have reason to believe the IOMMU driver missed the initial
1100          * add_device callback for dev, replay it to get things in order.
1101          */
1102         if (!err) {
1103                 ops = iort_fwspec_iommu_ops(dev);
1104                 err = iort_add_device_replay(ops, dev);
1105         }
1106
1107         /* Ignore all other errors apart from EPROBE_DEFER */
1108         if (err == -EPROBE_DEFER) {
1109                 ops = ERR_PTR(err);
1110         } else if (err) {
1111                 dev_dbg(dev, "Adding to IOMMU failed: %d\n", err);
1112                 ops = NULL;
1113         }
1114
1115         return ops;
1116 }
1117
1118 static void __init acpi_iort_register_irq(int hwirq, const char *name,
1119                                           int trigger,
1120                                           struct resource *res)
1121 {
1122         int irq = acpi_register_gsi(NULL, hwirq, trigger,
1123                                     ACPI_ACTIVE_HIGH);
1124
1125         if (irq <= 0) {
1126                 pr_err("could not register gsi hwirq %d name [%s]\n", hwirq,
1127                                                                       name);
1128                 return;
1129         }
1130
1131         res->start = irq;
1132         res->end = irq;
1133         res->flags = IORESOURCE_IRQ;
1134         res->name = name;
1135 }
1136
1137 static int __init arm_smmu_v3_count_resources(struct acpi_iort_node *node)
1138 {
1139         struct acpi_iort_smmu_v3 *smmu;
1140         /* Always present mem resource */
1141         int num_res = 1;
1142
1143         /* Retrieve SMMUv3 specific data */
1144         smmu = (struct acpi_iort_smmu_v3 *)node->node_data;
1145
1146         if (smmu->event_gsiv)
1147                 num_res++;
1148
1149         if (smmu->pri_gsiv)
1150                 num_res++;
1151
1152         if (smmu->gerr_gsiv)
1153                 num_res++;
1154
1155         if (smmu->sync_gsiv)
1156                 num_res++;
1157
1158         return num_res;
1159 }
1160
1161 static bool arm_smmu_v3_is_combined_irq(struct acpi_iort_smmu_v3 *smmu)
1162 {
1163         /*
1164          * Cavium ThunderX2 implementation doesn't not support unique
1165          * irq line. Use single irq line for all the SMMUv3 interrupts.
1166          */
1167         if (smmu->model != ACPI_IORT_SMMU_V3_CAVIUM_CN99XX)
1168                 return false;
1169
1170         /*
1171          * ThunderX2 doesn't support MSIs from the SMMU, so we're checking
1172          * SPI numbers here.
1173          */
1174         return smmu->event_gsiv == smmu->pri_gsiv &&
1175                smmu->event_gsiv == smmu->gerr_gsiv &&
1176                smmu->event_gsiv == smmu->sync_gsiv;
1177 }
1178
1179 static unsigned long arm_smmu_v3_resource_size(struct acpi_iort_smmu_v3 *smmu)
1180 {
1181         /*
1182          * Override the size, for Cavium ThunderX2 implementation
1183          * which doesn't support the page 1 SMMU register space.
1184          */
1185         if (smmu->model == ACPI_IORT_SMMU_V3_CAVIUM_CN99XX)
1186                 return SZ_64K;
1187
1188         return SZ_128K;
1189 }
1190
1191 static void __init arm_smmu_v3_init_resources(struct resource *res,
1192                                               struct acpi_iort_node *node)
1193 {
1194         struct acpi_iort_smmu_v3 *smmu;
1195         int num_res = 0;
1196
1197         /* Retrieve SMMUv3 specific data */
1198         smmu = (struct acpi_iort_smmu_v3 *)node->node_data;
1199
1200         res[num_res].start = smmu->base_address;
1201         res[num_res].end = smmu->base_address +
1202                                 arm_smmu_v3_resource_size(smmu) - 1;
1203         res[num_res].flags = IORESOURCE_MEM;
1204
1205         num_res++;
1206         if (arm_smmu_v3_is_combined_irq(smmu)) {
1207                 if (smmu->event_gsiv)
1208                         acpi_iort_register_irq(smmu->event_gsiv, "combined",
1209                                                ACPI_EDGE_SENSITIVE,
1210                                                &res[num_res++]);
1211         } else {
1212
1213                 if (smmu->event_gsiv)
1214                         acpi_iort_register_irq(smmu->event_gsiv, "eventq",
1215                                                ACPI_EDGE_SENSITIVE,
1216                                                &res[num_res++]);
1217
1218                 if (smmu->pri_gsiv)
1219                         acpi_iort_register_irq(smmu->pri_gsiv, "priq",
1220                                                ACPI_EDGE_SENSITIVE,
1221                                                &res[num_res++]);
1222
1223                 if (smmu->gerr_gsiv)
1224                         acpi_iort_register_irq(smmu->gerr_gsiv, "gerror",
1225                                                ACPI_EDGE_SENSITIVE,
1226                                                &res[num_res++]);
1227
1228                 if (smmu->sync_gsiv)
1229                         acpi_iort_register_irq(smmu->sync_gsiv, "cmdq-sync",
1230                                                ACPI_EDGE_SENSITIVE,
1231                                                &res[num_res++]);
1232         }
1233 }
1234
1235 static void __init arm_smmu_v3_dma_configure(struct device *dev,
1236                                              struct acpi_iort_node *node)
1237 {
1238         struct acpi_iort_smmu_v3 *smmu;
1239         enum dev_dma_attr attr;
1240
1241         /* Retrieve SMMUv3 specific data */
1242         smmu = (struct acpi_iort_smmu_v3 *)node->node_data;
1243
1244         attr = (smmu->flags & ACPI_IORT_SMMU_V3_COHACC_OVERRIDE) ?
1245                         DEV_DMA_COHERENT : DEV_DMA_NON_COHERENT;
1246
1247         /* We expect the dma masks to be equivalent for all SMMUv3 set-ups */
1248         dev->dma_mask = &dev->coherent_dma_mask;
1249
1250         /* Configure DMA for the page table walker */
1251         acpi_dma_configure(dev, attr);
1252 }
1253
1254 #if defined(CONFIG_ACPI_NUMA)
1255 /*
1256  * set numa proximity domain for smmuv3 device
1257  */
1258 static int  __init arm_smmu_v3_set_proximity(struct device *dev,
1259                                               struct acpi_iort_node *node)
1260 {
1261         struct acpi_iort_smmu_v3 *smmu;
1262
1263         smmu = (struct acpi_iort_smmu_v3 *)node->node_data;
1264         if (smmu->flags & ACPI_IORT_SMMU_V3_PXM_VALID) {
1265                 int node = acpi_map_pxm_to_node(smmu->pxm);
1266
1267                 if (node != NUMA_NO_NODE && !node_online(node))
1268                         return -EINVAL;
1269
1270                 set_dev_node(dev, node);
1271                 pr_info("SMMU-v3[%llx] Mapped to Proximity domain %d\n",
1272                         smmu->base_address,
1273                         smmu->pxm);
1274         }
1275         return 0;
1276 }
1277 #else
1278 #define arm_smmu_v3_set_proximity NULL
1279 #endif
1280
1281 static int __init arm_smmu_count_resources(struct acpi_iort_node *node)
1282 {
1283         struct acpi_iort_smmu *smmu;
1284
1285         /* Retrieve SMMU specific data */
1286         smmu = (struct acpi_iort_smmu *)node->node_data;
1287
1288         /*
1289          * Only consider the global fault interrupt and ignore the
1290          * configuration access interrupt.
1291          *
1292          * MMIO address and global fault interrupt resources are always
1293          * present so add them to the context interrupt count as a static
1294          * value.
1295          */
1296         return smmu->context_interrupt_count + 2;
1297 }
1298
1299 static void __init arm_smmu_init_resources(struct resource *res,
1300                                            struct acpi_iort_node *node)
1301 {
1302         struct acpi_iort_smmu *smmu;
1303         int i, hw_irq, trigger, num_res = 0;
1304         u64 *ctx_irq, *glb_irq;
1305
1306         /* Retrieve SMMU specific data */
1307         smmu = (struct acpi_iort_smmu *)node->node_data;
1308
1309         res[num_res].start = smmu->base_address;
1310         res[num_res].end = smmu->base_address + smmu->span - 1;
1311         res[num_res].flags = IORESOURCE_MEM;
1312         num_res++;
1313
1314         glb_irq = ACPI_ADD_PTR(u64, node, smmu->global_interrupt_offset);
1315         /* Global IRQs */
1316         hw_irq = IORT_IRQ_MASK(glb_irq[0]);
1317         trigger = IORT_IRQ_TRIGGER_MASK(glb_irq[0]);
1318
1319         acpi_iort_register_irq(hw_irq, "arm-smmu-global", trigger,
1320                                      &res[num_res++]);
1321
1322         /* Context IRQs */
1323         ctx_irq = ACPI_ADD_PTR(u64, node, smmu->context_interrupt_offset);
1324         for (i = 0; i < smmu->context_interrupt_count; i++) {
1325                 hw_irq = IORT_IRQ_MASK(ctx_irq[i]);
1326                 trigger = IORT_IRQ_TRIGGER_MASK(ctx_irq[i]);
1327
1328                 acpi_iort_register_irq(hw_irq, "arm-smmu-context", trigger,
1329                                        &res[num_res++]);
1330         }
1331 }
1332
1333 static void __init arm_smmu_dma_configure(struct device *dev,
1334                                           struct acpi_iort_node *node)
1335 {
1336         struct acpi_iort_smmu *smmu;
1337         enum dev_dma_attr attr;
1338
1339         /* Retrieve SMMU specific data */
1340         smmu = (struct acpi_iort_smmu *)node->node_data;
1341
1342         attr = (smmu->flags & ACPI_IORT_SMMU_COHERENT_WALK) ?
1343                         DEV_DMA_COHERENT : DEV_DMA_NON_COHERENT;
1344
1345         /* We expect the dma masks to be equivalent for SMMU set-ups */
1346         dev->dma_mask = &dev->coherent_dma_mask;
1347
1348         /* Configure DMA for the page table walker */
1349         acpi_dma_configure(dev, attr);
1350 }
1351
1352 static int __init arm_smmu_v3_pmcg_count_resources(struct acpi_iort_node *node)
1353 {
1354         struct acpi_iort_pmcg *pmcg;
1355
1356         /* Retrieve PMCG specific data */
1357         pmcg = (struct acpi_iort_pmcg *)node->node_data;
1358
1359         /*
1360          * There are always 2 memory resources.
1361          * If the overflow_gsiv is present then add that for a total of 3.
1362          */
1363         return pmcg->overflow_gsiv ? 3 : 2;
1364 }
1365
1366 static void __init arm_smmu_v3_pmcg_init_resources(struct resource *res,
1367                                                    struct acpi_iort_node *node)
1368 {
1369         struct acpi_iort_pmcg *pmcg;
1370
1371         /* Retrieve PMCG specific data */
1372         pmcg = (struct acpi_iort_pmcg *)node->node_data;
1373
1374         res[0].start = pmcg->page0_base_address;
1375         res[0].end = pmcg->page0_base_address + SZ_4K - 1;
1376         res[0].flags = IORESOURCE_MEM;
1377         res[1].start = pmcg->page1_base_address;
1378         res[1].end = pmcg->page1_base_address + SZ_4K - 1;
1379         res[1].flags = IORESOURCE_MEM;
1380
1381         if (pmcg->overflow_gsiv)
1382                 acpi_iort_register_irq(pmcg->overflow_gsiv, "overflow",
1383                                        ACPI_EDGE_SENSITIVE, &res[2]);
1384 }
1385
1386 static struct acpi_platform_list pmcg_plat_info[] __initdata = {
1387         /* HiSilicon Hip08 Platform */
1388         {"HISI  ", "HIP08   ", 0, ACPI_SIG_IORT, greater_than_or_equal,
1389          "Erratum #162001800", IORT_SMMU_V3_PMCG_HISI_HIP08},
1390         { }
1391 };
1392
1393 static int __init arm_smmu_v3_pmcg_add_platdata(struct platform_device *pdev)
1394 {
1395         u32 model;
1396         int idx;
1397
1398         idx = acpi_match_platform_list(pmcg_plat_info);
1399         if (idx >= 0)
1400                 model = pmcg_plat_info[idx].data;
1401         else
1402                 model = IORT_SMMU_V3_PMCG_GENERIC;
1403
1404         return platform_device_add_data(pdev, &model, sizeof(model));
1405 }
1406
1407 struct iort_dev_config {
1408         const char *name;
1409         int (*dev_init)(struct acpi_iort_node *node);
1410         void (*dev_dma_configure)(struct device *dev,
1411                                   struct acpi_iort_node *node);
1412         int (*dev_count_resources)(struct acpi_iort_node *node);
1413         void (*dev_init_resources)(struct resource *res,
1414                                      struct acpi_iort_node *node);
1415         int (*dev_set_proximity)(struct device *dev,
1416                                     struct acpi_iort_node *node);
1417         int (*dev_add_platdata)(struct platform_device *pdev);
1418 };
1419
1420 static const struct iort_dev_config iort_arm_smmu_v3_cfg __initconst = {
1421         .name = "arm-smmu-v3",
1422         .dev_dma_configure = arm_smmu_v3_dma_configure,
1423         .dev_count_resources = arm_smmu_v3_count_resources,
1424         .dev_init_resources = arm_smmu_v3_init_resources,
1425         .dev_set_proximity = arm_smmu_v3_set_proximity,
1426 };
1427
1428 static const struct iort_dev_config iort_arm_smmu_cfg __initconst = {
1429         .name = "arm-smmu",
1430         .dev_dma_configure = arm_smmu_dma_configure,
1431         .dev_count_resources = arm_smmu_count_resources,
1432         .dev_init_resources = arm_smmu_init_resources,
1433 };
1434
1435 static const struct iort_dev_config iort_arm_smmu_v3_pmcg_cfg __initconst = {
1436         .name = "arm-smmu-v3-pmcg",
1437         .dev_count_resources = arm_smmu_v3_pmcg_count_resources,
1438         .dev_init_resources = arm_smmu_v3_pmcg_init_resources,
1439         .dev_add_platdata = arm_smmu_v3_pmcg_add_platdata,
1440 };
1441
1442 static __init const struct iort_dev_config *iort_get_dev_cfg(
1443                         struct acpi_iort_node *node)
1444 {
1445         switch (node->type) {
1446         case ACPI_IORT_NODE_SMMU_V3:
1447                 return &iort_arm_smmu_v3_cfg;
1448         case ACPI_IORT_NODE_SMMU:
1449                 return &iort_arm_smmu_cfg;
1450         case ACPI_IORT_NODE_PMCG:
1451                 return &iort_arm_smmu_v3_pmcg_cfg;
1452         default:
1453                 return NULL;
1454         }
1455 }
1456
1457 /**
1458  * iort_add_platform_device() - Allocate a platform device for IORT node
1459  * @node: Pointer to device ACPI IORT node
1460  *
1461  * Returns: 0 on success, <0 failure
1462  */
1463 static int __init iort_add_platform_device(struct acpi_iort_node *node,
1464                                            const struct iort_dev_config *ops)
1465 {
1466         struct fwnode_handle *fwnode;
1467         struct platform_device *pdev;
1468         struct resource *r;
1469         int ret, count;
1470
1471         pdev = platform_device_alloc(ops->name, PLATFORM_DEVID_AUTO);
1472         if (!pdev)
1473                 return -ENOMEM;
1474
1475         if (ops->dev_set_proximity) {
1476                 ret = ops->dev_set_proximity(&pdev->dev, node);
1477                 if (ret)
1478                         goto dev_put;
1479         }
1480
1481         count = ops->dev_count_resources(node);
1482
1483         r = kcalloc(count, sizeof(*r), GFP_KERNEL);
1484         if (!r) {
1485                 ret = -ENOMEM;
1486                 goto dev_put;
1487         }
1488
1489         ops->dev_init_resources(r, node);
1490
1491         ret = platform_device_add_resources(pdev, r, count);
1492         /*
1493          * Resources are duplicated in platform_device_add_resources,
1494          * free their allocated memory
1495          */
1496         kfree(r);
1497
1498         if (ret)
1499                 goto dev_put;
1500
1501         /*
1502          * Platform devices based on PMCG nodes uses platform_data to
1503          * pass the hardware model info to the driver. For others, add
1504          * a copy of IORT node pointer to platform_data to be used to
1505          * retrieve IORT data information.
1506          */
1507         if (ops->dev_add_platdata)
1508                 ret = ops->dev_add_platdata(pdev);
1509         else
1510                 ret = platform_device_add_data(pdev, &node, sizeof(node));
1511
1512         if (ret)
1513                 goto dev_put;
1514
1515         fwnode = iort_get_fwnode(node);
1516
1517         if (!fwnode) {
1518                 ret = -ENODEV;
1519                 goto dev_put;
1520         }
1521
1522         pdev->dev.fwnode = fwnode;
1523
1524         if (ops->dev_dma_configure)
1525                 ops->dev_dma_configure(&pdev->dev, node);
1526
1527         iort_set_device_domain(&pdev->dev, node);
1528
1529         ret = platform_device_add(pdev);
1530         if (ret)
1531                 goto dma_deconfigure;
1532
1533         return 0;
1534
1535 dma_deconfigure:
1536         arch_teardown_dma_ops(&pdev->dev);
1537 dev_put:
1538         platform_device_put(pdev);
1539
1540         return ret;
1541 }
1542
1543 #ifdef CONFIG_PCI
1544 static void __init iort_enable_acs(struct acpi_iort_node *iort_node)
1545 {
1546         static bool acs_enabled __initdata;
1547
1548         if (acs_enabled)
1549                 return;
1550
1551         if (iort_node->type == ACPI_IORT_NODE_PCI_ROOT_COMPLEX) {
1552                 struct acpi_iort_node *parent;
1553                 struct acpi_iort_id_mapping *map;
1554                 int i;
1555
1556                 map = ACPI_ADD_PTR(struct acpi_iort_id_mapping, iort_node,
1557                                    iort_node->mapping_offset);
1558
1559                 for (i = 0; i < iort_node->mapping_count; i++, map++) {
1560                         if (!map->output_reference)
1561                                 continue;
1562
1563                         parent = ACPI_ADD_PTR(struct acpi_iort_node,
1564                                         iort_table,  map->output_reference);
1565                         /*
1566                          * If we detect a RC->SMMU mapping, make sure
1567                          * we enable ACS on the system.
1568                          */
1569                         if ((parent->type == ACPI_IORT_NODE_SMMU) ||
1570                                 (parent->type == ACPI_IORT_NODE_SMMU_V3)) {
1571                                 pci_request_acs();
1572                                 acs_enabled = true;
1573                                 return;
1574                         }
1575                 }
1576         }
1577 }
1578 #else
1579 static inline void iort_enable_acs(struct acpi_iort_node *iort_node) { }
1580 #endif
1581
1582 static void __init iort_init_platform_devices(void)
1583 {
1584         struct acpi_iort_node *iort_node, *iort_end;
1585         struct acpi_table_iort *iort;
1586         struct fwnode_handle *fwnode;
1587         int i, ret;
1588         const struct iort_dev_config *ops;
1589
1590         /*
1591          * iort_table and iort both point to the start of IORT table, but
1592          * have different struct types
1593          */
1594         iort = (struct acpi_table_iort *)iort_table;
1595
1596         /* Get the first IORT node */
1597         iort_node = ACPI_ADD_PTR(struct acpi_iort_node, iort,
1598                                  iort->node_offset);
1599         iort_end = ACPI_ADD_PTR(struct acpi_iort_node, iort,
1600                                 iort_table->length);
1601
1602         for (i = 0; i < iort->node_count; i++) {
1603                 if (iort_node >= iort_end) {
1604                         pr_err("iort node pointer overflows, bad table\n");
1605                         return;
1606                 }
1607
1608                 iort_enable_acs(iort_node);
1609
1610                 ops = iort_get_dev_cfg(iort_node);
1611                 if (ops) {
1612                         fwnode = acpi_alloc_fwnode_static();
1613                         if (!fwnode)
1614                                 return;
1615
1616                         iort_set_fwnode(iort_node, fwnode);
1617
1618                         ret = iort_add_platform_device(iort_node, ops);
1619                         if (ret) {
1620                                 iort_delete_fwnode(iort_node);
1621                                 acpi_free_fwnode_static(fwnode);
1622                                 return;
1623                         }
1624                 }
1625
1626                 iort_node = ACPI_ADD_PTR(struct acpi_iort_node, iort_node,
1627                                          iort_node->length);
1628         }
1629 }
1630
1631 void __init acpi_iort_init(void)
1632 {
1633         acpi_status status;
1634
1635         status = acpi_get_table(ACPI_SIG_IORT, 0, &iort_table);
1636         if (ACPI_FAILURE(status)) {
1637                 if (status != AE_NOT_FOUND) {
1638                         const char *msg = acpi_format_exception(status);
1639
1640                         pr_err("Failed to get table, %s\n", msg);
1641                 }
1642
1643                 return;
1644         }
1645
1646         iort_init_platform_devices();
1647 }