drivers/net/ethernet/mellanox/mlx5/core/eq.c

   1 /*
   2  * Copyright (c) 2013-2015, Mellanox Technologies. All rights reserved.
   3  *
   4  * This software is available to you under a choice of one of two
   5  * licenses.  You may choose to be licensed under the terms of the GNU
   6  * General Public License (GPL) Version 2, available from the file
   7  * COPYING in the main directory of this source tree, or the
   8  * OpenIB.org BSD license below:
   9  *
  10  *     Redistribution and use in source and binary forms, with or
  11  *     without modification, are permitted provided that the following
  12  *     conditions are met:
  13  *
  14  *      - Redistributions of source code must retain the above
  15  *        copyright notice, this list of conditions and the following
  16  *        disclaimer.
  17  *
  18  *      - Redistributions in binary form must reproduce the above
  19  *        copyright notice, this list of conditions and the following
  20  *        disclaimer in the documentation and/or other materials
  21  *        provided with the distribution.
  22  *
  23  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND,
  24  * EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF
  25  * MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND
  26  * NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS
  27  * BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN
  28  * ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN
  29  * CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
  30  * SOFTWARE.
  31  */
  32
  33 #include <linux/interrupt.h>
  34 #include <linux/notifier.h>
  35 #include <linux/module.h>
  36 #include <linux/mlx5/driver.h>
  37 #include <linux/mlx5/vport.h>
  38 #include <linux/mlx5/eq.h>
  39 #ifdef CONFIG_RFS_ACCEL
  40 #include <linux/cpu_rmap.h>
  41 #endif
  42 #include "mlx5_core.h"
  43 #include "lib/eq.h"
  44 #include "fpga/core.h"
  45 #include "eswitch.h"
  46 #include "lib/clock.h"
  47 #include "diag/fw_tracer.h"
  48
  49 enum {
  50         MLX5_EQE_OWNER_INIT_VAL = 0x1,
  51 };
  52
  53 enum {
  54         MLX5_EQ_STATE_ARMED             = 0x9,
  55         MLX5_EQ_STATE_FIRED             = 0xa,
  56         MLX5_EQ_STATE_ALWAYS_ARMED      = 0xb,
  57 };
  58
  59 enum {
  60         MLX5_EQ_DOORBEL_OFFSET  = 0x40,
  61 };
  62
  63 /* budget must be smaller than MLX5_NUM_SPARE_EQE to guarantee that we update
  64  * the ci before we polled all the entries in the EQ. MLX5_NUM_SPARE_EQE is
  65  * used to set the EQ size, budget must be smaller than the EQ size.
  66  */
  67 enum {
  68         MLX5_EQ_POLLING_BUDGET  = 128,
  69 };
  70
  71 static_assert(MLX5_EQ_POLLING_BUDGET <= MLX5_NUM_SPARE_EQE);
  72
  73 struct mlx5_eq_table {
  74         struct list_head        comp_eqs_list;
  75         struct mlx5_eq_async    pages_eq;
  76         struct mlx5_eq_async    cmd_eq;
  77         struct mlx5_eq_async    async_eq;
  78
  79         struct atomic_notifier_head nh[MLX5_EVENT_TYPE_MAX];
  80
  81         /* Since CQ DB is stored in async_eq */
  82         struct mlx5_nb          cq_err_nb;
  83
  84         struct mutex            lock; /* sync async eqs creations */
  85         int                     num_comp_eqs;
  86         struct mlx5_irq_table   *irq_table;
  87 };
  88
  89 #define MLX5_ASYNC_EVENT_MASK ((1ull << MLX5_EVENT_TYPE_PATH_MIG)           | \
  90                                (1ull << MLX5_EVENT_TYPE_COMM_EST)           | \
  91                                (1ull << MLX5_EVENT_TYPE_SQ_DRAINED)         | \
  92                                (1ull << MLX5_EVENT_TYPE_CQ_ERROR)           | \
  93                                (1ull << MLX5_EVENT_TYPE_WQ_CATAS_ERROR)     | \
  94                                (1ull << MLX5_EVENT_TYPE_PATH_MIG_FAILED)    | \
  95                                (1ull << MLX5_EVENT_TYPE_WQ_INVAL_REQ_ERROR) | \
  96                                (1ull << MLX5_EVENT_TYPE_WQ_ACCESS_ERROR)    | \
  97                                (1ull << MLX5_EVENT_TYPE_PORT_CHANGE)        | \
  98                                (1ull << MLX5_EVENT_TYPE_SRQ_CATAS_ERROR)    | \
  99                                (1ull << MLX5_EVENT_TYPE_SRQ_LAST_WQE)       | \
 100                                (1ull << MLX5_EVENT_TYPE_SRQ_RQ_LIMIT))
 101
 102 static int mlx5_cmd_destroy_eq(struct mlx5_core_dev *dev, u8 eqn)
 103 {
 104         u32 in[MLX5_ST_SZ_DW(destroy_eq_in)] = {};
 105
 106         MLX5_SET(destroy_eq_in, in, opcode, MLX5_CMD_OP_DESTROY_EQ);
 107         MLX5_SET(destroy_eq_in, in, eq_number, eqn);
 108         return mlx5_cmd_exec_in(dev, destroy_eq, in);
 109 }
 110
 111 /* caller must eventually call mlx5_cq_put on the returned cq */
 112 static struct mlx5_core_cq *mlx5_eq_cq_get(struct mlx5_eq *eq, u32 cqn)
 113 {
 114         struct mlx5_cq_table *table = &eq->cq_table;
 115         struct mlx5_core_cq *cq = NULL;
 116
 117         rcu_read_lock();
 118         cq = radix_tree_lookup(&table->tree, cqn);
 119         if (likely(cq))
 120                 mlx5_cq_hold(cq);
 121         rcu_read_unlock();
 122
 123         return cq;
 124 }
 125
 126 static int mlx5_eq_comp_int(struct notifier_block *nb,
 127                             __always_unused unsigned long action,
 128                             __always_unused void *data)
 129 {
 130         struct mlx5_eq_comp *eq_comp =
 131                 container_of(nb, struct mlx5_eq_comp, irq_nb);
 132         struct mlx5_eq *eq = &eq_comp->core;
 133         struct mlx5_eqe *eqe;
 134         int num_eqes = 0;
 135         u32 cqn = -1;
 136
 137         eqe = next_eqe_sw(eq);
 138         if (!eqe)
 139                 goto out;
 140
 141         do {
 142                 struct mlx5_core_cq *cq;
 143
 144                 /* Make sure we read EQ entry contents after we've
 145                  * checked the ownership bit.
 146                  */
 147                 dma_rmb();
 148                 /* Assume (eqe->type) is always MLX5_EVENT_TYPE_COMP */
 149                 cqn = be32_to_cpu(eqe->data.comp.cqn) & 0xffffff;
 150
 151                 cq = mlx5_eq_cq_get(eq, cqn);
 152                 if (likely(cq)) {
 153                         ++cq->arm_sn;
 154                         cq->comp(cq, eqe);
 155                         mlx5_cq_put(cq);
 156                 } else {
 157                         dev_dbg_ratelimited(eq->dev->device,
 158                                             "Completion event for bogus CQ 0x%x\n", cqn);
 159                 }
 160
 161                 ++eq->cons_index;
 162
 163         } while ((++num_eqes < MLX5_EQ_POLLING_BUDGET) && (eqe = next_eqe_sw(eq)));
 164
 165 out:
 166         eq_update_ci(eq, 1);
 167
 168         if (cqn != -1)
 169                 tasklet_schedule(&eq_comp->tasklet_ctx.task);
 170
 171         return 0;
 172 }
 173
 174 /* Some architectures don't latch interrupts when they are disabled, so using
 175  * mlx5_eq_poll_irq_disabled could end up losing interrupts while trying to
 176  * avoid losing them.  It is not recommended to use it, unless this is the last
 177  * resort.
 178  */
 179 u32 mlx5_eq_poll_irq_disabled(struct mlx5_eq_comp *eq)
 180 {
 181         u32 count_eqe;
 182
 183         disable_irq(eq->core.irqn);
 184         count_eqe = eq->core.cons_index;
 185         mlx5_eq_comp_int(&eq->irq_nb, 0, NULL);
 186         count_eqe = eq->core.cons_index - count_eqe;
 187         enable_irq(eq->core.irqn);
 188
 189         return count_eqe;
 190 }
 191
 192 static void mlx5_eq_async_int_lock(struct mlx5_eq_async *eq, bool recovery,
 193                                    unsigned long *flags)
 194         __acquires(&eq->lock)
 195 {
 196         if (!recovery)
 197                 spin_lock(&eq->lock);
 198         else
 199                 spin_lock_irqsave(&eq->lock, *flags);
 200 }
 201
 202 static void mlx5_eq_async_int_unlock(struct mlx5_eq_async *eq, bool recovery,
 203                                      unsigned long *flags)
 204         __releases(&eq->lock)
 205 {
 206         if (!recovery)
 207                 spin_unlock(&eq->lock);
 208         else
 209                 spin_unlock_irqrestore(&eq->lock, *flags);
 210 }
 211
 212 enum async_eq_nb_action {
 213         ASYNC_EQ_IRQ_HANDLER = 0,
 214         ASYNC_EQ_RECOVER = 1,
 215 };
 216
 217 static int mlx5_eq_async_int(struct notifier_block *nb,
 218                              unsigned long action, void *data)
 219 {
 220         struct mlx5_eq_async *eq_async =
 221                 container_of(nb, struct mlx5_eq_async, irq_nb);
 222         struct mlx5_eq *eq = &eq_async->core;
 223         struct mlx5_eq_table *eqt;
 224         struct mlx5_core_dev *dev;
 225         struct mlx5_eqe *eqe;
 226         unsigned long flags;
 227         int num_eqes = 0;
 228         bool recovery;
 229
 230         dev = eq->dev;
 231         eqt = dev->priv.eq_table;
 232
 233         recovery = action == ASYNC_EQ_RECOVER;
 234         mlx5_eq_async_int_lock(eq_async, recovery, &flags);
 235
 236         eqe = next_eqe_sw(eq);
 237         if (!eqe)
 238                 goto out;
 239
 240         do {
 241                 /*
 242                  * Make sure we read EQ entry contents after we've
 243                  * checked the ownership bit.
 244                  */
 245                 dma_rmb();
 246
 247                 atomic_notifier_call_chain(&eqt->nh[eqe->type], eqe->type, eqe);
 248                 atomic_notifier_call_chain(&eqt->nh[MLX5_EVENT_TYPE_NOTIFY_ANY], eqe->type, eqe);
 249
 250                 ++eq->cons_index;
 251
 252         } while ((++num_eqes < MLX5_EQ_POLLING_BUDGET) && (eqe = next_eqe_sw(eq)));
 253
 254 out:
 255         eq_update_ci(eq, 1);
 256         mlx5_eq_async_int_unlock(eq_async, recovery, &flags);
 257
 258         return unlikely(recovery) ? num_eqes : 0;
 259 }
 260
 261 void mlx5_cmd_eq_recover(struct mlx5_core_dev *dev)
 262 {
 263         struct mlx5_eq_async *eq = &dev->priv.eq_table->cmd_eq;
 264         int eqes;
 265
 266         eqes = mlx5_eq_async_int(&eq->irq_nb, ASYNC_EQ_RECOVER, NULL);
 267         if (eqes)
 268                 mlx5_core_warn(dev, "Recovered %d EQEs on cmd_eq\n", eqes);
 269 }
 270
 271 static void init_eq_buf(struct mlx5_eq *eq)
 272 {
 273         struct mlx5_eqe *eqe;
 274         int i;
 275
 276         for (i = 0; i < eq_get_size(eq); i++) {
 277                 eqe = get_eqe(eq, i);
 278                 eqe->owner = MLX5_EQE_OWNER_INIT_VAL;
 279         }
 280 }
 281
 282 static int
 283 create_map_eq(struct mlx5_core_dev *dev, struct mlx5_eq *eq,
 284               struct mlx5_eq_param *param)
 285 {
 286         u8 log_eq_size = order_base_2(param->nent + MLX5_NUM_SPARE_EQE);
 287         struct mlx5_cq_table *cq_table = &eq->cq_table;
 288         u32 out[MLX5_ST_SZ_DW(create_eq_out)] = {0};
 289         u8 log_eq_stride = ilog2(MLX5_EQE_SIZE);
 290         struct mlx5_priv *priv = &dev->priv;
 291         u8 vecidx = param->irq_index;
 292         __be64 *pas;
 293         void *eqc;
 294         int inlen;
 295         u32 *in;
 296         int err;
 297         int i;
 298
 299         /* Init CQ table */
 300         memset(cq_table, 0, sizeof(*cq_table));
 301         spin_lock_init(&cq_table->lock);
 302         INIT_RADIX_TREE(&cq_table->tree, GFP_ATOMIC);
 303
 304         eq->cons_index = 0;
 305
 306         err = mlx5_frag_buf_alloc_node(dev, wq_get_byte_sz(log_eq_size, log_eq_stride),
 307                                        &eq->frag_buf, dev->priv.numa_node);
 308         if (err)
 309                 return err;
 310
 311         mlx5_init_fbc(eq->frag_buf.frags, log_eq_stride, log_eq_size, &eq->fbc);
 312         init_eq_buf(eq);
 313
 314         inlen = MLX5_ST_SZ_BYTES(create_eq_in) +
 315                 MLX5_FLD_SZ_BYTES(create_eq_in, pas[0]) * eq->frag_buf.npages;
 316
 317         in = kvzalloc(inlen, GFP_KERNEL);
 318         if (!in) {
 319                 err = -ENOMEM;
 320                 goto err_buf;
 321         }
 322
 323         pas = (__be64 *)MLX5_ADDR_OF(create_eq_in, in, pas);
 324         mlx5_fill_page_frag_array(&eq->frag_buf, pas);
 325
 326         MLX5_SET(create_eq_in, in, opcode, MLX5_CMD_OP_CREATE_EQ);
 327         if (!param->mask[0] && MLX5_CAP_GEN(dev, log_max_uctx))
 328                 MLX5_SET(create_eq_in, in, uid, MLX5_SHARED_RESOURCE_UID);
 329
 330         for (i = 0; i < 4; i++)
 331                 MLX5_ARRAY_SET64(create_eq_in, in, event_bitmask, i,
 332                                  param->mask[i]);
 333
 334         eqc = MLX5_ADDR_OF(create_eq_in, in, eq_context_entry);
 335         MLX5_SET(eqc, eqc, log_eq_size, eq->fbc.log_sz);
 336         MLX5_SET(eqc, eqc, uar_page, priv->uar->index);
 337         MLX5_SET(eqc, eqc, intr, vecidx);
 338         MLX5_SET(eqc, eqc, log_page_size,
 339                  eq->frag_buf.page_shift - MLX5_ADAPTER_PAGE_SHIFT);
 340
 341         err = mlx5_cmd_exec(dev, in, inlen, out, sizeof(out));
 342         if (err)
 343                 goto err_in;
 344
 345         eq->vecidx = vecidx;
 346         eq->eqn = MLX5_GET(create_eq_out, out, eq_number);
 347         eq->irqn = pci_irq_vector(dev->pdev, vecidx);
 348         eq->dev = dev;
 349         eq->doorbell = priv->uar->map + MLX5_EQ_DOORBEL_OFFSET;
 350
 351         err = mlx5_debug_eq_add(dev, eq);
 352         if (err)
 353                 goto err_eq;
 354
 355         kvfree(in);
 356         return 0;
 357
 358 err_eq:
 359         mlx5_cmd_destroy_eq(dev, eq->eqn);
 360
 361 err_in:
 362         kvfree(in);
 363
 364 err_buf:
 365         mlx5_frag_buf_free(dev, &eq->frag_buf);
 366         return err;
 367 }
 368
 369 /**
 370  * mlx5_eq_enable - Enable EQ for receiving EQEs
 371  * @dev : Device which owns the eq
 372  * @eq  : EQ to enable
 373  * @nb  : Notifier call block
 374  *
 375  * Must be called after EQ is created in device.
 376  *
 377  * @return: 0 if no error
 378  */
 379 int mlx5_eq_enable(struct mlx5_core_dev *dev, struct mlx5_eq *eq,
 380                    struct notifier_block *nb)
 381 {
 382         struct mlx5_eq_table *eq_table = dev->priv.eq_table;
 383         int err;
 384
 385         err = mlx5_irq_attach_nb(eq_table->irq_table, eq->vecidx, nb);
 386         if (!err)
 387                 eq_update_ci(eq, 1);
 388
 389         return err;
 390 }
 391 EXPORT_SYMBOL(mlx5_eq_enable);
 392
 393 /**
 394  * mlx5_eq_disable - Disable EQ for receiving EQEs
 395  * @dev : Device which owns the eq
 396  * @eq  : EQ to disable
 397  * @nb  : Notifier call block
 398  *
 399  * Must be called before EQ is destroyed.
 400  */
 401 void mlx5_eq_disable(struct mlx5_core_dev *dev, struct mlx5_eq *eq,
 402                      struct notifier_block *nb)
 403 {
 404         struct mlx5_eq_table *eq_table = dev->priv.eq_table;
 405
 406         mlx5_irq_detach_nb(eq_table->irq_table, eq->vecidx, nb);
 407 }
 408 EXPORT_SYMBOL(mlx5_eq_disable);
 409
 410 static int destroy_unmap_eq(struct mlx5_core_dev *dev, struct mlx5_eq *eq)
 411 {
 412         int err;
 413
 414         mlx5_debug_eq_remove(dev, eq);
 415
 416         err = mlx5_cmd_destroy_eq(dev, eq->eqn);
 417         if (err)
 418                 mlx5_core_warn(dev, "failed to destroy a previously created eq: eqn %d\n",
 419                                eq->eqn);
 420         synchronize_irq(eq->irqn);
 421
 422         mlx5_frag_buf_free(dev, &eq->frag_buf);
 423
 424         return err;
 425 }
 426
 427 int mlx5_eq_add_cq(struct mlx5_eq *eq, struct mlx5_core_cq *cq)
 428 {
 429         struct mlx5_cq_table *table = &eq->cq_table;
 430         int err;
 431
 432         spin_lock(&table->lock);
 433         err = radix_tree_insert(&table->tree, cq->cqn, cq);
 434         spin_unlock(&table->lock);
 435
 436         return err;
 437 }
 438
 439 void mlx5_eq_del_cq(struct mlx5_eq *eq, struct mlx5_core_cq *cq)
 440 {
 441         struct mlx5_cq_table *table = &eq->cq_table;
 442         struct mlx5_core_cq *tmp;
 443
 444         spin_lock(&table->lock);
 445         tmp = radix_tree_delete(&table->tree, cq->cqn);
 446         spin_unlock(&table->lock);
 447
 448         if (!tmp) {
 449                 mlx5_core_dbg(eq->dev, "cq 0x%x not found in eq 0x%x tree\n",
 450                               eq->eqn, cq->cqn);
 451                 return;
 452         }
 453
 454         if (tmp != cq)
 455                 mlx5_core_dbg(eq->dev, "corruption on cqn 0x%x in eq 0x%x\n",
 456                               eq->eqn, cq->cqn);
 457 }
 458
 459 int mlx5_eq_table_init(struct mlx5_core_dev *dev)
 460 {
 461         struct mlx5_eq_table *eq_table;
 462         int i;
 463
 464         eq_table = kvzalloc(sizeof(*eq_table), GFP_KERNEL);
 465         if (!eq_table)
 466                 return -ENOMEM;
 467
 468         dev->priv.eq_table = eq_table;
 469
 470         mlx5_eq_debugfs_init(dev);
 471
 472         mutex_init(&eq_table->lock);
 473         for (i = 0; i < MLX5_EVENT_TYPE_MAX; i++)
 474                 ATOMIC_INIT_NOTIFIER_HEAD(&eq_table->nh[i]);
 475
 476         eq_table->irq_table = mlx5_irq_table_get(dev);
 477         return 0;
 478 }
 479
 480 void mlx5_eq_table_cleanup(struct mlx5_core_dev *dev)
 481 {
 482         mlx5_eq_debugfs_cleanup(dev);
 483         kvfree(dev->priv.eq_table);
 484 }
 485
 486 /* Async EQs */
 487
 488 static int create_async_eq(struct mlx5_core_dev *dev,
 489                            struct mlx5_eq *eq, struct mlx5_eq_param *param)
 490 {
 491         struct mlx5_eq_table *eq_table = dev->priv.eq_table;
 492         int err;
 493
 494         mutex_lock(&eq_table->lock);
 495         /* Async EQs must share irq index 0 */
 496         if (param->irq_index != 0) {
 497                 err = -EINVAL;
 498                 goto unlock;
 499         }
 500
 501         err = create_map_eq(dev, eq, param);
 502 unlock:
 503         mutex_unlock(&eq_table->lock);
 504         return err;
 505 }
 506
 507 static int destroy_async_eq(struct mlx5_core_dev *dev, struct mlx5_eq *eq)
 508 {
 509         struct mlx5_eq_table *eq_table = dev->priv.eq_table;
 510         int err;
 511
 512         mutex_lock(&eq_table->lock);
 513         err = destroy_unmap_eq(dev, eq);
 514         mutex_unlock(&eq_table->lock);
 515         return err;
 516 }
 517
 518 static int cq_err_event_notifier(struct notifier_block *nb,
 519                                  unsigned long type, void *data)
 520 {
 521         struct mlx5_eq_table *eqt;
 522         struct mlx5_core_cq *cq;
 523         struct mlx5_eqe *eqe;
 524         struct mlx5_eq *eq;
 525         u32 cqn;
 526
 527         /* type == MLX5_EVENT_TYPE_CQ_ERROR */
 528
 529         eqt = mlx5_nb_cof(nb, struct mlx5_eq_table, cq_err_nb);
 530         eq  = &eqt->async_eq.core;
 531         eqe = data;
 532
 533         cqn = be32_to_cpu(eqe->data.cq_err.cqn) & 0xffffff;
 534         mlx5_core_warn(eq->dev, "CQ error on CQN 0x%x, syndrome 0x%x\n",
 535                        cqn, eqe->data.cq_err.syndrome);
 536
 537         cq = mlx5_eq_cq_get(eq, cqn);
 538         if (unlikely(!cq)) {
 539                 mlx5_core_warn(eq->dev, "Async event for bogus CQ 0x%x\n", cqn);
 540                 return NOTIFY_OK;
 541         }
 542
 543         if (cq->event)
 544                 cq->event(cq, type);
 545
 546         mlx5_cq_put(cq);
 547
 548         return NOTIFY_OK;
 549 }
 550
 551 static void gather_user_async_events(struct mlx5_core_dev *dev, u64 mask[4])
 552 {
 553         __be64 *user_unaffiliated_events;
 554         __be64 *user_affiliated_events;
 555         int i;
 556
 557         user_affiliated_events =
 558                 MLX5_CAP_DEV_EVENT(dev, user_affiliated_events);
 559         user_unaffiliated_events =
 560                 MLX5_CAP_DEV_EVENT(dev, user_unaffiliated_events);
 561
 562         for (i = 0; i < 4; i++)
 563                 mask[i] |= be64_to_cpu(user_affiliated_events[i] |
 564                                        user_unaffiliated_events[i]);
 565 }
 566
 567 static void gather_async_events_mask(struct mlx5_core_dev *dev, u64 mask[4])
 568 {
 569         u64 async_event_mask = MLX5_ASYNC_EVENT_MASK;
 570
 571         if (MLX5_VPORT_MANAGER(dev))
 572                 async_event_mask |= (1ull << MLX5_EVENT_TYPE_NIC_VPORT_CHANGE);
 573
 574         if (MLX5_CAP_GEN(dev, general_notification_event))
 575                 async_event_mask |= (1ull << MLX5_EVENT_TYPE_GENERAL_EVENT);
 576
 577         if (MLX5_CAP_GEN(dev, port_module_event))
 578                 async_event_mask |= (1ull << MLX5_EVENT_TYPE_PORT_MODULE_EVENT);
 579         else
 580                 mlx5_core_dbg(dev, "port_module_event is not set\n");
 581
 582         if (MLX5_PPS_CAP(dev))
 583                 async_event_mask |= (1ull << MLX5_EVENT_TYPE_PPS_EVENT);
 584
 585         if (MLX5_CAP_GEN(dev, fpga))
 586                 async_event_mask |= (1ull << MLX5_EVENT_TYPE_FPGA_ERROR) |
 587                                     (1ull << MLX5_EVENT_TYPE_FPGA_QP_ERROR);
 588         if (MLX5_CAP_GEN_MAX(dev, dct))
 589                 async_event_mask |= (1ull << MLX5_EVENT_TYPE_DCT_DRAINED);
 590
 591         if (MLX5_CAP_GEN(dev, temp_warn_event))
 592                 async_event_mask |= (1ull << MLX5_EVENT_TYPE_TEMP_WARN_EVENT);
 593
 594         if (MLX5_CAP_MCAM_REG(dev, tracer_registers))
 595                 async_event_mask |= (1ull << MLX5_EVENT_TYPE_DEVICE_TRACER);
 596
 597         if (MLX5_CAP_GEN(dev, max_num_of_monitor_counters))
 598                 async_event_mask |= (1ull << MLX5_EVENT_TYPE_MONITOR_COUNTER);
 599
 600         if (mlx5_eswitch_is_funcs_handler(dev))
 601                 async_event_mask |=
 602                         (1ull << MLX5_EVENT_TYPE_ESW_FUNCTIONS_CHANGED);
 603
 604         if (MLX5_CAP_GEN_MAX(dev, vhca_state))
 605                 async_event_mask |= (1ull << MLX5_EVENT_TYPE_VHCA_STATE_CHANGE);
 606
 607         mask[0] = async_event_mask;
 608
 609         if (MLX5_CAP_GEN(dev, event_cap))
 610                 gather_user_async_events(dev, mask);
 611 }
 612
 613 static int
 614 setup_async_eq(struct mlx5_core_dev *dev, struct mlx5_eq_async *eq,
 615                struct mlx5_eq_param *param, const char *name)
 616 {
 617         int err;
 618
 619         eq->irq_nb.notifier_call = mlx5_eq_async_int;
 620         spin_lock_init(&eq->lock);
 621
 622         err = create_async_eq(dev, &eq->core, param);
 623         if (err) {
 624                 mlx5_core_warn(dev, "failed to create %s EQ %d\n", name, err);
 625                 return err;
 626         }
 627         err = mlx5_eq_enable(dev, &eq->core, &eq->irq_nb);
 628         if (err) {
 629                 mlx5_core_warn(dev, "failed to enable %s EQ %d\n", name, err);
 630                 destroy_async_eq(dev, &eq->core);
 631         }
 632         return err;
 633 }
 634
 635 static void cleanup_async_eq(struct mlx5_core_dev *dev,
 636                              struct mlx5_eq_async *eq, const char *name)
 637 {
 638         int err;
 639
 640         mlx5_eq_disable(dev, &eq->core, &eq->irq_nb);
 641         err = destroy_async_eq(dev, &eq->core);
 642         if (err)
 643                 mlx5_core_err(dev, "failed to destroy %s eq, err(%d)\n",
 644                               name, err);
 645 }
 646
 647 static int create_async_eqs(struct mlx5_core_dev *dev)
 648 {
 649         struct mlx5_eq_table *table = dev->priv.eq_table;
 650         struct mlx5_eq_param param = {};
 651         int err;
 652
 653         MLX5_NB_INIT(&table->cq_err_nb, cq_err_event_notifier, CQ_ERROR);
 654         mlx5_eq_notifier_register(dev, &table->cq_err_nb);
 655
 656         param = (struct mlx5_eq_param) {
 657                 .irq_index = 0,
 658                 .nent = MLX5_NUM_CMD_EQE,
 659                 .mask[0] = 1ull << MLX5_EVENT_TYPE_CMD,
 660         };
 661         mlx5_cmd_allowed_opcode(dev, MLX5_CMD_OP_CREATE_EQ);
 662         err = setup_async_eq(dev, &table->cmd_eq, &param, "cmd");
 663         if (err)
 664                 goto err1;
 665
 666         mlx5_cmd_use_events(dev);
 667         mlx5_cmd_allowed_opcode(dev, CMD_ALLOWED_OPCODE_ALL);
 668
 669         param = (struct mlx5_eq_param) {
 670                 .irq_index = 0,
 671                 .nent = MLX5_NUM_ASYNC_EQE,
 672         };
 673
 674         gather_async_events_mask(dev, param.mask);
 675         err = setup_async_eq(dev, &table->async_eq, &param, "async");
 676         if (err)
 677                 goto err2;
 678
 679         param = (struct mlx5_eq_param) {
 680                 .irq_index = 0,
 681                 .nent = /* TODO: sriov max_vf + */ 1,
 682                 .mask[0] = 1ull << MLX5_EVENT_TYPE_PAGE_REQUEST,
 683         };
 684
 685         err = setup_async_eq(dev, &table->pages_eq, &param, "pages");
 686         if (err)
 687                 goto err3;
 688
 689         return 0;
 690
 691 err3:
 692         cleanup_async_eq(dev, &table->async_eq, "async");
 693 err2:
 694         mlx5_cmd_use_polling(dev);
 695         cleanup_async_eq(dev, &table->cmd_eq, "cmd");
 696 err1:
 697         mlx5_cmd_allowed_opcode(dev, CMD_ALLOWED_OPCODE_ALL);
 698         mlx5_eq_notifier_unregister(dev, &table->cq_err_nb);
 699         return err;
 700 }
 701
 702 static void destroy_async_eqs(struct mlx5_core_dev *dev)
 703 {
 704         struct mlx5_eq_table *table = dev->priv.eq_table;
 705
 706         cleanup_async_eq(dev, &table->pages_eq, "pages");
 707         cleanup_async_eq(dev, &table->async_eq, "async");
 708         mlx5_cmd_allowed_opcode(dev, MLX5_CMD_OP_DESTROY_EQ);
 709         mlx5_cmd_use_polling(dev);
 710         cleanup_async_eq(dev, &table->cmd_eq, "cmd");
 711         mlx5_cmd_allowed_opcode(dev, CMD_ALLOWED_OPCODE_ALL);
 712         mlx5_eq_notifier_unregister(dev, &table->cq_err_nb);
 713 }
 714
 715 struct mlx5_eq *mlx5_get_async_eq(struct mlx5_core_dev *dev)
 716 {
 717         return &dev->priv.eq_table->async_eq.core;
 718 }
 719
 720 void mlx5_eq_synchronize_async_irq(struct mlx5_core_dev *dev)
 721 {
 722         synchronize_irq(dev->priv.eq_table->async_eq.core.irqn);
 723 }
 724
 725 void mlx5_eq_synchronize_cmd_irq(struct mlx5_core_dev *dev)
 726 {
 727         synchronize_irq(dev->priv.eq_table->cmd_eq.core.irqn);
 728 }
 729
 730 /* Generic EQ API for mlx5_core consumers
 731  * Needed For RDMA ODP EQ for now
 732  */
 733 struct mlx5_eq *
 734 mlx5_eq_create_generic(struct mlx5_core_dev *dev,
 735                        struct mlx5_eq_param *param)
 736 {
 737         struct mlx5_eq *eq = kvzalloc(sizeof(*eq), GFP_KERNEL);
 738         int err;
 739
 740         if (!eq)
 741                 return ERR_PTR(-ENOMEM);
 742
 743         err = create_async_eq(dev, eq, param);
 744         if (err) {
 745                 kvfree(eq);
 746                 eq = ERR_PTR(err);
 747         }
 748
 749         return eq;
 750 }
 751 EXPORT_SYMBOL(mlx5_eq_create_generic);
 752
 753 int mlx5_eq_destroy_generic(struct mlx5_core_dev *dev, struct mlx5_eq *eq)
 754 {
 755         int err;
 756
 757         if (IS_ERR(eq))
 758                 return -EINVAL;
 759
 760         err = destroy_async_eq(dev, eq);
 761         if (err)
 762                 goto out;
 763
 764         kvfree(eq);
 765 out:
 766         return err;
 767 }
 768 EXPORT_SYMBOL(mlx5_eq_destroy_generic);
 769
 770 struct mlx5_eqe *mlx5_eq_get_eqe(struct mlx5_eq *eq, u32 cc)
 771 {
 772         u32 ci = eq->cons_index + cc;
 773         u32 nent = eq_get_size(eq);
 774         struct mlx5_eqe *eqe;
 775
 776         eqe = get_eqe(eq, ci & (nent - 1));
 777         eqe = ((eqe->owner & 1) ^ !!(ci & nent)) ? NULL : eqe;
 778         /* Make sure we read EQ entry contents after we've
 779          * checked the ownership bit.
 780          */
 781         if (eqe)
 782                 dma_rmb();
 783
 784         return eqe;
 785 }
 786 EXPORT_SYMBOL(mlx5_eq_get_eqe);
 787
 788 void mlx5_eq_update_ci(struct mlx5_eq *eq, u32 cc, bool arm)
 789 {
 790         __be32 __iomem *addr = eq->doorbell + (arm ? 0 : 2);
 791         u32 val;
 792
 793         eq->cons_index += cc;
 794         val = (eq->cons_index & 0xffffff) | (eq->eqn << 24);
 795
 796         __raw_writel((__force u32)cpu_to_be32(val), addr);
 797         /* We still want ordering, just not swabbing, so add a barrier */
 798         wmb();
 799 }
 800 EXPORT_SYMBOL(mlx5_eq_update_ci);
 801
 802 static void destroy_comp_eqs(struct mlx5_core_dev *dev)
 803 {
 804         struct mlx5_eq_table *table = dev->priv.eq_table;
 805         struct mlx5_eq_comp *eq, *n;
 806
 807         list_for_each_entry_safe(eq, n, &table->comp_eqs_list, list) {
 808                 list_del(&eq->list);
 809                 mlx5_eq_disable(dev, &eq->core, &eq->irq_nb);
 810                 if (destroy_unmap_eq(dev, &eq->core))
 811                         mlx5_core_warn(dev, "failed to destroy comp EQ 0x%x\n",
 812                                        eq->core.eqn);
 813                 tasklet_disable(&eq->tasklet_ctx.task);
 814                 kfree(eq);
 815         }
 816 }
 817
 818 static int create_comp_eqs(struct mlx5_core_dev *dev)
 819 {
 820         struct mlx5_eq_table *table = dev->priv.eq_table;
 821         struct mlx5_eq_comp *eq;
 822         int ncomp_eqs;
 823         int nent;
 824         int err;
 825         int i;
 826
 827         INIT_LIST_HEAD(&table->comp_eqs_list);
 828         ncomp_eqs = table->num_comp_eqs;
 829         nent = MLX5_COMP_EQ_SIZE;
 830         for (i = 0; i < ncomp_eqs; i++) {
 831                 int vecidx = i + MLX5_IRQ_VEC_COMP_BASE;
 832                 struct mlx5_eq_param param = {};
 833
 834                 eq = kzalloc(sizeof(*eq), GFP_KERNEL);
 835                 if (!eq) {
 836                         err = -ENOMEM;
 837                         goto clean;
 838                 }
 839
 840                 INIT_LIST_HEAD(&eq->tasklet_ctx.list);
 841                 INIT_LIST_HEAD(&eq->tasklet_ctx.process_list);
 842                 spin_lock_init(&eq->tasklet_ctx.lock);
 843                 tasklet_setup(&eq->tasklet_ctx.task, mlx5_cq_tasklet_cb);
 844
 845                 eq->irq_nb.notifier_call = mlx5_eq_comp_int;
 846                 param = (struct mlx5_eq_param) {
 847                         .irq_index = vecidx,
 848                         .nent = nent,
 849                 };
 850                 err = create_map_eq(dev, &eq->core, &param);
 851                 if (err) {
 852                         kfree(eq);
 853                         goto clean;
 854                 }
 855                 err = mlx5_eq_enable(dev, &eq->core, &eq->irq_nb);
 856                 if (err) {
 857                         destroy_unmap_eq(dev, &eq->core);
 858                         kfree(eq);
 859                         goto clean;
 860                 }
 861
 862                 mlx5_core_dbg(dev, "allocated completion EQN %d\n", eq->core.eqn);
 863                 /* add tail, to keep the list ordered, for mlx5_vector2eqn to work */
 864                 list_add_tail(&eq->list, &table->comp_eqs_list);
 865         }
 866
 867         return 0;
 868
 869 clean:
 870         destroy_comp_eqs(dev);
 871         return err;
 872 }
 873
 874 int mlx5_vector2eqn(struct mlx5_core_dev *dev, int vector, int *eqn,
 875                     unsigned int *irqn)
 876 {
 877         struct mlx5_eq_table *table = dev->priv.eq_table;
 878         struct mlx5_eq_comp *eq, *n;
 879         int err = -ENOENT;
 880         int i = 0;
 881
 882         list_for_each_entry_safe(eq, n, &table->comp_eqs_list, list) {
 883                 if (i++ == vector) {
 884                         *eqn = eq->core.eqn;
 885                         *irqn = eq->core.irqn;
 886                         err = 0;
 887                         break;
 888                 }
 889         }
 890
 891         return err;
 892 }
 893 EXPORT_SYMBOL(mlx5_vector2eqn);
 894
 895 unsigned int mlx5_comp_vectors_count(struct mlx5_core_dev *dev)
 896 {
 897         return dev->priv.eq_table->num_comp_eqs;
 898 }
 899 EXPORT_SYMBOL(mlx5_comp_vectors_count);
 900
 901 struct cpumask *
 902 mlx5_comp_irq_get_affinity_mask(struct mlx5_core_dev *dev, int vector)
 903 {
 904         int vecidx = vector + MLX5_IRQ_VEC_COMP_BASE;
 905
 906         return mlx5_irq_get_affinity_mask(dev->priv.eq_table->irq_table,
 907                                           vecidx);
 908 }
 909 EXPORT_SYMBOL(mlx5_comp_irq_get_affinity_mask);
 910
 911 #ifdef CONFIG_RFS_ACCEL
 912 struct cpu_rmap *mlx5_eq_table_get_rmap(struct mlx5_core_dev *dev)
 913 {
 914         return mlx5_irq_get_rmap(dev->priv.eq_table->irq_table);
 915 }
 916 #endif
 917
 918 struct mlx5_eq_comp *mlx5_eqn2comp_eq(struct mlx5_core_dev *dev, int eqn)
 919 {
 920         struct mlx5_eq_table *table = dev->priv.eq_table;
 921         struct mlx5_eq_comp *eq;
 922
 923         list_for_each_entry(eq, &table->comp_eqs_list, list) {
 924                 if (eq->core.eqn == eqn)
 925                         return eq;
 926         }
 927
 928         return ERR_PTR(-ENOENT);
 929 }
 930
 931 /* This function should only be called after mlx5_cmd_force_teardown_hca */
 932 void mlx5_core_eq_free_irqs(struct mlx5_core_dev *dev)
 933 {
 934         struct mlx5_eq_table *table = dev->priv.eq_table;
 935
 936         mutex_lock(&table->lock); /* sync with create/destroy_async_eq */
 937         mlx5_irq_table_destroy(dev);
 938         mutex_unlock(&table->lock);
 939 }
 940
 941 #ifdef CONFIG_INFINIBAND_ON_DEMAND_PAGING
 942 #define MLX5_MAX_ASYNC_EQS 4
 943 #else
 944 #define MLX5_MAX_ASYNC_EQS 3
 945 #endif
 946
 947 int mlx5_eq_table_create(struct mlx5_core_dev *dev)
 948 {
 949         struct mlx5_eq_table *eq_table = dev->priv.eq_table;
 950         int num_eqs = MLX5_CAP_GEN(dev, max_num_eqs) ?
 951                       MLX5_CAP_GEN(dev, max_num_eqs) :
 952                       1 << MLX5_CAP_GEN(dev, log_max_eq);
 953         int err;
 954
 955         eq_table->num_comp_eqs =
 956                 min_t(int,
 957                       mlx5_irq_get_num_comp(eq_table->irq_table),
 958                       num_eqs - MLX5_MAX_ASYNC_EQS);
 959
 960         err = create_async_eqs(dev);
 961         if (err) {
 962                 mlx5_core_err(dev, "Failed to create async EQs\n");
 963                 goto err_async_eqs;
 964         }
 965
 966         err = create_comp_eqs(dev);
 967         if (err) {
 968                 mlx5_core_err(dev, "Failed to create completion EQs\n");
 969                 goto err_comp_eqs;
 970         }
 971
 972         return 0;
 973 err_comp_eqs:
 974         destroy_async_eqs(dev);
 975 err_async_eqs:
 976         return err;
 977 }
 978
 979 void mlx5_eq_table_destroy(struct mlx5_core_dev *dev)
 980 {
 981         destroy_comp_eqs(dev);
 982         destroy_async_eqs(dev);
 983 }
 984
 985 int mlx5_eq_notifier_register(struct mlx5_core_dev *dev, struct mlx5_nb *nb)
 986 {
 987         struct mlx5_eq_table *eqt = dev->priv.eq_table;
 988
 989         return atomic_notifier_chain_register(&eqt->nh[nb->event_type], &nb->nb);
 990 }
 991 EXPORT_SYMBOL(mlx5_eq_notifier_register);
 992
 993 int mlx5_eq_notifier_unregister(struct mlx5_core_dev *dev, struct mlx5_nb *nb)
 994 {
 995         struct mlx5_eq_table *eqt = dev->priv.eq_table;
 996
 997         return atomic_notifier_chain_unregister(&eqt->nh[nb->event_type], &nb->nb);
 998 }
 999 EXPORT_SYMBOL(mlx5_eq_notifier_unregister);