drivers/net/ethernet/mellanox/mlx5/core/port.c

   1 /*
   2  * Copyright (c) 2013-2015, Mellanox Technologies. All rights reserved.
   3  *
   4  * This software is available to you under a choice of one of two
   5  * licenses.  You may choose to be licensed under the terms of the GNU
   6  * General Public License (GPL) Version 2, available from the file
   7  * COPYING in the main directory of this source tree, or the
   8  * OpenIB.org BSD license below:
   9  *
  10  *     Redistribution and use in source and binary forms, with or
  11  *     without modification, are permitted provided that the following
  12  *     conditions are met:
  13  *
  14  *      - Redistributions of source code must retain the above
  15  *        copyright notice, this list of conditions and the following
  16  *        disclaimer.
  17  *
  18  *      - Redistributions in binary form must reproduce the above
  19  *        copyright notice, this list of conditions and the following
  20  *        disclaimer in the documentation and/or other materials
  21  *        provided with the distribution.
  22  *
  23  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND,
  24  * EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF
  25  * MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND
  26  * NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS
  27  * BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN
  28  * ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN
  29  * CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
  30  * SOFTWARE.
  31  */
  32
  33 #include <linux/mlx5/port.h>
  34 #include "mlx5_core.h"
  35
  36 int mlx5_core_access_reg(struct mlx5_core_dev *dev, void *data_in,
  37                          int size_in, void *data_out, int size_out,
  38                          u16 reg_id, int arg, int write)
  39 {
  40         int outlen = MLX5_ST_SZ_BYTES(access_register_out) + size_out;
  41         int inlen = MLX5_ST_SZ_BYTES(access_register_in) + size_in;
  42         int err = -ENOMEM;
  43         u32 *out = NULL;
  44         u32 *in = NULL;
  45         void *data;
  46
  47         in = kvzalloc(inlen, GFP_KERNEL);
  48         out = kvzalloc(outlen, GFP_KERNEL);
  49         if (!in || !out)
  50                 goto out;
  51
  52         data = MLX5_ADDR_OF(access_register_in, in, register_data);
  53         memcpy(data, data_in, size_in);
  54
  55         MLX5_SET(access_register_in, in, opcode, MLX5_CMD_OP_ACCESS_REG);
  56         MLX5_SET(access_register_in, in, op_mod, !write);
  57         MLX5_SET(access_register_in, in, argument, arg);
  58         MLX5_SET(access_register_in, in, register_id, reg_id);
  59
  60         err = mlx5_cmd_exec(dev, in, inlen, out, outlen);
  61         if (err)
  62                 goto out;
  63
  64         data = MLX5_ADDR_OF(access_register_out, out, register_data);
  65         memcpy(data_out, data, size_out);
  66
  67 out:
  68         kvfree(out);
  69         kvfree(in);
  70         return err;
  71 }
  72 EXPORT_SYMBOL_GPL(mlx5_core_access_reg);
  73
  74 int mlx5_query_pcam_reg(struct mlx5_core_dev *dev, u32 *pcam, u8 feature_group,
  75                         u8 access_reg_group)
  76 {
  77         u32 in[MLX5_ST_SZ_DW(pcam_reg)] = {0};
  78         int sz = MLX5_ST_SZ_BYTES(pcam_reg);
  79
  80         MLX5_SET(pcam_reg, in, feature_group, feature_group);
  81         MLX5_SET(pcam_reg, in, access_reg_group, access_reg_group);
  82
  83         return mlx5_core_access_reg(dev, in, sz, pcam, sz, MLX5_REG_PCAM, 0, 0);
  84 }
  85
  86 int mlx5_query_mcam_reg(struct mlx5_core_dev *dev, u32 *mcam, u8 feature_group,
  87                         u8 access_reg_group)
  88 {
  89         u32 in[MLX5_ST_SZ_DW(mcam_reg)] = {0};
  90         int sz = MLX5_ST_SZ_BYTES(mcam_reg);
  91
  92         MLX5_SET(mcam_reg, in, feature_group, feature_group);
  93         MLX5_SET(mcam_reg, in, access_reg_group, access_reg_group);
  94
  95         return mlx5_core_access_reg(dev, in, sz, mcam, sz, MLX5_REG_MCAM, 0, 0);
  96 }
  97
  98 int mlx5_query_qcam_reg(struct mlx5_core_dev *mdev, u32 *qcam,
  99                         u8 feature_group, u8 access_reg_group)
 100 {
 101         u32 in[MLX5_ST_SZ_DW(qcam_reg)] = {};
 102         int sz = MLX5_ST_SZ_BYTES(qcam_reg);
 103
 104         MLX5_SET(qcam_reg, in, feature_group, feature_group);
 105         MLX5_SET(qcam_reg, in, access_reg_group, access_reg_group);
 106
 107         return mlx5_core_access_reg(mdev, in, sz, qcam, sz, MLX5_REG_QCAM, 0, 0);
 108 }
 109
 110 struct mlx5_reg_pcap {
 111         u8                      rsvd0;
 112         u8                      port_num;
 113         u8                      rsvd1[2];
 114         __be32                  caps_127_96;
 115         __be32                  caps_95_64;
 116         __be32                  caps_63_32;
 117         __be32                  caps_31_0;
 118 };
 119
 120 int mlx5_set_port_caps(struct mlx5_core_dev *dev, u8 port_num, u32 caps)
 121 {
 122         struct mlx5_reg_pcap in;
 123         struct mlx5_reg_pcap out;
 124
 125         memset(&in, 0, sizeof(in));
 126         in.caps_127_96 = cpu_to_be32(caps);
 127         in.port_num = port_num;
 128
 129         return mlx5_core_access_reg(dev, &in, sizeof(in), &out,
 130                                     sizeof(out), MLX5_REG_PCAP, 0, 1);
 131 }
 132 EXPORT_SYMBOL_GPL(mlx5_set_port_caps);
 133
 134 int mlx5_query_port_ptys(struct mlx5_core_dev *dev, u32 *ptys,
 135                          int ptys_size, int proto_mask, u8 local_port)
 136 {
 137         u32 in[MLX5_ST_SZ_DW(ptys_reg)] = {0};
 138
 139         MLX5_SET(ptys_reg, in, local_port, local_port);
 140         MLX5_SET(ptys_reg, in, proto_mask, proto_mask);
 141         return mlx5_core_access_reg(dev, in, sizeof(in), ptys,
 142                                     ptys_size, MLX5_REG_PTYS, 0, 0);
 143 }
 144 EXPORT_SYMBOL_GPL(mlx5_query_port_ptys);
 145
 146 int mlx5_set_port_beacon(struct mlx5_core_dev *dev, u16 beacon_duration)
 147 {
 148         u32 in[MLX5_ST_SZ_DW(mlcr_reg)]  = {0};
 149         u32 out[MLX5_ST_SZ_DW(mlcr_reg)];
 150
 151         MLX5_SET(mlcr_reg, in, local_port, 1);
 152         MLX5_SET(mlcr_reg, in, beacon_duration, beacon_duration);
 153         return mlx5_core_access_reg(dev, in, sizeof(in), out,
 154                                     sizeof(out), MLX5_REG_MLCR, 0, 1);
 155 }
 156
 157 int mlx5_query_ib_port_oper(struct mlx5_core_dev *dev, u16 *link_width_oper,
 158                             u16 *proto_oper, u8 local_port)
 159 {
 160         u32 out[MLX5_ST_SZ_DW(ptys_reg)];
 161         int err;
 162
 163         err = mlx5_query_port_ptys(dev, out, sizeof(out), MLX5_PTYS_IB,
 164                                    local_port);
 165         if (err)
 166                 return err;
 167
 168         *link_width_oper = MLX5_GET(ptys_reg, out, ib_link_width_oper);
 169         *proto_oper = MLX5_GET(ptys_reg, out, ib_proto_oper);
 170
 171         return 0;
 172 }
 173 EXPORT_SYMBOL(mlx5_query_ib_port_oper);
 174
 175 /* This function should be used after setting a port register only */
 176 void mlx5_toggle_port_link(struct mlx5_core_dev *dev)
 177 {
 178         enum mlx5_port_status ps;
 179
 180         mlx5_query_port_admin_status(dev, &ps);
 181         mlx5_set_port_admin_status(dev, MLX5_PORT_DOWN);
 182         if (ps == MLX5_PORT_UP)
 183                 mlx5_set_port_admin_status(dev, MLX5_PORT_UP);
 184 }
 185 EXPORT_SYMBOL_GPL(mlx5_toggle_port_link);
 186
 187 int mlx5_set_port_admin_status(struct mlx5_core_dev *dev,
 188                                enum mlx5_port_status status)
 189 {
 190         u32 in[MLX5_ST_SZ_DW(paos_reg)] = {0};
 191         u32 out[MLX5_ST_SZ_DW(paos_reg)];
 192
 193         MLX5_SET(paos_reg, in, local_port, 1);
 194         MLX5_SET(paos_reg, in, admin_status, status);
 195         MLX5_SET(paos_reg, in, ase, 1);
 196         return mlx5_core_access_reg(dev, in, sizeof(in), out,
 197                                     sizeof(out), MLX5_REG_PAOS, 0, 1);
 198 }
 199 EXPORT_SYMBOL_GPL(mlx5_set_port_admin_status);
 200
 201 int mlx5_query_port_admin_status(struct mlx5_core_dev *dev,
 202                                  enum mlx5_port_status *status)
 203 {
 204         u32 in[MLX5_ST_SZ_DW(paos_reg)] = {0};
 205         u32 out[MLX5_ST_SZ_DW(paos_reg)];
 206         int err;
 207
 208         MLX5_SET(paos_reg, in, local_port, 1);
 209         err = mlx5_core_access_reg(dev, in, sizeof(in), out,
 210                                    sizeof(out), MLX5_REG_PAOS, 0, 0);
 211         if (err)
 212                 return err;
 213         *status = MLX5_GET(paos_reg, out, admin_status);
 214         return 0;
 215 }
 216 EXPORT_SYMBOL_GPL(mlx5_query_port_admin_status);
 217
 218 static void mlx5_query_port_mtu(struct mlx5_core_dev *dev, u16 *admin_mtu,
 219                                 u16 *max_mtu, u16 *oper_mtu, u8 port)
 220 {
 221         u32 in[MLX5_ST_SZ_DW(pmtu_reg)] = {0};
 222         u32 out[MLX5_ST_SZ_DW(pmtu_reg)];
 223
 224         MLX5_SET(pmtu_reg, in, local_port, port);
 225         mlx5_core_access_reg(dev, in, sizeof(in), out,
 226                              sizeof(out), MLX5_REG_PMTU, 0, 0);
 227
 228         if (max_mtu)
 229                 *max_mtu  = MLX5_GET(pmtu_reg, out, max_mtu);
 230         if (oper_mtu)
 231                 *oper_mtu = MLX5_GET(pmtu_reg, out, oper_mtu);
 232         if (admin_mtu)
 233                 *admin_mtu = MLX5_GET(pmtu_reg, out, admin_mtu);
 234 }
 235
 236 int mlx5_set_port_mtu(struct mlx5_core_dev *dev, u16 mtu, u8 port)
 237 {
 238         u32 in[MLX5_ST_SZ_DW(pmtu_reg)] = {0};
 239         u32 out[MLX5_ST_SZ_DW(pmtu_reg)];
 240
 241         MLX5_SET(pmtu_reg, in, admin_mtu, mtu);
 242         MLX5_SET(pmtu_reg, in, local_port, port);
 243         return mlx5_core_access_reg(dev, in, sizeof(in), out,
 244                                    sizeof(out), MLX5_REG_PMTU, 0, 1);
 245 }
 246 EXPORT_SYMBOL_GPL(mlx5_set_port_mtu);
 247
 248 void mlx5_query_port_max_mtu(struct mlx5_core_dev *dev, u16 *max_mtu,
 249                              u8 port)
 250 {
 251         mlx5_query_port_mtu(dev, NULL, max_mtu, NULL, port);
 252 }
 253 EXPORT_SYMBOL_GPL(mlx5_query_port_max_mtu);
 254
 255 void mlx5_query_port_oper_mtu(struct mlx5_core_dev *dev, u16 *oper_mtu,
 256                               u8 port)
 257 {
 258         mlx5_query_port_mtu(dev, NULL, NULL, oper_mtu, port);
 259 }
 260 EXPORT_SYMBOL_GPL(mlx5_query_port_oper_mtu);
 261
 262 static int mlx5_query_module_num(struct mlx5_core_dev *dev, int *module_num)
 263 {
 264         u32 in[MLX5_ST_SZ_DW(pmlp_reg)] = {0};
 265         u32 out[MLX5_ST_SZ_DW(pmlp_reg)];
 266         int module_mapping;
 267         int err;
 268
 269         MLX5_SET(pmlp_reg, in, local_port, 1);
 270         err = mlx5_core_access_reg(dev, in, sizeof(in), out, sizeof(out),
 271                                    MLX5_REG_PMLP, 0, 0);
 272         if (err)
 273                 return err;
 274
 275         module_mapping = MLX5_GET(pmlp_reg, out, lane0_module_mapping);
 276         *module_num = module_mapping & MLX5_EEPROM_IDENTIFIER_BYTE_MASK;
 277
 278         return 0;
 279 }
 280
 281 static int mlx5_query_module_id(struct mlx5_core_dev *dev, int module_num,
 282                                 u8 *module_id)
 283 {
 284         u32 in[MLX5_ST_SZ_DW(mcia_reg)] = {};
 285         u32 out[MLX5_ST_SZ_DW(mcia_reg)];
 286         int err, status;
 287         u8 *ptr;
 288
 289         MLX5_SET(mcia_reg, in, i2c_device_address, MLX5_I2C_ADDR_LOW);
 290         MLX5_SET(mcia_reg, in, module, module_num);
 291         MLX5_SET(mcia_reg, in, device_address, 0);
 292         MLX5_SET(mcia_reg, in, page_number, 0);
 293         MLX5_SET(mcia_reg, in, size, 1);
 294         MLX5_SET(mcia_reg, in, l, 0);
 295
 296         err = mlx5_core_access_reg(dev, in, sizeof(in), out,
 297                                    sizeof(out), MLX5_REG_MCIA, 0, 0);
 298         if (err)
 299                 return err;
 300
 301         status = MLX5_GET(mcia_reg, out, status);
 302         if (status) {
 303                 mlx5_core_err(dev, "query_mcia_reg failed: status: 0x%x\n",
 304                               status);
 305                 return -EIO;
 306         }
 307         ptr = MLX5_ADDR_OF(mcia_reg, out, dword_0);
 308
 309         *module_id = ptr[0];
 310
 311         return 0;
 312 }
 313
 314 static int mlx5_qsfp_eeprom_page(u16 offset)
 315 {
 316         if (offset < MLX5_EEPROM_PAGE_LENGTH)
 317                 /* Addresses between 0-255 - page 00 */
 318                 return 0;
 319
 320         /* Addresses between 256 - 639 belongs to pages 01, 02 and 03
 321          * For example, offset = 400 belongs to page 02:
 322          * 1 + ((400 - 256)/128) = 2
 323          */
 324         return 1 + ((offset - MLX5_EEPROM_PAGE_LENGTH) /
 325                     MLX5_EEPROM_HIGH_PAGE_LENGTH);
 326 }
 327
 328 static int mlx5_qsfp_eeprom_high_page_offset(int page_num)
 329 {
 330         if (!page_num) /* Page 0 always start from low page */
 331                 return 0;
 332
 333         /* High page */
 334         return page_num * MLX5_EEPROM_HIGH_PAGE_LENGTH;
 335 }
 336
 337 static void mlx5_qsfp_eeprom_params_set(u16 *i2c_addr, int *page_num, u16 *offset)
 338 {
 339         *i2c_addr = MLX5_I2C_ADDR_LOW;
 340         *page_num = mlx5_qsfp_eeprom_page(*offset);
 341         *offset -=  mlx5_qsfp_eeprom_high_page_offset(*page_num);
 342 }
 343
 344 static void mlx5_sfp_eeprom_params_set(u16 *i2c_addr, int *page_num, u16 *offset)
 345 {
 346         *i2c_addr = MLX5_I2C_ADDR_LOW;
 347         *page_num = 0;
 348
 349         if (*offset < MLX5_EEPROM_PAGE_LENGTH)
 350                 return;
 351
 352         *i2c_addr = MLX5_I2C_ADDR_HIGH;
 353         *offset -= MLX5_EEPROM_PAGE_LENGTH;
 354 }
 355
 356 static int mlx5_query_mcia(struct mlx5_core_dev *dev,
 357                            struct mlx5_module_eeprom_query_params *params, u8 *data)
 358 {
 359         u32 in[MLX5_ST_SZ_DW(mcia_reg)] = {};
 360         u32 out[MLX5_ST_SZ_DW(mcia_reg)];
 361         int status, err;
 362         void *ptr;
 363         u16 size;
 364
 365         size = min_t(int, params->size, MLX5_EEPROM_MAX_BYTES);
 366
 367         MLX5_SET(mcia_reg, in, l, 0);
 368         MLX5_SET(mcia_reg, in, size, size);
 369         MLX5_SET(mcia_reg, in, module, params->module_number);
 370         MLX5_SET(mcia_reg, in, device_address, params->offset);
 371         MLX5_SET(mcia_reg, in, page_number, params->page);
 372         MLX5_SET(mcia_reg, in, i2c_device_address, params->i2c_address);
 373
 374         err = mlx5_core_access_reg(dev, in, sizeof(in), out,
 375                                    sizeof(out), MLX5_REG_MCIA, 0, 0);
 376         if (err)
 377                 return err;
 378
 379         status = MLX5_GET(mcia_reg, out, status);
 380         if (status) {
 381                 mlx5_core_err(dev, "query_mcia_reg failed: status: 0x%x\n",
 382                               status);
 383                 return -EIO;
 384         }
 385
 386         ptr = MLX5_ADDR_OF(mcia_reg, out, dword_0);
 387         memcpy(data, ptr, size);
 388
 389         return size;
 390 }
 391
 392 int mlx5_query_module_eeprom(struct mlx5_core_dev *dev,
 393                              u16 offset, u16 size, u8 *data)
 394 {
 395         struct mlx5_module_eeprom_query_params query = {0};
 396         u8 module_id;
 397         int err;
 398
 399         err = mlx5_query_module_num(dev, &query.module_number);
 400         if (err)
 401                 return err;
 402
 403         err = mlx5_query_module_id(dev, query.module_number, &module_id);
 404         if (err)
 405                 return err;
 406
 407         switch (module_id) {
 408         case MLX5_MODULE_ID_SFP:
 409                 mlx5_sfp_eeprom_params_set(&query.i2c_address, &query.page, &query.offset);
 410                 break;
 411         case MLX5_MODULE_ID_QSFP:
 412         case MLX5_MODULE_ID_QSFP_PLUS:
 413         case MLX5_MODULE_ID_QSFP28:
 414                 mlx5_qsfp_eeprom_params_set(&query.i2c_address, &query.page, &query.offset);
 415                 break;
 416         default:
 417                 mlx5_core_err(dev, "Module ID not recognized: 0x%x\n", module_id);
 418                 return -EINVAL;
 419         }
 420
 421         if (query.offset + size > MLX5_EEPROM_PAGE_LENGTH)
 422                 /* Cross pages read, read until offset 256 in low page */
 423                 size -= offset + size - MLX5_EEPROM_PAGE_LENGTH;
 424
 425         query.size = size;
 426
 427         return mlx5_query_mcia(dev, &query, data);
 428 }
 429 EXPORT_SYMBOL_GPL(mlx5_query_module_eeprom);
 430
 431 int mlx5_query_module_eeprom_by_page(struct mlx5_core_dev *dev,
 432                                      struct mlx5_module_eeprom_query_params *params,
 433                                      u8 *data)
 434 {
 435         u8 module_id;
 436         int err;
 437
 438         err = mlx5_query_module_num(dev, &params->module_number);
 439         if (err)
 440                 return err;
 441
 442         err = mlx5_query_module_id(dev, params->module_number, &module_id);
 443         if (err)
 444                 return err;
 445
 446         switch (module_id) {
 447         case MLX5_MODULE_ID_SFP:
 448                 if (params->page > 0)
 449                         return -EINVAL;
 450                 break;
 451         case MLX5_MODULE_ID_QSFP:
 452         case MLX5_MODULE_ID_QSFP28:
 453         case MLX5_MODULE_ID_QSFP_PLUS:
 454                 if (params->page > 3)
 455                         return -EINVAL;
 456                 break;
 457         default:
 458                 mlx5_core_err(dev, "Module ID not recognized: 0x%x\n", module_id);
 459                 return -EINVAL;
 460         }
 461
 462         if (params->i2c_address != MLX5_I2C_ADDR_HIGH &&
 463             params->i2c_address != MLX5_I2C_ADDR_LOW) {
 464                 mlx5_core_err(dev, "I2C address not recognized: 0x%x\n", params->i2c_address);
 465                 return -EINVAL;
 466         }
 467
 468         return mlx5_query_mcia(dev, params, data);
 469 }
 470 EXPORT_SYMBOL_GPL(mlx5_query_module_eeprom_by_page);
 471
 472 static int mlx5_query_port_pvlc(struct mlx5_core_dev *dev, u32 *pvlc,
 473                                 int pvlc_size,  u8 local_port)
 474 {
 475         u32 in[MLX5_ST_SZ_DW(pvlc_reg)] = {0};
 476
 477         MLX5_SET(pvlc_reg, in, local_port, local_port);
 478         return mlx5_core_access_reg(dev, in, sizeof(in), pvlc,
 479                                     pvlc_size, MLX5_REG_PVLC, 0, 0);
 480 }
 481
 482 int mlx5_query_port_vl_hw_cap(struct mlx5_core_dev *dev,
 483                               u8 *vl_hw_cap, u8 local_port)
 484 {
 485         u32 out[MLX5_ST_SZ_DW(pvlc_reg)];
 486         int err;
 487
 488         err = mlx5_query_port_pvlc(dev, out, sizeof(out), local_port);
 489         if (err)
 490                 return err;
 491
 492         *vl_hw_cap = MLX5_GET(pvlc_reg, out, vl_hw_cap);
 493
 494         return 0;
 495 }
 496 EXPORT_SYMBOL_GPL(mlx5_query_port_vl_hw_cap);
 497
 498 int mlx5_core_query_ib_ppcnt(struct mlx5_core_dev *dev,
 499                              u8 port_num, void *out, size_t sz)
 500 {
 501         u32 *in;
 502         int err;
 503
 504         in  = kvzalloc(sz, GFP_KERNEL);
 505         if (!in) {
 506                 err = -ENOMEM;
 507                 return err;
 508         }
 509
 510         MLX5_SET(ppcnt_reg, in, local_port, port_num);
 511
 512         MLX5_SET(ppcnt_reg, in, grp, MLX5_INFINIBAND_PORT_COUNTERS_GROUP);
 513         err = mlx5_core_access_reg(dev, in, sz, out,
 514                                    sz, MLX5_REG_PPCNT, 0, 0);
 515
 516         kvfree(in);
 517         return err;
 518 }
 519 EXPORT_SYMBOL_GPL(mlx5_core_query_ib_ppcnt);
 520
 521 static int mlx5_query_pfcc_reg(struct mlx5_core_dev *dev, u32 *out,
 522                                u32 out_size)
 523 {
 524         u32 in[MLX5_ST_SZ_DW(pfcc_reg)] = {0};
 525
 526         MLX5_SET(pfcc_reg, in, local_port, 1);
 527
 528         return mlx5_core_access_reg(dev, in, sizeof(in), out,
 529                                     out_size, MLX5_REG_PFCC, 0, 0);
 530 }
 531
 532 int mlx5_set_port_pause(struct mlx5_core_dev *dev, u32 rx_pause, u32 tx_pause)
 533 {
 534         u32 in[MLX5_ST_SZ_DW(pfcc_reg)] = {0};
 535         u32 out[MLX5_ST_SZ_DW(pfcc_reg)];
 536
 537         MLX5_SET(pfcc_reg, in, local_port, 1);
 538         MLX5_SET(pfcc_reg, in, pptx, tx_pause);
 539         MLX5_SET(pfcc_reg, in, pprx, rx_pause);
 540
 541         return mlx5_core_access_reg(dev, in, sizeof(in), out,
 542                                     sizeof(out), MLX5_REG_PFCC, 0, 1);
 543 }
 544 EXPORT_SYMBOL_GPL(mlx5_set_port_pause);
 545
 546 int mlx5_query_port_pause(struct mlx5_core_dev *dev,
 547                           u32 *rx_pause, u32 *tx_pause)
 548 {
 549         u32 out[MLX5_ST_SZ_DW(pfcc_reg)];
 550         int err;
 551
 552         err = mlx5_query_pfcc_reg(dev, out, sizeof(out));
 553         if (err)
 554                 return err;
 555
 556         if (rx_pause)
 557                 *rx_pause = MLX5_GET(pfcc_reg, out, pprx);
 558
 559         if (tx_pause)
 560                 *tx_pause = MLX5_GET(pfcc_reg, out, pptx);
 561
 562         return 0;
 563 }
 564 EXPORT_SYMBOL_GPL(mlx5_query_port_pause);
 565
 566 int mlx5_set_port_stall_watermark(struct mlx5_core_dev *dev,
 567                                   u16 stall_critical_watermark,
 568                                   u16 stall_minor_watermark)
 569 {
 570         u32 in[MLX5_ST_SZ_DW(pfcc_reg)] = {0};
 571         u32 out[MLX5_ST_SZ_DW(pfcc_reg)];
 572
 573         MLX5_SET(pfcc_reg, in, local_port, 1);
 574         MLX5_SET(pfcc_reg, in, pptx_mask_n, 1);
 575         MLX5_SET(pfcc_reg, in, pprx_mask_n, 1);
 576         MLX5_SET(pfcc_reg, in, ppan_mask_n, 1);
 577         MLX5_SET(pfcc_reg, in, critical_stall_mask, 1);
 578         MLX5_SET(pfcc_reg, in, minor_stall_mask, 1);
 579         MLX5_SET(pfcc_reg, in, device_stall_critical_watermark,
 580                  stall_critical_watermark);
 581         MLX5_SET(pfcc_reg, in, device_stall_minor_watermark, stall_minor_watermark);
 582
 583         return mlx5_core_access_reg(dev, in, sizeof(in), out,
 584                                     sizeof(out), MLX5_REG_PFCC, 0, 1);
 585 }
 586
 587 int mlx5_query_port_stall_watermark(struct mlx5_core_dev *dev,
 588                                     u16 *stall_critical_watermark,
 589                                     u16 *stall_minor_watermark)
 590 {
 591         u32 out[MLX5_ST_SZ_DW(pfcc_reg)];
 592         int err;
 593
 594         err = mlx5_query_pfcc_reg(dev, out, sizeof(out));
 595         if (err)
 596                 return err;
 597
 598         if (stall_critical_watermark)
 599                 *stall_critical_watermark = MLX5_GET(pfcc_reg, out,
 600                                                      device_stall_critical_watermark);
 601
 602         if (stall_minor_watermark)
 603                 *stall_minor_watermark = MLX5_GET(pfcc_reg, out,
 604                                                   device_stall_minor_watermark);
 605
 606         return 0;
 607 }
 608
 609 int mlx5_set_port_pfc(struct mlx5_core_dev *dev, u8 pfc_en_tx, u8 pfc_en_rx)
 610 {
 611         u32 in[MLX5_ST_SZ_DW(pfcc_reg)] = {0};
 612         u32 out[MLX5_ST_SZ_DW(pfcc_reg)];
 613
 614         MLX5_SET(pfcc_reg, in, local_port, 1);
 615         MLX5_SET(pfcc_reg, in, pfctx, pfc_en_tx);
 616         MLX5_SET(pfcc_reg, in, pfcrx, pfc_en_rx);
 617         MLX5_SET_TO_ONES(pfcc_reg, in, prio_mask_tx);
 618         MLX5_SET_TO_ONES(pfcc_reg, in, prio_mask_rx);
 619
 620         return mlx5_core_access_reg(dev, in, sizeof(in), out,
 621                                     sizeof(out), MLX5_REG_PFCC, 0, 1);
 622 }
 623 EXPORT_SYMBOL_GPL(mlx5_set_port_pfc);
 624
 625 int mlx5_query_port_pfc(struct mlx5_core_dev *dev, u8 *pfc_en_tx, u8 *pfc_en_rx)
 626 {
 627         u32 out[MLX5_ST_SZ_DW(pfcc_reg)];
 628         int err;
 629
 630         err = mlx5_query_pfcc_reg(dev, out, sizeof(out));
 631         if (err)
 632                 return err;
 633
 634         if (pfc_en_tx)
 635                 *pfc_en_tx = MLX5_GET(pfcc_reg, out, pfctx);
 636
 637         if (pfc_en_rx)
 638                 *pfc_en_rx = MLX5_GET(pfcc_reg, out, pfcrx);
 639
 640         return 0;
 641 }
 642 EXPORT_SYMBOL_GPL(mlx5_query_port_pfc);
 643
 644 int mlx5_max_tc(struct mlx5_core_dev *mdev)
 645 {
 646         u8 num_tc = MLX5_CAP_GEN(mdev, max_tc) ? : 8;
 647
 648         return num_tc - 1;
 649 }
 650
 651 int mlx5_query_port_dcbx_param(struct mlx5_core_dev *mdev, u32 *out)
 652 {
 653         u32 in[MLX5_ST_SZ_DW(dcbx_param)] = {0};
 654
 655         MLX5_SET(dcbx_param, in, port_number, 1);
 656
 657         return  mlx5_core_access_reg(mdev, in, sizeof(in), out,
 658                                     sizeof(in), MLX5_REG_DCBX_PARAM, 0, 0);
 659 }
 660
 661 int mlx5_set_port_dcbx_param(struct mlx5_core_dev *mdev, u32 *in)
 662 {
 663         u32 out[MLX5_ST_SZ_DW(dcbx_param)];
 664
 665         MLX5_SET(dcbx_param, in, port_number, 1);
 666
 667         return mlx5_core_access_reg(mdev, in, sizeof(out), out,
 668                                     sizeof(out), MLX5_REG_DCBX_PARAM, 0, 1);
 669 }
 670
 671 int mlx5_set_port_prio_tc(struct mlx5_core_dev *mdev, u8 *prio_tc)
 672 {
 673         u32 in[MLX5_ST_SZ_DW(qtct_reg)] = {0};
 674         u32 out[MLX5_ST_SZ_DW(qtct_reg)];
 675         int err;
 676         int i;
 677
 678         for (i = 0; i < 8; i++) {
 679                 if (prio_tc[i] > mlx5_max_tc(mdev))
 680                         return -EINVAL;
 681
 682                 MLX5_SET(qtct_reg, in, prio, i);
 683                 MLX5_SET(qtct_reg, in, tclass, prio_tc[i]);
 684
 685                 err = mlx5_core_access_reg(mdev, in, sizeof(in), out,
 686                                            sizeof(out), MLX5_REG_QTCT, 0, 1);
 687                 if (err)
 688                         return err;
 689         }
 690
 691         return 0;
 692 }
 693 EXPORT_SYMBOL_GPL(mlx5_set_port_prio_tc);
 694
 695 int mlx5_query_port_prio_tc(struct mlx5_core_dev *mdev,
 696                             u8 prio, u8 *tc)
 697 {
 698         u32 in[MLX5_ST_SZ_DW(qtct_reg)];
 699         u32 out[MLX5_ST_SZ_DW(qtct_reg)];
 700         int err;
 701
 702         memset(in, 0, sizeof(in));
 703         memset(out, 0, sizeof(out));
 704
 705         MLX5_SET(qtct_reg, in, port_number, 1);
 706         MLX5_SET(qtct_reg, in, prio, prio);
 707
 708         err = mlx5_core_access_reg(mdev, in, sizeof(in), out,
 709                                    sizeof(out), MLX5_REG_QTCT, 0, 0);
 710         if (!err)
 711                 *tc = MLX5_GET(qtct_reg, out, tclass);
 712
 713         return err;
 714 }
 715 EXPORT_SYMBOL_GPL(mlx5_query_port_prio_tc);
 716
 717 static int mlx5_set_port_qetcr_reg(struct mlx5_core_dev *mdev, u32 *in,
 718                                    int inlen)
 719 {
 720         u32 out[MLX5_ST_SZ_DW(qetc_reg)];
 721
 722         if (!MLX5_CAP_GEN(mdev, ets))
 723                 return -EOPNOTSUPP;
 724
 725         return mlx5_core_access_reg(mdev, in, inlen, out, sizeof(out),
 726                                     MLX5_REG_QETCR, 0, 1);
 727 }
 728
 729 static int mlx5_query_port_qetcr_reg(struct mlx5_core_dev *mdev, u32 *out,
 730                                      int outlen)
 731 {
 732         u32 in[MLX5_ST_SZ_DW(qetc_reg)];
 733
 734         if (!MLX5_CAP_GEN(mdev, ets))
 735                 return -EOPNOTSUPP;
 736
 737         memset(in, 0, sizeof(in));
 738         return mlx5_core_access_reg(mdev, in, sizeof(in), out, outlen,
 739                                     MLX5_REG_QETCR, 0, 0);
 740 }
 741
 742 int mlx5_set_port_tc_group(struct mlx5_core_dev *mdev, u8 *tc_group)
 743 {
 744         u32 in[MLX5_ST_SZ_DW(qetc_reg)] = {0};
 745         int i;
 746
 747         for (i = 0; i <= mlx5_max_tc(mdev); i++) {
 748                 MLX5_SET(qetc_reg, in, tc_configuration[i].g, 1);
 749                 MLX5_SET(qetc_reg, in, tc_configuration[i].group, tc_group[i]);
 750         }
 751
 752         return mlx5_set_port_qetcr_reg(mdev, in, sizeof(in));
 753 }
 754 EXPORT_SYMBOL_GPL(mlx5_set_port_tc_group);
 755
 756 int mlx5_query_port_tc_group(struct mlx5_core_dev *mdev,
 757                              u8 tc, u8 *tc_group)
 758 {
 759         u32 out[MLX5_ST_SZ_DW(qetc_reg)];
 760         void *ets_tcn_conf;
 761         int err;
 762
 763         err = mlx5_query_port_qetcr_reg(mdev, out, sizeof(out));
 764         if (err)
 765                 return err;
 766
 767         ets_tcn_conf = MLX5_ADDR_OF(qetc_reg, out,
 768                                     tc_configuration[tc]);
 769
 770         *tc_group = MLX5_GET(ets_tcn_config_reg, ets_tcn_conf,
 771                              group);
 772
 773         return 0;
 774 }
 775 EXPORT_SYMBOL_GPL(mlx5_query_port_tc_group);
 776
 777 int mlx5_set_port_tc_bw_alloc(struct mlx5_core_dev *mdev, u8 *tc_bw)
 778 {
 779         u32 in[MLX5_ST_SZ_DW(qetc_reg)] = {0};
 780         int i;
 781
 782         for (i = 0; i <= mlx5_max_tc(mdev); i++) {
 783                 MLX5_SET(qetc_reg, in, tc_configuration[i].b, 1);
 784                 MLX5_SET(qetc_reg, in, tc_configuration[i].bw_allocation, tc_bw[i]);
 785         }
 786
 787         return mlx5_set_port_qetcr_reg(mdev, in, sizeof(in));
 788 }
 789 EXPORT_SYMBOL_GPL(mlx5_set_port_tc_bw_alloc);
 790
 791 int mlx5_query_port_tc_bw_alloc(struct mlx5_core_dev *mdev,
 792                                 u8 tc, u8 *bw_pct)
 793 {
 794         u32 out[MLX5_ST_SZ_DW(qetc_reg)];
 795         void *ets_tcn_conf;
 796         int err;
 797
 798         err = mlx5_query_port_qetcr_reg(mdev, out, sizeof(out));
 799         if (err)
 800                 return err;
 801
 802         ets_tcn_conf = MLX5_ADDR_OF(qetc_reg, out,
 803                                     tc_configuration[tc]);
 804
 805         *bw_pct = MLX5_GET(ets_tcn_config_reg, ets_tcn_conf,
 806                            bw_allocation);
 807
 808         return 0;
 809 }
 810 EXPORT_SYMBOL_GPL(mlx5_query_port_tc_bw_alloc);
 811
 812 int mlx5_modify_port_ets_rate_limit(struct mlx5_core_dev *mdev,
 813                                     u8 *max_bw_value,
 814                                     u8 *max_bw_units)
 815 {
 816         u32 in[MLX5_ST_SZ_DW(qetc_reg)] = {0};
 817         void *ets_tcn_conf;
 818         int i;
 819
 820         MLX5_SET(qetc_reg, in, port_number, 1);
 821
 822         for (i = 0; i <= mlx5_max_tc(mdev); i++) {
 823                 ets_tcn_conf = MLX5_ADDR_OF(qetc_reg, in, tc_configuration[i]);
 824
 825                 MLX5_SET(ets_tcn_config_reg, ets_tcn_conf, r, 1);
 826                 MLX5_SET(ets_tcn_config_reg, ets_tcn_conf, max_bw_units,
 827                          max_bw_units[i]);
 828                 MLX5_SET(ets_tcn_config_reg, ets_tcn_conf, max_bw_value,
 829                          max_bw_value[i]);
 830         }
 831
 832         return mlx5_set_port_qetcr_reg(mdev, in, sizeof(in));
 833 }
 834 EXPORT_SYMBOL_GPL(mlx5_modify_port_ets_rate_limit);
 835
 836 int mlx5_query_port_ets_rate_limit(struct mlx5_core_dev *mdev,
 837                                    u8 *max_bw_value,
 838                                    u8 *max_bw_units)
 839 {
 840         u32 out[MLX5_ST_SZ_DW(qetc_reg)];
 841         void *ets_tcn_conf;
 842         int err;
 843         int i;
 844
 845         err = mlx5_query_port_qetcr_reg(mdev, out, sizeof(out));
 846         if (err)
 847                 return err;
 848
 849         for (i = 0; i <= mlx5_max_tc(mdev); i++) {
 850                 ets_tcn_conf = MLX5_ADDR_OF(qetc_reg, out, tc_configuration[i]);
 851
 852                 max_bw_value[i] = MLX5_GET(ets_tcn_config_reg, ets_tcn_conf,
 853                                            max_bw_value);
 854                 max_bw_units[i] = MLX5_GET(ets_tcn_config_reg, ets_tcn_conf,
 855                                            max_bw_units);
 856         }
 857
 858         return 0;
 859 }
 860 EXPORT_SYMBOL_GPL(mlx5_query_port_ets_rate_limit);
 861
 862 int mlx5_set_port_wol(struct mlx5_core_dev *mdev, u8 wol_mode)
 863 {
 864         u32 in[MLX5_ST_SZ_DW(set_wol_rol_in)] = {};
 865
 866         MLX5_SET(set_wol_rol_in, in, opcode, MLX5_CMD_OP_SET_WOL_ROL);
 867         MLX5_SET(set_wol_rol_in, in, wol_mode_valid, 1);
 868         MLX5_SET(set_wol_rol_in, in, wol_mode, wol_mode);
 869         return mlx5_cmd_exec_in(mdev, set_wol_rol, in);
 870 }
 871 EXPORT_SYMBOL_GPL(mlx5_set_port_wol);
 872
 873 int mlx5_query_port_wol(struct mlx5_core_dev *mdev, u8 *wol_mode)
 874 {
 875         u32 out[MLX5_ST_SZ_DW(query_wol_rol_out)] = {};
 876         u32 in[MLX5_ST_SZ_DW(query_wol_rol_in)] = {};
 877         int err;
 878
 879         MLX5_SET(query_wol_rol_in, in, opcode, MLX5_CMD_OP_QUERY_WOL_ROL);
 880         err = mlx5_cmd_exec_inout(mdev, query_wol_rol, in, out);
 881         if (!err)
 882                 *wol_mode = MLX5_GET(query_wol_rol_out, out, wol_mode);
 883
 884         return err;
 885 }
 886 EXPORT_SYMBOL_GPL(mlx5_query_port_wol);
 887
 888 int mlx5_query_ports_check(struct mlx5_core_dev *mdev, u32 *out, int outlen)
 889 {
 890         u32 in[MLX5_ST_SZ_DW(pcmr_reg)] = {0};
 891
 892         MLX5_SET(pcmr_reg, in, local_port, 1);
 893         return mlx5_core_access_reg(mdev, in, sizeof(in), out,
 894                                     outlen, MLX5_REG_PCMR, 0, 0);
 895 }
 896
 897 int mlx5_set_ports_check(struct mlx5_core_dev *mdev, u32 *in, int inlen)
 898 {
 899         u32 out[MLX5_ST_SZ_DW(pcmr_reg)];
 900
 901         return mlx5_core_access_reg(mdev, in, inlen, out,
 902                                     sizeof(out), MLX5_REG_PCMR, 0, 1);
 903 }
 904
 905 int mlx5_set_port_fcs(struct mlx5_core_dev *mdev, u8 enable)
 906 {
 907         u32 in[MLX5_ST_SZ_DW(pcmr_reg)] = {0};
 908         int err;
 909
 910         err = mlx5_query_ports_check(mdev, in, sizeof(in));
 911         if (err)
 912                 return err;
 913         MLX5_SET(pcmr_reg, in, local_port, 1);
 914         MLX5_SET(pcmr_reg, in, fcs_chk, enable);
 915         return mlx5_set_ports_check(mdev, in, sizeof(in));
 916 }
 917
 918 void mlx5_query_port_fcs(struct mlx5_core_dev *mdev, bool *supported,
 919                          bool *enabled)
 920 {
 921         u32 out[MLX5_ST_SZ_DW(pcmr_reg)];
 922         /* Default values for FW which do not support MLX5_REG_PCMR */
 923         *supported = false;
 924         *enabled = true;
 925
 926         if (!MLX5_CAP_GEN(mdev, ports_check))
 927                 return;
 928
 929         if (mlx5_query_ports_check(mdev, out, sizeof(out)))
 930                 return;
 931
 932         *supported = !!(MLX5_GET(pcmr_reg, out, fcs_cap));
 933         *enabled = !!(MLX5_GET(pcmr_reg, out, fcs_chk));
 934 }
 935
 936 int mlx5_query_mtpps(struct mlx5_core_dev *mdev, u32 *mtpps, u32 mtpps_size)
 937 {
 938         u32 in[MLX5_ST_SZ_DW(mtpps_reg)] = {0};
 939
 940         return mlx5_core_access_reg(mdev, in, sizeof(in), mtpps,
 941                                     mtpps_size, MLX5_REG_MTPPS, 0, 0);
 942 }
 943
 944 int mlx5_set_mtpps(struct mlx5_core_dev *mdev, u32 *mtpps, u32 mtpps_size)
 945 {
 946         u32 out[MLX5_ST_SZ_DW(mtpps_reg)] = {0};
 947
 948         return mlx5_core_access_reg(mdev, mtpps, mtpps_size, out,
 949                                     sizeof(out), MLX5_REG_MTPPS, 0, 1);
 950 }
 951
 952 int mlx5_query_mtppse(struct mlx5_core_dev *mdev, u8 pin, u8 *arm, u8 *mode)
 953 {
 954         u32 out[MLX5_ST_SZ_DW(mtppse_reg)] = {0};
 955         u32 in[MLX5_ST_SZ_DW(mtppse_reg)] = {0};
 956         int err = 0;
 957
 958         MLX5_SET(mtppse_reg, in, pin, pin);
 959
 960         err = mlx5_core_access_reg(mdev, in, sizeof(in), out,
 961                                    sizeof(out), MLX5_REG_MTPPSE, 0, 0);
 962         if (err)
 963                 return err;
 964
 965         *arm = MLX5_GET(mtppse_reg, in, event_arm);
 966         *mode = MLX5_GET(mtppse_reg, in, event_generation_mode);
 967
 968         return err;
 969 }
 970
 971 int mlx5_set_mtppse(struct mlx5_core_dev *mdev, u8 pin, u8 arm, u8 mode)
 972 {
 973         u32 out[MLX5_ST_SZ_DW(mtppse_reg)] = {0};
 974         u32 in[MLX5_ST_SZ_DW(mtppse_reg)] = {0};
 975
 976         MLX5_SET(mtppse_reg, in, pin, pin);
 977         MLX5_SET(mtppse_reg, in, event_arm, arm);
 978         MLX5_SET(mtppse_reg, in, event_generation_mode, mode);
 979
 980         return mlx5_core_access_reg(mdev, in, sizeof(in), out,
 981                                     sizeof(out), MLX5_REG_MTPPSE, 0, 1);
 982 }
 983
 984 int mlx5_set_trust_state(struct mlx5_core_dev *mdev, u8 trust_state)
 985 {
 986         u32 out[MLX5_ST_SZ_DW(qpts_reg)] = {};
 987         u32 in[MLX5_ST_SZ_DW(qpts_reg)] = {};
 988         int err;
 989
 990         MLX5_SET(qpts_reg, in, local_port, 1);
 991         MLX5_SET(qpts_reg, in, trust_state, trust_state);
 992
 993         err = mlx5_core_access_reg(mdev, in, sizeof(in), out,
 994                                    sizeof(out), MLX5_REG_QPTS, 0, 1);
 995         return err;
 996 }
 997
 998 int mlx5_query_trust_state(struct mlx5_core_dev *mdev, u8 *trust_state)
 999 {
1000         u32 out[MLX5_ST_SZ_DW(qpts_reg)] = {};
1001         u32 in[MLX5_ST_SZ_DW(qpts_reg)] = {};
1002         int err;
1003
1004         MLX5_SET(qpts_reg, in, local_port, 1);
1005
1006         err = mlx5_core_access_reg(mdev, in, sizeof(in), out,
1007                                    sizeof(out), MLX5_REG_QPTS, 0, 0);
1008         if (!err)
1009                 *trust_state = MLX5_GET(qpts_reg, out, trust_state);
1010
1011         return err;
1012 }
1013
1014 int mlx5_set_dscp2prio(struct mlx5_core_dev *mdev, u8 dscp, u8 prio)
1015 {
1016         int sz = MLX5_ST_SZ_BYTES(qpdpm_reg);
1017         void *qpdpm_dscp;
1018         void *out;
1019         void *in;
1020         int err;
1021
1022         in = kzalloc(sz, GFP_KERNEL);
1023         out = kzalloc(sz, GFP_KERNEL);
1024         if (!in || !out) {
1025                 err = -ENOMEM;
1026                 goto out;
1027         }
1028
1029         MLX5_SET(qpdpm_reg, in, local_port, 1);
1030         err = mlx5_core_access_reg(mdev, in, sz, out, sz, MLX5_REG_QPDPM, 0, 0);
1031         if (err)
1032                 goto out;
1033
1034         memcpy(in, out, sz);
1035         MLX5_SET(qpdpm_reg, in, local_port, 1);
1036
1037         /* Update the corresponding dscp entry */
1038         qpdpm_dscp = MLX5_ADDR_OF(qpdpm_reg, in, dscp[dscp]);
1039         MLX5_SET16(qpdpm_dscp_reg, qpdpm_dscp, prio, prio);
1040         MLX5_SET16(qpdpm_dscp_reg, qpdpm_dscp, e, 1);
1041         err = mlx5_core_access_reg(mdev, in, sz, out, sz, MLX5_REG_QPDPM, 0, 1);
1042
1043 out:
1044         kfree(in);
1045         kfree(out);
1046         return err;
1047 }
1048
1049 /* dscp2prio[i]: priority that dscp i mapped to */
1050 #define MLX5E_SUPPORTED_DSCP 64
1051 int mlx5_query_dscp2prio(struct mlx5_core_dev *mdev, u8 *dscp2prio)
1052 {
1053         int sz = MLX5_ST_SZ_BYTES(qpdpm_reg);
1054         void *qpdpm_dscp;
1055         void *out;
1056         void *in;
1057         int err;
1058         int i;
1059
1060         in = kzalloc(sz, GFP_KERNEL);
1061         out = kzalloc(sz, GFP_KERNEL);
1062         if (!in || !out) {
1063                 err = -ENOMEM;
1064                 goto out;
1065         }
1066
1067         MLX5_SET(qpdpm_reg, in, local_port, 1);
1068         err = mlx5_core_access_reg(mdev, in, sz, out, sz, MLX5_REG_QPDPM, 0, 0);
1069         if (err)
1070                 goto out;
1071
1072         for (i = 0; i < (MLX5E_SUPPORTED_DSCP); i++) {
1073                 qpdpm_dscp = MLX5_ADDR_OF(qpdpm_reg, out, dscp[i]);
1074                 dscp2prio[i] = MLX5_GET16(qpdpm_dscp_reg, qpdpm_dscp, prio);
1075         }
1076
1077 out:
1078         kfree(in);
1079         kfree(out);
1080         return err;
1081 }