drivers/net/ethernet/marvell/prestera/prestera_pci.c

   1 // SPDX-License-Identifier: BSD-3-Clause OR GPL-2.0
   2 /* Copyright (c) 2019-2020 Marvell International Ltd. All rights reserved */
   3
   4 #include <linux/bitfield.h>
   5 #include <linux/circ_buf.h>
   6 #include <linux/device.h>
   7 #include <linux/firmware.h>
   8 #include <linux/iopoll.h>
   9 #include <linux/kernel.h>
  10 #include <linux/module.h>
  11 #include <linux/pci.h>
  12
  13 #include "prestera.h"
  14
  15 #define PRESTERA_MSG_MAX_SIZE 1500
  16
  17 #define PRESTERA_SUPP_FW_MAJ_VER        2
  18 #define PRESTERA_SUPP_FW_MIN_VER        0
  19
  20 #define PRESTERA_FW_PATH_FMT    "mrvl/prestera/mvsw_prestera_fw-v%u.%u.img"
  21
  22 #define PRESTERA_FW_HDR_MAGIC           0x351D9D06
  23 #define PRESTERA_FW_DL_TIMEOUT_MS       50000
  24 #define PRESTERA_FW_BLK_SZ              1024
  25
  26 #define PRESTERA_FW_VER_MAJ_MUL 1000000
  27 #define PRESTERA_FW_VER_MIN_MUL 1000
  28
  29 #define PRESTERA_FW_VER_MAJ(v)  ((v) / PRESTERA_FW_VER_MAJ_MUL)
  30
  31 #define PRESTERA_FW_VER_MIN(v) \
  32         (((v) - (PRESTERA_FW_VER_MAJ(v) * PRESTERA_FW_VER_MAJ_MUL)) / \
  33                         PRESTERA_FW_VER_MIN_MUL)
  34
  35 #define PRESTERA_FW_VER_PATCH(v) \
  36         ((v) - (PRESTERA_FW_VER_MAJ(v) * PRESTERA_FW_VER_MAJ_MUL) - \
  37                         (PRESTERA_FW_VER_MIN(v) * PRESTERA_FW_VER_MIN_MUL))
  38
  39 enum prestera_pci_bar_t {
  40         PRESTERA_PCI_BAR_FW = 2,
  41         PRESTERA_PCI_BAR_PP = 4,
  42 };
  43
  44 struct prestera_fw_header {
  45         __be32 magic_number;
  46         __be32 version_value;
  47         u8 reserved[8];
  48 };
  49
  50 struct prestera_ldr_regs {
  51         u32 ldr_ready;
  52         u32 pad1;
  53
  54         u32 ldr_img_size;
  55         u32 ldr_ctl_flags;
  56
  57         u32 ldr_buf_offs;
  58         u32 ldr_buf_size;
  59
  60         u32 ldr_buf_rd;
  61         u32 pad2;
  62         u32 ldr_buf_wr;
  63
  64         u32 ldr_status;
  65 };
  66
  67 #define PRESTERA_LDR_REG_OFFSET(f)      offsetof(struct prestera_ldr_regs, f)
  68
  69 #define PRESTERA_LDR_READY_MAGIC        0xf00dfeed
  70
  71 #define PRESTERA_LDR_STATUS_IMG_DL      BIT(0)
  72 #define PRESTERA_LDR_STATUS_START_FW    BIT(1)
  73 #define PRESTERA_LDR_STATUS_INVALID_IMG BIT(2)
  74 #define PRESTERA_LDR_STATUS_NOMEM       BIT(3)
  75
  76 #define PRESTERA_LDR_REG_BASE(fw)       ((fw)->ldr_regs)
  77 #define PRESTERA_LDR_REG_ADDR(fw, reg)  (PRESTERA_LDR_REG_BASE(fw) + (reg))
  78
  79 /* fw loader registers */
  80 #define PRESTERA_LDR_READY_REG          PRESTERA_LDR_REG_OFFSET(ldr_ready)
  81 #define PRESTERA_LDR_IMG_SIZE_REG       PRESTERA_LDR_REG_OFFSET(ldr_img_size)
  82 #define PRESTERA_LDR_CTL_REG            PRESTERA_LDR_REG_OFFSET(ldr_ctl_flags)
  83 #define PRESTERA_LDR_BUF_SIZE_REG       PRESTERA_LDR_REG_OFFSET(ldr_buf_size)
  84 #define PRESTERA_LDR_BUF_OFFS_REG       PRESTERA_LDR_REG_OFFSET(ldr_buf_offs)
  85 #define PRESTERA_LDR_BUF_RD_REG         PRESTERA_LDR_REG_OFFSET(ldr_buf_rd)
  86 #define PRESTERA_LDR_BUF_WR_REG         PRESTERA_LDR_REG_OFFSET(ldr_buf_wr)
  87 #define PRESTERA_LDR_STATUS_REG         PRESTERA_LDR_REG_OFFSET(ldr_status)
  88
  89 #define PRESTERA_LDR_CTL_DL_START       BIT(0)
  90
  91 #define PRESTERA_EVT_QNUM_MAX   4
  92
  93 struct prestera_fw_evtq_regs {
  94         u32 rd_idx;
  95         u32 pad1;
  96         u32 wr_idx;
  97         u32 pad2;
  98         u32 offs;
  99         u32 len;
 100 };
 101
 102 struct prestera_fw_regs {
 103         u32 fw_ready;
 104         u32 pad;
 105         u32 cmd_offs;
 106         u32 cmd_len;
 107         u32 evt_offs;
 108         u32 evt_qnum;
 109
 110         u32 cmd_req_ctl;
 111         u32 cmd_req_len;
 112         u32 cmd_rcv_ctl;
 113         u32 cmd_rcv_len;
 114
 115         u32 fw_status;
 116         u32 rx_status;
 117
 118         struct prestera_fw_evtq_regs evtq_list[PRESTERA_EVT_QNUM_MAX];
 119 };
 120
 121 #define PRESTERA_FW_REG_OFFSET(f)       offsetof(struct prestera_fw_regs, f)
 122
 123 #define PRESTERA_FW_READY_MAGIC         0xcafebabe
 124
 125 /* fw registers */
 126 #define PRESTERA_FW_READY_REG           PRESTERA_FW_REG_OFFSET(fw_ready)
 127
 128 #define PRESTERA_CMD_BUF_OFFS_REG       PRESTERA_FW_REG_OFFSET(cmd_offs)
 129 #define PRESTERA_CMD_BUF_LEN_REG        PRESTERA_FW_REG_OFFSET(cmd_len)
 130 #define PRESTERA_EVT_BUF_OFFS_REG       PRESTERA_FW_REG_OFFSET(evt_offs)
 131 #define PRESTERA_EVT_QNUM_REG           PRESTERA_FW_REG_OFFSET(evt_qnum)
 132
 133 #define PRESTERA_CMD_REQ_CTL_REG        PRESTERA_FW_REG_OFFSET(cmd_req_ctl)
 134 #define PRESTERA_CMD_REQ_LEN_REG        PRESTERA_FW_REG_OFFSET(cmd_req_len)
 135
 136 #define PRESTERA_CMD_RCV_CTL_REG        PRESTERA_FW_REG_OFFSET(cmd_rcv_ctl)
 137 #define PRESTERA_CMD_RCV_LEN_REG        PRESTERA_FW_REG_OFFSET(cmd_rcv_len)
 138 #define PRESTERA_FW_STATUS_REG          PRESTERA_FW_REG_OFFSET(fw_status)
 139 #define PRESTERA_RX_STATUS_REG          PRESTERA_FW_REG_OFFSET(rx_status)
 140
 141 /* PRESTERA_CMD_REQ_CTL_REG flags */
 142 #define PRESTERA_CMD_F_REQ_SENT         BIT(0)
 143 #define PRESTERA_CMD_F_REPL_RCVD        BIT(1)
 144
 145 /* PRESTERA_CMD_RCV_CTL_REG flags */
 146 #define PRESTERA_CMD_F_REPL_SENT        BIT(0)
 147
 148 #define PRESTERA_FW_EVT_CTL_STATUS_MASK GENMASK(1, 0)
 149
 150 #define PRESTERA_FW_EVT_CTL_STATUS_ON   0
 151 #define PRESTERA_FW_EVT_CTL_STATUS_OFF  1
 152
 153 #define PRESTERA_EVTQ_REG_OFFSET(q, f)                  \
 154         (PRESTERA_FW_REG_OFFSET(evtq_list) +            \
 155          (q) * sizeof(struct prestera_fw_evtq_regs) +   \
 156          offsetof(struct prestera_fw_evtq_regs, f))
 157
 158 #define PRESTERA_EVTQ_RD_IDX_REG(q)     PRESTERA_EVTQ_REG_OFFSET(q, rd_idx)
 159 #define PRESTERA_EVTQ_WR_IDX_REG(q)     PRESTERA_EVTQ_REG_OFFSET(q, wr_idx)
 160 #define PRESTERA_EVTQ_OFFS_REG(q)       PRESTERA_EVTQ_REG_OFFSET(q, offs)
 161 #define PRESTERA_EVTQ_LEN_REG(q)        PRESTERA_EVTQ_REG_OFFSET(q, len)
 162
 163 #define PRESTERA_FW_REG_BASE(fw)        ((fw)->dev.ctl_regs)
 164 #define PRESTERA_FW_REG_ADDR(fw, reg)   PRESTERA_FW_REG_BASE((fw)) + (reg)
 165
 166 #define PRESTERA_FW_CMD_DEFAULT_WAIT_MS 30000
 167 #define PRESTERA_FW_READY_WAIT_MS       20000
 168
 169 struct prestera_fw_evtq {
 170         u8 __iomem *addr;
 171         size_t len;
 172 };
 173
 174 struct prestera_fw {
 175         struct workqueue_struct *wq;
 176         struct prestera_device dev;
 177         u8 __iomem *ldr_regs;
 178         u8 __iomem *ldr_ring_buf;
 179         u32 ldr_buf_len;
 180         u32 ldr_wr_idx;
 181         struct mutex cmd_mtx; /* serialize access to dev->send_req */
 182         size_t cmd_mbox_len;
 183         u8 __iomem *cmd_mbox;
 184         struct prestera_fw_evtq evt_queue[PRESTERA_EVT_QNUM_MAX];
 185         u8 evt_qnum;
 186         struct work_struct evt_work;
 187         u8 __iomem *evt_buf;
 188         u8 *evt_msg;
 189 };
 190
 191 static int prestera_fw_load(struct prestera_fw *fw);
 192
 193 static void prestera_fw_write(struct prestera_fw *fw, u32 reg, u32 val)
 194 {
 195         writel(val, PRESTERA_FW_REG_ADDR(fw, reg));
 196 }
 197
 198 static u32 prestera_fw_read(struct prestera_fw *fw, u32 reg)
 199 {
 200         return readl(PRESTERA_FW_REG_ADDR(fw, reg));
 201 }
 202
 203 static u32 prestera_fw_evtq_len(struct prestera_fw *fw, u8 qid)
 204 {
 205         return fw->evt_queue[qid].len;
 206 }
 207
 208 static u32 prestera_fw_evtq_avail(struct prestera_fw *fw, u8 qid)
 209 {
 210         u32 wr_idx = prestera_fw_read(fw, PRESTERA_EVTQ_WR_IDX_REG(qid));
 211         u32 rd_idx = prestera_fw_read(fw, PRESTERA_EVTQ_RD_IDX_REG(qid));
 212
 213         return CIRC_CNT(wr_idx, rd_idx, prestera_fw_evtq_len(fw, qid));
 214 }
 215
 216 static void prestera_fw_evtq_rd_set(struct prestera_fw *fw,
 217                                     u8 qid, u32 idx)
 218 {
 219         u32 rd_idx = idx & (prestera_fw_evtq_len(fw, qid) - 1);
 220
 221         prestera_fw_write(fw, PRESTERA_EVTQ_RD_IDX_REG(qid), rd_idx);
 222 }
 223
 224 static u8 __iomem *prestera_fw_evtq_buf(struct prestera_fw *fw, u8 qid)
 225 {
 226         return fw->evt_queue[qid].addr;
 227 }
 228
 229 static u32 prestera_fw_evtq_read32(struct prestera_fw *fw, u8 qid)
 230 {
 231         u32 rd_idx = prestera_fw_read(fw, PRESTERA_EVTQ_RD_IDX_REG(qid));
 232         u32 val;
 233
 234         val = readl(prestera_fw_evtq_buf(fw, qid) + rd_idx);
 235         prestera_fw_evtq_rd_set(fw, qid, rd_idx + 4);
 236         return val;
 237 }
 238
 239 static ssize_t prestera_fw_evtq_read_buf(struct prestera_fw *fw,
 240                                          u8 qid, void *buf, size_t len)
 241 {
 242         u32 idx = prestera_fw_read(fw, PRESTERA_EVTQ_RD_IDX_REG(qid));
 243         u8 __iomem *evtq_addr = prestera_fw_evtq_buf(fw, qid);
 244         u32 *buf32 = buf;
 245         int i;
 246
 247         for (i = 0; i < len / 4; buf32++, i++) {
 248                 *buf32 = readl_relaxed(evtq_addr + idx);
 249                 idx = (idx + 4) & (prestera_fw_evtq_len(fw, qid) - 1);
 250         }
 251
 252         prestera_fw_evtq_rd_set(fw, qid, idx);
 253
 254         return i;
 255 }
 256
 257 static u8 prestera_fw_evtq_pick(struct prestera_fw *fw)
 258 {
 259         int qid;
 260
 261         for (qid = 0; qid < fw->evt_qnum; qid++) {
 262                 if (prestera_fw_evtq_avail(fw, qid) >= 4)
 263                         return qid;
 264         }
 265
 266         return PRESTERA_EVT_QNUM_MAX;
 267 }
 268
 269 static void prestera_fw_evt_ctl_status_set(struct prestera_fw *fw, u32 val)
 270 {
 271         u32 status = prestera_fw_read(fw, PRESTERA_FW_STATUS_REG);
 272
 273         u32p_replace_bits(&status, val, PRESTERA_FW_EVT_CTL_STATUS_MASK);
 274
 275         prestera_fw_write(fw, PRESTERA_FW_STATUS_REG, status);
 276 }
 277
 278 static void prestera_fw_evt_work_fn(struct work_struct *work)
 279 {
 280         struct prestera_fw *fw;
 281         void *msg;
 282         u8 qid;
 283
 284         fw = container_of(work, struct prestera_fw, evt_work);
 285         msg = fw->evt_msg;
 286
 287         prestera_fw_evt_ctl_status_set(fw, PRESTERA_FW_EVT_CTL_STATUS_OFF);
 288
 289         while ((qid = prestera_fw_evtq_pick(fw)) < PRESTERA_EVT_QNUM_MAX) {
 290                 u32 idx;
 291                 u32 len;
 292
 293                 len = prestera_fw_evtq_read32(fw, qid);
 294                 idx = prestera_fw_read(fw, PRESTERA_EVTQ_RD_IDX_REG(qid));
 295
 296                 WARN_ON(prestera_fw_evtq_avail(fw, qid) < len);
 297
 298                 if (WARN_ON(len > PRESTERA_MSG_MAX_SIZE)) {
 299                         prestera_fw_evtq_rd_set(fw, qid, idx + len);
 300                         continue;
 301                 }
 302
 303                 prestera_fw_evtq_read_buf(fw, qid, msg, len);
 304
 305                 if (fw->dev.recv_msg)
 306                         fw->dev.recv_msg(&fw->dev, msg, len);
 307         }
 308
 309         prestera_fw_evt_ctl_status_set(fw, PRESTERA_FW_EVT_CTL_STATUS_ON);
 310 }
 311
 312 static int prestera_fw_wait_reg32(struct prestera_fw *fw, u32 reg, u32 cmp,
 313                                   unsigned int waitms)
 314 {
 315         u8 __iomem *addr = PRESTERA_FW_REG_ADDR(fw, reg);
 316         u32 val;
 317
 318         return readl_poll_timeout(addr, val, cmp == val,
 319                                   1 * USEC_PER_MSEC, waitms * USEC_PER_MSEC);
 320 }
 321
 322 static int prestera_fw_cmd_send(struct prestera_fw *fw,
 323                                 void *in_msg, size_t in_size,
 324                                 void *out_msg, size_t out_size,
 325                                 unsigned int waitms)
 326 {
 327         u32 ret_size;
 328         int err;
 329
 330         if (!waitms)
 331                 waitms = PRESTERA_FW_CMD_DEFAULT_WAIT_MS;
 332
 333         if (ALIGN(in_size, 4) > fw->cmd_mbox_len)
 334                 return -EMSGSIZE;
 335
 336         /* wait for finish previous reply from FW */
 337         err = prestera_fw_wait_reg32(fw, PRESTERA_CMD_RCV_CTL_REG, 0, 30);
 338         if (err) {
 339                 dev_err(fw->dev.dev, "finish reply from FW is timed out\n");
 340                 return err;
 341         }
 342
 343         prestera_fw_write(fw, PRESTERA_CMD_REQ_LEN_REG, in_size);
 344         memcpy_toio(fw->cmd_mbox, in_msg, in_size);
 345
 346         prestera_fw_write(fw, PRESTERA_CMD_REQ_CTL_REG, PRESTERA_CMD_F_REQ_SENT);
 347
 348         /* wait for reply from FW */
 349         err = prestera_fw_wait_reg32(fw, PRESTERA_CMD_RCV_CTL_REG,
 350                                      PRESTERA_CMD_F_REPL_SENT, waitms);
 351         if (err) {
 352                 dev_err(fw->dev.dev, "reply from FW is timed out\n");
 353                 goto cmd_exit;
 354         }
 355
 356         ret_size = prestera_fw_read(fw, PRESTERA_CMD_RCV_LEN_REG);
 357         if (ret_size > out_size) {
 358                 dev_err(fw->dev.dev, "ret_size (%u) > out_len(%zu)\n",
 359                         ret_size, out_size);
 360                 err = -EMSGSIZE;
 361                 goto cmd_exit;
 362         }
 363
 364         memcpy_fromio(out_msg, fw->cmd_mbox + in_size, ret_size);
 365
 366 cmd_exit:
 367         prestera_fw_write(fw, PRESTERA_CMD_REQ_CTL_REG, PRESTERA_CMD_F_REPL_RCVD);
 368         return err;
 369 }
 370
 371 static int prestera_fw_send_req(struct prestera_device *dev,
 372                                 void *in_msg, size_t in_size, void *out_msg,
 373                                 size_t out_size, unsigned int waitms)
 374 {
 375         struct prestera_fw *fw;
 376         ssize_t ret;
 377
 378         fw = container_of(dev, struct prestera_fw, dev);
 379
 380         mutex_lock(&fw->cmd_mtx);
 381         ret = prestera_fw_cmd_send(fw, in_msg, in_size, out_msg, out_size, waitms);
 382         mutex_unlock(&fw->cmd_mtx);
 383
 384         return ret;
 385 }
 386
 387 static int prestera_fw_init(struct prestera_fw *fw)
 388 {
 389         u8 __iomem *base;
 390         int err;
 391         u8 qid;
 392
 393         fw->dev.send_req = prestera_fw_send_req;
 394         fw->ldr_regs = fw->dev.ctl_regs;
 395
 396         err = prestera_fw_load(fw);
 397         if (err)
 398                 return err;
 399
 400         err = prestera_fw_wait_reg32(fw, PRESTERA_FW_READY_REG,
 401                                      PRESTERA_FW_READY_MAGIC,
 402                                      PRESTERA_FW_READY_WAIT_MS);
 403         if (err) {
 404                 dev_err(fw->dev.dev, "FW failed to start\n");
 405                 return err;
 406         }
 407
 408         base = fw->dev.ctl_regs;
 409
 410         fw->cmd_mbox = base + prestera_fw_read(fw, PRESTERA_CMD_BUF_OFFS_REG);
 411         fw->cmd_mbox_len = prestera_fw_read(fw, PRESTERA_CMD_BUF_LEN_REG);
 412         mutex_init(&fw->cmd_mtx);
 413
 414         fw->evt_buf = base + prestera_fw_read(fw, PRESTERA_EVT_BUF_OFFS_REG);
 415         fw->evt_qnum = prestera_fw_read(fw, PRESTERA_EVT_QNUM_REG);
 416         fw->evt_msg = kmalloc(PRESTERA_MSG_MAX_SIZE, GFP_KERNEL);
 417         if (!fw->evt_msg)
 418                 return -ENOMEM;
 419
 420         for (qid = 0; qid < fw->evt_qnum; qid++) {
 421                 u32 offs = prestera_fw_read(fw, PRESTERA_EVTQ_OFFS_REG(qid));
 422                 struct prestera_fw_evtq *evtq = &fw->evt_queue[qid];
 423
 424                 evtq->len = prestera_fw_read(fw, PRESTERA_EVTQ_LEN_REG(qid));
 425                 evtq->addr = fw->evt_buf + offs;
 426         }
 427
 428         return 0;
 429 }
 430
 431 static void prestera_fw_uninit(struct prestera_fw *fw)
 432 {
 433         kfree(fw->evt_msg);
 434 }
 435
 436 static irqreturn_t prestera_pci_irq_handler(int irq, void *dev_id)
 437 {
 438         struct prestera_fw *fw = dev_id;
 439
 440         if (prestera_fw_read(fw, PRESTERA_RX_STATUS_REG)) {
 441                 prestera_fw_write(fw, PRESTERA_RX_STATUS_REG, 0);
 442
 443                 if (fw->dev.recv_pkt)
 444                         fw->dev.recv_pkt(&fw->dev);
 445         }
 446
 447         queue_work(fw->wq, &fw->evt_work);
 448
 449         return IRQ_HANDLED;
 450 }
 451
 452 static void prestera_ldr_write(struct prestera_fw *fw, u32 reg, u32 val)
 453 {
 454         writel(val, PRESTERA_LDR_REG_ADDR(fw, reg));
 455 }
 456
 457 static u32 prestera_ldr_read(struct prestera_fw *fw, u32 reg)
 458 {
 459         return readl(PRESTERA_LDR_REG_ADDR(fw, reg));
 460 }
 461
 462 static int prestera_ldr_wait_reg32(struct prestera_fw *fw,
 463                                    u32 reg, u32 cmp, unsigned int waitms)
 464 {
 465         u8 __iomem *addr = PRESTERA_LDR_REG_ADDR(fw, reg);
 466         u32 val;
 467
 468         return readl_poll_timeout(addr, val, cmp == val,
 469                                   10 * USEC_PER_MSEC, waitms * USEC_PER_MSEC);
 470 }
 471
 472 static u32 prestera_ldr_wait_buf(struct prestera_fw *fw, size_t len)
 473 {
 474         u8 __iomem *addr = PRESTERA_LDR_REG_ADDR(fw, PRESTERA_LDR_BUF_RD_REG);
 475         u32 buf_len = fw->ldr_buf_len;
 476         u32 wr_idx = fw->ldr_wr_idx;
 477         u32 rd_idx;
 478
 479         return readl_poll_timeout(addr, rd_idx,
 480                                  CIRC_SPACE(wr_idx, rd_idx, buf_len) >= len,
 481                                  1 * USEC_PER_MSEC, 100 * USEC_PER_MSEC);
 482 }
 483
 484 static int prestera_ldr_wait_dl_finish(struct prestera_fw *fw)
 485 {
 486         u8 __iomem *addr = PRESTERA_LDR_REG_ADDR(fw, PRESTERA_LDR_STATUS_REG);
 487         unsigned long mask = ~(PRESTERA_LDR_STATUS_IMG_DL);
 488         u32 val;
 489         int err;
 490
 491         err = readl_poll_timeout(addr, val, val & mask, 10 * USEC_PER_MSEC,
 492                                  PRESTERA_FW_DL_TIMEOUT_MS * USEC_PER_MSEC);
 493         if (err) {
 494                 dev_err(fw->dev.dev, "Timeout to load FW img [state=%d]",
 495                         prestera_ldr_read(fw, PRESTERA_LDR_STATUS_REG));
 496                 return err;
 497         }
 498
 499         return 0;
 500 }
 501
 502 static void prestera_ldr_wr_idx_move(struct prestera_fw *fw, unsigned int n)
 503 {
 504         fw->ldr_wr_idx = (fw->ldr_wr_idx + (n)) & (fw->ldr_buf_len - 1);
 505 }
 506
 507 static void prestera_ldr_wr_idx_commit(struct prestera_fw *fw)
 508 {
 509         prestera_ldr_write(fw, PRESTERA_LDR_BUF_WR_REG, fw->ldr_wr_idx);
 510 }
 511
 512 static u8 __iomem *prestera_ldr_wr_ptr(struct prestera_fw *fw)
 513 {
 514         return fw->ldr_ring_buf + fw->ldr_wr_idx;
 515 }
 516
 517 static int prestera_ldr_send(struct prestera_fw *fw, const u8 *buf, size_t len)
 518 {
 519         int err;
 520         int i;
 521
 522         err = prestera_ldr_wait_buf(fw, len);
 523         if (err) {
 524                 dev_err(fw->dev.dev, "failed wait for sending firmware\n");
 525                 return err;
 526         }
 527
 528         for (i = 0; i < len; i += 4) {
 529                 writel_relaxed(*(u32 *)(buf + i), prestera_ldr_wr_ptr(fw));
 530                 prestera_ldr_wr_idx_move(fw, 4);
 531         }
 532
 533         prestera_ldr_wr_idx_commit(fw);
 534         return 0;
 535 }
 536
 537 static int prestera_ldr_fw_send(struct prestera_fw *fw,
 538                                 const char *img, u32 fw_size)
 539 {
 540         u32 status;
 541         u32 pos;
 542         int err;
 543
 544         err = prestera_ldr_wait_reg32(fw, PRESTERA_LDR_STATUS_REG,
 545                                       PRESTERA_LDR_STATUS_IMG_DL,
 546                                       5 * MSEC_PER_SEC);
 547         if (err) {
 548                 dev_err(fw->dev.dev, "Loader is not ready to load image\n");
 549                 return err;
 550         }
 551
 552         for (pos = 0; pos < fw_size; pos += PRESTERA_FW_BLK_SZ) {
 553                 if (pos + PRESTERA_FW_BLK_SZ > fw_size)
 554                         break;
 555
 556                 err = prestera_ldr_send(fw, img + pos, PRESTERA_FW_BLK_SZ);
 557                 if (err)
 558                         return err;
 559         }
 560
 561         if (pos < fw_size) {
 562                 err = prestera_ldr_send(fw, img + pos, fw_size - pos);
 563                 if (err)
 564                         return err;
 565         }
 566
 567         err = prestera_ldr_wait_dl_finish(fw);
 568         if (err)
 569                 return err;
 570
 571         status = prestera_ldr_read(fw, PRESTERA_LDR_STATUS_REG);
 572
 573         switch (status) {
 574         case PRESTERA_LDR_STATUS_INVALID_IMG:
 575                 dev_err(fw->dev.dev, "FW img has bad CRC\n");
 576                 return -EINVAL;
 577         case PRESTERA_LDR_STATUS_NOMEM:
 578                 dev_err(fw->dev.dev, "Loader has no enough mem\n");
 579                 return -ENOMEM;
 580         }
 581
 582         return 0;
 583 }
 584
 585 static void prestera_fw_rev_parse(const struct prestera_fw_header *hdr,
 586                                   struct prestera_fw_rev *rev)
 587 {
 588         u32 version = be32_to_cpu(hdr->version_value);
 589
 590         rev->maj = PRESTERA_FW_VER_MAJ(version);
 591         rev->min = PRESTERA_FW_VER_MIN(version);
 592         rev->sub = PRESTERA_FW_VER_PATCH(version);
 593 }
 594
 595 static int prestera_fw_rev_check(struct prestera_fw *fw)
 596 {
 597         struct prestera_fw_rev *rev = &fw->dev.fw_rev;
 598         u16 maj_supp = PRESTERA_SUPP_FW_MAJ_VER;
 599         u16 min_supp = PRESTERA_SUPP_FW_MIN_VER;
 600
 601         if (rev->maj == maj_supp && rev->min >= min_supp)
 602                 return 0;
 603
 604         dev_err(fw->dev.dev, "Driver supports FW version only '%u.%u.x'",
 605                 PRESTERA_SUPP_FW_MAJ_VER, PRESTERA_SUPP_FW_MIN_VER);
 606
 607         return -EINVAL;
 608 }
 609
 610 static int prestera_fw_hdr_parse(struct prestera_fw *fw,
 611                                  const struct firmware *img)
 612 {
 613         struct prestera_fw_header *hdr = (struct prestera_fw_header *)img->data;
 614         struct prestera_fw_rev *rev = &fw->dev.fw_rev;
 615         u32 magic;
 616
 617         magic = be32_to_cpu(hdr->magic_number);
 618         if (magic != PRESTERA_FW_HDR_MAGIC) {
 619                 dev_err(fw->dev.dev, "FW img hdr magic is invalid");
 620                 return -EINVAL;
 621         }
 622
 623         prestera_fw_rev_parse(hdr, rev);
 624
 625         dev_info(fw->dev.dev, "FW version '%u.%u.%u'\n",
 626                  rev->maj, rev->min, rev->sub);
 627
 628         return prestera_fw_rev_check(fw);
 629 }
 630
 631 static int prestera_fw_load(struct prestera_fw *fw)
 632 {
 633         size_t hlen = sizeof(struct prestera_fw_header);
 634         const struct firmware *f;
 635         char fw_path[128];
 636         int err;
 637
 638         err = prestera_ldr_wait_reg32(fw, PRESTERA_LDR_READY_REG,
 639                                       PRESTERA_LDR_READY_MAGIC,
 640                                       5 * MSEC_PER_SEC);
 641         if (err) {
 642                 dev_err(fw->dev.dev, "waiting for FW loader is timed out");
 643                 return err;
 644         }
 645
 646         fw->ldr_ring_buf = fw->ldr_regs +
 647                 prestera_ldr_read(fw, PRESTERA_LDR_BUF_OFFS_REG);
 648
 649         fw->ldr_buf_len =
 650                 prestera_ldr_read(fw, PRESTERA_LDR_BUF_SIZE_REG);
 651
 652         fw->ldr_wr_idx = 0;
 653
 654         snprintf(fw_path, sizeof(fw_path), PRESTERA_FW_PATH_FMT,
 655                  PRESTERA_SUPP_FW_MAJ_VER, PRESTERA_SUPP_FW_MIN_VER);
 656
 657         err = request_firmware_direct(&f, fw_path, fw->dev.dev);
 658         if (err) {
 659                 dev_err(fw->dev.dev, "failed to request firmware file\n");
 660                 return err;
 661         }
 662
 663         err = prestera_fw_hdr_parse(fw, f);
 664         if (err) {
 665                 dev_err(fw->dev.dev, "FW image header is invalid\n");
 666                 goto out_release;
 667         }
 668
 669         prestera_ldr_write(fw, PRESTERA_LDR_IMG_SIZE_REG, f->size - hlen);
 670         prestera_ldr_write(fw, PRESTERA_LDR_CTL_REG, PRESTERA_LDR_CTL_DL_START);
 671
 672         dev_info(fw->dev.dev, "Loading %s ...", fw_path);
 673
 674         err = prestera_ldr_fw_send(fw, f->data + hlen, f->size - hlen);
 675
 676 out_release:
 677         release_firmware(f);
 678         return err;
 679 }
 680
 681 static int prestera_pci_probe(struct pci_dev *pdev,
 682                               const struct pci_device_id *id)
 683 {
 684         const char *driver_name = pdev->driver->name;
 685         struct prestera_fw *fw;
 686         int err;
 687
 688         err = pcim_enable_device(pdev);
 689         if (err)
 690                 return err;
 691
 692         err = pcim_iomap_regions(pdev, BIT(PRESTERA_PCI_BAR_FW) |
 693                                  BIT(PRESTERA_PCI_BAR_PP),
 694                                  pci_name(pdev));
 695         if (err)
 696                 return err;
 697
 698         err = dma_set_mask_and_coherent(&pdev->dev, DMA_BIT_MASK(30));
 699         if (err) {
 700                 dev_err(&pdev->dev, "fail to set DMA mask\n");
 701                 goto err_dma_mask;
 702         }
 703
 704         pci_set_master(pdev);
 705
 706         fw = devm_kzalloc(&pdev->dev, sizeof(*fw), GFP_KERNEL);
 707         if (!fw) {
 708                 err = -ENOMEM;
 709                 goto err_pci_dev_alloc;
 710         }
 711
 712         fw->dev.ctl_regs = pcim_iomap_table(pdev)[PRESTERA_PCI_BAR_FW];
 713         fw->dev.pp_regs = pcim_iomap_table(pdev)[PRESTERA_PCI_BAR_PP];
 714         fw->dev.dev = &pdev->dev;
 715
 716         pci_set_drvdata(pdev, fw);
 717
 718         err = prestera_fw_init(fw);
 719         if (err)
 720                 goto err_prestera_fw_init;
 721
 722         dev_info(fw->dev.dev, "Prestera FW is ready\n");
 723
 724         fw->wq = alloc_workqueue("prestera_fw_wq", WQ_HIGHPRI, 1);
 725         if (!fw->wq) {
 726                 err = -ENOMEM;
 727                 goto err_wq_alloc;
 728         }
 729
 730         INIT_WORK(&fw->evt_work, prestera_fw_evt_work_fn);
 731
 732         err = pci_alloc_irq_vectors(pdev, 1, 1, PCI_IRQ_MSI);
 733         if (err < 0) {
 734                 dev_err(&pdev->dev, "MSI IRQ init failed\n");
 735                 goto err_irq_alloc;
 736         }
 737
 738         err = request_irq(pci_irq_vector(pdev, 0), prestera_pci_irq_handler,
 739                           0, driver_name, fw);
 740         if (err) {
 741                 dev_err(&pdev->dev, "fail to request IRQ\n");
 742                 goto err_request_irq;
 743         }
 744
 745         err = prestera_device_register(&fw->dev);
 746         if (err)
 747                 goto err_prestera_dev_register;
 748
 749         return 0;
 750
 751 err_prestera_dev_register:
 752         free_irq(pci_irq_vector(pdev, 0), fw);
 753 err_request_irq:
 754         pci_free_irq_vectors(pdev);
 755 err_irq_alloc:
 756         destroy_workqueue(fw->wq);
 757 err_wq_alloc:
 758         prestera_fw_uninit(fw);
 759 err_prestera_fw_init:
 760 err_pci_dev_alloc:
 761 err_dma_mask:
 762         return err;
 763 }
 764
 765 static void prestera_pci_remove(struct pci_dev *pdev)
 766 {
 767         struct prestera_fw *fw = pci_get_drvdata(pdev);
 768
 769         prestera_device_unregister(&fw->dev);
 770         free_irq(pci_irq_vector(pdev, 0), fw);
 771         pci_free_irq_vectors(pdev);
 772         destroy_workqueue(fw->wq);
 773         prestera_fw_uninit(fw);
 774 }
 775
 776 static const struct pci_device_id prestera_pci_devices[] = {
 777         { PCI_DEVICE(PCI_VENDOR_ID_MARVELL, 0xC804) },
 778         { PCI_DEVICE(PCI_VENDOR_ID_MARVELL, 0xC80C) },
 779         { }
 780 };
 781 MODULE_DEVICE_TABLE(pci, prestera_pci_devices);
 782
 783 static struct pci_driver prestera_pci_driver = {
 784         .name     = "Prestera DX",
 785         .id_table = prestera_pci_devices,
 786         .probe    = prestera_pci_probe,
 787         .remove   = prestera_pci_remove,
 788 };
 789 module_pci_driver(prestera_pci_driver);
 790
 791 MODULE_LICENSE("Dual BSD/GPL");
 792 MODULE_DESCRIPTION("Marvell Prestera switch PCI interface");