drivers/net/wireless/mediatek/mt76/mt7615/sdio_txrx.c

   1 // SPDX-License-Identifier: ISC
   2 /* Copyright (C) 2020 MediaTek Inc.
   3  *
   4  * Author: Felix Fietkau <nbd@nbd.name>
   5  *         Lorenzo Bianconi <lorenzo@kernel.org>
   6  *         Sean Wang <sean.wang@mediatek.com>
   7  */
   8
   9 #include <linux/kernel.h>
  10 #include <linux/iopoll.h>
  11 #include <linux/module.h>
  12
  13 #include <linux/mmc/host.h>
  14 #include <linux/mmc/sdio_ids.h>
  15 #include <linux/mmc/sdio_func.h>
  16
  17 #include "../trace.h"
  18 #include "mt7615.h"
  19 #include "sdio.h"
  20 #include "mac.h"
  21
  22 static int mt7663s_refill_sched_quota(struct mt76_dev *dev, u32 *data)
  23 {
  24         u32 ple_ac_data_quota[] = {
  25                 FIELD_GET(TXQ_CNT_L, data[4]), /* VO */
  26                 FIELD_GET(TXQ_CNT_H, data[3]), /* VI */
  27                 FIELD_GET(TXQ_CNT_L, data[3]), /* BE */
  28                 FIELD_GET(TXQ_CNT_H, data[2]), /* BK */
  29         };
  30         u32 pse_ac_data_quota[] = {
  31                 FIELD_GET(TXQ_CNT_H, data[1]), /* VO */
  32                 FIELD_GET(TXQ_CNT_L, data[1]), /* VI */
  33                 FIELD_GET(TXQ_CNT_H, data[0]), /* BE */
  34                 FIELD_GET(TXQ_CNT_L, data[0]), /* BK */
  35         };
  36         u32 pse_mcu_quota = FIELD_GET(TXQ_CNT_L, data[2]);
  37         u32 pse_data_quota = 0, ple_data_quota = 0;
  38         struct mt76_sdio *sdio = &dev->sdio;
  39         int i;
  40
  41         for (i = 0; i < ARRAY_SIZE(pse_ac_data_quota); i++) {
  42                 pse_data_quota += pse_ac_data_quota[i];
  43                 ple_data_quota += ple_ac_data_quota[i];
  44         }
  45
  46         if (!pse_data_quota && !ple_data_quota && !pse_mcu_quota)
  47                 return 0;
  48
  49         sdio->sched.pse_mcu_quota += pse_mcu_quota;
  50         sdio->sched.pse_data_quota += pse_data_quota;
  51         sdio->sched.ple_data_quota += ple_data_quota;
  52
  53         return pse_data_quota + ple_data_quota + pse_mcu_quota;
  54 }
  55
  56 static struct sk_buff *mt7663s_build_rx_skb(void *data, int data_len,
  57                                             int buf_len)
  58 {
  59         int len = min_t(int, data_len, MT_SKB_HEAD_LEN);
  60         struct sk_buff *skb;
  61
  62         skb = alloc_skb(len, GFP_KERNEL);
  63         if (!skb)
  64                 return NULL;
  65
  66         skb_put_data(skb, data, len);
  67         if (data_len > len) {
  68                 struct page *page;
  69
  70                 data += len;
  71                 page = virt_to_head_page(data);
  72                 skb_add_rx_frag(skb, skb_shinfo(skb)->nr_frags,
  73                                 page, data - page_address(page),
  74                                 data_len - len, buf_len);
  75                 get_page(page);
  76         }
  77
  78         return skb;
  79 }
  80
  81 static int mt7663s_rx_run_queue(struct mt76_dev *dev, enum mt76_rxq_id qid,
  82                                 struct mt76s_intr *intr)
  83 {
  84         struct mt76_queue *q = &dev->q_rx[qid];
  85         struct mt76_sdio *sdio = &dev->sdio;
  86         int len = 0, err, i, order;
  87         struct page *page;
  88         u8 *buf;
  89
  90         for (i = 0; i < intr->rx.num[qid]; i++)
  91                 len += round_up(intr->rx.len[qid][i] + 4, 4);
  92
  93         if (!len)
  94                 return 0;
  95
  96         if (len > sdio->func->cur_blksize)
  97                 len = roundup(len, sdio->func->cur_blksize);
  98
  99         order = get_order(len);
 100         page = __dev_alloc_pages(GFP_KERNEL, order);
 101         if (!page)
 102                 return -ENOMEM;
 103
 104         buf = page_address(page);
 105
 106         err = sdio_readsb(sdio->func, buf, MCR_WRDR(qid), len);
 107         if (err < 0) {
 108                 dev_err(dev->dev, "sdio read data failed:%d\n", err);
 109                 __free_pages(page, order);
 110                 return err;
 111         }
 112
 113         for (i = 0; i < intr->rx.num[qid]; i++) {
 114                 int index = (q->head + i) % q->ndesc;
 115                 struct mt76_queue_entry *e = &q->entry[index];
 116
 117                 len = intr->rx.len[qid][i];
 118                 e->skb = mt7663s_build_rx_skb(buf, len, round_up(len + 4, 4));
 119                 if (!e->skb)
 120                         break;
 121
 122                 buf += round_up(len + 4, 4);
 123                 if (q->queued + i + 1 == q->ndesc)
 124                         break;
 125         }
 126         __free_pages(page, order);
 127
 128         spin_lock_bh(&q->lock);
 129         q->head = (q->head + i) % q->ndesc;
 130         q->queued += i;
 131         spin_unlock_bh(&q->lock);
 132
 133         return i;
 134 }
 135
 136 static int mt7663s_rx_handler(struct mt76_dev *dev)
 137 {
 138         struct mt76_sdio *sdio = &dev->sdio;
 139         struct mt76s_intr *intr = sdio->intr_data;
 140         int nframes = 0, ret;
 141
 142         ret = sdio_readsb(sdio->func, intr, MCR_WHISR, sizeof(*intr));
 143         if (ret < 0)
 144                 return ret;
 145
 146         trace_dev_irq(dev, intr->isr, 0);
 147
 148         if (intr->isr & WHIER_RX0_DONE_INT_EN) {
 149                 ret = mt7663s_rx_run_queue(dev, 0, intr);
 150                 if (ret > 0) {
 151                         mt76_worker_schedule(&sdio->net_worker);
 152                         nframes += ret;
 153                 }
 154         }
 155
 156         if (intr->isr & WHIER_RX1_DONE_INT_EN) {
 157                 ret = mt7663s_rx_run_queue(dev, 1, intr);
 158                 if (ret > 0) {
 159                         mt76_worker_schedule(&sdio->net_worker);
 160                         nframes += ret;
 161                 }
 162         }
 163
 164         nframes += !!mt7663s_refill_sched_quota(dev, intr->tx.wtqcr);
 165
 166         return nframes;
 167 }
 168
 169 static int mt7663s_tx_pick_quota(struct mt76_sdio *sdio, bool mcu, int buf_sz,
 170                                  int *pse_size, int *ple_size)
 171 {
 172         int pse_sz;
 173
 174         pse_sz = DIV_ROUND_UP(buf_sz + sdio->sched.deficit, MT_PSE_PAGE_SZ);
 175
 176         if (mcu) {
 177                 if (sdio->sched.pse_mcu_quota < *pse_size + pse_sz)
 178                         return -EBUSY;
 179         } else {
 180                 if (sdio->sched.pse_data_quota < *pse_size + pse_sz ||
 181                     sdio->sched.ple_data_quota < *ple_size + 1)
 182                         return -EBUSY;
 183
 184                 *ple_size = *ple_size + 1;
 185         }
 186         *pse_size = *pse_size + pse_sz;
 187
 188         return 0;
 189 }
 190
 191 static void mt7663s_tx_update_quota(struct mt76_sdio *sdio, bool mcu,
 192                                     int pse_size, int ple_size)
 193 {
 194         if (mcu) {
 195                 sdio->sched.pse_mcu_quota -= pse_size;
 196         } else {
 197                 sdio->sched.pse_data_quota -= pse_size;
 198                 sdio->sched.ple_data_quota -= ple_size;
 199         }
 200 }
 201
 202 static int __mt7663s_xmit_queue(struct mt76_dev *dev, u8 *data, int len)
 203 {
 204         struct mt76_sdio *sdio = &dev->sdio;
 205         int err;
 206
 207         if (len > sdio->func->cur_blksize)
 208                 len = roundup(len, sdio->func->cur_blksize);
 209
 210         err = sdio_writesb(sdio->func, MCR_WTDR1, data, len);
 211         if (err)
 212                 dev_err(dev->dev, "sdio write failed: %d\n", err);
 213
 214         return err;
 215 }
 216
 217 static int mt7663s_tx_run_queue(struct mt76_dev *dev, struct mt76_queue *q)
 218 {
 219         int qid, err, nframes = 0, len = 0, pse_sz = 0, ple_sz = 0;
 220         bool mcu = q == dev->q_mcu[MT_MCUQ_WM];
 221         struct mt76_sdio *sdio = &dev->sdio;
 222
 223         qid = mcu ? ARRAY_SIZE(sdio->xmit_buf) - 1 : q->qid;
 224         while (q->first != q->head) {
 225                 struct mt76_queue_entry *e = &q->entry[q->first];
 226                 struct sk_buff *iter;
 227
 228                 if (!test_bit(MT76_STATE_MCU_RUNNING, &dev->phy.state)) {
 229                         __skb_put_zero(e->skb, 4);
 230                         err = __mt7663s_xmit_queue(dev, e->skb->data,
 231                                                    e->skb->len);
 232                         if (err)
 233                                 return err;
 234
 235                         goto next;
 236                 }
 237
 238                 if (len + e->skb->len + 4 > MT76S_XMIT_BUF_SZ)
 239                         break;
 240
 241                 if (mt7663s_tx_pick_quota(sdio, mcu, e->buf_sz, &pse_sz,
 242                                           &ple_sz))
 243                         break;
 244
 245                 memcpy(sdio->xmit_buf[qid] + len, e->skb->data,
 246                        skb_headlen(e->skb));
 247                 len += skb_headlen(e->skb);
 248                 nframes++;
 249
 250                 skb_walk_frags(e->skb, iter) {
 251                         memcpy(sdio->xmit_buf[qid] + len, iter->data,
 252                                iter->len);
 253                         len += iter->len;
 254                         nframes++;
 255                 }
 256 next:
 257                 q->first = (q->first + 1) % q->ndesc;
 258                 e->done = true;
 259         }
 260
 261         if (nframes) {
 262                 memset(sdio->xmit_buf[qid] + len, 0, 4);
 263                 err = __mt7663s_xmit_queue(dev, sdio->xmit_buf[qid], len + 4);
 264                 if (err)
 265                         return err;
 266         }
 267         mt7663s_tx_update_quota(sdio, mcu, pse_sz, ple_sz);
 268
 269         mt76_worker_schedule(&sdio->status_worker);
 270
 271         return nframes;
 272 }
 273
 274 void mt7663s_txrx_worker(struct mt76_worker *w)
 275 {
 276         struct mt76_sdio *sdio = container_of(w, struct mt76_sdio,
 277                                               txrx_worker);
 278         struct mt76_dev *dev = container_of(sdio, struct mt76_dev, sdio);
 279         int i, nframes, ret;
 280
 281         /* disable interrupt */
 282         sdio_claim_host(sdio->func);
 283         sdio_writel(sdio->func, WHLPCR_INT_EN_CLR, MCR_WHLPCR, NULL);
 284
 285         do {
 286                 nframes = 0;
 287
 288                 /* tx */
 289                 for (i = 0; i <= MT_TXQ_PSD; i++) {
 290                         ret = mt7663s_tx_run_queue(dev, dev->phy.q_tx[i]);
 291                         if (ret > 0)
 292                                 nframes += ret;
 293                 }
 294                 ret = mt7663s_tx_run_queue(dev, dev->q_mcu[MT_MCUQ_WM]);
 295                 if (ret > 0)
 296                         nframes += ret;
 297
 298                 /* rx */
 299                 ret = mt7663s_rx_handler(dev);
 300                 if (ret > 0)
 301                         nframes += ret;
 302         } while (nframes > 0);
 303
 304         /* enable interrupt */
 305         sdio_writel(sdio->func, WHLPCR_INT_EN_SET, MCR_WHLPCR, NULL);
 306         sdio_release_host(sdio->func);
 307 }
 308
 309 void mt7663s_sdio_irq(struct sdio_func *func)
 310 {
 311         struct mt7615_dev *dev = sdio_get_drvdata(func);
 312         struct mt76_sdio *sdio = &dev->mt76.sdio;
 313
 314         if (!test_bit(MT76_STATE_INITIALIZED, &dev->mt76.phy.state))
 315                 return;
 316
 317         mt76_worker_schedule(&sdio->txrx_worker);
 318 }