drivers/net/usb/cdc_ncm.c

   1 /*
   2  * cdc_ncm.c
   3  *
   4  * Copyright (C) ST-Ericsson 2010-2012
   5  * Contact: Alexey Orishko <alexey.orishko@stericsson.com>
   6  * Original author: Hans Petter Selasky <hans.petter.selasky@stericsson.com>
   7  *
   8  * USB Host Driver for Network Control Model (NCM)
   9  * http://www.usb.org/developers/docs/devclass_docs/NCM10_012011.zip
  10  *
  11  * The NCM encoding, decoding and initialization logic
  12  * derives from FreeBSD 8.x. if_cdce.c and if_cdcereg.h
  13  *
  14  * This software is available to you under a choice of one of two
  15  * licenses. You may choose this file to be licensed under the terms
  16  * of the GNU General Public License (GPL) Version 2 or the 2-clause
  17  * BSD license listed below:
  18  *
  19  * Redistribution and use in source and binary forms, with or without
  20  * modification, are permitted provided that the following conditions
  21  * are met:
  22  * 1. Redistributions of source code must retain the above copyright
  23  *    notice, this list of conditions and the following disclaimer.
  24  * 2. Redistributions in binary form must reproduce the above copyright
  25  *    notice, this list of conditions and the following disclaimer in the
  26  *    documentation and/or other materials provided with the distribution.
  27  *
  28  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR AND CONTRIBUTORS ``AS IS'' AND
  29  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  30  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  31  * ARE DISCLAIMED.  IN NO EVENT SHALL THE AUTHOR OR CONTRIBUTORS BE LIABLE
  32  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  33  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  34  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  35  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  36  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  37  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  38  * SUCH DAMAGE.
  39  */
  40
  41 #include <linux/module.h>
  42 #include <linux/netdevice.h>
  43 #include <linux/ctype.h>
  44 #include <linux/etherdevice.h>
  45 #include <linux/ethtool.h>
  46 #include <linux/workqueue.h>
  47 #include <linux/mii.h>
  48 #include <linux/crc32.h>
  49 #include <linux/usb.h>
  50 #include <linux/hrtimer.h>
  51 #include <linux/atomic.h>
  52 #include <linux/usb/usbnet.h>
  53 #include <linux/usb/cdc.h>
  54 #include <linux/usb/cdc_ncm.h>
  55
  56 #if IS_ENABLED(CONFIG_USB_NET_CDC_MBIM)
  57 static bool prefer_mbim = true;
  58 #else
  59 static bool prefer_mbim;
  60 #endif
  61 module_param(prefer_mbim, bool, 0644);
  62 MODULE_PARM_DESC(prefer_mbim, "Prefer MBIM setting on dual NCM/MBIM functions");
  63
  64 static void cdc_ncm_txpath_bh(struct tasklet_struct *t);
  65 static void cdc_ncm_tx_timeout_start(struct cdc_ncm_ctx *ctx);
  66 static enum hrtimer_restart cdc_ncm_tx_timer_cb(struct hrtimer *hr_timer);
  67 static struct usb_driver cdc_ncm_driver;
  68
  69 struct cdc_ncm_stats {
  70         char stat_string[ETH_GSTRING_LEN];
  71         int sizeof_stat;
  72         int stat_offset;
  73 };
  74
  75 #define CDC_NCM_STAT(str, m) { \
  76                 .stat_string = str, \
  77                 .sizeof_stat = sizeof(((struct cdc_ncm_ctx *)0)->m), \
  78                 .stat_offset = offsetof(struct cdc_ncm_ctx, m) }
  79 #define CDC_NCM_SIMPLE_STAT(m)  CDC_NCM_STAT(__stringify(m), m)
  80
  81 static const struct cdc_ncm_stats cdc_ncm_gstrings_stats[] = {
  82         CDC_NCM_SIMPLE_STAT(tx_reason_ntb_full),
  83         CDC_NCM_SIMPLE_STAT(tx_reason_ndp_full),
  84         CDC_NCM_SIMPLE_STAT(tx_reason_timeout),
  85         CDC_NCM_SIMPLE_STAT(tx_reason_max_datagram),
  86         CDC_NCM_SIMPLE_STAT(tx_overhead),
  87         CDC_NCM_SIMPLE_STAT(tx_ntbs),
  88         CDC_NCM_SIMPLE_STAT(rx_overhead),
  89         CDC_NCM_SIMPLE_STAT(rx_ntbs),
  90 };
  91
  92 #define CDC_NCM_LOW_MEM_MAX_CNT 10
  93
  94 static int cdc_ncm_get_sset_count(struct net_device __always_unused *netdev, int sset)
  95 {
  96         switch (sset) {
  97         case ETH_SS_STATS:
  98                 return ARRAY_SIZE(cdc_ncm_gstrings_stats);
  99         default:
 100                 return -EOPNOTSUPP;
 101         }
 102 }
 103
 104 static void cdc_ncm_get_ethtool_stats(struct net_device *netdev,
 105                                     struct ethtool_stats __always_unused *stats,
 106                                     u64 *data)
 107 {
 108         struct usbnet *dev = netdev_priv(netdev);
 109         struct cdc_ncm_ctx *ctx = (struct cdc_ncm_ctx *)dev->data[0];
 110         int i;
 111         char *p = NULL;
 112
 113         for (i = 0; i < ARRAY_SIZE(cdc_ncm_gstrings_stats); i++) {
 114                 p = (char *)ctx + cdc_ncm_gstrings_stats[i].stat_offset;
 115                 data[i] = (cdc_ncm_gstrings_stats[i].sizeof_stat == sizeof(u64)) ? *(u64 *)p : *(u32 *)p;
 116         }
 117 }
 118
 119 static void cdc_ncm_get_strings(struct net_device __always_unused *netdev, u32 stringset, u8 *data)
 120 {
 121         u8 *p = data;
 122         int i;
 123
 124         switch (stringset) {
 125         case ETH_SS_STATS:
 126                 for (i = 0; i < ARRAY_SIZE(cdc_ncm_gstrings_stats); i++) {
 127                         memcpy(p, cdc_ncm_gstrings_stats[i].stat_string, ETH_GSTRING_LEN);
 128                         p += ETH_GSTRING_LEN;
 129                 }
 130         }
 131 }
 132
 133 static void cdc_ncm_update_rxtx_max(struct usbnet *dev, u32 new_rx, u32 new_tx);
 134
 135 static const struct ethtool_ops cdc_ncm_ethtool_ops = {
 136         .get_link               = usbnet_get_link,
 137         .nway_reset             = usbnet_nway_reset,
 138         .get_drvinfo            = usbnet_get_drvinfo,
 139         .get_msglevel           = usbnet_get_msglevel,
 140         .set_msglevel           = usbnet_set_msglevel,
 141         .get_ts_info            = ethtool_op_get_ts_info,
 142         .get_sset_count         = cdc_ncm_get_sset_count,
 143         .get_strings            = cdc_ncm_get_strings,
 144         .get_ethtool_stats      = cdc_ncm_get_ethtool_stats,
 145         .get_link_ksettings     = usbnet_get_link_ksettings_internal,
 146         .set_link_ksettings     = NULL,
 147 };
 148
 149 static u32 cdc_ncm_check_rx_max(struct usbnet *dev, u32 new_rx)
 150 {
 151         struct cdc_ncm_ctx *ctx = (struct cdc_ncm_ctx *)dev->data[0];
 152         u32 val, max, min;
 153
 154         /* clamp new_rx to sane values */
 155         min = USB_CDC_NCM_NTB_MIN_IN_SIZE;
 156         max = min_t(u32, CDC_NCM_NTB_MAX_SIZE_RX, le32_to_cpu(ctx->ncm_parm.dwNtbInMaxSize));
 157
 158         /* dwNtbInMaxSize spec violation? Use MIN size for both limits */
 159         if (max < min) {
 160                 dev_warn(&dev->intf->dev, "dwNtbInMaxSize=%u is too small. Using %u\n",
 161                          le32_to_cpu(ctx->ncm_parm.dwNtbInMaxSize), min);
 162                 max = min;
 163         }
 164
 165         val = clamp_t(u32, new_rx, min, max);
 166         if (val != new_rx)
 167                 dev_dbg(&dev->intf->dev, "rx_max must be in the [%u, %u] range\n", min, max);
 168
 169         return val;
 170 }
 171
 172 static u32 cdc_ncm_check_tx_max(struct usbnet *dev, u32 new_tx)
 173 {
 174         struct cdc_ncm_ctx *ctx = (struct cdc_ncm_ctx *)dev->data[0];
 175         u32 val, max, min;
 176
 177         /* clamp new_tx to sane values */
 178         if (ctx->is_ndp16)
 179                 min = ctx->max_datagram_size + ctx->max_ndp_size + sizeof(struct usb_cdc_ncm_nth16);
 180         else
 181                 min = ctx->max_datagram_size + ctx->max_ndp_size + sizeof(struct usb_cdc_ncm_nth32);
 182
 183         max = min_t(u32, CDC_NCM_NTB_MAX_SIZE_TX, le32_to_cpu(ctx->ncm_parm.dwNtbOutMaxSize));
 184
 185         /* some devices set dwNtbOutMaxSize too low for the above default */
 186         min = min(min, max);
 187
 188         val = clamp_t(u32, new_tx, min, max);
 189         if (val != new_tx)
 190                 dev_dbg(&dev->intf->dev, "tx_max must be in the [%u, %u] range\n", min, max);
 191
 192         return val;
 193 }
 194
 195 static ssize_t cdc_ncm_show_min_tx_pkt(struct device *d, struct device_attribute *attr, char *buf)
 196 {
 197         struct usbnet *dev = netdev_priv(to_net_dev(d));
 198         struct cdc_ncm_ctx *ctx = (struct cdc_ncm_ctx *)dev->data[0];
 199
 200         return sprintf(buf, "%u\n", ctx->min_tx_pkt);
 201 }
 202
 203 static ssize_t cdc_ncm_show_rx_max(struct device *d, struct device_attribute *attr, char *buf)
 204 {
 205         struct usbnet *dev = netdev_priv(to_net_dev(d));
 206         struct cdc_ncm_ctx *ctx = (struct cdc_ncm_ctx *)dev->data[0];
 207
 208         return sprintf(buf, "%u\n", ctx->rx_max);
 209 }
 210
 211 static ssize_t cdc_ncm_show_tx_max(struct device *d, struct device_attribute *attr, char *buf)
 212 {
 213         struct usbnet *dev = netdev_priv(to_net_dev(d));
 214         struct cdc_ncm_ctx *ctx = (struct cdc_ncm_ctx *)dev->data[0];
 215
 216         return sprintf(buf, "%u\n", ctx->tx_max);
 217 }
 218
 219 static ssize_t cdc_ncm_show_tx_timer_usecs(struct device *d, struct device_attribute *attr, char *buf)
 220 {
 221         struct usbnet *dev = netdev_priv(to_net_dev(d));
 222         struct cdc_ncm_ctx *ctx = (struct cdc_ncm_ctx *)dev->data[0];
 223
 224         return sprintf(buf, "%u\n", ctx->timer_interval / (u32)NSEC_PER_USEC);
 225 }
 226
 227 static ssize_t cdc_ncm_store_min_tx_pkt(struct device *d,  struct device_attribute *attr, const char *buf, size_t len)
 228 {
 229         struct usbnet *dev = netdev_priv(to_net_dev(d));
 230         struct cdc_ncm_ctx *ctx = (struct cdc_ncm_ctx *)dev->data[0];
 231         unsigned long val;
 232
 233         /* no need to restrict values - anything from 0 to infinity is OK */
 234         if (kstrtoul(buf, 0, &val))
 235                 return -EINVAL;
 236
 237         ctx->min_tx_pkt = val;
 238         return len;
 239 }
 240
 241 static ssize_t cdc_ncm_store_rx_max(struct device *d,  struct device_attribute *attr, const char *buf, size_t len)
 242 {
 243         struct usbnet *dev = netdev_priv(to_net_dev(d));
 244         struct cdc_ncm_ctx *ctx = (struct cdc_ncm_ctx *)dev->data[0];
 245         unsigned long val;
 246
 247         if (kstrtoul(buf, 0, &val) || cdc_ncm_check_rx_max(dev, val) != val)
 248                 return -EINVAL;
 249
 250         cdc_ncm_update_rxtx_max(dev, val, ctx->tx_max);
 251         return len;
 252 }
 253
 254 static ssize_t cdc_ncm_store_tx_max(struct device *d,  struct device_attribute *attr, const char *buf, size_t len)
 255 {
 256         struct usbnet *dev = netdev_priv(to_net_dev(d));
 257         struct cdc_ncm_ctx *ctx = (struct cdc_ncm_ctx *)dev->data[0];
 258         unsigned long val;
 259
 260         if (kstrtoul(buf, 0, &val) || cdc_ncm_check_tx_max(dev, val) != val)
 261                 return -EINVAL;
 262
 263         cdc_ncm_update_rxtx_max(dev, ctx->rx_max, val);
 264         return len;
 265 }
 266
 267 static ssize_t cdc_ncm_store_tx_timer_usecs(struct device *d,  struct device_attribute *attr, const char *buf, size_t len)
 268 {
 269         struct usbnet *dev = netdev_priv(to_net_dev(d));
 270         struct cdc_ncm_ctx *ctx = (struct cdc_ncm_ctx *)dev->data[0];
 271         ssize_t ret;
 272         unsigned long val;
 273
 274         ret = kstrtoul(buf, 0, &val);
 275         if (ret)
 276                 return ret;
 277         if (val && (val < CDC_NCM_TIMER_INTERVAL_MIN || val > CDC_NCM_TIMER_INTERVAL_MAX))
 278                 return -EINVAL;
 279
 280         spin_lock_bh(&ctx->mtx);
 281         ctx->timer_interval = val * NSEC_PER_USEC;
 282         if (!ctx->timer_interval)
 283                 ctx->tx_timer_pending = 0;
 284         spin_unlock_bh(&ctx->mtx);
 285         return len;
 286 }
 287
 288 static DEVICE_ATTR(min_tx_pkt, 0644, cdc_ncm_show_min_tx_pkt, cdc_ncm_store_min_tx_pkt);
 289 static DEVICE_ATTR(rx_max, 0644, cdc_ncm_show_rx_max, cdc_ncm_store_rx_max);
 290 static DEVICE_ATTR(tx_max, 0644, cdc_ncm_show_tx_max, cdc_ncm_store_tx_max);
 291 static DEVICE_ATTR(tx_timer_usecs, 0644, cdc_ncm_show_tx_timer_usecs, cdc_ncm_store_tx_timer_usecs);
 292
 293 static ssize_t ndp_to_end_show(struct device *d, struct device_attribute *attr, char *buf)
 294 {
 295         struct usbnet *dev = netdev_priv(to_net_dev(d));
 296         struct cdc_ncm_ctx *ctx = (struct cdc_ncm_ctx *)dev->data[0];
 297
 298         return sprintf(buf, "%c\n", ctx->drvflags & CDC_NCM_FLAG_NDP_TO_END ? 'Y' : 'N');
 299 }
 300
 301 static ssize_t ndp_to_end_store(struct device *d,  struct device_attribute *attr, const char *buf, size_t len)
 302 {
 303         struct usbnet *dev = netdev_priv(to_net_dev(d));
 304         struct cdc_ncm_ctx *ctx = (struct cdc_ncm_ctx *)dev->data[0];
 305         bool enable;
 306
 307         if (strtobool(buf, &enable))
 308                 return -EINVAL;
 309
 310         /* no change? */
 311         if (enable == (ctx->drvflags & CDC_NCM_FLAG_NDP_TO_END))
 312                 return len;
 313
 314         if (enable) {
 315                 if (ctx->is_ndp16 && !ctx->delayed_ndp16) {
 316                         ctx->delayed_ndp16 = kzalloc(ctx->max_ndp_size, GFP_KERNEL);
 317                         if (!ctx->delayed_ndp16)
 318                                 return -ENOMEM;
 319                 }
 320                 if (!ctx->is_ndp16 && !ctx->delayed_ndp32) {
 321                         ctx->delayed_ndp32 = kzalloc(ctx->max_ndp_size, GFP_KERNEL);
 322                         if (!ctx->delayed_ndp32)
 323                                 return -ENOMEM;
 324                 }
 325         }
 326
 327         /* flush pending data before changing flag */
 328         netif_tx_lock_bh(dev->net);
 329         usbnet_start_xmit(NULL, dev->net);
 330         spin_lock_bh(&ctx->mtx);
 331         if (enable)
 332                 ctx->drvflags |= CDC_NCM_FLAG_NDP_TO_END;
 333         else
 334                 ctx->drvflags &= ~CDC_NCM_FLAG_NDP_TO_END;
 335         spin_unlock_bh(&ctx->mtx);
 336         netif_tx_unlock_bh(dev->net);
 337
 338         return len;
 339 }
 340 static DEVICE_ATTR_RW(ndp_to_end);
 341
 342 #define NCM_PARM_ATTR(name, format, tocpu)                              \
 343 static ssize_t cdc_ncm_show_##name(struct device *d, struct device_attribute *attr, char *buf) \
 344 { \
 345         struct usbnet *dev = netdev_priv(to_net_dev(d)); \
 346         struct cdc_ncm_ctx *ctx = (struct cdc_ncm_ctx *)dev->data[0]; \
 347         return sprintf(buf, format "\n", tocpu(ctx->ncm_parm.name));    \
 348 } \
 349 static DEVICE_ATTR(name, 0444, cdc_ncm_show_##name, NULL)
 350
 351 NCM_PARM_ATTR(bmNtbFormatsSupported, "0x%04x", le16_to_cpu);
 352 NCM_PARM_ATTR(dwNtbInMaxSize, "%u", le32_to_cpu);
 353 NCM_PARM_ATTR(wNdpInDivisor, "%u", le16_to_cpu);
 354 NCM_PARM_ATTR(wNdpInPayloadRemainder, "%u", le16_to_cpu);
 355 NCM_PARM_ATTR(wNdpInAlignment, "%u", le16_to_cpu);
 356 NCM_PARM_ATTR(dwNtbOutMaxSize, "%u", le32_to_cpu);
 357 NCM_PARM_ATTR(wNdpOutDivisor, "%u", le16_to_cpu);
 358 NCM_PARM_ATTR(wNdpOutPayloadRemainder, "%u", le16_to_cpu);
 359 NCM_PARM_ATTR(wNdpOutAlignment, "%u", le16_to_cpu);
 360 NCM_PARM_ATTR(wNtbOutMaxDatagrams, "%u", le16_to_cpu);
 361
 362 static struct attribute *cdc_ncm_sysfs_attrs[] = {
 363         &dev_attr_min_tx_pkt.attr,
 364         &dev_attr_ndp_to_end.attr,
 365         &dev_attr_rx_max.attr,
 366         &dev_attr_tx_max.attr,
 367         &dev_attr_tx_timer_usecs.attr,
 368         &dev_attr_bmNtbFormatsSupported.attr,
 369         &dev_attr_dwNtbInMaxSize.attr,
 370         &dev_attr_wNdpInDivisor.attr,
 371         &dev_attr_wNdpInPayloadRemainder.attr,
 372         &dev_attr_wNdpInAlignment.attr,
 373         &dev_attr_dwNtbOutMaxSize.attr,
 374         &dev_attr_wNdpOutDivisor.attr,
 375         &dev_attr_wNdpOutPayloadRemainder.attr,
 376         &dev_attr_wNdpOutAlignment.attr,
 377         &dev_attr_wNtbOutMaxDatagrams.attr,
 378         NULL,
 379 };
 380
 381 static const struct attribute_group cdc_ncm_sysfs_attr_group = {
 382         .name = "cdc_ncm",
 383         .attrs = cdc_ncm_sysfs_attrs,
 384 };
 385
 386 /* handle rx_max and tx_max changes */
 387 static void cdc_ncm_update_rxtx_max(struct usbnet *dev, u32 new_rx, u32 new_tx)
 388 {
 389         struct cdc_ncm_ctx *ctx = (struct cdc_ncm_ctx *)dev->data[0];
 390         u8 iface_no = ctx->control->cur_altsetting->desc.bInterfaceNumber;
 391         u32 val;
 392
 393         val = cdc_ncm_check_rx_max(dev, new_rx);
 394
 395         /* inform device about NTB input size changes */
 396         if (val != ctx->rx_max) {
 397                 __le32 dwNtbInMaxSize = cpu_to_le32(val);
 398
 399                 dev_info(&dev->intf->dev, "setting rx_max = %u\n", val);
 400
 401                 /* tell device to use new size */
 402                 if (usbnet_write_cmd(dev, USB_CDC_SET_NTB_INPUT_SIZE,
 403                                      USB_TYPE_CLASS | USB_DIR_OUT
 404                                      | USB_RECIP_INTERFACE,
 405                                      0, iface_no, &dwNtbInMaxSize, 4) < 0)
 406                         dev_dbg(&dev->intf->dev, "Setting NTB Input Size failed\n");
 407                 else
 408                         ctx->rx_max = val;
 409         }
 410
 411         /* usbnet use these values for sizing rx queues */
 412         if (dev->rx_urb_size != ctx->rx_max) {
 413                 dev->rx_urb_size = ctx->rx_max;
 414                 if (netif_running(dev->net))
 415                         usbnet_unlink_rx_urbs(dev);
 416         }
 417
 418         val = cdc_ncm_check_tx_max(dev, new_tx);
 419         if (val != ctx->tx_max)
 420                 dev_info(&dev->intf->dev, "setting tx_max = %u\n", val);
 421
 422         /* Adding a pad byte here if necessary simplifies the handling
 423          * in cdc_ncm_fill_tx_frame, making tx_max always represent
 424          * the real skb max size.
 425          *
 426          * We cannot use dev->maxpacket here because this is called from
 427          * .bind which is called before usbnet sets up dev->maxpacket
 428          */
 429         if (val != le32_to_cpu(ctx->ncm_parm.dwNtbOutMaxSize) &&
 430             val % usb_maxpacket(dev->udev, dev->out, 1) == 0)
 431                 val++;
 432
 433         /* we might need to flush any pending tx buffers if running */
 434         if (netif_running(dev->net) && val > ctx->tx_max) {
 435                 netif_tx_lock_bh(dev->net);
 436                 usbnet_start_xmit(NULL, dev->net);
 437                 /* make sure tx_curr_skb is reallocated if it was empty */
 438                 if (ctx->tx_curr_skb) {
 439                         dev_kfree_skb_any(ctx->tx_curr_skb);
 440                         ctx->tx_curr_skb = NULL;
 441                 }
 442                 ctx->tx_max = val;
 443                 netif_tx_unlock_bh(dev->net);
 444         } else {
 445                 ctx->tx_max = val;
 446         }
 447
 448         dev->hard_mtu = ctx->tx_max;
 449
 450         /* max qlen depend on hard_mtu and rx_urb_size */
 451         usbnet_update_max_qlen(dev);
 452
 453         /* never pad more than 3 full USB packets per transfer */
 454         ctx->min_tx_pkt = clamp_t(u16, ctx->tx_max - 3 * usb_maxpacket(dev->udev, dev->out, 1),
 455                                   CDC_NCM_MIN_TX_PKT, ctx->tx_max);
 456 }
 457
 458 /* helpers for NCM and MBIM differences */
 459 static u8 cdc_ncm_flags(struct usbnet *dev)
 460 {
 461         struct cdc_ncm_ctx *ctx = (struct cdc_ncm_ctx *)dev->data[0];
 462
 463         if (cdc_ncm_comm_intf_is_mbim(dev->intf->cur_altsetting) && ctx->mbim_desc)
 464                 return ctx->mbim_desc->bmNetworkCapabilities;
 465         if (ctx->func_desc)
 466                 return ctx->func_desc->bmNetworkCapabilities;
 467         return 0;
 468 }
 469
 470 static int cdc_ncm_eth_hlen(struct usbnet *dev)
 471 {
 472         if (cdc_ncm_comm_intf_is_mbim(dev->intf->cur_altsetting))
 473                 return 0;
 474         return ETH_HLEN;
 475 }
 476
 477 static u32 cdc_ncm_min_dgram_size(struct usbnet *dev)
 478 {
 479         if (cdc_ncm_comm_intf_is_mbim(dev->intf->cur_altsetting))
 480                 return CDC_MBIM_MIN_DATAGRAM_SIZE;
 481         return CDC_NCM_MIN_DATAGRAM_SIZE;
 482 }
 483
 484 static u32 cdc_ncm_max_dgram_size(struct usbnet *dev)
 485 {
 486         struct cdc_ncm_ctx *ctx = (struct cdc_ncm_ctx *)dev->data[0];
 487
 488         if (cdc_ncm_comm_intf_is_mbim(dev->intf->cur_altsetting) && ctx->mbim_desc)
 489                 return le16_to_cpu(ctx->mbim_desc->wMaxSegmentSize);
 490         if (ctx->ether_desc)
 491                 return le16_to_cpu(ctx->ether_desc->wMaxSegmentSize);
 492         return CDC_NCM_MAX_DATAGRAM_SIZE;
 493 }
 494
 495 /* initial one-time device setup.  MUST be called with the data interface
 496  * in altsetting 0
 497  */
 498 static int cdc_ncm_init(struct usbnet *dev)
 499 {
 500         struct cdc_ncm_ctx *ctx = (struct cdc_ncm_ctx *)dev->data[0];
 501         u8 iface_no = ctx->control->cur_altsetting->desc.bInterfaceNumber;
 502         int err;
 503
 504         err = usbnet_read_cmd(dev, USB_CDC_GET_NTB_PARAMETERS,
 505                               USB_TYPE_CLASS | USB_DIR_IN
 506                               |USB_RECIP_INTERFACE,
 507                               0, iface_no, &ctx->ncm_parm,
 508                               sizeof(ctx->ncm_parm));
 509         if (err < 0) {
 510                 dev_err(&dev->intf->dev, "failed GET_NTB_PARAMETERS\n");
 511                 return err; /* GET_NTB_PARAMETERS is required */
 512         }
 513
 514         /* set CRC Mode */
 515         if (cdc_ncm_flags(dev) & USB_CDC_NCM_NCAP_CRC_MODE) {
 516                 dev_dbg(&dev->intf->dev, "Setting CRC mode off\n");
 517                 err = usbnet_write_cmd(dev, USB_CDC_SET_CRC_MODE,
 518                                        USB_TYPE_CLASS | USB_DIR_OUT
 519                                        | USB_RECIP_INTERFACE,
 520                                        USB_CDC_NCM_CRC_NOT_APPENDED,
 521                                        iface_no, NULL, 0);
 522                 if (err < 0)
 523                         dev_err(&dev->intf->dev, "SET_CRC_MODE failed\n");
 524         }
 525
 526         /* use ndp16 by default */
 527         ctx->is_ndp16 = 1;
 528
 529         /* set NTB format, if both formats are supported.
 530          *
 531          * "The host shall only send this command while the NCM Data
 532          *  Interface is in alternate setting 0."
 533          */
 534         if (le16_to_cpu(ctx->ncm_parm.bmNtbFormatsSupported) &
 535                                                 USB_CDC_NCM_NTB32_SUPPORTED) {
 536                 if (ctx->drvflags & CDC_NCM_FLAG_PREFER_NTB32) {
 537                         ctx->is_ndp16 = 0;
 538                         dev_dbg(&dev->intf->dev, "Setting NTB format to 32-bit\n");
 539                         err = usbnet_write_cmd(dev, USB_CDC_SET_NTB_FORMAT,
 540                                                USB_TYPE_CLASS | USB_DIR_OUT
 541                                                | USB_RECIP_INTERFACE,
 542                                                USB_CDC_NCM_NTB32_FORMAT,
 543                                                iface_no, NULL, 0);
 544                 } else {
 545                         ctx->is_ndp16 = 1;
 546                         dev_dbg(&dev->intf->dev, "Setting NTB format to 16-bit\n");
 547                         err = usbnet_write_cmd(dev, USB_CDC_SET_NTB_FORMAT,
 548                                                USB_TYPE_CLASS | USB_DIR_OUT
 549                                                | USB_RECIP_INTERFACE,
 550                                                USB_CDC_NCM_NTB16_FORMAT,
 551                                                iface_no, NULL, 0);
 552                 }
 553                 if (err < 0) {
 554                         ctx->is_ndp16 = 1;
 555                         dev_err(&dev->intf->dev, "SET_NTB_FORMAT failed\n");
 556                 }
 557         }
 558
 559         /* set initial device values */
 560         ctx->rx_max = le32_to_cpu(ctx->ncm_parm.dwNtbInMaxSize);
 561         ctx->tx_max = le32_to_cpu(ctx->ncm_parm.dwNtbOutMaxSize);
 562         ctx->tx_remainder = le16_to_cpu(ctx->ncm_parm.wNdpOutPayloadRemainder);
 563         ctx->tx_modulus = le16_to_cpu(ctx->ncm_parm.wNdpOutDivisor);
 564         ctx->tx_ndp_modulus = le16_to_cpu(ctx->ncm_parm.wNdpOutAlignment);
 565         /* devices prior to NCM Errata shall set this field to zero */
 566         ctx->tx_max_datagrams = le16_to_cpu(ctx->ncm_parm.wNtbOutMaxDatagrams);
 567
 568         dev_dbg(&dev->intf->dev,
 569                 "dwNtbInMaxSize=%u dwNtbOutMaxSize=%u wNdpOutPayloadRemainder=%u wNdpOutDivisor=%u wNdpOutAlignment=%u wNtbOutMaxDatagrams=%u flags=0x%x\n",
 570                 ctx->rx_max, ctx->tx_max, ctx->tx_remainder, ctx->tx_modulus,
 571                 ctx->tx_ndp_modulus, ctx->tx_max_datagrams, cdc_ncm_flags(dev));
 572
 573         /* max count of tx datagrams */
 574         if ((ctx->tx_max_datagrams == 0) ||
 575                         (ctx->tx_max_datagrams > CDC_NCM_DPT_DATAGRAMS_MAX))
 576                 ctx->tx_max_datagrams = CDC_NCM_DPT_DATAGRAMS_MAX;
 577
 578         /* set up maximum NDP size */
 579         if (ctx->is_ndp16)
 580                 ctx->max_ndp_size = sizeof(struct usb_cdc_ncm_ndp16) + (ctx->tx_max_datagrams + 1) * sizeof(struct usb_cdc_ncm_dpe16);
 581         else
 582                 ctx->max_ndp_size = sizeof(struct usb_cdc_ncm_ndp32) + (ctx->tx_max_datagrams + 1) * sizeof(struct usb_cdc_ncm_dpe32);
 583
 584         /* initial coalescing timer interval */
 585         ctx->timer_interval = CDC_NCM_TIMER_INTERVAL_USEC * NSEC_PER_USEC;
 586
 587         return 0;
 588 }
 589
 590 /* set a new max datagram size */
 591 static void cdc_ncm_set_dgram_size(struct usbnet *dev, int new_size)
 592 {
 593         struct cdc_ncm_ctx *ctx = (struct cdc_ncm_ctx *)dev->data[0];
 594         u8 iface_no = ctx->control->cur_altsetting->desc.bInterfaceNumber;
 595         __le16 max_datagram_size;
 596         u16 mbim_mtu;
 597         int err;
 598
 599         /* set default based on descriptors */
 600         ctx->max_datagram_size = clamp_t(u32, new_size,
 601                                          cdc_ncm_min_dgram_size(dev),
 602                                          CDC_NCM_MAX_DATAGRAM_SIZE);
 603
 604         /* inform the device about the selected Max Datagram Size? */
 605         if (!(cdc_ncm_flags(dev) & USB_CDC_NCM_NCAP_MAX_DATAGRAM_SIZE))
 606                 goto out;
 607
 608         /* read current mtu value from device */
 609         err = usbnet_read_cmd(dev, USB_CDC_GET_MAX_DATAGRAM_SIZE,
 610                               USB_TYPE_CLASS | USB_DIR_IN | USB_RECIP_INTERFACE,
 611                               0, iface_no, &max_datagram_size, sizeof(max_datagram_size));
 612         if (err != sizeof(max_datagram_size)) {
 613                 dev_dbg(&dev->intf->dev, "GET_MAX_DATAGRAM_SIZE failed\n");
 614                 goto out;
 615         }
 616
 617         if (le16_to_cpu(max_datagram_size) == ctx->max_datagram_size)
 618                 goto out;
 619
 620         max_datagram_size = cpu_to_le16(ctx->max_datagram_size);
 621         err = usbnet_write_cmd(dev, USB_CDC_SET_MAX_DATAGRAM_SIZE,
 622                                USB_TYPE_CLASS | USB_DIR_OUT | USB_RECIP_INTERFACE,
 623                                0, iface_no, &max_datagram_size, sizeof(max_datagram_size));
 624         if (err < 0)
 625                 dev_dbg(&dev->intf->dev, "SET_MAX_DATAGRAM_SIZE failed\n");
 626
 627 out:
 628         /* set MTU to max supported by the device if necessary */
 629         dev->net->mtu = min_t(int, dev->net->mtu, ctx->max_datagram_size - cdc_ncm_eth_hlen(dev));
 630
 631         /* do not exceed operater preferred MTU */
 632         if (ctx->mbim_extended_desc) {
 633                 mbim_mtu = le16_to_cpu(ctx->mbim_extended_desc->wMTU);
 634                 if (mbim_mtu != 0 && mbim_mtu < dev->net->mtu)
 635                         dev->net->mtu = mbim_mtu;
 636         }
 637 }
 638
 639 static void cdc_ncm_fix_modulus(struct usbnet *dev)
 640 {
 641         struct cdc_ncm_ctx *ctx = (struct cdc_ncm_ctx *)dev->data[0];
 642         u32 val;
 643
 644         /*
 645          * verify that the structure alignment is:
 646          * - power of two
 647          * - not greater than the maximum transmit length
 648          * - not less than four bytes
 649          */
 650         val = ctx->tx_ndp_modulus;
 651
 652         if ((val < USB_CDC_NCM_NDP_ALIGN_MIN_SIZE) ||
 653             (val != ((-val) & val)) || (val >= ctx->tx_max)) {
 654                 dev_dbg(&dev->intf->dev, "Using default alignment: 4 bytes\n");
 655                 ctx->tx_ndp_modulus = USB_CDC_NCM_NDP_ALIGN_MIN_SIZE;
 656         }
 657
 658         /*
 659          * verify that the payload alignment is:
 660          * - power of two
 661          * - not greater than the maximum transmit length
 662          * - not less than four bytes
 663          */
 664         val = ctx->tx_modulus;
 665
 666         if ((val < USB_CDC_NCM_NDP_ALIGN_MIN_SIZE) ||
 667             (val != ((-val) & val)) || (val >= ctx->tx_max)) {
 668                 dev_dbg(&dev->intf->dev, "Using default transmit modulus: 4 bytes\n");
 669                 ctx->tx_modulus = USB_CDC_NCM_NDP_ALIGN_MIN_SIZE;
 670         }
 671
 672         /* verify the payload remainder */
 673         if (ctx->tx_remainder >= ctx->tx_modulus) {
 674                 dev_dbg(&dev->intf->dev, "Using default transmit remainder: 0 bytes\n");
 675                 ctx->tx_remainder = 0;
 676         }
 677
 678         /* adjust TX-remainder according to NCM specification. */
 679         ctx->tx_remainder = ((ctx->tx_remainder - cdc_ncm_eth_hlen(dev)) &
 680                              (ctx->tx_modulus - 1));
 681 }
 682
 683 static int cdc_ncm_setup(struct usbnet *dev)
 684 {
 685         struct cdc_ncm_ctx *ctx = (struct cdc_ncm_ctx *)dev->data[0];
 686         u32 def_rx, def_tx;
 687
 688         /* be conservative when selecting intial buffer size to
 689          * increase the number of hosts this will work for
 690          */
 691         def_rx = min_t(u32, CDC_NCM_NTB_DEF_SIZE_RX,
 692                        le32_to_cpu(ctx->ncm_parm.dwNtbInMaxSize));
 693         def_tx = min_t(u32, CDC_NCM_NTB_DEF_SIZE_TX,
 694                        le32_to_cpu(ctx->ncm_parm.dwNtbOutMaxSize));
 695
 696         /* clamp rx_max and tx_max and inform device */
 697         cdc_ncm_update_rxtx_max(dev, def_rx, def_tx);
 698
 699         /* sanitize the modulus and remainder values */
 700         cdc_ncm_fix_modulus(dev);
 701
 702         /* set max datagram size */
 703         cdc_ncm_set_dgram_size(dev, cdc_ncm_max_dgram_size(dev));
 704         return 0;
 705 }
 706
 707 static void
 708 cdc_ncm_find_endpoints(struct usbnet *dev, struct usb_interface *intf)
 709 {
 710         struct usb_host_endpoint *e, *in = NULL, *out = NULL;
 711         u8 ep;
 712
 713         for (ep = 0; ep < intf->cur_altsetting->desc.bNumEndpoints; ep++) {
 714                 e = intf->cur_altsetting->endpoint + ep;
 715
 716                 /* ignore endpoints which cannot transfer data */
 717                 if (!usb_endpoint_maxp(&e->desc))
 718                         continue;
 719
 720                 switch (e->desc.bmAttributes & USB_ENDPOINT_XFERTYPE_MASK) {
 721                 case USB_ENDPOINT_XFER_INT:
 722                         if (usb_endpoint_dir_in(&e->desc)) {
 723                                 if (!dev->status)
 724                                         dev->status = e;
 725                         }
 726                         break;
 727
 728                 case USB_ENDPOINT_XFER_BULK:
 729                         if (usb_endpoint_dir_in(&e->desc)) {
 730                                 if (!in)
 731                                         in = e;
 732                         } else {
 733                                 if (!out)
 734                                         out = e;
 735                         }
 736                         break;
 737
 738                 default:
 739                         break;
 740                 }
 741         }
 742         if (in && !dev->in)
 743                 dev->in = usb_rcvbulkpipe(dev->udev,
 744                                           in->desc.bEndpointAddress &
 745                                           USB_ENDPOINT_NUMBER_MASK);
 746         if (out && !dev->out)
 747                 dev->out = usb_sndbulkpipe(dev->udev,
 748                                            out->desc.bEndpointAddress &
 749                                            USB_ENDPOINT_NUMBER_MASK);
 750 }
 751
 752 static void cdc_ncm_free(struct cdc_ncm_ctx *ctx)
 753 {
 754         if (ctx == NULL)
 755                 return;
 756
 757         if (ctx->tx_rem_skb != NULL) {
 758                 dev_kfree_skb_any(ctx->tx_rem_skb);
 759                 ctx->tx_rem_skb = NULL;
 760         }
 761
 762         if (ctx->tx_curr_skb != NULL) {
 763                 dev_kfree_skb_any(ctx->tx_curr_skb);
 764                 ctx->tx_curr_skb = NULL;
 765         }
 766
 767         if (ctx->is_ndp16)
 768                 kfree(ctx->delayed_ndp16);
 769         else
 770                 kfree(ctx->delayed_ndp32);
 771
 772         kfree(ctx);
 773 }
 774
 775 /* we need to override the usbnet change_mtu ndo for two reasons:
 776  *  - respect the negotiated maximum datagram size
 777  *  - avoid unwanted changes to rx and tx buffers
 778  */
 779 int cdc_ncm_change_mtu(struct net_device *net, int new_mtu)
 780 {
 781         struct usbnet *dev = netdev_priv(net);
 782
 783         net->mtu = new_mtu;
 784         cdc_ncm_set_dgram_size(dev, new_mtu + cdc_ncm_eth_hlen(dev));
 785
 786         return 0;
 787 }
 788 EXPORT_SYMBOL_GPL(cdc_ncm_change_mtu);
 789
 790 static const struct net_device_ops cdc_ncm_netdev_ops = {
 791         .ndo_open            = usbnet_open,
 792         .ndo_stop            = usbnet_stop,
 793         .ndo_start_xmit      = usbnet_start_xmit,
 794         .ndo_tx_timeout      = usbnet_tx_timeout,
 795         .ndo_set_rx_mode     = usbnet_set_rx_mode,
 796         .ndo_get_stats64     = dev_get_tstats64,
 797         .ndo_change_mtu      = cdc_ncm_change_mtu,
 798         .ndo_set_mac_address = eth_mac_addr,
 799         .ndo_validate_addr   = eth_validate_addr,
 800 };
 801
 802 int cdc_ncm_bind_common(struct usbnet *dev, struct usb_interface *intf, u8 data_altsetting, int drvflags)
 803 {
 804         struct cdc_ncm_ctx *ctx;
 805         struct usb_driver *driver;
 806         u8 *buf;
 807         int len;
 808         int temp;
 809         u8 iface_no;
 810         struct usb_cdc_parsed_header hdr;
 811
 812         ctx = kzalloc(sizeof(*ctx), GFP_KERNEL);
 813         if (!ctx)
 814                 return -ENOMEM;
 815
 816         ctx->dev = dev;
 817
 818         hrtimer_init(&ctx->tx_timer, CLOCK_MONOTONIC, HRTIMER_MODE_REL);
 819         ctx->tx_timer.function = &cdc_ncm_tx_timer_cb;
 820         tasklet_setup(&ctx->bh, cdc_ncm_txpath_bh);
 821         atomic_set(&ctx->stop, 0);
 822         spin_lock_init(&ctx->mtx);
 823
 824         /* store ctx pointer in device data field */
 825         dev->data[0] = (unsigned long)ctx;
 826
 827         /* only the control interface can be successfully probed */
 828         ctx->control = intf;
 829
 830         /* get some pointers */
 831         driver = driver_of(intf);
 832         buf = intf->cur_altsetting->extra;
 833         len = intf->cur_altsetting->extralen;
 834
 835         /* parse through descriptors associated with control interface */
 836         cdc_parse_cdc_header(&hdr, intf, buf, len);
 837
 838         if (hdr.usb_cdc_union_desc)
 839                 ctx->data = usb_ifnum_to_if(dev->udev,
 840                                             hdr.usb_cdc_union_desc->bSlaveInterface0);
 841         ctx->ether_desc = hdr.usb_cdc_ether_desc;
 842         ctx->func_desc = hdr.usb_cdc_ncm_desc;
 843         ctx->mbim_desc = hdr.usb_cdc_mbim_desc;
 844         ctx->mbim_extended_desc = hdr.usb_cdc_mbim_extended_desc;
 845
 846         /* some buggy devices have an IAD but no CDC Union */
 847         if (!hdr.usb_cdc_union_desc && intf->intf_assoc && intf->intf_assoc->bInterfaceCount == 2) {
 848                 ctx->data = usb_ifnum_to_if(dev->udev, intf->cur_altsetting->desc.bInterfaceNumber + 1);
 849                 dev_dbg(&intf->dev, "CDC Union missing - got slave from IAD\n");
 850         }
 851
 852         /* check if we got everything */
 853         if (!ctx->data) {
 854                 dev_err(&intf->dev, "CDC Union missing and no IAD found\n");
 855                 goto error;
 856         }
 857         if (cdc_ncm_comm_intf_is_mbim(intf->cur_altsetting)) {
 858                 if (!ctx->mbim_desc) {
 859                         dev_err(&intf->dev, "MBIM functional descriptor missing\n");
 860                         goto error;
 861                 }
 862         } else {
 863                 if (!ctx->ether_desc || !ctx->func_desc) {
 864                         dev_err(&intf->dev, "NCM or ECM functional descriptors missing\n");
 865                         goto error;
 866                 }
 867         }
 868
 869         /* claim data interface, if different from control */
 870         if (ctx->data != ctx->control) {
 871                 temp = usb_driver_claim_interface(driver, ctx->data, dev);
 872                 if (temp) {
 873                         dev_err(&intf->dev, "failed to claim data intf\n");
 874                         goto error;
 875                 }
 876         }
 877
 878         iface_no = ctx->data->cur_altsetting->desc.bInterfaceNumber;
 879
 880         /* Device-specific flags */
 881         ctx->drvflags = drvflags;
 882
 883         /* Reset data interface. Some devices will not reset properly
 884          * unless they are configured first.  Toggle the altsetting to
 885          * force a reset.
 886          * Some other devices do not work properly with this procedure
 887          * that can be avoided using quirk CDC_MBIM_FLAG_AVOID_ALTSETTING_TOGGLE
 888          */
 889         if (!(ctx->drvflags & CDC_MBIM_FLAG_AVOID_ALTSETTING_TOGGLE))
 890                 usb_set_interface(dev->udev, iface_no, data_altsetting);
 891
 892         temp = usb_set_interface(dev->udev, iface_no, 0);
 893         if (temp) {
 894                 dev_dbg(&intf->dev, "set interface failed\n");
 895                 goto error2;
 896         }
 897
 898         /* initialize basic device settings */
 899         if (cdc_ncm_init(dev))
 900                 goto error2;
 901
 902         /* Some firmwares need a pause here or they will silently fail
 903          * to set up the interface properly.  This value was decided
 904          * empirically on a Sierra Wireless MC7455 running 02.08.02.00
 905          * firmware.
 906          */
 907         usleep_range(10000, 20000);
 908
 909         /* configure data interface */
 910         temp = usb_set_interface(dev->udev, iface_no, data_altsetting);
 911         if (temp) {
 912                 dev_dbg(&intf->dev, "set interface failed\n");
 913                 goto error2;
 914         }
 915
 916         cdc_ncm_find_endpoints(dev, ctx->data);
 917         cdc_ncm_find_endpoints(dev, ctx->control);
 918         if (!dev->in || !dev->out || !dev->status) {
 919                 dev_dbg(&intf->dev, "failed to collect endpoints\n");
 920                 goto error2;
 921         }
 922
 923         usb_set_intfdata(ctx->control, dev);
 924
 925         if (ctx->ether_desc) {
 926                 temp = usbnet_get_ethernet_addr(dev, ctx->ether_desc->iMACAddress);
 927                 if (temp) {
 928                         dev_err(&intf->dev, "failed to get mac address\n");
 929                         goto error2;
 930                 }
 931                 dev_info(&intf->dev, "MAC-Address: %pM\n", dev->net->dev_addr);
 932         }
 933
 934         /* finish setting up the device specific data */
 935         cdc_ncm_setup(dev);
 936
 937         /* Allocate the delayed NDP if needed. */
 938         if (ctx->drvflags & CDC_NCM_FLAG_NDP_TO_END) {
 939                 if (ctx->is_ndp16) {
 940                         ctx->delayed_ndp16 = kzalloc(ctx->max_ndp_size, GFP_KERNEL);
 941                         if (!ctx->delayed_ndp16)
 942                                 goto error2;
 943                 } else {
 944                         ctx->delayed_ndp32 = kzalloc(ctx->max_ndp_size, GFP_KERNEL);
 945                         if (!ctx->delayed_ndp32)
 946                                 goto error2;
 947                 }
 948                 dev_info(&intf->dev, "NDP will be placed at end of frame for this device.");
 949         }
 950
 951         /* override ethtool_ops */
 952         dev->net->ethtool_ops = &cdc_ncm_ethtool_ops;
 953
 954         /* add our sysfs attrs */
 955         dev->net->sysfs_groups[0] = &cdc_ncm_sysfs_attr_group;
 956
 957         /* must handle MTU changes */
 958         dev->net->netdev_ops = &cdc_ncm_netdev_ops;
 959         dev->net->max_mtu = cdc_ncm_max_dgram_size(dev) - cdc_ncm_eth_hlen(dev);
 960
 961         return 0;
 962
 963 error2:
 964         usb_set_intfdata(ctx->control, NULL);
 965         usb_set_intfdata(ctx->data, NULL);
 966         if (ctx->data != ctx->control)
 967                 usb_driver_release_interface(driver, ctx->data);
 968 error:
 969         cdc_ncm_free((struct cdc_ncm_ctx *)dev->data[0]);
 970         dev->data[0] = 0;
 971         dev_info(&intf->dev, "bind() failure\n");
 972         return -ENODEV;
 973 }
 974 EXPORT_SYMBOL_GPL(cdc_ncm_bind_common);
 975
 976 void cdc_ncm_unbind(struct usbnet *dev, struct usb_interface *intf)
 977 {
 978         struct cdc_ncm_ctx *ctx = (struct cdc_ncm_ctx *)dev->data[0];
 979         struct usb_driver *driver = driver_of(intf);
 980
 981         if (ctx == NULL)
 982                 return;         /* no setup */
 983
 984         atomic_set(&ctx->stop, 1);
 985
 986         hrtimer_cancel(&ctx->tx_timer);
 987
 988         tasklet_kill(&ctx->bh);
 989
 990         /* handle devices with combined control and data interface */
 991         if (ctx->control == ctx->data)
 992                 ctx->data = NULL;
 993
 994         /* disconnect master --> disconnect slave */
 995         if (intf == ctx->control && ctx->data) {
 996                 usb_set_intfdata(ctx->data, NULL);
 997                 usb_driver_release_interface(driver, ctx->data);
 998                 ctx->data = NULL;
 999
1000         } else if (intf == ctx->data && ctx->control) {
1001                 usb_set_intfdata(ctx->control, NULL);
1002                 usb_driver_release_interface(driver, ctx->control);
1003                 ctx->control = NULL;
1004         }
1005
1006         usb_set_intfdata(intf, NULL);
1007         cdc_ncm_free(ctx);
1008 }
1009 EXPORT_SYMBOL_GPL(cdc_ncm_unbind);
1010
1011 /* Return the number of the MBIM control interface altsetting iff it
1012  * is preferred and available,
1013  */
1014 u8 cdc_ncm_select_altsetting(struct usb_interface *intf)
1015 {
1016         struct usb_host_interface *alt;
1017
1018         /* The MBIM spec defines a NCM compatible default altsetting,
1019          * which we may have matched:
1020          *
1021          *  "Functions that implement both NCM 1.0 and MBIM (an
1022          *   “NCM/MBIM function”) according to this recommendation
1023          *   shall provide two alternate settings for the
1024          *   Communication Interface.  Alternate setting 0, and the
1025          *   associated class and endpoint descriptors, shall be
1026          *   constructed according to the rules given for the
1027          *   Communication Interface in section 5 of [USBNCM10].
1028          *   Alternate setting 1, and the associated class and
1029          *   endpoint descriptors, shall be constructed according to
1030          *   the rules given in section 6 (USB Device Model) of this
1031          *   specification."
1032          */
1033         if (intf->num_altsetting < 2)
1034                 return intf->cur_altsetting->desc.bAlternateSetting;
1035
1036         if (prefer_mbim) {
1037                 alt = usb_altnum_to_altsetting(intf, CDC_NCM_COMM_ALTSETTING_MBIM);
1038                 if (alt && cdc_ncm_comm_intf_is_mbim(alt))
1039                         return CDC_NCM_COMM_ALTSETTING_MBIM;
1040         }
1041         return CDC_NCM_COMM_ALTSETTING_NCM;
1042 }
1043 EXPORT_SYMBOL_GPL(cdc_ncm_select_altsetting);
1044
1045 static int cdc_ncm_bind(struct usbnet *dev, struct usb_interface *intf)
1046 {
1047         /* MBIM backwards compatible function? */
1048         if (cdc_ncm_select_altsetting(intf) != CDC_NCM_COMM_ALTSETTING_NCM)
1049                 return -ENODEV;
1050
1051         /* The NCM data altsetting is fixed, so we hard-coded it.
1052          * Additionally, generic NCM devices are assumed to accept arbitrarily
1053          * placed NDP.
1054          */
1055         return cdc_ncm_bind_common(dev, intf, CDC_NCM_DATA_ALTSETTING_NCM, 0);
1056 }
1057
1058 static void cdc_ncm_align_tail(struct sk_buff *skb, size_t modulus, size_t remainder, size_t max)
1059 {
1060         size_t align = ALIGN(skb->len, modulus) - skb->len + remainder;
1061
1062         if (skb->len + align > max)
1063                 align = max - skb->len;
1064         if (align && skb_tailroom(skb) >= align)
1065                 skb_put_zero(skb, align);
1066 }
1067
1068 /* return a pointer to a valid struct usb_cdc_ncm_ndp16 of type sign, possibly
1069  * allocating a new one within skb
1070  */
1071 static struct usb_cdc_ncm_ndp16 *cdc_ncm_ndp16(struct cdc_ncm_ctx *ctx, struct sk_buff *skb, __le32 sign, size_t reserve)
1072 {
1073         struct usb_cdc_ncm_ndp16 *ndp16 = NULL;
1074         struct usb_cdc_ncm_nth16 *nth16 = (void *)skb->data;
1075         size_t ndpoffset = le16_to_cpu(nth16->wNdpIndex);
1076
1077         /* If NDP should be moved to the end of the NCM package, we can't follow the
1078         * NTH16 header as we would normally do. NDP isn't written to the SKB yet, and
1079         * the wNdpIndex field in the header is actually not consistent with reality. It will be later.
1080         */
1081         if (ctx->drvflags & CDC_NCM_FLAG_NDP_TO_END) {
1082                 if (ctx->delayed_ndp16->dwSignature == sign)
1083                         return ctx->delayed_ndp16;
1084
1085                 /* We can only push a single NDP to the end. Return
1086                  * NULL to send what we've already got and queue this
1087                  * skb for later.
1088                  */
1089                 else if (ctx->delayed_ndp16->dwSignature)
1090                         return NULL;
1091         }
1092
1093         /* follow the chain of NDPs, looking for a match */
1094         while (ndpoffset) {
1095                 ndp16 = (struct usb_cdc_ncm_ndp16 *)(skb->data + ndpoffset);
1096                 if  (ndp16->dwSignature == sign)
1097                         return ndp16;
1098                 ndpoffset = le16_to_cpu(ndp16->wNextNdpIndex);
1099         }
1100
1101         /* align new NDP */
1102         if (!(ctx->drvflags & CDC_NCM_FLAG_NDP_TO_END))
1103                 cdc_ncm_align_tail(skb, ctx->tx_ndp_modulus, 0, ctx->tx_curr_size);
1104
1105         /* verify that there is room for the NDP and the datagram (reserve) */
1106         if ((ctx->tx_curr_size - skb->len - reserve) < ctx->max_ndp_size)
1107                 return NULL;
1108
1109         /* link to it */
1110         if (ndp16)
1111                 ndp16->wNextNdpIndex = cpu_to_le16(skb->len);
1112         else
1113                 nth16->wNdpIndex = cpu_to_le16(skb->len);
1114
1115         /* push a new empty NDP */
1116         if (!(ctx->drvflags & CDC_NCM_FLAG_NDP_TO_END))
1117                 ndp16 = skb_put_zero(skb, ctx->max_ndp_size);
1118         else
1119                 ndp16 = ctx->delayed_ndp16;
1120
1121         ndp16->dwSignature = sign;
1122         ndp16->wLength = cpu_to_le16(sizeof(struct usb_cdc_ncm_ndp16) + sizeof(struct usb_cdc_ncm_dpe16));
1123         return ndp16;
1124 }
1125
1126 static struct usb_cdc_ncm_ndp32 *cdc_ncm_ndp32(struct cdc_ncm_ctx *ctx, struct sk_buff *skb, __le32 sign, size_t reserve)
1127 {
1128         struct usb_cdc_ncm_ndp32 *ndp32 = NULL;
1129         struct usb_cdc_ncm_nth32 *nth32 = (void *)skb->data;
1130         size_t ndpoffset = le32_to_cpu(nth32->dwNdpIndex);
1131
1132         /* If NDP should be moved to the end of the NCM package, we can't follow the
1133          * NTH32 header as we would normally do. NDP isn't written to the SKB yet, and
1134          * the wNdpIndex field in the header is actually not consistent with reality. It will be later.
1135          */
1136         if (ctx->drvflags & CDC_NCM_FLAG_NDP_TO_END) {
1137                 if (ctx->delayed_ndp32->dwSignature == sign)
1138                         return ctx->delayed_ndp32;
1139
1140                 /* We can only push a single NDP to the end. Return
1141                  * NULL to send what we've already got and queue this
1142                  * skb for later.
1143                  */
1144                 else if (ctx->delayed_ndp32->dwSignature)
1145                         return NULL;
1146         }
1147
1148         /* follow the chain of NDPs, looking for a match */
1149         while (ndpoffset) {
1150                 ndp32 = (struct usb_cdc_ncm_ndp32 *)(skb->data + ndpoffset);
1151                 if  (ndp32->dwSignature == sign)
1152                         return ndp32;
1153                 ndpoffset = le32_to_cpu(ndp32->dwNextNdpIndex);
1154         }
1155
1156         /* align new NDP */
1157         if (!(ctx->drvflags & CDC_NCM_FLAG_NDP_TO_END))
1158                 cdc_ncm_align_tail(skb, ctx->tx_ndp_modulus, 0, ctx->tx_curr_size);
1159
1160         /* verify that there is room for the NDP and the datagram (reserve) */
1161         if ((ctx->tx_curr_size - skb->len - reserve) < ctx->max_ndp_size)
1162                 return NULL;
1163
1164         /* link to it */
1165         if (ndp32)
1166                 ndp32->dwNextNdpIndex = cpu_to_le32(skb->len);
1167         else
1168                 nth32->dwNdpIndex = cpu_to_le32(skb->len);
1169
1170         /* push a new empty NDP */
1171         if (!(ctx->drvflags & CDC_NCM_FLAG_NDP_TO_END))
1172                 ndp32 = skb_put_zero(skb, ctx->max_ndp_size);
1173         else
1174                 ndp32 = ctx->delayed_ndp32;
1175
1176         ndp32->dwSignature = sign;
1177         ndp32->wLength = cpu_to_le16(sizeof(struct usb_cdc_ncm_ndp32) + sizeof(struct usb_cdc_ncm_dpe32));
1178         return ndp32;
1179 }
1180
1181 struct sk_buff *
1182 cdc_ncm_fill_tx_frame(struct usbnet *dev, struct sk_buff *skb, __le32 sign)
1183 {
1184         struct cdc_ncm_ctx *ctx = (struct cdc_ncm_ctx *)dev->data[0];
1185         union {
1186                 struct usb_cdc_ncm_nth16 *nth16;
1187                 struct usb_cdc_ncm_nth32 *nth32;
1188         } nth;
1189         union {
1190                 struct usb_cdc_ncm_ndp16 *ndp16;
1191                 struct usb_cdc_ncm_ndp32 *ndp32;
1192         } ndp;
1193         struct sk_buff *skb_out;
1194         u16 n = 0, index, ndplen;
1195         u8 ready2send = 0;
1196         u32 delayed_ndp_size;
1197         size_t padding_count;
1198
1199         /* When our NDP gets written in cdc_ncm_ndp(), then skb_out->len gets updated
1200          * accordingly. Otherwise, we should check here.
1201          */
1202         if (ctx->drvflags & CDC_NCM_FLAG_NDP_TO_END)
1203                 delayed_ndp_size = ctx->max_ndp_size +
1204                         max_t(u32,
1205                               ctx->tx_ndp_modulus,
1206                               ctx->tx_modulus + ctx->tx_remainder) - 1;
1207         else
1208                 delayed_ndp_size = 0;
1209
1210         /* if there is a remaining skb, it gets priority */
1211         if (skb != NULL) {
1212                 swap(skb, ctx->tx_rem_skb);
1213                 swap(sign, ctx->tx_rem_sign);
1214         } else {
1215                 ready2send = 1;
1216         }
1217
1218         /* check if we are resuming an OUT skb */
1219         skb_out = ctx->tx_curr_skb;
1220
1221         /* allocate a new OUT skb */
1222         if (!skb_out) {
1223                 if (ctx->tx_low_mem_val == 0) {
1224                         ctx->tx_curr_size = ctx->tx_max;
1225                         skb_out = alloc_skb(ctx->tx_curr_size, GFP_ATOMIC);
1226                         /* If the memory allocation fails we will wait longer
1227                          * each time before attempting another full size
1228                          * allocation again to not overload the system
1229                          * further.
1230                          */
1231                         if (skb_out == NULL) {
1232                                 ctx->tx_low_mem_max_cnt = min(ctx->tx_low_mem_max_cnt + 1,
1233                                                               (unsigned)CDC_NCM_LOW_MEM_MAX_CNT);
1234                                 ctx->tx_low_mem_val = ctx->tx_low_mem_max_cnt;
1235                         }
1236                 }
1237                 if (skb_out == NULL) {
1238                         /* See if a very small allocation is possible.
1239                          * We will send this packet immediately and hope
1240                          * that there is more memory available later.
1241                          */
1242                         if (skb)
1243                                 ctx->tx_curr_size = max(skb->len,
1244                                         (u32)USB_CDC_NCM_NTB_MIN_OUT_SIZE);
1245                         else
1246                                 ctx->tx_curr_size = USB_CDC_NCM_NTB_MIN_OUT_SIZE;
1247                         skb_out = alloc_skb(ctx->tx_curr_size, GFP_ATOMIC);
1248
1249                         /* No allocation possible so we will abort */
1250                         if (skb_out == NULL) {
1251                                 if (skb != NULL) {
1252                                         dev_kfree_skb_any(skb);
1253                                         dev->net->stats.tx_dropped++;
1254                                 }
1255                                 goto exit_no_skb;
1256                         }
1257                         ctx->tx_low_mem_val--;
1258                 }
1259                 if (ctx->is_ndp16) {
1260                         /* fill out the initial 16-bit NTB header */
1261                         nth.nth16 = skb_put_zero(skb_out, sizeof(struct usb_cdc_ncm_nth16));
1262                         nth.nth16->dwSignature = cpu_to_le32(USB_CDC_NCM_NTH16_SIGN);
1263                         nth.nth16->wHeaderLength = cpu_to_le16(sizeof(struct usb_cdc_ncm_nth16));
1264                         nth.nth16->wSequence = cpu_to_le16(ctx->tx_seq++);
1265                 } else {
1266                         /* fill out the initial 32-bit NTB header */
1267                         nth.nth32 = skb_put_zero(skb_out, sizeof(struct usb_cdc_ncm_nth32));
1268                         nth.nth32->dwSignature = cpu_to_le32(USB_CDC_NCM_NTH32_SIGN);
1269                         nth.nth32->wHeaderLength = cpu_to_le16(sizeof(struct usb_cdc_ncm_nth32));
1270                         nth.nth32->wSequence = cpu_to_le16(ctx->tx_seq++);
1271                 }
1272
1273                 /* count total number of frames in this NTB */
1274                 ctx->tx_curr_frame_num = 0;
1275
1276                 /* recent payload counter for this skb_out */
1277                 ctx->tx_curr_frame_payload = 0;
1278         }
1279
1280         for (n = ctx->tx_curr_frame_num; n < ctx->tx_max_datagrams; n++) {
1281                 /* send any remaining skb first */
1282                 if (skb == NULL) {
1283                         skb = ctx->tx_rem_skb;
1284                         sign = ctx->tx_rem_sign;
1285                         ctx->tx_rem_skb = NULL;
1286
1287                         /* check for end of skb */
1288                         if (skb == NULL)
1289                                 break;
1290                 }
1291
1292                 /* get the appropriate NDP for this skb */
1293                 if (ctx->is_ndp16)
1294                         ndp.ndp16 = cdc_ncm_ndp16(ctx, skb_out, sign, skb->len + ctx->tx_modulus + ctx->tx_remainder);
1295                 else
1296                         ndp.ndp32 = cdc_ncm_ndp32(ctx, skb_out, sign, skb->len + ctx->tx_modulus + ctx->tx_remainder);
1297
1298                 /* align beginning of next frame */
1299                 cdc_ncm_align_tail(skb_out,  ctx->tx_modulus, ctx->tx_remainder, ctx->tx_curr_size);
1300
1301                 /* check if we had enough room left for both NDP and frame */
1302                 if ((ctx->is_ndp16 && !ndp.ndp16) || (!ctx->is_ndp16 && !ndp.ndp32) ||
1303                     skb_out->len + skb->len + delayed_ndp_size > ctx->tx_curr_size) {
1304                         if (n == 0) {
1305                                 /* won't fit, MTU problem? */
1306                                 dev_kfree_skb_any(skb);
1307                                 skb = NULL;
1308                                 dev->net->stats.tx_dropped++;
1309                         } else {
1310                                 /* no room for skb - store for later */
1311                                 if (ctx->tx_rem_skb != NULL) {
1312                                         dev_kfree_skb_any(ctx->tx_rem_skb);
1313                                         dev->net->stats.tx_dropped++;
1314                                 }
1315                                 ctx->tx_rem_skb = skb;
1316                                 ctx->tx_rem_sign = sign;
1317                                 skb = NULL;
1318                                 ready2send = 1;
1319                                 ctx->tx_reason_ntb_full++;      /* count reason for transmitting */
1320                         }
1321                         break;
1322                 }
1323
1324                 /* calculate frame number within this NDP */
1325                 if (ctx->is_ndp16) {
1326                         ndplen = le16_to_cpu(ndp.ndp16->wLength);
1327                         index = (ndplen - sizeof(struct usb_cdc_ncm_ndp16)) / sizeof(struct usb_cdc_ncm_dpe16) - 1;
1328
1329                         /* OK, add this skb */
1330                         ndp.ndp16->dpe16[index].wDatagramLength = cpu_to_le16(skb->len);
1331                         ndp.ndp16->dpe16[index].wDatagramIndex = cpu_to_le16(skb_out->len);
1332                         ndp.ndp16->wLength = cpu_to_le16(ndplen + sizeof(struct usb_cdc_ncm_dpe16));
1333                 } else {
1334                         ndplen = le16_to_cpu(ndp.ndp32->wLength);
1335                         index = (ndplen - sizeof(struct usb_cdc_ncm_ndp32)) / sizeof(struct usb_cdc_ncm_dpe32) - 1;
1336
1337                         ndp.ndp32->dpe32[index].dwDatagramLength = cpu_to_le32(skb->len);
1338                         ndp.ndp32->dpe32[index].dwDatagramIndex = cpu_to_le32(skb_out->len);
1339                         ndp.ndp32->wLength = cpu_to_le16(ndplen + sizeof(struct usb_cdc_ncm_dpe32));
1340                 }
1341                 skb_put_data(skb_out, skb->data, skb->len);
1342                 ctx->tx_curr_frame_payload += skb->len; /* count real tx payload data */
1343                 dev_kfree_skb_any(skb);
1344                 skb = NULL;
1345
1346                 /* send now if this NDP is full */
1347                 if (index >= CDC_NCM_DPT_DATAGRAMS_MAX) {
1348                         ready2send = 1;
1349                         ctx->tx_reason_ndp_full++;      /* count reason for transmitting */
1350                         break;
1351                 }
1352         }
1353
1354         /* free up any dangling skb */
1355         if (skb != NULL) {
1356                 dev_kfree_skb_any(skb);
1357                 skb = NULL;
1358                 dev->net->stats.tx_dropped++;
1359         }
1360
1361         ctx->tx_curr_frame_num = n;
1362
1363         if (n == 0) {
1364                 /* wait for more frames */
1365                 /* push variables */
1366                 ctx->tx_curr_skb = skb_out;
1367                 goto exit_no_skb;
1368
1369         } else if ((n < ctx->tx_max_datagrams) && (ready2send == 0) && (ctx->timer_interval > 0)) {
1370                 /* wait for more frames */
1371                 /* push variables */
1372                 ctx->tx_curr_skb = skb_out;
1373                 /* set the pending count */
1374                 if (n < CDC_NCM_RESTART_TIMER_DATAGRAM_CNT)
1375                         ctx->tx_timer_pending = CDC_NCM_TIMER_PENDING_CNT;
1376                 goto exit_no_skb;
1377
1378         } else {
1379                 if (n == ctx->tx_max_datagrams)
1380                         ctx->tx_reason_max_datagram++;  /* count reason for transmitting */
1381                 /* frame goes out */
1382                 /* variables will be reset at next call */
1383         }
1384
1385         /* If requested, put NDP at end of frame. */
1386         if (ctx->drvflags & CDC_NCM_FLAG_NDP_TO_END) {
1387                 if (ctx->is_ndp16) {
1388                         nth.nth16 = (struct usb_cdc_ncm_nth16 *)skb_out->data;
1389                         cdc_ncm_align_tail(skb_out, ctx->tx_ndp_modulus, 0, ctx->tx_curr_size - ctx->max_ndp_size);
1390                         nth.nth16->wNdpIndex = cpu_to_le16(skb_out->len);
1391                         skb_put_data(skb_out, ctx->delayed_ndp16, ctx->max_ndp_size);
1392
1393                         /* Zero out delayed NDP - signature checking will naturally fail. */
1394                         ndp.ndp16 = memset(ctx->delayed_ndp16, 0, ctx->max_ndp_size);
1395                 } else {
1396                         nth.nth32 = (struct usb_cdc_ncm_nth32 *)skb_out->data;
1397                         cdc_ncm_align_tail(skb_out, ctx->tx_ndp_modulus, 0, ctx->tx_curr_size - ctx->max_ndp_size);
1398                         nth.nth32->dwNdpIndex = cpu_to_le32(skb_out->len);
1399                         skb_put_data(skb_out, ctx->delayed_ndp32, ctx->max_ndp_size);
1400
1401                         ndp.ndp32 = memset(ctx->delayed_ndp32, 0, ctx->max_ndp_size);
1402                 }
1403         }
1404
1405         /* If collected data size is less or equal ctx->min_tx_pkt
1406          * bytes, we send buffers as it is. If we get more data, it
1407          * would be more efficient for USB HS mobile device with DMA
1408          * engine to receive a full size NTB, than canceling DMA
1409          * transfer and receiving a short packet.
1410          *
1411          * This optimization support is pointless if we end up sending
1412          * a ZLP after full sized NTBs.
1413          */
1414         if (!(dev->driver_info->flags & FLAG_SEND_ZLP) &&
1415             skb_out->len > ctx->min_tx_pkt) {
1416                 padding_count = ctx->tx_curr_size - skb_out->len;
1417                 if (!WARN_ON(padding_count > ctx->tx_curr_size))
1418                         skb_put_zero(skb_out, padding_count);
1419         } else if (skb_out->len < ctx->tx_curr_size &&
1420                    (skb_out->len % dev->maxpacket) == 0) {
1421                 skb_put_u8(skb_out, 0); /* force short packet */
1422         }
1423
1424         /* set final frame length */
1425         if (ctx->is_ndp16) {
1426                 nth.nth16 = (struct usb_cdc_ncm_nth16 *)skb_out->data;
1427                 nth.nth16->wBlockLength = cpu_to_le16(skb_out->len);
1428         } else {
1429                 nth.nth32 = (struct usb_cdc_ncm_nth32 *)skb_out->data;
1430                 nth.nth32->dwBlockLength = cpu_to_le32(skb_out->len);
1431         }
1432
1433         /* return skb */
1434         ctx->tx_curr_skb = NULL;
1435
1436         /* keep private stats: framing overhead and number of NTBs */
1437         ctx->tx_overhead += skb_out->len - ctx->tx_curr_frame_payload;
1438         ctx->tx_ntbs++;
1439
1440         /* usbnet will count all the framing overhead by default.
1441          * Adjust the stats so that the tx_bytes counter show real
1442          * payload data instead.
1443          */
1444         usbnet_set_skb_tx_stats(skb_out, n,
1445                                 (long)ctx->tx_curr_frame_payload - skb_out->len);
1446
1447         return skb_out;
1448
1449 exit_no_skb:
1450         /* Start timer, if there is a remaining non-empty skb */
1451         if (ctx->tx_curr_skb != NULL && n > 0)
1452                 cdc_ncm_tx_timeout_start(ctx);
1453         return NULL;
1454 }
1455 EXPORT_SYMBOL_GPL(cdc_ncm_fill_tx_frame);
1456
1457 static void cdc_ncm_tx_timeout_start(struct cdc_ncm_ctx *ctx)
1458 {
1459         /* start timer, if not already started */
1460         if (!(hrtimer_active(&ctx->tx_timer) || atomic_read(&ctx->stop)))
1461                 hrtimer_start(&ctx->tx_timer,
1462                                 ctx->timer_interval,
1463                                 HRTIMER_MODE_REL);
1464 }
1465
1466 static enum hrtimer_restart cdc_ncm_tx_timer_cb(struct hrtimer *timer)
1467 {
1468         struct cdc_ncm_ctx *ctx =
1469                         container_of(timer, struct cdc_ncm_ctx, tx_timer);
1470
1471         if (!atomic_read(&ctx->stop))
1472                 tasklet_schedule(&ctx->bh);
1473         return HRTIMER_NORESTART;
1474 }
1475
1476 static void cdc_ncm_txpath_bh(struct tasklet_struct *t)
1477 {
1478         struct cdc_ncm_ctx *ctx = from_tasklet(ctx, t, bh);
1479         struct usbnet *dev = ctx->dev;
1480
1481         spin_lock_bh(&ctx->mtx);
1482         if (ctx->tx_timer_pending != 0) {
1483                 ctx->tx_timer_pending--;
1484                 cdc_ncm_tx_timeout_start(ctx);
1485                 spin_unlock_bh(&ctx->mtx);
1486         } else if (dev->net != NULL) {
1487                 ctx->tx_reason_timeout++;       /* count reason for transmitting */
1488                 spin_unlock_bh(&ctx->mtx);
1489                 netif_tx_lock_bh(dev->net);
1490                 usbnet_start_xmit(NULL, dev->net);
1491                 netif_tx_unlock_bh(dev->net);
1492         } else {
1493                 spin_unlock_bh(&ctx->mtx);
1494         }
1495 }
1496
1497 struct sk_buff *
1498 cdc_ncm_tx_fixup(struct usbnet *dev, struct sk_buff *skb, gfp_t flags)
1499 {
1500         struct sk_buff *skb_out;
1501         struct cdc_ncm_ctx *ctx = (struct cdc_ncm_ctx *)dev->data[0];
1502
1503         /*
1504          * The Ethernet API we are using does not support transmitting
1505          * multiple Ethernet frames in a single call. This driver will
1506          * accumulate multiple Ethernet frames and send out a larger
1507          * USB frame when the USB buffer is full or when a single jiffies
1508          * timeout happens.
1509          */
1510         if (ctx == NULL)
1511                 goto error;
1512
1513         spin_lock_bh(&ctx->mtx);
1514
1515         if (ctx->is_ndp16)
1516                 skb_out = cdc_ncm_fill_tx_frame(dev, skb, cpu_to_le32(USB_CDC_NCM_NDP16_NOCRC_SIGN));
1517         else
1518                 skb_out = cdc_ncm_fill_tx_frame(dev, skb, cpu_to_le32(USB_CDC_NCM_NDP32_NOCRC_SIGN));
1519
1520         spin_unlock_bh(&ctx->mtx);
1521         return skb_out;
1522
1523 error:
1524         if (skb != NULL)
1525                 dev_kfree_skb_any(skb);
1526
1527         return NULL;
1528 }
1529 EXPORT_SYMBOL_GPL(cdc_ncm_tx_fixup);
1530
1531 /* verify NTB header and return offset of first NDP, or negative error */
1532 int cdc_ncm_rx_verify_nth16(struct cdc_ncm_ctx *ctx, struct sk_buff *skb_in)
1533 {
1534         struct usbnet *dev = netdev_priv(skb_in->dev);
1535         struct usb_cdc_ncm_nth16 *nth16;
1536         int len;
1537         int ret = -EINVAL;
1538
1539         if (ctx == NULL)
1540                 goto error;
1541
1542         if (skb_in->len < (sizeof(struct usb_cdc_ncm_nth16) +
1543                                         sizeof(struct usb_cdc_ncm_ndp16))) {
1544                 netif_dbg(dev, rx_err, dev->net, "frame too short\n");
1545                 goto error;
1546         }
1547
1548         nth16 = (struct usb_cdc_ncm_nth16 *)skb_in->data;
1549
1550         if (nth16->dwSignature != cpu_to_le32(USB_CDC_NCM_NTH16_SIGN)) {
1551                 netif_dbg(dev, rx_err, dev->net,
1552                           "invalid NTH16 signature <%#010x>\n",
1553                           le32_to_cpu(nth16->dwSignature));
1554                 goto error;
1555         }
1556
1557         len = le16_to_cpu(nth16->wBlockLength);
1558         if (len > ctx->rx_max) {
1559                 netif_dbg(dev, rx_err, dev->net,
1560                           "unsupported NTB block length %u/%u\n", len,
1561                           ctx->rx_max);
1562                 goto error;
1563         }
1564
1565         if ((ctx->rx_seq + 1) != le16_to_cpu(nth16->wSequence) &&
1566             (ctx->rx_seq || le16_to_cpu(nth16->wSequence)) &&
1567             !((ctx->rx_seq == 0xffff) && !le16_to_cpu(nth16->wSequence))) {
1568                 netif_dbg(dev, rx_err, dev->net,
1569                           "sequence number glitch prev=%d curr=%d\n",
1570                           ctx->rx_seq, le16_to_cpu(nth16->wSequence));
1571         }
1572         ctx->rx_seq = le16_to_cpu(nth16->wSequence);
1573
1574         ret = le16_to_cpu(nth16->wNdpIndex);
1575 error:
1576         return ret;
1577 }
1578 EXPORT_SYMBOL_GPL(cdc_ncm_rx_verify_nth16);
1579
1580 int cdc_ncm_rx_verify_nth32(struct cdc_ncm_ctx *ctx, struct sk_buff *skb_in)
1581 {
1582         struct usbnet *dev = netdev_priv(skb_in->dev);
1583         struct usb_cdc_ncm_nth32 *nth32;
1584         int len;
1585         int ret = -EINVAL;
1586
1587         if (ctx == NULL)
1588                 goto error;
1589
1590         if (skb_in->len < (sizeof(struct usb_cdc_ncm_nth32) +
1591                                         sizeof(struct usb_cdc_ncm_ndp32))) {
1592                 netif_dbg(dev, rx_err, dev->net, "frame too short\n");
1593                 goto error;
1594         }
1595
1596         nth32 = (struct usb_cdc_ncm_nth32 *)skb_in->data;
1597
1598         if (nth32->dwSignature != cpu_to_le32(USB_CDC_NCM_NTH32_SIGN)) {
1599                 netif_dbg(dev, rx_err, dev->net,
1600                           "invalid NTH32 signature <%#010x>\n",
1601                           le32_to_cpu(nth32->dwSignature));
1602                 goto error;
1603         }
1604
1605         len = le32_to_cpu(nth32->dwBlockLength);
1606         if (len > ctx->rx_max) {
1607                 netif_dbg(dev, rx_err, dev->net,
1608                           "unsupported NTB block length %u/%u\n", len,
1609                           ctx->rx_max);
1610                 goto error;
1611         }
1612
1613         if ((ctx->rx_seq + 1) != le16_to_cpu(nth32->wSequence) &&
1614             (ctx->rx_seq || le16_to_cpu(nth32->wSequence)) &&
1615             !((ctx->rx_seq == 0xffff) && !le16_to_cpu(nth32->wSequence))) {
1616                 netif_dbg(dev, rx_err, dev->net,
1617                           "sequence number glitch prev=%d curr=%d\n",
1618                           ctx->rx_seq, le16_to_cpu(nth32->wSequence));
1619         }
1620         ctx->rx_seq = le16_to_cpu(nth32->wSequence);
1621
1622         ret = le32_to_cpu(nth32->dwNdpIndex);
1623 error:
1624         return ret;
1625 }
1626 EXPORT_SYMBOL_GPL(cdc_ncm_rx_verify_nth32);
1627
1628 /* verify NDP header and return number of datagrams, or negative error */
1629 int cdc_ncm_rx_verify_ndp16(struct sk_buff *skb_in, int ndpoffset)
1630 {
1631         struct usbnet *dev = netdev_priv(skb_in->dev);
1632         struct usb_cdc_ncm_ndp16 *ndp16;
1633         int ret = -EINVAL;
1634
1635         if ((ndpoffset + sizeof(struct usb_cdc_ncm_ndp16)) > skb_in->len) {
1636                 netif_dbg(dev, rx_err, dev->net, "invalid NDP offset  <%u>\n",
1637                           ndpoffset);
1638                 goto error;
1639         }
1640         ndp16 = (struct usb_cdc_ncm_ndp16 *)(skb_in->data + ndpoffset);
1641
1642         if (le16_to_cpu(ndp16->wLength) < USB_CDC_NCM_NDP16_LENGTH_MIN) {
1643                 netif_dbg(dev, rx_err, dev->net, "invalid DPT16 length <%u>\n",
1644                           le16_to_cpu(ndp16->wLength));
1645                 goto error;
1646         }
1647
1648         ret = ((le16_to_cpu(ndp16->wLength) -
1649                                         sizeof(struct usb_cdc_ncm_ndp16)) /
1650                                         sizeof(struct usb_cdc_ncm_dpe16));
1651         ret--; /* we process NDP entries except for the last one */
1652
1653         if ((sizeof(struct usb_cdc_ncm_ndp16) +
1654              ret * (sizeof(struct usb_cdc_ncm_dpe16))) > skb_in->len) {
1655                 netif_dbg(dev, rx_err, dev->net, "Invalid nframes = %d\n", ret);
1656                 ret = -EINVAL;
1657         }
1658
1659 error:
1660         return ret;
1661 }
1662 EXPORT_SYMBOL_GPL(cdc_ncm_rx_verify_ndp16);
1663
1664 /* verify NDP header and return number of datagrams, or negative error */
1665 int cdc_ncm_rx_verify_ndp32(struct sk_buff *skb_in, int ndpoffset)
1666 {
1667         struct usbnet *dev = netdev_priv(skb_in->dev);
1668         struct usb_cdc_ncm_ndp32 *ndp32;
1669         int ret = -EINVAL;
1670
1671         if ((ndpoffset + sizeof(struct usb_cdc_ncm_ndp32)) > skb_in->len) {
1672                 netif_dbg(dev, rx_err, dev->net, "invalid NDP offset  <%u>\n",
1673                           ndpoffset);
1674                 goto error;
1675         }
1676         ndp32 = (struct usb_cdc_ncm_ndp32 *)(skb_in->data + ndpoffset);
1677
1678         if (le16_to_cpu(ndp32->wLength) < USB_CDC_NCM_NDP32_LENGTH_MIN) {
1679                 netif_dbg(dev, rx_err, dev->net, "invalid DPT32 length <%u>\n",
1680                           le16_to_cpu(ndp32->wLength));
1681                 goto error;
1682         }
1683
1684         ret = ((le16_to_cpu(ndp32->wLength) -
1685                                         sizeof(struct usb_cdc_ncm_ndp32)) /
1686                                         sizeof(struct usb_cdc_ncm_dpe32));
1687         ret--; /* we process NDP entries except for the last one */
1688
1689         if ((sizeof(struct usb_cdc_ncm_ndp32) +
1690              ret * (sizeof(struct usb_cdc_ncm_dpe32))) > skb_in->len) {
1691                 netif_dbg(dev, rx_err, dev->net, "Invalid nframes = %d\n", ret);
1692                 ret = -EINVAL;
1693         }
1694
1695 error:
1696         return ret;
1697 }
1698 EXPORT_SYMBOL_GPL(cdc_ncm_rx_verify_ndp32);
1699
1700 int cdc_ncm_rx_fixup(struct usbnet *dev, struct sk_buff *skb_in)
1701 {
1702         struct sk_buff *skb;
1703         struct cdc_ncm_ctx *ctx = (struct cdc_ncm_ctx *)dev->data[0];
1704         int len;
1705         int nframes;
1706         int x;
1707         int offset;
1708         union {
1709                 struct usb_cdc_ncm_ndp16 *ndp16;
1710                 struct usb_cdc_ncm_ndp32 *ndp32;
1711         } ndp;
1712         union {
1713                 struct usb_cdc_ncm_dpe16 *dpe16;
1714                 struct usb_cdc_ncm_dpe32 *dpe32;
1715         } dpe;
1716
1717         int ndpoffset;
1718         int loopcount = 50; /* arbitrary max preventing infinite loop */
1719         u32 payload = 0;
1720
1721         if (ctx->is_ndp16)
1722                 ndpoffset = cdc_ncm_rx_verify_nth16(ctx, skb_in);
1723         else
1724                 ndpoffset = cdc_ncm_rx_verify_nth32(ctx, skb_in);
1725
1726         if (ndpoffset < 0)
1727                 goto error;
1728
1729 next_ndp:
1730         if (ctx->is_ndp16) {
1731                 nframes = cdc_ncm_rx_verify_ndp16(skb_in, ndpoffset);
1732                 if (nframes < 0)
1733                         goto error;
1734
1735                 ndp.ndp16 = (struct usb_cdc_ncm_ndp16 *)(skb_in->data + ndpoffset);
1736
1737                 if (ndp.ndp16->dwSignature != cpu_to_le32(USB_CDC_NCM_NDP16_NOCRC_SIGN)) {
1738                         netif_dbg(dev, rx_err, dev->net,
1739                                   "invalid DPT16 signature <%#010x>\n",
1740                                   le32_to_cpu(ndp.ndp16->dwSignature));
1741                         goto err_ndp;
1742                 }
1743                 dpe.dpe16 = ndp.ndp16->dpe16;
1744         } else {
1745                 nframes = cdc_ncm_rx_verify_ndp32(skb_in, ndpoffset);
1746                 if (nframes < 0)
1747                         goto error;
1748
1749                 ndp.ndp32 = (struct usb_cdc_ncm_ndp32 *)(skb_in->data + ndpoffset);
1750
1751                 if (ndp.ndp32->dwSignature != cpu_to_le32(USB_CDC_NCM_NDP32_NOCRC_SIGN)) {
1752                         netif_dbg(dev, rx_err, dev->net,
1753                                   "invalid DPT32 signature <%#010x>\n",
1754                                   le32_to_cpu(ndp.ndp32->dwSignature));
1755                         goto err_ndp;
1756                 }
1757                 dpe.dpe32 = ndp.ndp32->dpe32;
1758         }
1759
1760         for (x = 0; x < nframes; x++) {
1761                 if (ctx->is_ndp16) {
1762                         offset = le16_to_cpu(dpe.dpe16->wDatagramIndex);
1763                         len = le16_to_cpu(dpe.dpe16->wDatagramLength);
1764                 } else {
1765                         offset = le32_to_cpu(dpe.dpe32->dwDatagramIndex);
1766                         len = le32_to_cpu(dpe.dpe32->dwDatagramLength);
1767                 }
1768
1769                 /*
1770                  * CDC NCM ch. 3.7
1771                  * All entries after first NULL entry are to be ignored
1772                  */
1773                 if ((offset == 0) || (len == 0)) {
1774                         if (!x)
1775                                 goto err_ndp; /* empty NTB */
1776                         break;
1777                 }
1778
1779                 /* sanity checking */
1780                 if (((offset + len) > skb_in->len) ||
1781                                 (len > ctx->rx_max) || (len < ETH_HLEN)) {
1782                         netif_dbg(dev, rx_err, dev->net,
1783                                   "invalid frame detected (ignored) offset[%u]=%u, length=%u, skb=%p\n",
1784                                   x, offset, len, skb_in);
1785                         if (!x)
1786                                 goto err_ndp;
1787                         break;
1788
1789                 } else {
1790                         /* create a fresh copy to reduce truesize */
1791                         skb = netdev_alloc_skb_ip_align(dev->net,  len);
1792                         if (!skb)
1793                                 goto error;
1794                         skb_put_data(skb, skb_in->data + offset, len);
1795                         usbnet_skb_return(dev, skb);
1796                         payload += len; /* count payload bytes in this NTB */
1797                 }
1798
1799                 if (ctx->is_ndp16)
1800                         dpe.dpe16++;
1801                 else
1802                         dpe.dpe32++;
1803         }
1804 err_ndp:
1805         /* are there more NDPs to process? */
1806         if (ctx->is_ndp16)
1807                 ndpoffset = le16_to_cpu(ndp.ndp16->wNextNdpIndex);
1808         else
1809                 ndpoffset = le32_to_cpu(ndp.ndp32->dwNextNdpIndex);
1810
1811         if (ndpoffset && loopcount--)
1812                 goto next_ndp;
1813
1814         /* update stats */
1815         ctx->rx_overhead += skb_in->len - payload;
1816         ctx->rx_ntbs++;
1817
1818         return 1;
1819 error:
1820         return 0;
1821 }
1822 EXPORT_SYMBOL_GPL(cdc_ncm_rx_fixup);
1823
1824 static void
1825 cdc_ncm_speed_change(struct usbnet *dev,
1826                      struct usb_cdc_speed_change *data)
1827 {
1828         /* RTL8156 shipped before 2021 sends notification about every 32ms. */
1829         dev->rx_speed = le32_to_cpu(data->DLBitRRate);
1830         dev->tx_speed = le32_to_cpu(data->ULBitRate);
1831 }
1832
1833 static void cdc_ncm_status(struct usbnet *dev, struct urb *urb)
1834 {
1835         struct usb_cdc_notification *event;
1836
1837         if (urb->actual_length < sizeof(*event))
1838                 return;
1839
1840         /* test for split data in 8-byte chunks */
1841         if (test_and_clear_bit(EVENT_STS_SPLIT, &dev->flags)) {
1842                 cdc_ncm_speed_change(dev,
1843                       (struct usb_cdc_speed_change *)urb->transfer_buffer);
1844                 return;
1845         }
1846
1847         event = urb->transfer_buffer;
1848
1849         switch (event->bNotificationType) {
1850         case USB_CDC_NOTIFY_NETWORK_CONNECTION:
1851                 /*
1852                  * According to the CDC NCM specification ch.7.1
1853                  * USB_CDC_NOTIFY_NETWORK_CONNECTION notification shall be
1854                  * sent by device after USB_CDC_NOTIFY_SPEED_CHANGE.
1855                  */
1856                 /* RTL8156 shipped before 2021 sends notification about
1857                  * every 32ms. Don't forward notification if state is same.
1858                  */
1859                 if (netif_carrier_ok(dev->net) != !!event->wValue)
1860                         usbnet_link_change(dev, !!event->wValue, 0);
1861                 break;
1862
1863         case USB_CDC_NOTIFY_SPEED_CHANGE:
1864                 if (urb->actual_length < (sizeof(*event) +
1865                                         sizeof(struct usb_cdc_speed_change)))
1866                         set_bit(EVENT_STS_SPLIT, &dev->flags);
1867                 else
1868                         cdc_ncm_speed_change(dev,
1869                                              (struct usb_cdc_speed_change *)&event[1]);
1870                 break;
1871
1872         default:
1873                 dev_dbg(&dev->udev->dev,
1874                         "NCM: unexpected notification 0x%02x!\n",
1875                         event->bNotificationType);
1876                 break;
1877         }
1878 }
1879
1880 static const struct driver_info cdc_ncm_info = {
1881         .description = "CDC NCM",
1882         .flags = FLAG_POINTTOPOINT | FLAG_NO_SETINT | FLAG_MULTI_PACKET
1883                         | FLAG_LINK_INTR | FLAG_ETHER,
1884         .bind = cdc_ncm_bind,
1885         .unbind = cdc_ncm_unbind,
1886         .manage_power = usbnet_manage_power,
1887         .status = cdc_ncm_status,
1888         .rx_fixup = cdc_ncm_rx_fixup,
1889         .tx_fixup = cdc_ncm_tx_fixup,
1890         .set_rx_mode = usbnet_cdc_update_filter,
1891 };
1892
1893 /* Same as cdc_ncm_info, but with FLAG_WWAN */
1894 static const struct driver_info wwan_info = {
1895         .description = "Mobile Broadband Network Device",
1896         .flags = FLAG_POINTTOPOINT | FLAG_NO_SETINT | FLAG_MULTI_PACKET
1897                         | FLAG_LINK_INTR | FLAG_WWAN,
1898         .bind = cdc_ncm_bind,
1899         .unbind = cdc_ncm_unbind,
1900         .manage_power = usbnet_manage_power,
1901         .status = cdc_ncm_status,
1902         .rx_fixup = cdc_ncm_rx_fixup,
1903         .tx_fixup = cdc_ncm_tx_fixup,
1904         .set_rx_mode = usbnet_cdc_update_filter,
1905 };
1906
1907 /* Same as wwan_info, but with FLAG_NOARP  */
1908 static const struct driver_info wwan_noarp_info = {
1909         .description = "Mobile Broadband Network Device (NO ARP)",
1910         .flags = FLAG_POINTTOPOINT | FLAG_NO_SETINT | FLAG_MULTI_PACKET
1911                         | FLAG_LINK_INTR | FLAG_WWAN | FLAG_NOARP,
1912         .bind = cdc_ncm_bind,
1913         .unbind = cdc_ncm_unbind,
1914         .manage_power = usbnet_manage_power,
1915         .status = cdc_ncm_status,
1916         .rx_fixup = cdc_ncm_rx_fixup,
1917         .tx_fixup = cdc_ncm_tx_fixup,
1918         .set_rx_mode = usbnet_cdc_update_filter,
1919 };
1920
1921 static const struct usb_device_id cdc_devs[] = {
1922         /* Ericsson MBM devices like F5521gw */
1923         { .match_flags = USB_DEVICE_ID_MATCH_INT_INFO
1924                 | USB_DEVICE_ID_MATCH_VENDOR,
1925           .idVendor = 0x0bdb,
1926           .bInterfaceClass = USB_CLASS_COMM,
1927           .bInterfaceSubClass = USB_CDC_SUBCLASS_NCM,
1928           .bInterfaceProtocol = USB_CDC_PROTO_NONE,
1929           .driver_info = (unsigned long) &wwan_info,
1930         },
1931
1932         /* Telit LE910 V2 */
1933         { USB_DEVICE_AND_INTERFACE_INFO(0x1bc7, 0x0036,
1934                 USB_CLASS_COMM,
1935                 USB_CDC_SUBCLASS_NCM, USB_CDC_PROTO_NONE),
1936           .driver_info = (unsigned long)&wwan_noarp_info,
1937         },
1938
1939         /* DW5812 LTE Verizon Mobile Broadband Card
1940          * Unlike DW5550 this device requires FLAG_NOARP
1941          */
1942         { USB_DEVICE_AND_INTERFACE_INFO(0x413c, 0x81bb,
1943                 USB_CLASS_COMM,
1944                 USB_CDC_SUBCLASS_NCM, USB_CDC_PROTO_NONE),
1945           .driver_info = (unsigned long)&wwan_noarp_info,
1946         },
1947
1948         /* DW5813 LTE AT&T Mobile Broadband Card
1949          * Unlike DW5550 this device requires FLAG_NOARP
1950          */
1951         { USB_DEVICE_AND_INTERFACE_INFO(0x413c, 0x81bc,
1952                 USB_CLASS_COMM,
1953                 USB_CDC_SUBCLASS_NCM, USB_CDC_PROTO_NONE),
1954           .driver_info = (unsigned long)&wwan_noarp_info,
1955         },
1956
1957         /* Dell branded MBM devices like DW5550 */
1958         { .match_flags = USB_DEVICE_ID_MATCH_INT_INFO
1959                 | USB_DEVICE_ID_MATCH_VENDOR,
1960           .idVendor = 0x413c,
1961           .bInterfaceClass = USB_CLASS_COMM,
1962           .bInterfaceSubClass = USB_CDC_SUBCLASS_NCM,
1963           .bInterfaceProtocol = USB_CDC_PROTO_NONE,
1964           .driver_info = (unsigned long) &wwan_info,
1965         },
1966
1967         /* Toshiba branded MBM devices */
1968         { .match_flags = USB_DEVICE_ID_MATCH_INT_INFO
1969                 | USB_DEVICE_ID_MATCH_VENDOR,
1970           .idVendor = 0x0930,
1971           .bInterfaceClass = USB_CLASS_COMM,
1972           .bInterfaceSubClass = USB_CDC_SUBCLASS_NCM,
1973           .bInterfaceProtocol = USB_CDC_PROTO_NONE,
1974           .driver_info = (unsigned long) &wwan_info,
1975         },
1976
1977         /* tag Huawei devices as wwan */
1978         { USB_VENDOR_AND_INTERFACE_INFO(0x12d1,
1979                                         USB_CLASS_COMM,
1980                                         USB_CDC_SUBCLASS_NCM,
1981                                         USB_CDC_PROTO_NONE),
1982           .driver_info = (unsigned long)&wwan_info,
1983         },
1984
1985         /* Infineon(now Intel) HSPA Modem platform */
1986         { USB_DEVICE_AND_INTERFACE_INFO(0x1519, 0x0443,
1987                 USB_CLASS_COMM,
1988                 USB_CDC_SUBCLASS_NCM, USB_CDC_PROTO_NONE),
1989           .driver_info = (unsigned long)&wwan_noarp_info,
1990         },
1991
1992         /* u-blox TOBY-L4 */
1993         { USB_DEVICE_AND_INTERFACE_INFO(0x1546, 0x1010,
1994                 USB_CLASS_COMM,
1995                 USB_CDC_SUBCLASS_NCM, USB_CDC_PROTO_NONE),
1996           .driver_info = (unsigned long)&wwan_info,
1997         },
1998
1999         /* Generic CDC-NCM devices */
2000         { USB_INTERFACE_INFO(USB_CLASS_COMM,
2001                 USB_CDC_SUBCLASS_NCM, USB_CDC_PROTO_NONE),
2002                 .driver_info = (unsigned long)&cdc_ncm_info,
2003         },
2004         {
2005         },
2006 };
2007 MODULE_DEVICE_TABLE(usb, cdc_devs);
2008
2009 static struct usb_driver cdc_ncm_driver = {
2010         .name = "cdc_ncm",
2011         .id_table = cdc_devs,
2012         .probe = usbnet_probe,
2013         .disconnect = usbnet_disconnect,
2014         .suspend = usbnet_suspend,
2015         .resume = usbnet_resume,
2016         .reset_resume = usbnet_resume,
2017         .supports_autosuspend = 1,
2018         .disable_hub_initiated_lpm = 1,
2019 };
2020
2021 module_usb_driver(cdc_ncm_driver);
2022
2023 MODULE_AUTHOR("Hans Petter Selasky");
2024 MODULE_DESCRIPTION("USB CDC NCM host driver");
2025 MODULE_LICENSE("Dual BSD/GPL");