drivers/net/ethernet/aquantia/atlantic/aq_ring.h

   1 /* SPDX-License-Identifier: GPL-2.0-only */
   2 /*
   3  * aQuantia Corporation Network Driver
   4  * Copyright (C) 2014-2019 aQuantia Corporation. All rights reserved
   5  */
   6
   7 /* File aq_ring.h: Declaration of functions for Rx/Tx rings. */
   8
   9 #ifndef AQ_RING_H
  10 #define AQ_RING_H
  11
  12 #include "aq_common.h"
  13
  14 struct page;
  15 struct aq_nic_cfg_s;
  16
  17 struct aq_rxpage {
  18         struct page *page;
  19         dma_addr_t daddr;
  20         unsigned int order;
  21         unsigned int pg_off;
  22 };
  23
  24 /*           TxC       SOP        DX         EOP
  25  *         +----------+----------+----------+-----------
  26  *   8bytes|len l3,l4 | pa       | pa       | pa
  27  *         +----------+----------+----------+-----------
  28  * 4/8bytes|len pkt   |len pkt   |          | skb
  29  *         +----------+----------+----------+-----------
  30  * 4/8bytes|is_gso    |len,flags |len       |len,is_eop
  31  *         +----------+----------+----------+-----------
  32  *
  33  *  This aq_ring_buff_s doesn't have endianness dependency.
  34  *  It is __packed for cache line optimizations.
  35  */
  36 struct __packed aq_ring_buff_s {
  37         union {
  38                 /* RX/TX */
  39                 dma_addr_t pa;
  40                 /* RX */
  41                 struct {
  42                         u32 rss_hash;
  43                         u16 next;
  44                         u8 is_hash_l4;
  45                         u8 rsvd1;
  46                         struct aq_rxpage rxdata;
  47                         u16 vlan_rx_tag;
  48                 };
  49                 /* EOP */
  50                 struct {
  51                         dma_addr_t pa_eop;
  52                         struct sk_buff *skb;
  53                 };
  54                 /* TxC */
  55                 struct {
  56                         u32 mss;
  57                         u8 len_l2;
  58                         u8 len_l3;
  59                         u8 len_l4;
  60                         u8 is_ipv6:1;
  61                         u8 rsvd2:7;
  62                         u32 len_pkt;
  63                         u16 vlan_tx_tag;
  64                 };
  65         };
  66         union {
  67                 struct {
  68                         u32 len:16;
  69                         u32 is_ip_cso:1;
  70                         u32 is_udp_cso:1;
  71                         u32 is_tcp_cso:1;
  72                         u32 is_cso_err:1;
  73                         u32 is_sop:1;
  74                         u32 is_eop:1;
  75                         u32 is_gso_tcp:1;
  76                         u32 is_gso_udp:1;
  77                         u32 is_mapped:1;
  78                         u32 is_cleaned:1;
  79                         u32 is_error:1;
  80                         u32 is_vlan:1;
  81                         u32 is_lro:1;
  82                         u32 rsvd3:3;
  83                         u16 eop_index;
  84                         u16 rsvd4;
  85                 };
  86                 u64 flags;
  87         };
  88 };
  89
  90 struct aq_ring_stats_rx_s {
  91         u64 errors;
  92         u64 packets;
  93         u64 bytes;
  94         u64 lro_packets;
  95         u64 jumbo_packets;
  96         u64 pg_losts;
  97         u64 pg_flips;
  98         u64 pg_reuses;
  99 };
 100
 101 struct aq_ring_stats_tx_s {
 102         u64 errors;
 103         u64 packets;
 104         u64 bytes;
 105         u64 queue_restarts;
 106 };
 107
 108 union aq_ring_stats_s {
 109         struct aq_ring_stats_rx_s rx;
 110         struct aq_ring_stats_tx_s tx;
 111 };
 112
 113 enum atl_ring_type {
 114         ATL_RING_TX,
 115         ATL_RING_RX,
 116 };
 117
 118 struct aq_ring_s {
 119         struct aq_ring_buff_s *buff_ring;
 120         u8 *dx_ring;            /* descriptors ring, dma shared mem */
 121         struct aq_nic_s *aq_nic;
 122         unsigned int idx;       /* for HW layer registers operations */
 123         unsigned int hw_head;
 124         unsigned int sw_head;
 125         unsigned int sw_tail;
 126         unsigned int size;      /* descriptors number */
 127         unsigned int dx_size;   /* TX or RX descriptor size,  */
 128                                 /* stored here for fater math */
 129         unsigned int page_order;
 130         union aq_ring_stats_s stats;
 131         dma_addr_t dx_ring_pa;
 132         enum atl_ring_type ring_type;
 133 };
 134
 135 struct aq_ring_param_s {
 136         unsigned int vec_idx;
 137         unsigned int cpu;
 138         cpumask_t affinity_mask;
 139 };
 140
 141 static inline void *aq_buf_vaddr(struct aq_rxpage *rxpage)
 142 {
 143         return page_to_virt(rxpage->page) + rxpage->pg_off;
 144 }
 145
 146 static inline dma_addr_t aq_buf_daddr(struct aq_rxpage *rxpage)
 147 {
 148         return rxpage->daddr + rxpage->pg_off;
 149 }
 150
 151 static inline unsigned int aq_ring_next_dx(struct aq_ring_s *self,
 152                                            unsigned int dx)
 153 {
 154         return (++dx >= self->size) ? 0U : dx;
 155 }
 156
 157 static inline unsigned int aq_ring_avail_dx(struct aq_ring_s *self)
 158 {
 159         return (((self->sw_tail >= self->sw_head)) ?
 160                 (self->size - 1) - self->sw_tail + self->sw_head :
 161                 self->sw_head - self->sw_tail - 1);
 162 }
 163
 164 struct aq_ring_s *aq_ring_tx_alloc(struct aq_ring_s *self,
 165                                    struct aq_nic_s *aq_nic,
 166                                    unsigned int idx,
 167                                    struct aq_nic_cfg_s *aq_nic_cfg);
 168 struct aq_ring_s *aq_ring_rx_alloc(struct aq_ring_s *self,
 169                                    struct aq_nic_s *aq_nic,
 170                                    unsigned int idx,
 171                                    struct aq_nic_cfg_s *aq_nic_cfg);
 172 int aq_ring_init(struct aq_ring_s *self, const enum atl_ring_type ring_type);
 173 void aq_ring_rx_deinit(struct aq_ring_s *self);
 174 void aq_ring_free(struct aq_ring_s *self);
 175 void aq_ring_update_queue_state(struct aq_ring_s *ring);
 176 void aq_ring_queue_wake(struct aq_ring_s *ring);
 177 void aq_ring_queue_stop(struct aq_ring_s *ring);
 178 bool aq_ring_tx_clean(struct aq_ring_s *self);
 179 int aq_ring_rx_clean(struct aq_ring_s *self,
 180                      struct napi_struct *napi,
 181                      int *work_done,
 182                      int budget);
 183 int aq_ring_rx_fill(struct aq_ring_s *self);
 184
 185 struct aq_ring_s *aq_ring_hwts_rx_alloc(struct aq_ring_s *self,
 186                 struct aq_nic_s *aq_nic, unsigned int idx,
 187                 unsigned int size, unsigned int dx_size);
 188 void aq_ring_hwts_rx_clean(struct aq_ring_s *self, struct aq_nic_s *aq_nic);
 189
 190 unsigned int aq_ring_fill_stats_data(struct aq_ring_s *self, u64 *data);
 191
 192 #endif /* AQ_RING_H */