include/net/request_sock.h

   1 /* SPDX-License-Identifier: GPL-2.0-or-later */
   2 /*
   3  * NET          Generic infrastructure for Network protocols.
   4  *
   5  *              Definitions for request_sock
   6  *
   7  * Authors:     Arnaldo Carvalho de Melo <acme@conectiva.com.br>
   8  *
   9  *              From code originally in include/net/tcp.h
  10  */
  11 #ifndef _REQUEST_SOCK_H
  12 #define _REQUEST_SOCK_H
  13
  14 #include <linux/slab.h>
  15 #include <linux/spinlock.h>
  16 #include <linux/types.h>
  17 #include <linux/bug.h>
  18 #include <linux/refcount.h>
  19
  20 #include <net/sock.h>
  21 #include <net/rstreason.h>
  22
  23 struct request_sock;
  24 struct sk_buff;
  25 struct dst_entry;
  26 struct proto;
  27
  28 struct request_sock_ops {
  29         int             family;
  30         unsigned int    obj_size;
  31         struct kmem_cache       *slab;
  32         char            *slab_name;
  33         int             (*rtx_syn_ack)(const struct sock *sk,
  34                                        struct request_sock *req);
  35         void            (*send_ack)(const struct sock *sk, struct sk_buff *skb,
  36                                     struct request_sock *req);
  37         void            (*send_reset)(const struct sock *sk,
  38                                       struct sk_buff *skb,
  39                                       enum sk_rst_reason reason);
  40         void            (*destructor)(struct request_sock *req);
  41         void            (*syn_ack_timeout)(const struct request_sock *req);
  42 };
  43
  44 int inet_rtx_syn_ack(const struct sock *parent, struct request_sock *req);
  45
  46 struct saved_syn {
  47         u32 mac_hdrlen;
  48         u32 network_hdrlen;
  49         u32 tcp_hdrlen;
  50         u8 data[];
  51 };
  52
  53 /* struct request_sock - mini sock to represent a connection request
  54  */
  55 struct request_sock {
  56         struct sock_common              __req_common;
  57 #define rsk_refcnt                      __req_common.skc_refcnt
  58 #define rsk_hash                        __req_common.skc_hash
  59 #define rsk_listener                    __req_common.skc_listener
  60 #define rsk_window_clamp                __req_common.skc_window_clamp
  61 #define rsk_rcv_wnd                     __req_common.skc_rcv_wnd
  62
  63         struct request_sock             *dl_next;
  64         u16                             mss;
  65         u8                              num_retrans; /* number of retransmits */
  66         u8                              syncookie:1; /* True if
  67                                                       * 1) tcpopts needs to be encoded in
  68                                                       *    TS of SYN+ACK
  69                                                       * 2) ACK is validated by BPF kfunc.
  70                                                       */
  71         u8                              num_timeout:7; /* number of timeouts */
  72         u32                             ts_recent;
  73         struct timer_list               rsk_timer;
  74         const struct request_sock_ops   *rsk_ops;
  75         struct sock                     *sk;
  76         struct saved_syn                *saved_syn;
  77         u32                             secid;
  78         u32                             peer_secid;
  79         u32                             timeout;
  80 };
  81
  82 static inline struct request_sock *inet_reqsk(const struct sock *sk)
  83 {
  84         return (struct request_sock *)sk;
  85 }
  86
  87 static inline struct sock *req_to_sk(struct request_sock *req)
  88 {
  89         return (struct sock *)req;
  90 }
  91
  92 /**
  93  * skb_steal_sock - steal a socket from an sk_buff
  94  * @skb: sk_buff to steal the socket from
  95  * @refcounted: is set to true if the socket is reference-counted
  96  * @prefetched: is set to true if the socket was assigned from bpf
  97  */
  98 static inline struct sock *skb_steal_sock(struct sk_buff *skb,
  99                                           bool *refcounted, bool *prefetched)
 100 {
 101         struct sock *sk = skb->sk;
 102
 103         if (!sk) {
 104                 *prefetched = false;
 105                 *refcounted = false;
 106                 return NULL;
 107         }
 108
 109         *prefetched = skb_sk_is_prefetched(skb);
 110         if (*prefetched) {
 111 #if IS_ENABLED(CONFIG_SYN_COOKIES)
 112                 if (sk->sk_state == TCP_NEW_SYN_RECV && inet_reqsk(sk)->syncookie) {
 113                         struct request_sock *req = inet_reqsk(sk);
 114
 115                         *refcounted = false;
 116                         sk = req->rsk_listener;
 117                         req->rsk_listener = NULL;
 118                         return sk;
 119                 }
 120 #endif
 121                 *refcounted = sk_is_refcounted(sk);
 122         } else {
 123                 *refcounted = true;
 124         }
 125
 126         skb->destructor = NULL;
 127         skb->sk = NULL;
 128         return sk;
 129 }
 130
 131 static inline struct request_sock *
 132 reqsk_alloc_noprof(const struct request_sock_ops *ops, struct sock *sk_listener,
 133             bool attach_listener)
 134 {
 135         struct request_sock *req;
 136
 137         req = kmem_cache_alloc_noprof(ops->slab, GFP_ATOMIC | __GFP_NOWARN);
 138         if (!req)
 139                 return NULL;
 140         req->rsk_listener = NULL;
 141         if (attach_listener) {
 142                 if (unlikely(!refcount_inc_not_zero(&sk_listener->sk_refcnt))) {
 143                         kmem_cache_free(ops->slab, req);
 144                         return NULL;
 145                 }
 146                 req->rsk_listener = sk_listener;
 147         }
 148         req->rsk_ops = ops;
 149         req_to_sk(req)->sk_prot = sk_listener->sk_prot;
 150         sk_node_init(&req_to_sk(req)->sk_node);
 151         sk_tx_queue_clear(req_to_sk(req));
 152         req->saved_syn = NULL;
 153         req->syncookie = 0;
 154         req->timeout = 0;
 155         req->num_timeout = 0;
 156         req->num_retrans = 0;
 157         req->sk = NULL;
 158         refcount_set(&req->rsk_refcnt, 0);
 159
 160         return req;
 161 }
 162 #define reqsk_alloc(...)        alloc_hooks(reqsk_alloc_noprof(__VA_ARGS__))
 163
 164 static inline void __reqsk_free(struct request_sock *req)
 165 {
 166         req->rsk_ops->destructor(req);
 167         if (req->rsk_listener)
 168                 sock_put(req->rsk_listener);
 169         kfree(req->saved_syn);
 170         kmem_cache_free(req->rsk_ops->slab, req);
 171 }
 172
 173 static inline void reqsk_free(struct request_sock *req)
 174 {
 175         WARN_ON_ONCE(refcount_read(&req->rsk_refcnt) != 0);
 176         __reqsk_free(req);
 177 }
 178
 179 static inline void reqsk_put(struct request_sock *req)
 180 {
 181         if (refcount_dec_and_test(&req->rsk_refcnt))
 182                 reqsk_free(req);
 183 }
 184
 185 /*
 186  * For a TCP Fast Open listener -
 187  *      lock - protects the access to all the reqsk, which is co-owned by
 188  *              the listener and the child socket.
 189  *      qlen - pending TFO requests (still in TCP_SYN_RECV).
 190  *      max_qlen - max TFO reqs allowed before TFO is disabled.
 191  *
 192  *      XXX (TFO) - ideally these fields can be made as part of "listen_sock"
 193  *      structure above. But there is some implementation difficulty due to
 194  *      listen_sock being part of request_sock_queue hence will be freed when
 195  *      a listener is stopped. But TFO related fields may continue to be
 196  *      accessed even after a listener is closed, until its sk_refcnt drops
 197  *      to 0 implying no more outstanding TFO reqs. One solution is to keep
 198  *      listen_opt around until sk_refcnt drops to 0. But there is some other
 199  *      complexity that needs to be resolved. E.g., a listener can be disabled
 200  *      temporarily through shutdown()->tcp_disconnect(), and re-enabled later.
 201  */
 202 struct fastopen_queue {
 203         struct request_sock     *rskq_rst_head; /* Keep track of past TFO */
 204         struct request_sock     *rskq_rst_tail; /* requests that caused RST.
 205                                                  * This is part of the defense
 206                                                  * against spoofing attack.
 207                                                  */
 208         spinlock_t      lock;
 209         int             qlen;           /* # of pending (TCP_SYN_RECV) reqs */
 210         int             max_qlen;       /* != 0 iff TFO is currently enabled */
 211
 212         struct tcp_fastopen_context __rcu *ctx; /* cipher context for cookie */
 213 };
 214
 215 /** struct request_sock_queue - queue of request_socks
 216  *
 217  * @rskq_accept_head - FIFO head of established children
 218  * @rskq_accept_tail - FIFO tail of established children
 219  * @rskq_defer_accept - User waits for some data after accept()
 220  *
 221  */
 222 struct request_sock_queue {
 223         spinlock_t              rskq_lock;
 224         u8                      rskq_defer_accept;
 225
 226         u32                     synflood_warned;
 227         atomic_t                qlen;
 228         atomic_t                young;
 229
 230         struct request_sock     *rskq_accept_head;
 231         struct request_sock     *rskq_accept_tail;
 232         struct fastopen_queue   fastopenq;  /* Check max_qlen != 0 to determine
 233                                              * if TFO is enabled.
 234                                              */
 235 };
 236
 237 void reqsk_queue_alloc(struct request_sock_queue *queue);
 238
 239 void reqsk_fastopen_remove(struct sock *sk, struct request_sock *req,
 240                            bool reset);
 241
 242 static inline bool reqsk_queue_empty(const struct request_sock_queue *queue)
 243 {
 244         return READ_ONCE(queue->rskq_accept_head) == NULL;
 245 }
 246
 247 static inline struct request_sock *reqsk_queue_remove(struct request_sock_queue *queue,
 248                                                       struct sock *parent)
 249 {
 250         struct request_sock *req;
 251
 252         spin_lock_bh(&queue->rskq_lock);
 253         req = queue->rskq_accept_head;
 254         if (req) {
 255                 sk_acceptq_removed(parent);
 256                 WRITE_ONCE(queue->rskq_accept_head, req->dl_next);
 257                 if (queue->rskq_accept_head == NULL)
 258                         queue->rskq_accept_tail = NULL;
 259         }
 260         spin_unlock_bh(&queue->rskq_lock);
 261         return req;
 262 }
 263
 264 static inline void reqsk_queue_removed(struct request_sock_queue *queue,
 265                                        const struct request_sock *req)
 266 {
 267         if (req->num_timeout == 0)
 268                 atomic_dec(&queue->young);
 269         atomic_dec(&queue->qlen);
 270 }
 271
 272 static inline void reqsk_queue_added(struct request_sock_queue *queue)
 273 {
 274         atomic_inc(&queue->young);
 275         atomic_inc(&queue->qlen);
 276 }
 277
 278 static inline int reqsk_queue_len(const struct request_sock_queue *queue)
 279 {
 280         return atomic_read(&queue->qlen);
 281 }
 282
 283 static inline int reqsk_queue_len_young(const struct request_sock_queue *queue)
 284 {
 285         return atomic_read(&queue->young);
 286 }
 287
 288 #endif /* _REQUEST_SOCK_H */