Merge tag 'for-4.20-rc5-tag' of git://git.kernel.org/pub/scm/linux/kernel/git/kdave...
[linux-2.6-microblaze.git] / include / net / ip6_fib.h
1 /*
2  *      Linux INET6 implementation 
3  *
4  *      Authors:
5  *      Pedro Roque             <roque@di.fc.ul.pt>     
6  *
7  *      This program is free software; you can redistribute it and/or
8  *      modify it under the terms of the GNU General Public License
9  *      as published by the Free Software Foundation; either version
10  *      2 of the License, or (at your option) any later version.
11  */
12
13 #ifndef _IP6_FIB_H
14 #define _IP6_FIB_H
15
16 #include <linux/ipv6_route.h>
17 #include <linux/rtnetlink.h>
18 #include <linux/spinlock.h>
19 #include <linux/notifier.h>
20 #include <net/dst.h>
21 #include <net/flow.h>
22 #include <net/netlink.h>
23 #include <net/inetpeer.h>
24 #include <net/fib_notifier.h>
25
26 #ifdef CONFIG_IPV6_MULTIPLE_TABLES
27 #define FIB6_TABLE_HASHSZ 256
28 #else
29 #define FIB6_TABLE_HASHSZ 1
30 #endif
31
32 #define RT6_DEBUG 2
33
34 #if RT6_DEBUG >= 3
35 #define RT6_TRACE(x...) pr_debug(x)
36 #else
37 #define RT6_TRACE(x...) do { ; } while (0)
38 #endif
39
40 struct rt6_info;
41 struct fib6_info;
42
43 struct fib6_config {
44         u32             fc_table;
45         u32             fc_metric;
46         int             fc_dst_len;
47         int             fc_src_len;
48         int             fc_ifindex;
49         u32             fc_flags;
50         u32             fc_protocol;
51         u16             fc_type;        /* only 8 bits are used */
52         u16             fc_delete_all_nh : 1,
53                         __unused : 15;
54
55         struct in6_addr fc_dst;
56         struct in6_addr fc_src;
57         struct in6_addr fc_prefsrc;
58         struct in6_addr fc_gateway;
59
60         unsigned long   fc_expires;
61         struct nlattr   *fc_mx;
62         int             fc_mx_len;
63         int             fc_mp_len;
64         struct nlattr   *fc_mp;
65
66         struct nl_info  fc_nlinfo;
67         struct nlattr   *fc_encap;
68         u16             fc_encap_type;
69 };
70
71 struct fib6_node {
72         struct fib6_node __rcu  *parent;
73         struct fib6_node __rcu  *left;
74         struct fib6_node __rcu  *right;
75 #ifdef CONFIG_IPV6_SUBTREES
76         struct fib6_node __rcu  *subtree;
77 #endif
78         struct fib6_info __rcu  *leaf;
79
80         __u16                   fn_bit;         /* bit key */
81         __u16                   fn_flags;
82         int                     fn_sernum;
83         struct fib6_info __rcu  *rr_ptr;
84         struct rcu_head         rcu;
85 };
86
87 struct fib6_gc_args {
88         int                     timeout;
89         int                     more;
90 };
91
92 #ifndef CONFIG_IPV6_SUBTREES
93 #define FIB6_SUBTREE(fn)        NULL
94 #else
95 #define FIB6_SUBTREE(fn)        (rcu_dereference_protected((fn)->subtree, 1))
96 #endif
97
98 /*
99  *      routing information
100  *
101  */
102
103 struct rt6key {
104         struct in6_addr addr;
105         int             plen;
106 };
107
108 struct fib6_table;
109
110 struct rt6_exception_bucket {
111         struct hlist_head       chain;
112         int                     depth;
113 };
114
115 struct rt6_exception {
116         struct hlist_node       hlist;
117         struct rt6_info         *rt6i;
118         unsigned long           stamp;
119         struct rcu_head         rcu;
120 };
121
122 #define FIB6_EXCEPTION_BUCKET_SIZE_SHIFT 10
123 #define FIB6_EXCEPTION_BUCKET_SIZE (1 << FIB6_EXCEPTION_BUCKET_SIZE_SHIFT)
124 #define FIB6_MAX_DEPTH 5
125
126 struct fib6_nh {
127         struct in6_addr         nh_gw;
128         struct net_device       *nh_dev;
129         struct lwtunnel_state   *nh_lwtstate;
130
131         unsigned int            nh_flags;
132         atomic_t                nh_upper_bound;
133         int                     nh_weight;
134 };
135
136 struct fib6_info {
137         struct fib6_table               *fib6_table;
138         struct fib6_info __rcu          *fib6_next;
139         struct fib6_node __rcu          *fib6_node;
140
141         /* Multipath routes:
142          * siblings is a list of fib6_info that have the the same metric/weight,
143          * destination, but not the same gateway. nsiblings is just a cache
144          * to speed up lookup.
145          */
146         struct list_head                fib6_siblings;
147         unsigned int                    fib6_nsiblings;
148
149         atomic_t                        fib6_ref;
150         unsigned long                   expires;
151         struct dst_metrics              *fib6_metrics;
152 #define fib6_pmtu               fib6_metrics->metrics[RTAX_MTU-1]
153
154         struct rt6key                   fib6_dst;
155         u32                             fib6_flags;
156         struct rt6key                   fib6_src;
157         struct rt6key                   fib6_prefsrc;
158
159         struct rt6_info * __percpu      *rt6i_pcpu;
160         struct rt6_exception_bucket __rcu *rt6i_exception_bucket;
161
162 #ifdef CONFIG_IPV6_ROUTER_PREF
163         unsigned long                   last_probe;
164 #endif
165
166         u32                             fib6_metric;
167         u8                              fib6_protocol;
168         u8                              fib6_type;
169         u8                              exception_bucket_flushed:1,
170                                         should_flush:1,
171                                         dst_nocount:1,
172                                         dst_nopolicy:1,
173                                         dst_host:1,
174                                         unused:3;
175
176         struct fib6_nh                  fib6_nh;
177         struct rcu_head                 rcu;
178 };
179
180 struct rt6_info {
181         struct dst_entry                dst;
182         struct fib6_info __rcu          *from;
183
184         struct rt6key                   rt6i_dst;
185         struct rt6key                   rt6i_src;
186         struct in6_addr                 rt6i_gateway;
187         struct inet6_dev                *rt6i_idev;
188         u32                             rt6i_flags;
189
190         struct list_head                rt6i_uncached;
191         struct uncached_list            *rt6i_uncached_list;
192
193         /* more non-fragment space at head required */
194         unsigned short                  rt6i_nfheader_len;
195 };
196
197 #define for_each_fib6_node_rt_rcu(fn)                                   \
198         for (rt = rcu_dereference((fn)->leaf); rt;                      \
199              rt = rcu_dereference(rt->fib6_next))
200
201 #define for_each_fib6_walker_rt(w)                                      \
202         for (rt = (w)->leaf; rt;                                        \
203              rt = rcu_dereference_protected(rt->fib6_next, 1))
204
205 static inline struct inet6_dev *ip6_dst_idev(struct dst_entry *dst)
206 {
207         return ((struct rt6_info *)dst)->rt6i_idev;
208 }
209
210 static inline void fib6_clean_expires(struct fib6_info *f6i)
211 {
212         f6i->fib6_flags &= ~RTF_EXPIRES;
213         f6i->expires = 0;
214 }
215
216 static inline void fib6_set_expires(struct fib6_info *f6i,
217                                     unsigned long expires)
218 {
219         f6i->expires = expires;
220         f6i->fib6_flags |= RTF_EXPIRES;
221 }
222
223 static inline bool fib6_check_expired(const struct fib6_info *f6i)
224 {
225         if (f6i->fib6_flags & RTF_EXPIRES)
226                 return time_after(jiffies, f6i->expires);
227         return false;
228 }
229
230 /* Function to safely get fn->sernum for passed in rt
231  * and store result in passed in cookie.
232  * Return true if we can get cookie safely
233  * Return false if not
234  */
235 static inline bool fib6_get_cookie_safe(const struct fib6_info *f6i,
236                                         u32 *cookie)
237 {
238         struct fib6_node *fn;
239         bool status = false;
240
241         fn = rcu_dereference(f6i->fib6_node);
242
243         if (fn) {
244                 *cookie = fn->fn_sernum;
245                 /* pairs with smp_wmb() in fib6_update_sernum_upto_root() */
246                 smp_rmb();
247                 status = true;
248         }
249
250         return status;
251 }
252
253 static inline u32 rt6_get_cookie(const struct rt6_info *rt)
254 {
255         struct fib6_info *from;
256         u32 cookie = 0;
257
258         rcu_read_lock();
259
260         from = rcu_dereference(rt->from);
261         if (from && (rt->rt6i_flags & RTF_PCPU ||
262             unlikely(!list_empty(&rt->rt6i_uncached))))
263                 fib6_get_cookie_safe(from, &cookie);
264
265         rcu_read_unlock();
266
267         return cookie;
268 }
269
270 static inline void ip6_rt_put(struct rt6_info *rt)
271 {
272         /* dst_release() accepts a NULL parameter.
273          * We rely on dst being first structure in struct rt6_info
274          */
275         BUILD_BUG_ON(offsetof(struct rt6_info, dst) != 0);
276         dst_release(&rt->dst);
277 }
278
279 struct fib6_info *fib6_info_alloc(gfp_t gfp_flags);
280 void fib6_info_destroy_rcu(struct rcu_head *head);
281
282 static inline void fib6_info_hold(struct fib6_info *f6i)
283 {
284         atomic_inc(&f6i->fib6_ref);
285 }
286
287 static inline bool fib6_info_hold_safe(struct fib6_info *f6i)
288 {
289         return atomic_inc_not_zero(&f6i->fib6_ref);
290 }
291
292 static inline void fib6_info_release(struct fib6_info *f6i)
293 {
294         if (f6i && atomic_dec_and_test(&f6i->fib6_ref))
295                 call_rcu(&f6i->rcu, fib6_info_destroy_rcu);
296 }
297
298 enum fib6_walk_state {
299 #ifdef CONFIG_IPV6_SUBTREES
300         FWS_S,
301 #endif
302         FWS_L,
303         FWS_R,
304         FWS_C,
305         FWS_U
306 };
307
308 struct fib6_walker {
309         struct list_head lh;
310         struct fib6_node *root, *node;
311         struct fib6_info *leaf;
312         enum fib6_walk_state state;
313         unsigned int skip;
314         unsigned int count;
315         int (*func)(struct fib6_walker *);
316         void *args;
317 };
318
319 struct rt6_statistics {
320         __u32           fib_nodes;              /* all fib6 nodes */
321         __u32           fib_route_nodes;        /* intermediate nodes */
322         __u32           fib_rt_entries;         /* rt entries in fib table */
323         __u32           fib_rt_cache;           /* cached rt entries in exception table */
324         __u32           fib_discarded_routes;   /* total number of routes delete */
325
326         /* The following stats are not protected by any lock */
327         atomic_t        fib_rt_alloc;           /* total number of routes alloced */
328         atomic_t        fib_rt_uncache;         /* rt entries in uncached list */
329 };
330
331 #define RTN_TL_ROOT     0x0001
332 #define RTN_ROOT        0x0002          /* tree root node               */
333 #define RTN_RTINFO      0x0004          /* node with valid routing info */
334
335 /*
336  *      priority levels (or metrics)
337  *
338  */
339
340
341 struct fib6_table {
342         struct hlist_node       tb6_hlist;
343         u32                     tb6_id;
344         spinlock_t              tb6_lock;
345         struct fib6_node        tb6_root;
346         struct inet_peer_base   tb6_peers;
347         unsigned int            flags;
348         unsigned int            fib_seq;
349 #define RT6_TABLE_HAS_DFLT_ROUTER       BIT(0)
350 };
351
352 #define RT6_TABLE_UNSPEC        RT_TABLE_UNSPEC
353 #define RT6_TABLE_MAIN          RT_TABLE_MAIN
354 #define RT6_TABLE_DFLT          RT6_TABLE_MAIN
355 #define RT6_TABLE_INFO          RT6_TABLE_MAIN
356 #define RT6_TABLE_PREFIX        RT6_TABLE_MAIN
357
358 #ifdef CONFIG_IPV6_MULTIPLE_TABLES
359 #define FIB6_TABLE_MIN          1
360 #define FIB6_TABLE_MAX          RT_TABLE_MAX
361 #define RT6_TABLE_LOCAL         RT_TABLE_LOCAL
362 #else
363 #define FIB6_TABLE_MIN          RT_TABLE_MAIN
364 #define FIB6_TABLE_MAX          FIB6_TABLE_MIN
365 #define RT6_TABLE_LOCAL         RT6_TABLE_MAIN
366 #endif
367
368 typedef struct rt6_info *(*pol_lookup_t)(struct net *,
369                                          struct fib6_table *,
370                                          struct flowi6 *,
371                                          const struct sk_buff *, int);
372
373 struct fib6_entry_notifier_info {
374         struct fib_notifier_info info; /* must be first */
375         struct fib6_info *rt;
376 };
377
378 /*
379  *      exported functions
380  */
381
382 struct fib6_table *fib6_get_table(struct net *net, u32 id);
383 struct fib6_table *fib6_new_table(struct net *net, u32 id);
384 struct dst_entry *fib6_rule_lookup(struct net *net, struct flowi6 *fl6,
385                                    const struct sk_buff *skb,
386                                    int flags, pol_lookup_t lookup);
387
388 /* called with rcu lock held; can return error pointer
389  * caller needs to select path
390  */
391 struct fib6_info *fib6_lookup(struct net *net, int oif, struct flowi6 *fl6,
392                               int flags);
393
394 /* called with rcu lock held; caller needs to select path */
395 struct fib6_info *fib6_table_lookup(struct net *net, struct fib6_table *table,
396                                     int oif, struct flowi6 *fl6, int strict);
397
398 struct fib6_info *fib6_multipath_select(const struct net *net,
399                                         struct fib6_info *match,
400                                         struct flowi6 *fl6, int oif,
401                                         const struct sk_buff *skb, int strict);
402
403 struct fib6_node *fib6_node_lookup(struct fib6_node *root,
404                                    const struct in6_addr *daddr,
405                                    const struct in6_addr *saddr);
406
407 struct fib6_node *fib6_locate(struct fib6_node *root,
408                               const struct in6_addr *daddr, int dst_len,
409                               const struct in6_addr *saddr, int src_len,
410                               bool exact_match);
411
412 void fib6_clean_all(struct net *net, int (*func)(struct fib6_info *, void *arg),
413                     void *arg);
414 void fib6_clean_all_skip_notify(struct net *net,
415                                 int (*func)(struct fib6_info *, void *arg),
416                                 void *arg);
417
418 int fib6_add(struct fib6_node *root, struct fib6_info *rt,
419              struct nl_info *info, struct netlink_ext_ack *extack);
420 int fib6_del(struct fib6_info *rt, struct nl_info *info);
421
422 static inline
423 void rt6_get_prefsrc(const struct rt6_info *rt, struct in6_addr *addr)
424 {
425         const struct fib6_info *from;
426
427         rcu_read_lock();
428
429         from = rcu_dereference(rt->from);
430         if (from) {
431                 *addr = from->fib6_prefsrc.addr;
432         } else {
433                 struct in6_addr in6_zero = {};
434
435                 *addr = in6_zero;
436         }
437
438         rcu_read_unlock();
439 }
440
441 static inline struct net_device *fib6_info_nh_dev(const struct fib6_info *f6i)
442 {
443         return f6i->fib6_nh.nh_dev;
444 }
445
446 static inline
447 struct lwtunnel_state *fib6_info_nh_lwt(const struct fib6_info *f6i)
448 {
449         return f6i->fib6_nh.nh_lwtstate;
450 }
451
452 void inet6_rt_notify(int event, struct fib6_info *rt, struct nl_info *info,
453                      unsigned int flags);
454
455 void fib6_run_gc(unsigned long expires, struct net *net, bool force);
456
457 void fib6_gc_cleanup(void);
458
459 int fib6_init(void);
460
461 struct ipv6_route_iter {
462         struct seq_net_private p;
463         struct fib6_walker w;
464         loff_t skip;
465         struct fib6_table *tbl;
466         int sernum;
467 };
468
469 extern const struct seq_operations ipv6_route_seq_ops;
470
471 int call_fib6_notifier(struct notifier_block *nb, struct net *net,
472                        enum fib_event_type event_type,
473                        struct fib_notifier_info *info);
474 int call_fib6_notifiers(struct net *net, enum fib_event_type event_type,
475                         struct fib_notifier_info *info);
476
477 int __net_init fib6_notifier_init(struct net *net);
478 void __net_exit fib6_notifier_exit(struct net *net);
479
480 unsigned int fib6_tables_seq_read(struct net *net);
481 int fib6_tables_dump(struct net *net, struct notifier_block *nb);
482
483 void fib6_update_sernum(struct net *net, struct fib6_info *rt);
484 void fib6_update_sernum_upto_root(struct net *net, struct fib6_info *rt);
485
486 void fib6_metric_set(struct fib6_info *f6i, int metric, u32 val);
487 static inline bool fib6_metric_locked(struct fib6_info *f6i, int metric)
488 {
489         return !!(f6i->fib6_metrics->metrics[RTAX_LOCK - 1] & (1 << metric));
490 }
491
492 #ifdef CONFIG_IPV6_MULTIPLE_TABLES
493 int fib6_rules_init(void);
494 void fib6_rules_cleanup(void);
495 bool fib6_rule_default(const struct fib_rule *rule);
496 int fib6_rules_dump(struct net *net, struct notifier_block *nb);
497 unsigned int fib6_rules_seq_read(struct net *net);
498
499 static inline bool fib6_rules_early_flow_dissect(struct net *net,
500                                                  struct sk_buff *skb,
501                                                  struct flowi6 *fl6,
502                                                  struct flow_keys *flkeys)
503 {
504         unsigned int flag = FLOW_DISSECTOR_F_STOP_AT_ENCAP;
505
506         if (!net->ipv6.fib6_rules_require_fldissect)
507                 return false;
508
509         skb_flow_dissect_flow_keys(skb, flkeys, flag);
510         fl6->fl6_sport = flkeys->ports.src;
511         fl6->fl6_dport = flkeys->ports.dst;
512         fl6->flowi6_proto = flkeys->basic.ip_proto;
513
514         return true;
515 }
516 #else
517 static inline int               fib6_rules_init(void)
518 {
519         return 0;
520 }
521 static inline void              fib6_rules_cleanup(void)
522 {
523         return ;
524 }
525 static inline bool fib6_rule_default(const struct fib_rule *rule)
526 {
527         return true;
528 }
529 static inline int fib6_rules_dump(struct net *net, struct notifier_block *nb)
530 {
531         return 0;
532 }
533 static inline unsigned int fib6_rules_seq_read(struct net *net)
534 {
535         return 0;
536 }
537 static inline bool fib6_rules_early_flow_dissect(struct net *net,
538                                                  struct sk_buff *skb,
539                                                  struct flowi6 *fl6,
540                                                  struct flow_keys *flkeys)
541 {
542         return false;
543 }
544 #endif
545 #endif