mm/huge_memory.c: use head to emphasize the purpose of page
[linux-2.6-microblaze.git] / fs / nfs / nfs4client.c
1 // SPDX-License-Identifier: GPL-2.0-only
2 /*
3  * Copyright (C) 2006 Red Hat, Inc. All Rights Reserved.
4  * Written by David Howells (dhowells@redhat.com)
5  */
6 #include <linux/module.h>
7 #include <linux/nfs_fs.h>
8 #include <linux/nfs_mount.h>
9 #include <linux/sunrpc/addr.h>
10 #include <linux/sunrpc/auth.h>
11 #include <linux/sunrpc/xprt.h>
12 #include <linux/sunrpc/bc_xprt.h>
13 #include <linux/sunrpc/rpc_pipe_fs.h>
14 #include "internal.h"
15 #include "callback.h"
16 #include "delegation.h"
17 #include "nfs4session.h"
18 #include "nfs4idmap.h"
19 #include "pnfs.h"
20 #include "netns.h"
21
22 #define NFSDBG_FACILITY         NFSDBG_CLIENT
23
24 /*
25  * Get a unique NFSv4.0 callback identifier which will be used
26  * by the V4.0 callback service to lookup the nfs_client struct
27  */
28 static int nfs_get_cb_ident_idr(struct nfs_client *clp, int minorversion)
29 {
30         int ret = 0;
31         struct nfs_net *nn = net_generic(clp->cl_net, nfs_net_id);
32
33         if (clp->rpc_ops->version != 4 || minorversion != 0)
34                 return ret;
35         idr_preload(GFP_KERNEL);
36         spin_lock(&nn->nfs_client_lock);
37         ret = idr_alloc(&nn->cb_ident_idr, clp, 1, 0, GFP_NOWAIT);
38         if (ret >= 0)
39                 clp->cl_cb_ident = ret;
40         spin_unlock(&nn->nfs_client_lock);
41         idr_preload_end();
42         return ret < 0 ? ret : 0;
43 }
44
45 #ifdef CONFIG_NFS_V4_1
46 /*
47  * Per auth flavor data server rpc clients
48  */
49 struct nfs4_ds_server {
50         struct list_head        list;   /* ds_clp->cl_ds_clients */
51         struct rpc_clnt         *rpc_clnt;
52 };
53
54 /**
55  * nfs4_find_ds_client - Common lookup case for DS I/O
56  * @ds_clp: pointer to the DS's nfs_client
57  * @flavor: rpc auth flavour to match
58  */
59 static struct nfs4_ds_server *
60 nfs4_find_ds_client(struct nfs_client *ds_clp, rpc_authflavor_t flavor)
61 {
62         struct nfs4_ds_server *dss;
63
64         rcu_read_lock();
65         list_for_each_entry_rcu(dss, &ds_clp->cl_ds_clients, list) {
66                 if (dss->rpc_clnt->cl_auth->au_flavor != flavor)
67                         continue;
68                 goto out;
69         }
70         dss = NULL;
71 out:
72         rcu_read_unlock();
73         return dss;
74 }
75
76 static struct nfs4_ds_server *
77 nfs4_add_ds_client(struct nfs_client *ds_clp, rpc_authflavor_t flavor,
78                            struct nfs4_ds_server *new)
79 {
80         struct nfs4_ds_server *dss;
81
82         spin_lock(&ds_clp->cl_lock);
83         list_for_each_entry(dss, &ds_clp->cl_ds_clients, list) {
84                 if (dss->rpc_clnt->cl_auth->au_flavor != flavor)
85                         continue;
86                 goto out;
87         }
88         if (new)
89                 list_add_rcu(&new->list, &ds_clp->cl_ds_clients);
90         dss = new;
91 out:
92         spin_unlock(&ds_clp->cl_lock); /* need some lock to protect list */
93         return dss;
94 }
95
96 static struct nfs4_ds_server *
97 nfs4_alloc_ds_server(struct nfs_client *ds_clp, rpc_authflavor_t flavor)
98 {
99         struct nfs4_ds_server *dss;
100
101         dss = kmalloc(sizeof(*dss), GFP_NOFS);
102         if (dss == NULL)
103                 return ERR_PTR(-ENOMEM);
104
105         dss->rpc_clnt = rpc_clone_client_set_auth(ds_clp->cl_rpcclient, flavor);
106         if (IS_ERR(dss->rpc_clnt)) {
107                 int err = PTR_ERR(dss->rpc_clnt);
108                 kfree (dss);
109                 return ERR_PTR(err);
110         }
111         INIT_LIST_HEAD(&dss->list);
112
113         return dss;
114 }
115
116 static void
117 nfs4_free_ds_server(struct nfs4_ds_server *dss)
118 {
119         rpc_release_client(dss->rpc_clnt);
120         kfree(dss);
121 }
122
123 /**
124  * nfs4_find_or_create_ds_client - Find or create a DS rpc client
125  * @ds_clp: pointer to the DS's nfs_client
126  * @inode: pointer to the inode
127  *
128  * Find or create a DS rpc client with th MDS server rpc client auth flavor
129  * in the nfs_client cl_ds_clients list.
130  */
131 struct rpc_clnt *
132 nfs4_find_or_create_ds_client(struct nfs_client *ds_clp, struct inode *inode)
133 {
134         struct nfs4_ds_server *dss, *new;
135         rpc_authflavor_t flavor = NFS_SERVER(inode)->client->cl_auth->au_flavor;
136
137         dss = nfs4_find_ds_client(ds_clp, flavor);
138         if (dss != NULL)
139                 goto out;
140         new = nfs4_alloc_ds_server(ds_clp, flavor);
141         if (IS_ERR(new))
142                 return ERR_CAST(new);
143         dss = nfs4_add_ds_client(ds_clp, flavor, new);
144         if (dss != new)
145                 nfs4_free_ds_server(new);
146 out:
147         return dss->rpc_clnt;
148 }
149 EXPORT_SYMBOL_GPL(nfs4_find_or_create_ds_client);
150
151 static void
152 nfs4_shutdown_ds_clients(struct nfs_client *clp)
153 {
154         struct nfs4_ds_server *dss;
155
156         while (!list_empty(&clp->cl_ds_clients)) {
157                 dss = list_entry(clp->cl_ds_clients.next,
158                                         struct nfs4_ds_server, list);
159                 list_del(&dss->list);
160                 rpc_shutdown_client(dss->rpc_clnt);
161                 kfree (dss);
162         }
163 }
164
165 static void
166 nfs4_cleanup_callback(struct nfs_client *clp)
167 {
168         struct nfs4_copy_state *cp_state;
169
170         while (!list_empty(&clp->pending_cb_stateids)) {
171                 cp_state = list_entry(clp->pending_cb_stateids.next,
172                                         struct nfs4_copy_state, copies);
173                 list_del(&cp_state->copies);
174                 kfree(cp_state);
175         }
176 }
177
178 void nfs41_shutdown_client(struct nfs_client *clp)
179 {
180         if (nfs4_has_session(clp)) {
181                 nfs4_cleanup_callback(clp);
182                 nfs4_shutdown_ds_clients(clp);
183                 nfs4_destroy_session(clp->cl_session);
184                 nfs4_destroy_clientid(clp);
185         }
186
187 }
188 #endif  /* CONFIG_NFS_V4_1 */
189
190 void nfs40_shutdown_client(struct nfs_client *clp)
191 {
192         if (clp->cl_slot_tbl) {
193                 nfs4_shutdown_slot_table(clp->cl_slot_tbl);
194                 kfree(clp->cl_slot_tbl);
195         }
196 }
197
198 struct nfs_client *nfs4_alloc_client(const struct nfs_client_initdata *cl_init)
199 {
200         int err;
201         struct nfs_client *clp = nfs_alloc_client(cl_init);
202         if (IS_ERR(clp))
203                 return clp;
204
205         err = nfs_get_cb_ident_idr(clp, cl_init->minorversion);
206         if (err)
207                 goto error;
208
209         if (cl_init->minorversion > NFS4_MAX_MINOR_VERSION) {
210                 err = -EINVAL;
211                 goto error;
212         }
213
214         spin_lock_init(&clp->cl_lock);
215         INIT_DELAYED_WORK(&clp->cl_renewd, nfs4_renew_state);
216         INIT_LIST_HEAD(&clp->cl_ds_clients);
217         rpc_init_wait_queue(&clp->cl_rpcwaitq, "NFS client");
218         clp->cl_state = 1 << NFS4CLNT_LEASE_EXPIRED;
219         clp->cl_minorversion = cl_init->minorversion;
220         clp->cl_mvops = nfs_v4_minor_ops[cl_init->minorversion];
221         clp->cl_mig_gen = 1;
222 #if IS_ENABLED(CONFIG_NFS_V4_1)
223         init_waitqueue_head(&clp->cl_lock_waitq);
224 #endif
225         INIT_LIST_HEAD(&clp->pending_cb_stateids);
226         return clp;
227
228 error:
229         nfs_free_client(clp);
230         return ERR_PTR(err);
231 }
232
233 /*
234  * Destroy the NFS4 callback service
235  */
236 static void nfs4_destroy_callback(struct nfs_client *clp)
237 {
238         if (__test_and_clear_bit(NFS_CS_CALLBACK, &clp->cl_res_state))
239                 nfs_callback_down(clp->cl_mvops->minor_version, clp->cl_net);
240 }
241
242 static void nfs4_shutdown_client(struct nfs_client *clp)
243 {
244         if (__test_and_clear_bit(NFS_CS_RENEWD, &clp->cl_res_state))
245                 nfs4_kill_renewd(clp);
246         clp->cl_mvops->shutdown_client(clp);
247         nfs4_destroy_callback(clp);
248         if (__test_and_clear_bit(NFS_CS_IDMAP, &clp->cl_res_state))
249                 nfs_idmap_delete(clp);
250
251         rpc_destroy_wait_queue(&clp->cl_rpcwaitq);
252         kfree(clp->cl_serverowner);
253         kfree(clp->cl_serverscope);
254         kfree(clp->cl_implid);
255         kfree(clp->cl_owner_id);
256 }
257
258 void nfs4_free_client(struct nfs_client *clp)
259 {
260         nfs4_shutdown_client(clp);
261         nfs_free_client(clp);
262 }
263
264 /*
265  * Initialize the NFS4 callback service
266  */
267 static int nfs4_init_callback(struct nfs_client *clp)
268 {
269         struct rpc_xprt *xprt;
270         int error;
271
272         xprt = rcu_dereference_raw(clp->cl_rpcclient->cl_xprt);
273
274         if (nfs4_has_session(clp)) {
275                 error = xprt_setup_backchannel(xprt, NFS41_BC_MIN_CALLBACKS);
276                 if (error < 0)
277                         return error;
278         }
279
280         error = nfs_callback_up(clp->cl_mvops->minor_version, xprt);
281         if (error < 0) {
282                 dprintk("%s: failed to start callback. Error = %d\n",
283                         __func__, error);
284                 return error;
285         }
286         __set_bit(NFS_CS_CALLBACK, &clp->cl_res_state);
287
288         return 0;
289 }
290
291 /**
292  * nfs40_init_client - nfs_client initialization tasks for NFSv4.0
293  * @clp: nfs_client to initialize
294  *
295  * Returns zero on success, or a negative errno if some error occurred.
296  */
297 int nfs40_init_client(struct nfs_client *clp)
298 {
299         struct nfs4_slot_table *tbl;
300         int ret;
301
302         tbl = kzalloc(sizeof(*tbl), GFP_NOFS);
303         if (tbl == NULL)
304                 return -ENOMEM;
305
306         ret = nfs4_setup_slot_table(tbl, NFS4_MAX_SLOT_TABLE,
307                                         "NFSv4.0 transport Slot table");
308         if (ret) {
309                 kfree(tbl);
310                 return ret;
311         }
312
313         clp->cl_slot_tbl = tbl;
314         return 0;
315 }
316
317 #if defined(CONFIG_NFS_V4_1)
318
319 /**
320  * nfs41_init_client - nfs_client initialization tasks for NFSv4.1+
321  * @clp: nfs_client to initialize
322  *
323  * Returns zero on success, or a negative errno if some error occurred.
324  */
325 int nfs41_init_client(struct nfs_client *clp)
326 {
327         struct nfs4_session *session = NULL;
328
329         /*
330          * Create the session and mark it expired.
331          * When a SEQUENCE operation encounters the expired session
332          * it will do session recovery to initialize it.
333          */
334         session = nfs4_alloc_session(clp);
335         if (!session)
336                 return -ENOMEM;
337
338         clp->cl_session = session;
339
340         /*
341          * The create session reply races with the server back
342          * channel probe. Mark the client NFS_CS_SESSION_INITING
343          * so that the client back channel can find the
344          * nfs_client struct
345          */
346         nfs_mark_client_ready(clp, NFS_CS_SESSION_INITING);
347         return 0;
348 }
349
350 #endif  /* CONFIG_NFS_V4_1 */
351
352 /*
353  * Initialize the minor version specific parts of an NFS4 client record
354  */
355 static int nfs4_init_client_minor_version(struct nfs_client *clp)
356 {
357         int ret;
358
359         ret = clp->cl_mvops->init_client(clp);
360         if (ret)
361                 return ret;
362         return nfs4_init_callback(clp);
363 }
364
365 /**
366  * nfs4_init_client - Initialise an NFS4 client record
367  *
368  * @clp: nfs_client to initialise
369  * @cl_init: pointer to nfs_client_initdata
370  *
371  * Returns pointer to an NFS client, or an ERR_PTR value.
372  */
373 struct nfs_client *nfs4_init_client(struct nfs_client *clp,
374                                     const struct nfs_client_initdata *cl_init)
375 {
376         char buf[INET6_ADDRSTRLEN + 1];
377         const char *ip_addr = cl_init->ip_addr;
378         struct nfs_client *old;
379         int error;
380
381         if (clp->cl_cons_state == NFS_CS_READY)
382                 /* the client is initialised already */
383                 return clp;
384
385         /* Check NFS protocol revision and initialize RPC op vector */
386         clp->rpc_ops = &nfs_v4_clientops;
387
388         if (clp->cl_minorversion != 0)
389                 __set_bit(NFS_CS_INFINITE_SLOTS, &clp->cl_flags);
390         __set_bit(NFS_CS_DISCRTRY, &clp->cl_flags);
391         __set_bit(NFS_CS_NO_RETRANS_TIMEOUT, &clp->cl_flags);
392
393         error = nfs_create_rpc_client(clp, cl_init, RPC_AUTH_GSS_KRB5I);
394         if (error == -EINVAL)
395                 error = nfs_create_rpc_client(clp, cl_init, RPC_AUTH_UNIX);
396         if (error < 0)
397                 goto error;
398
399         /* If no clientaddr= option was specified, find a usable cb address */
400         if (ip_addr == NULL) {
401                 struct sockaddr_storage cb_addr;
402                 struct sockaddr *sap = (struct sockaddr *)&cb_addr;
403
404                 error = rpc_localaddr(clp->cl_rpcclient, sap, sizeof(cb_addr));
405                 if (error < 0)
406                         goto error;
407                 error = rpc_ntop(sap, buf, sizeof(buf));
408                 if (error < 0)
409                         goto error;
410                 ip_addr = (const char *)buf;
411         }
412         strlcpy(clp->cl_ipaddr, ip_addr, sizeof(clp->cl_ipaddr));
413
414         error = nfs_idmap_new(clp);
415         if (error < 0) {
416                 dprintk("%s: failed to create idmapper. Error = %d\n",
417                         __func__, error);
418                 goto error;
419         }
420         __set_bit(NFS_CS_IDMAP, &clp->cl_res_state);
421
422         error = nfs4_init_client_minor_version(clp);
423         if (error < 0)
424                 goto error;
425
426         error = nfs4_discover_server_trunking(clp, &old);
427         if (error < 0)
428                 goto error;
429
430         if (clp != old) {
431                 clp->cl_preserve_clid = true;
432                 /*
433                  * Mark the client as having failed initialization so other
434                  * processes walking the nfs_client_list in nfs_match_client()
435                  * won't try to use it.
436                  */
437                 nfs_mark_client_ready(clp, -EPERM);
438         }
439         nfs_put_client(clp);
440         clear_bit(NFS_CS_TSM_POSSIBLE, &clp->cl_flags);
441         return old;
442
443 error:
444         nfs_mark_client_ready(clp, error);
445         nfs_put_client(clp);
446         return ERR_PTR(error);
447 }
448
449 /*
450  * SETCLIENTID just did a callback update with the callback ident in
451  * "drop," but server trunking discovery claims "drop" and "keep" are
452  * actually the same server.  Swap the callback IDs so that "keep"
453  * will continue to use the callback ident the server now knows about,
454  * and so that "keep"'s original callback ident is destroyed when
455  * "drop" is freed.
456  */
457 static void nfs4_swap_callback_idents(struct nfs_client *keep,
458                                       struct nfs_client *drop)
459 {
460         struct nfs_net *nn = net_generic(keep->cl_net, nfs_net_id);
461         unsigned int save = keep->cl_cb_ident;
462
463         if (keep->cl_cb_ident == drop->cl_cb_ident)
464                 return;
465
466         dprintk("%s: keeping callback ident %u and dropping ident %u\n",
467                 __func__, keep->cl_cb_ident, drop->cl_cb_ident);
468
469         spin_lock(&nn->nfs_client_lock);
470
471         idr_replace(&nn->cb_ident_idr, keep, drop->cl_cb_ident);
472         keep->cl_cb_ident = drop->cl_cb_ident;
473
474         idr_replace(&nn->cb_ident_idr, drop, save);
475         drop->cl_cb_ident = save;
476
477         spin_unlock(&nn->nfs_client_lock);
478 }
479
480 static bool nfs4_match_client_owner_id(const struct nfs_client *clp1,
481                 const struct nfs_client *clp2)
482 {
483         if (clp1->cl_owner_id == NULL || clp2->cl_owner_id == NULL)
484                 return true;
485         return strcmp(clp1->cl_owner_id, clp2->cl_owner_id) == 0;
486 }
487
488 static bool nfs4_same_verifier(nfs4_verifier *v1, nfs4_verifier *v2)
489 {
490         return memcmp(v1->data, v2->data, sizeof(v1->data)) == 0;
491 }
492
493 static int nfs4_match_client(struct nfs_client  *pos,  struct nfs_client *new,
494                              struct nfs_client **prev, struct nfs_net *nn)
495 {
496         int status;
497
498         if (pos->rpc_ops != new->rpc_ops)
499                 return 1;
500
501         if (pos->cl_minorversion != new->cl_minorversion)
502                 return 1;
503
504         /* If "pos" isn't marked ready, we can't trust the
505          * remaining fields in "pos", especially the client
506          * ID and serverowner fields.  Wait for CREATE_SESSION
507          * to finish. */
508         if (pos->cl_cons_state > NFS_CS_READY) {
509                 refcount_inc(&pos->cl_count);
510                 spin_unlock(&nn->nfs_client_lock);
511
512                 nfs_put_client(*prev);
513                 *prev = pos;
514
515                 status = nfs_wait_client_init_complete(pos);
516                 spin_lock(&nn->nfs_client_lock);
517
518                 if (status < 0)
519                         return status;
520         }
521
522         if (pos->cl_cons_state != NFS_CS_READY)
523                 return 1;
524
525         if (pos->cl_clientid != new->cl_clientid)
526                 return 1;
527
528         /* NFSv4.1 always uses the uniform string, however someone
529          * might switch the uniquifier string on us.
530          */
531         if (!nfs4_match_client_owner_id(pos, new))
532                 return 1;
533
534         return 0;
535 }
536
537 /**
538  * nfs40_walk_client_list - Find server that recognizes a client ID
539  *
540  * @new: nfs_client with client ID to test
541  * @result: OUT: found nfs_client, or new
542  * @cred: credential to use for trunking test
543  *
544  * Returns zero, a negative errno, or a negative NFS4ERR status.
545  * If zero is returned, an nfs_client pointer is planted in "result."
546  *
547  * NB: nfs40_walk_client_list() relies on the new nfs_client being
548  *     the last nfs_client on the list.
549  */
550 int nfs40_walk_client_list(struct nfs_client *new,
551                            struct nfs_client **result,
552                            const struct cred *cred)
553 {
554         struct nfs_net *nn = net_generic(new->cl_net, nfs_net_id);
555         struct nfs_client *pos, *prev = NULL;
556         struct nfs4_setclientid_res clid = {
557                 .clientid       = new->cl_clientid,
558                 .confirm        = new->cl_confirm,
559         };
560         int status = -NFS4ERR_STALE_CLIENTID;
561
562         spin_lock(&nn->nfs_client_lock);
563         list_for_each_entry(pos, &nn->nfs_client_list, cl_share_link) {
564
565                 if (pos == new)
566                         goto found;
567
568                 status = nfs4_match_client(pos, new, &prev, nn);
569                 if (status < 0)
570                         goto out_unlock;
571                 if (status != 0)
572                         continue;
573                 /*
574                  * We just sent a new SETCLIENTID, which should have
575                  * caused the server to return a new cl_confirm.  So if
576                  * cl_confirm is the same, then this is a different
577                  * server that just returned the same cl_confirm by
578                  * coincidence:
579                  */
580                 if ((new != pos) && nfs4_same_verifier(&pos->cl_confirm,
581                                                        &new->cl_confirm))
582                         continue;
583                 /*
584                  * But if the cl_confirm's are different, then the only
585                  * way that a SETCLIENTID_CONFIRM to pos can succeed is
586                  * if new and pos point to the same server:
587                  */
588 found:
589                 refcount_inc(&pos->cl_count);
590                 spin_unlock(&nn->nfs_client_lock);
591
592                 nfs_put_client(prev);
593                 prev = pos;
594
595                 status = nfs4_proc_setclientid_confirm(pos, &clid, cred);
596                 switch (status) {
597                 case -NFS4ERR_STALE_CLIENTID:
598                         break;
599                 case 0:
600                         nfs4_swap_callback_idents(pos, new);
601                         pos->cl_confirm = new->cl_confirm;
602                         nfs_mark_client_ready(pos, NFS_CS_READY);
603
604                         prev = NULL;
605                         *result = pos;
606                         goto out;
607                 case -ERESTARTSYS:
608                 case -ETIMEDOUT:
609                         /* The callback path may have been inadvertently
610                          * changed. Schedule recovery!
611                          */
612                         nfs4_schedule_path_down_recovery(pos);
613                 default:
614                         goto out;
615                 }
616
617                 spin_lock(&nn->nfs_client_lock);
618         }
619 out_unlock:
620         spin_unlock(&nn->nfs_client_lock);
621
622         /* No match found. The server lost our clientid */
623 out:
624         nfs_put_client(prev);
625         return status;
626 }
627
628 #ifdef CONFIG_NFS_V4_1
629 /*
630  * Returns true if the server major ids match
631  */
632 bool
633 nfs4_check_serverowner_major_id(struct nfs41_server_owner *o1,
634                                 struct nfs41_server_owner *o2)
635 {
636         if (o1->major_id_sz != o2->major_id_sz)
637                 return false;
638         return memcmp(o1->major_id, o2->major_id, o1->major_id_sz) == 0;
639 }
640
641 /*
642  * Returns true if the server scopes match
643  */
644 static bool
645 nfs4_check_server_scope(struct nfs41_server_scope *s1,
646                         struct nfs41_server_scope *s2)
647 {
648         if (s1->server_scope_sz != s2->server_scope_sz)
649                 return false;
650         return memcmp(s1->server_scope, s2->server_scope,
651                                         s1->server_scope_sz) == 0;
652 }
653
654 /**
655  * nfs4_detect_session_trunking - Checks for session trunking.
656  * @clp:    original mount nfs_client
657  * @res:    result structure from an exchange_id using the original mount
658  *          nfs_client with a new multi_addr transport
659  * @xprt:   pointer to the transport to add.
660  *
661  * Called after a successful EXCHANGE_ID on a multi-addr connection.
662  * Upon success, add the transport.
663  *
664  * Returns zero on success, otherwise -EINVAL
665  *
666  * Note: since the exchange_id for the new multi_addr transport uses the
667  * same nfs_client from the original mount, the cl_owner_id is reused,
668  * so eir_clientowner is the same.
669  */
670 int nfs4_detect_session_trunking(struct nfs_client *clp,
671                                  struct nfs41_exchange_id_res *res,
672                                  struct rpc_xprt *xprt)
673 {
674         /* Check eir_clientid */
675         if (clp->cl_clientid != res->clientid)
676                 goto out_err;
677
678         /* Check eir_server_owner so_major_id */
679         if (!nfs4_check_serverowner_major_id(clp->cl_serverowner,
680                                              res->server_owner))
681                 goto out_err;
682
683         /* Check eir_server_owner so_minor_id */
684         if (clp->cl_serverowner->minor_id != res->server_owner->minor_id)
685                 goto out_err;
686
687         /* Check eir_server_scope */
688         if (!nfs4_check_server_scope(clp->cl_serverscope, res->server_scope))
689                 goto out_err;
690
691         pr_info("NFS:  %s: Session trunking succeeded for %s\n",
692                 clp->cl_hostname,
693                 xprt->address_strings[RPC_DISPLAY_ADDR]);
694
695         return 0;
696 out_err:
697         pr_info("NFS:  %s: Session trunking failed for %s\n", clp->cl_hostname,
698                 xprt->address_strings[RPC_DISPLAY_ADDR]);
699
700         return -EINVAL;
701 }
702
703 /**
704  * nfs41_walk_client_list - Find nfs_client that matches a client/server owner
705  *
706  * @new: nfs_client with client ID to test
707  * @result: OUT: found nfs_client, or new
708  * @cred: credential to use for trunking test
709  *
710  * Returns zero, a negative errno, or a negative NFS4ERR status.
711  * If zero is returned, an nfs_client pointer is planted in "result."
712  *
713  * NB: nfs41_walk_client_list() relies on the new nfs_client being
714  *     the last nfs_client on the list.
715  */
716 int nfs41_walk_client_list(struct nfs_client *new,
717                            struct nfs_client **result,
718                            const struct cred *cred)
719 {
720         struct nfs_net *nn = net_generic(new->cl_net, nfs_net_id);
721         struct nfs_client *pos, *prev = NULL;
722         int status = -NFS4ERR_STALE_CLIENTID;
723
724         spin_lock(&nn->nfs_client_lock);
725         list_for_each_entry(pos, &nn->nfs_client_list, cl_share_link) {
726
727                 if (pos == new)
728                         goto found;
729
730                 status = nfs4_match_client(pos, new, &prev, nn);
731                 if (status < 0)
732                         goto out;
733                 if (status != 0)
734                         continue;
735
736                 /*
737                  * Note that session trunking is just a special subcase of
738                  * client id trunking. In either case, we want to fall back
739                  * to using the existing nfs_client.
740                  */
741                 if (!nfs4_check_serverowner_major_id(pos->cl_serverowner,
742                                                      new->cl_serverowner))
743                         continue;
744
745 found:
746                 refcount_inc(&pos->cl_count);
747                 *result = pos;
748                 status = 0;
749                 break;
750         }
751
752 out:
753         spin_unlock(&nn->nfs_client_lock);
754         nfs_put_client(prev);
755         return status;
756 }
757 #endif  /* CONFIG_NFS_V4_1 */
758
759 static void nfs4_destroy_server(struct nfs_server *server)
760 {
761         LIST_HEAD(freeme);
762
763         nfs_server_return_all_delegations(server);
764         unset_pnfs_layoutdriver(server);
765         nfs4_purge_state_owners(server, &freeme);
766         nfs4_free_state_owners(&freeme);
767 }
768
769 /*
770  * NFSv4.0 callback thread helper
771  *
772  * Find a client by callback identifier
773  */
774 struct nfs_client *
775 nfs4_find_client_ident(struct net *net, int cb_ident)
776 {
777         struct nfs_client *clp;
778         struct nfs_net *nn = net_generic(net, nfs_net_id);
779
780         spin_lock(&nn->nfs_client_lock);
781         clp = idr_find(&nn->cb_ident_idr, cb_ident);
782         if (clp)
783                 refcount_inc(&clp->cl_count);
784         spin_unlock(&nn->nfs_client_lock);
785         return clp;
786 }
787
788 #if defined(CONFIG_NFS_V4_1)
789 /* Common match routine for v4.0 and v4.1 callback services */
790 static bool nfs4_cb_match_client(const struct sockaddr *addr,
791                 struct nfs_client *clp, u32 minorversion)
792 {
793         struct sockaddr *clap = (struct sockaddr *)&clp->cl_addr;
794
795         /* Don't match clients that failed to initialise */
796         if (!(clp->cl_cons_state == NFS_CS_READY ||
797             clp->cl_cons_state == NFS_CS_SESSION_INITING))
798                 return false;
799
800         smp_rmb();
801
802         /* Match the version and minorversion */
803         if (clp->rpc_ops->version != 4 ||
804             clp->cl_minorversion != minorversion)
805                 return false;
806
807         /* Match only the IP address, not the port number */
808         return rpc_cmp_addr(addr, clap);
809 }
810
811 /*
812  * NFSv4.1 callback thread helper
813  * For CB_COMPOUND calls, find a client by IP address, protocol version,
814  * minorversion, and sessionID
815  *
816  * Returns NULL if no such client
817  */
818 struct nfs_client *
819 nfs4_find_client_sessionid(struct net *net, const struct sockaddr *addr,
820                            struct nfs4_sessionid *sid, u32 minorversion)
821 {
822         struct nfs_client *clp;
823         struct nfs_net *nn = net_generic(net, nfs_net_id);
824
825         spin_lock(&nn->nfs_client_lock);
826         list_for_each_entry(clp, &nn->nfs_client_list, cl_share_link) {
827                 if (!nfs4_cb_match_client(addr, clp, minorversion))
828                         continue;
829
830                 if (!nfs4_has_session(clp))
831                         continue;
832
833                 /* Match sessionid*/
834                 if (memcmp(clp->cl_session->sess_id.data,
835                     sid->data, NFS4_MAX_SESSIONID_LEN) != 0)
836                         continue;
837
838                 refcount_inc(&clp->cl_count);
839                 spin_unlock(&nn->nfs_client_lock);
840                 return clp;
841         }
842         spin_unlock(&nn->nfs_client_lock);
843         return NULL;
844 }
845
846 #else /* CONFIG_NFS_V4_1 */
847
848 struct nfs_client *
849 nfs4_find_client_sessionid(struct net *net, const struct sockaddr *addr,
850                            struct nfs4_sessionid *sid, u32 minorversion)
851 {
852         return NULL;
853 }
854 #endif /* CONFIG_NFS_V4_1 */
855
856 /*
857  * Set up an NFS4 client
858  */
859 static int nfs4_set_client(struct nfs_server *server,
860                 const char *hostname,
861                 const struct sockaddr *addr,
862                 const size_t addrlen,
863                 const char *ip_addr,
864                 int proto, const struct rpc_timeout *timeparms,
865                 u32 minorversion, unsigned int nconnect,
866                 struct net *net)
867 {
868         struct nfs_client_initdata cl_init = {
869                 .hostname = hostname,
870                 .addr = addr,
871                 .addrlen = addrlen,
872                 .ip_addr = ip_addr,
873                 .nfs_mod = &nfs_v4,
874                 .proto = proto,
875                 .minorversion = minorversion,
876                 .net = net,
877                 .timeparms = timeparms,
878                 .cred = server->cred,
879         };
880         struct nfs_client *clp;
881
882         if (minorversion == 0)
883                 __set_bit(NFS_CS_REUSEPORT, &cl_init.init_flags);
884         else if (proto == XPRT_TRANSPORT_TCP)
885                 cl_init.nconnect = nconnect;
886
887         if (server->flags & NFS_MOUNT_NORESVPORT)
888                 __set_bit(NFS_CS_NORESVPORT, &cl_init.init_flags);
889         if (server->options & NFS_OPTION_MIGRATION)
890                 __set_bit(NFS_CS_MIGRATION, &cl_init.init_flags);
891         if (test_bit(NFS_MIG_TSM_POSSIBLE, &server->mig_status))
892                 __set_bit(NFS_CS_TSM_POSSIBLE, &cl_init.init_flags);
893         server->port = rpc_get_port(addr);
894
895         /* Allocate or find a client reference we can use */
896         clp = nfs_get_client(&cl_init);
897         if (IS_ERR(clp))
898                 return PTR_ERR(clp);
899
900         if (server->nfs_client == clp) {
901                 nfs_put_client(clp);
902                 return -ELOOP;
903         }
904
905         /*
906          * Query for the lease time on clientid setup or renewal
907          *
908          * Note that this will be set on nfs_clients that were created
909          * only for the DS role and did not set this bit, but now will
910          * serve a dual role.
911          */
912         set_bit(NFS_CS_CHECK_LEASE_TIME, &clp->cl_res_state);
913
914         server->nfs_client = clp;
915         return 0;
916 }
917
918 /*
919  * Set up a pNFS Data Server client.
920  *
921  * Return any existing nfs_client that matches server address,port,version
922  * and minorversion.
923  *
924  * For a new nfs_client, use a soft mount (default), a low retrans and a
925  * low timeout interval so that if a connection is lost, we retry through
926  * the MDS.
927  */
928 struct nfs_client *nfs4_set_ds_client(struct nfs_server *mds_srv,
929                 const struct sockaddr *ds_addr, int ds_addrlen,
930                 int ds_proto, unsigned int ds_timeo, unsigned int ds_retrans,
931                 u32 minor_version)
932 {
933         struct rpc_timeout ds_timeout;
934         struct nfs_client *mds_clp = mds_srv->nfs_client;
935         struct nfs_client_initdata cl_init = {
936                 .addr = ds_addr,
937                 .addrlen = ds_addrlen,
938                 .nodename = mds_clp->cl_rpcclient->cl_nodename,
939                 .ip_addr = mds_clp->cl_ipaddr,
940                 .nfs_mod = &nfs_v4,
941                 .proto = ds_proto,
942                 .minorversion = minor_version,
943                 .net = mds_clp->cl_net,
944                 .timeparms = &ds_timeout,
945                 .cred = mds_srv->cred,
946         };
947         char buf[INET6_ADDRSTRLEN + 1];
948
949         if (rpc_ntop(ds_addr, buf, sizeof(buf)) <= 0)
950                 return ERR_PTR(-EINVAL);
951         cl_init.hostname = buf;
952
953         if (mds_clp->cl_nconnect > 1 && ds_proto == XPRT_TRANSPORT_TCP)
954                 cl_init.nconnect = mds_clp->cl_nconnect;
955
956         if (mds_srv->flags & NFS_MOUNT_NORESVPORT)
957                 __set_bit(NFS_CS_NORESVPORT, &cl_init.init_flags);
958
959         /*
960          * Set an authflavor equual to the MDS value. Use the MDS nfs_client
961          * cl_ipaddr so as to use the same EXCHANGE_ID co_ownerid as the MDS
962          * (section 13.1 RFC 5661).
963          */
964         nfs_init_timeout_values(&ds_timeout, ds_proto, ds_timeo, ds_retrans);
965         return nfs_get_client(&cl_init);
966 }
967 EXPORT_SYMBOL_GPL(nfs4_set_ds_client);
968
969 /*
970  * Session has been established, and the client marked ready.
971  * Limit the mount rsize, wsize and dtsize using negotiated fore
972  * channel attributes.
973  */
974 static void nfs4_session_limit_rwsize(struct nfs_server *server)
975 {
976 #ifdef CONFIG_NFS_V4_1
977         struct nfs4_session *sess;
978         u32 server_resp_sz;
979         u32 server_rqst_sz;
980
981         if (!nfs4_has_session(server->nfs_client))
982                 return;
983         sess = server->nfs_client->cl_session;
984         server_resp_sz = sess->fc_attrs.max_resp_sz - nfs41_maxread_overhead;
985         server_rqst_sz = sess->fc_attrs.max_rqst_sz - nfs41_maxwrite_overhead;
986
987         if (server->dtsize > server_resp_sz)
988                 server->dtsize = server_resp_sz;
989         if (server->rsize > server_resp_sz)
990                 server->rsize = server_resp_sz;
991         if (server->wsize > server_rqst_sz)
992                 server->wsize = server_rqst_sz;
993 #endif /* CONFIG_NFS_V4_1 */
994 }
995
996 static int nfs4_server_common_setup(struct nfs_server *server,
997                 struct nfs_fh *mntfh, bool auth_probe)
998 {
999         struct nfs_fattr *fattr;
1000         int error;
1001
1002         /* data servers support only a subset of NFSv4.1 */
1003         if (is_ds_only_client(server->nfs_client))
1004                 return -EPROTONOSUPPORT;
1005
1006         fattr = nfs_alloc_fattr();
1007         if (fattr == NULL)
1008                 return -ENOMEM;
1009
1010         /* We must ensure the session is initialised first */
1011         error = nfs4_init_session(server->nfs_client);
1012         if (error < 0)
1013                 goto out;
1014
1015         /* Set the basic capabilities */
1016         server->caps |= server->nfs_client->cl_mvops->init_caps;
1017         if (server->flags & NFS_MOUNT_NORDIRPLUS)
1018                         server->caps &= ~NFS_CAP_READDIRPLUS;
1019         /*
1020          * Don't use NFS uid/gid mapping if we're using AUTH_SYS or lower
1021          * authentication.
1022          */
1023         if (nfs4_disable_idmapping &&
1024                         server->client->cl_auth->au_flavor == RPC_AUTH_UNIX)
1025                 server->caps |= NFS_CAP_UIDGID_NOMAP;
1026
1027
1028         /* Probe the root fh to retrieve its FSID and filehandle */
1029         error = nfs4_get_rootfh(server, mntfh, auth_probe);
1030         if (error < 0)
1031                 goto out;
1032
1033         dprintk("Server FSID: %llx:%llx\n",
1034                         (unsigned long long) server->fsid.major,
1035                         (unsigned long long) server->fsid.minor);
1036         nfs_display_fhandle(mntfh, "Pseudo-fs root FH");
1037
1038         error = nfs_probe_fsinfo(server, mntfh, fattr);
1039         if (error < 0)
1040                 goto out;
1041
1042         nfs4_session_limit_rwsize(server);
1043
1044         if (server->namelen == 0 || server->namelen > NFS4_MAXNAMLEN)
1045                 server->namelen = NFS4_MAXNAMLEN;
1046
1047         nfs_server_insert_lists(server);
1048         server->mount_time = jiffies;
1049         server->destroy = nfs4_destroy_server;
1050 out:
1051         nfs_free_fattr(fattr);
1052         return error;
1053 }
1054
1055 /*
1056  * Create a version 4 volume record
1057  */
1058 static int nfs4_init_server(struct nfs_server *server,
1059                 struct nfs_parsed_mount_data *data)
1060 {
1061         struct rpc_timeout timeparms;
1062         int error;
1063
1064         nfs_init_timeout_values(&timeparms, data->nfs_server.protocol,
1065                         data->timeo, data->retrans);
1066
1067         /* Initialise the client representation from the mount data */
1068         server->flags = data->flags;
1069         server->options = data->options;
1070         server->auth_info = data->auth_info;
1071
1072         /* Use the first specified auth flavor. If this flavor isn't
1073          * allowed by the server, use the SECINFO path to try the
1074          * other specified flavors */
1075         if (data->auth_info.flavor_len >= 1)
1076                 data->selected_flavor = data->auth_info.flavors[0];
1077         else
1078                 data->selected_flavor = RPC_AUTH_UNIX;
1079
1080         /* Get a client record */
1081         error = nfs4_set_client(server,
1082                         data->nfs_server.hostname,
1083                         (const struct sockaddr *)&data->nfs_server.address,
1084                         data->nfs_server.addrlen,
1085                         data->client_address,
1086                         data->nfs_server.protocol,
1087                         &timeparms,
1088                         data->minorversion,
1089                         data->nfs_server.nconnect,
1090                         data->net);
1091         if (error < 0)
1092                 return error;
1093
1094         if (data->rsize)
1095                 server->rsize = nfs_block_size(data->rsize, NULL);
1096         if (data->wsize)
1097                 server->wsize = nfs_block_size(data->wsize, NULL);
1098
1099         server->acregmin = data->acregmin * HZ;
1100         server->acregmax = data->acregmax * HZ;
1101         server->acdirmin = data->acdirmin * HZ;
1102         server->acdirmax = data->acdirmax * HZ;
1103         server->port     = data->nfs_server.port;
1104
1105         return nfs_init_server_rpcclient(server, &timeparms,
1106                                          data->selected_flavor);
1107 }
1108
1109 /*
1110  * Create a version 4 volume record
1111  * - keyed on server and FSID
1112  */
1113 /*struct nfs_server *nfs4_create_server(const struct nfs_parsed_mount_data *data,
1114                                       struct nfs_fh *mntfh)*/
1115 struct nfs_server *nfs4_create_server(struct nfs_mount_info *mount_info,
1116                                       struct nfs_subversion *nfs_mod)
1117 {
1118         struct nfs_server *server;
1119         bool auth_probe;
1120         int error;
1121
1122         server = nfs_alloc_server();
1123         if (!server)
1124                 return ERR_PTR(-ENOMEM);
1125
1126         server->cred = get_cred(current_cred());
1127
1128         auth_probe = mount_info->parsed->auth_info.flavor_len < 1;
1129
1130         /* set up the general RPC client */
1131         error = nfs4_init_server(server, mount_info->parsed);
1132         if (error < 0)
1133                 goto error;
1134
1135         error = nfs4_server_common_setup(server, mount_info->mntfh, auth_probe);
1136         if (error < 0)
1137                 goto error;
1138
1139         return server;
1140
1141 error:
1142         nfs_free_server(server);
1143         return ERR_PTR(error);
1144 }
1145
1146 /*
1147  * Create an NFS4 referral server record
1148  */
1149 struct nfs_server *nfs4_create_referral_server(struct nfs_clone_mount *data,
1150                                                struct nfs_fh *mntfh)
1151 {
1152         struct nfs_client *parent_client;
1153         struct nfs_server *server, *parent_server;
1154         bool auth_probe;
1155         int error;
1156
1157         server = nfs_alloc_server();
1158         if (!server)
1159                 return ERR_PTR(-ENOMEM);
1160
1161         parent_server = NFS_SB(data->sb);
1162         parent_client = parent_server->nfs_client;
1163
1164         server->cred = get_cred(parent_server->cred);
1165
1166         /* Initialise the client representation from the parent server */
1167         nfs_server_copy_userdata(server, parent_server);
1168
1169         /* Get a client representation */
1170 #if IS_ENABLED(CONFIG_SUNRPC_XPRT_RDMA)
1171         rpc_set_port(data->addr, NFS_RDMA_PORT);
1172         error = nfs4_set_client(server, data->hostname,
1173                                 data->addr,
1174                                 data->addrlen,
1175                                 parent_client->cl_ipaddr,
1176                                 XPRT_TRANSPORT_RDMA,
1177                                 parent_server->client->cl_timeout,
1178                                 parent_client->cl_mvops->minor_version,
1179                                 parent_client->cl_nconnect,
1180                                 parent_client->cl_net);
1181         if (!error)
1182                 goto init_server;
1183 #endif  /* IS_ENABLED(CONFIG_SUNRPC_XPRT_RDMA) */
1184
1185         rpc_set_port(data->addr, NFS_PORT);
1186         error = nfs4_set_client(server, data->hostname,
1187                                 data->addr,
1188                                 data->addrlen,
1189                                 parent_client->cl_ipaddr,
1190                                 XPRT_TRANSPORT_TCP,
1191                                 parent_server->client->cl_timeout,
1192                                 parent_client->cl_mvops->minor_version,
1193                                 parent_client->cl_nconnect,
1194                                 parent_client->cl_net);
1195         if (error < 0)
1196                 goto error;
1197
1198 #if IS_ENABLED(CONFIG_SUNRPC_XPRT_RDMA)
1199 init_server:
1200 #endif
1201         error = nfs_init_server_rpcclient(server, parent_server->client->cl_timeout, data->authflavor);
1202         if (error < 0)
1203                 goto error;
1204
1205         auth_probe = parent_server->auth_info.flavor_len < 1;
1206
1207         error = nfs4_server_common_setup(server, mntfh, auth_probe);
1208         if (error < 0)
1209                 goto error;
1210
1211         return server;
1212
1213 error:
1214         nfs_free_server(server);
1215         return ERR_PTR(error);
1216 }
1217
1218 /*
1219  * Grab the destination's particulars, including lease expiry time.
1220  *
1221  * Returns zero if probe succeeded and retrieved FSID matches the FSID
1222  * we have cached.
1223  */
1224 static int nfs_probe_destination(struct nfs_server *server)
1225 {
1226         struct inode *inode = d_inode(server->super->s_root);
1227         struct nfs_fattr *fattr;
1228         int error;
1229
1230         fattr = nfs_alloc_fattr();
1231         if (fattr == NULL)
1232                 return -ENOMEM;
1233
1234         /* Sanity: the probe won't work if the destination server
1235          * does not recognize the migrated FH. */
1236         error = nfs_probe_fsinfo(server, NFS_FH(inode), fattr);
1237
1238         nfs_free_fattr(fattr);
1239         return error;
1240 }
1241
1242 /**
1243  * nfs4_update_server - Move an nfs_server to a different nfs_client
1244  *
1245  * @server: represents FSID to be moved
1246  * @hostname: new end-point's hostname
1247  * @sap: new end-point's socket address
1248  * @salen: size of "sap"
1249  * @net: net namespace
1250  *
1251  * The nfs_server must be quiescent before this function is invoked.
1252  * Either its session is drained (NFSv4.1+), or its transport is
1253  * plugged and drained (NFSv4.0).
1254  *
1255  * Returns zero on success, or a negative errno value.
1256  */
1257 int nfs4_update_server(struct nfs_server *server, const char *hostname,
1258                        struct sockaddr *sap, size_t salen, struct net *net)
1259 {
1260         struct nfs_client *clp = server->nfs_client;
1261         struct rpc_clnt *clnt = server->client;
1262         struct xprt_create xargs = {
1263                 .ident          = clp->cl_proto,
1264                 .net            = net,
1265                 .dstaddr        = sap,
1266                 .addrlen        = salen,
1267                 .servername     = hostname,
1268         };
1269         char buf[INET6_ADDRSTRLEN + 1];
1270         struct sockaddr_storage address;
1271         struct sockaddr *localaddr = (struct sockaddr *)&address;
1272         int error;
1273
1274         error = rpc_switch_client_transport(clnt, &xargs, clnt->cl_timeout);
1275         if (error != 0)
1276                 return error;
1277
1278         error = rpc_localaddr(clnt, localaddr, sizeof(address));
1279         if (error != 0)
1280                 return error;
1281
1282         if (rpc_ntop(localaddr, buf, sizeof(buf)) == 0)
1283                 return -EAFNOSUPPORT;
1284
1285         nfs_server_remove_lists(server);
1286         set_bit(NFS_MIG_TSM_POSSIBLE, &server->mig_status);
1287         error = nfs4_set_client(server, hostname, sap, salen, buf,
1288                                 clp->cl_proto, clnt->cl_timeout,
1289                                 clp->cl_minorversion,
1290                                 clp->cl_nconnect, net);
1291         clear_bit(NFS_MIG_TSM_POSSIBLE, &server->mig_status);
1292         if (error != 0) {
1293                 nfs_server_insert_lists(server);
1294                 return error;
1295         }
1296         nfs_put_client(clp);
1297
1298         if (server->nfs_client->cl_hostname == NULL)
1299                 server->nfs_client->cl_hostname = kstrdup(hostname, GFP_KERNEL);
1300         nfs_server_insert_lists(server);
1301
1302         return nfs_probe_destination(server);
1303 }