fs/namespace.c

   1 // SPDX-License-Identifier: GPL-2.0-only
   2 /*
   3  *  linux/fs/namespace.c
   4  *
   5  * (C) Copyright Al Viro 2000, 2001
   6  *
   7  * Based on code from fs/super.c, copyright Linus Torvalds and others.
   8  * Heavily rewritten.
   9  */
  10
  11 #include <linux/syscalls.h>
  12 #include <linux/export.h>
  13 #include <linux/capability.h>
  14 #include <linux/mnt_namespace.h>
  15 #include <linux/user_namespace.h>
  16 #include <linux/namei.h>
  17 #include <linux/security.h>
  18 #include <linux/cred.h>
  19 #include <linux/idr.h>
  20 #include <linux/init.h>         /* init_rootfs */
  21 #include <linux/fs_struct.h>    /* get_fs_root et.al. */
  22 #include <linux/fsnotify.h>     /* fsnotify_vfsmount_delete */
  23 #include <linux/file.h>
  24 #include <linux/uaccess.h>
  25 #include <linux/proc_ns.h>
  26 #include <linux/magic.h>
  27 #include <linux/memblock.h>
  28 #include <linux/proc_fs.h>
  29 #include <linux/task_work.h>
  30 #include <linux/sched/task.h>
  31 #include <uapi/linux/mount.h>
  32 #include <linux/fs_context.h>
  33 #include <linux/shmem_fs.h>
  34 #include <linux/mnt_idmapping.h>
  35 #include <linux/nospec.h>
  36
  37 #include "pnode.h"
  38 #include "internal.h"
  39
  40 /* Maximum number of mounts in a mount namespace */
  41 static unsigned int sysctl_mount_max __read_mostly = 100000;
  42
  43 static unsigned int m_hash_mask __ro_after_init;
  44 static unsigned int m_hash_shift __ro_after_init;
  45 static unsigned int mp_hash_mask __ro_after_init;
  46 static unsigned int mp_hash_shift __ro_after_init;
  47
  48 static __initdata unsigned long mhash_entries;
  49 static int __init set_mhash_entries(char *str)
  50 {
  51         if (!str)
  52                 return 0;
  53         mhash_entries = simple_strtoul(str, &str, 0);
  54         return 1;
  55 }
  56 __setup("mhash_entries=", set_mhash_entries);
  57
  58 static __initdata unsigned long mphash_entries;
  59 static int __init set_mphash_entries(char *str)
  60 {
  61         if (!str)
  62                 return 0;
  63         mphash_entries = simple_strtoul(str, &str, 0);
  64         return 1;
  65 }
  66 __setup("mphash_entries=", set_mphash_entries);
  67
  68 static u64 event;
  69 static DEFINE_IDA(mnt_id_ida);
  70 static DEFINE_IDA(mnt_group_ida);
  71
  72 /* Don't allow confusion with old 32bit mount ID */
  73 static atomic64_t mnt_id_ctr = ATOMIC64_INIT(1ULL << 32);
  74
  75 static struct hlist_head *mount_hashtable __ro_after_init;
  76 static struct hlist_head *mountpoint_hashtable __ro_after_init;
  77 static struct kmem_cache *mnt_cache __ro_after_init;
  78 static DECLARE_RWSEM(namespace_sem);
  79 static HLIST_HEAD(unmounted);   /* protected by namespace_sem */
  80 static LIST_HEAD(ex_mountpoints); /* protected by namespace_sem */
  81
  82 struct mount_kattr {
  83         unsigned int attr_set;
  84         unsigned int attr_clr;
  85         unsigned int propagation;
  86         unsigned int lookup_flags;
  87         bool recurse;
  88         struct user_namespace *mnt_userns;
  89         struct mnt_idmap *mnt_idmap;
  90 };
  91
  92 /* /sys/fs */
  93 struct kobject *fs_kobj __ro_after_init;
  94 EXPORT_SYMBOL_GPL(fs_kobj);
  95
  96 /*
  97  * vfsmount lock may be taken for read to prevent changes to the
  98  * vfsmount hash, ie. during mountpoint lookups or walking back
  99  * up the tree.
 100  *
 101  * It should be taken for write in all cases where the vfsmount
 102  * tree or hash is modified or when a vfsmount structure is modified.
 103  */
 104 __cacheline_aligned_in_smp DEFINE_SEQLOCK(mount_lock);
 105
 106 static inline void lock_mount_hash(void)
 107 {
 108         write_seqlock(&mount_lock);
 109 }
 110
 111 static inline void unlock_mount_hash(void)
 112 {
 113         write_sequnlock(&mount_lock);
 114 }
 115
 116 static inline struct hlist_head *m_hash(struct vfsmount *mnt, struct dentry *dentry)
 117 {
 118         unsigned long tmp = ((unsigned long)mnt / L1_CACHE_BYTES);
 119         tmp += ((unsigned long)dentry / L1_CACHE_BYTES);
 120         tmp = tmp + (tmp >> m_hash_shift);
 121         return &mount_hashtable[tmp & m_hash_mask];
 122 }
 123
 124 static inline struct hlist_head *mp_hash(struct dentry *dentry)
 125 {
 126         unsigned long tmp = ((unsigned long)dentry / L1_CACHE_BYTES);
 127         tmp = tmp + (tmp >> mp_hash_shift);
 128         return &mountpoint_hashtable[tmp & mp_hash_mask];
 129 }
 130
 131 static int mnt_alloc_id(struct mount *mnt)
 132 {
 133         int res = ida_alloc(&mnt_id_ida, GFP_KERNEL);
 134
 135         if (res < 0)
 136                 return res;
 137         mnt->mnt_id = res;
 138         mnt->mnt_id_unique = atomic64_inc_return(&mnt_id_ctr);
 139         return 0;
 140 }
 141
 142 static void mnt_free_id(struct mount *mnt)
 143 {
 144         ida_free(&mnt_id_ida, mnt->mnt_id);
 145 }
 146
 147 /*
 148  * Allocate a new peer group ID
 149  */
 150 static int mnt_alloc_group_id(struct mount *mnt)
 151 {
 152         int res = ida_alloc_min(&mnt_group_ida, 1, GFP_KERNEL);
 153
 154         if (res < 0)
 155                 return res;
 156         mnt->mnt_group_id = res;
 157         return 0;
 158 }
 159
 160 /*
 161  * Release a peer group ID
 162  */
 163 void mnt_release_group_id(struct mount *mnt)
 164 {
 165         ida_free(&mnt_group_ida, mnt->mnt_group_id);
 166         mnt->mnt_group_id = 0;
 167 }
 168
 169 /*
 170  * vfsmount lock must be held for read
 171  */
 172 static inline void mnt_add_count(struct mount *mnt, int n)
 173 {
 174 #ifdef CONFIG_SMP
 175         this_cpu_add(mnt->mnt_pcp->mnt_count, n);
 176 #else
 177         preempt_disable();
 178         mnt->mnt_count += n;
 179         preempt_enable();
 180 #endif
 181 }
 182
 183 /*
 184  * vfsmount lock must be held for write
 185  */
 186 int mnt_get_count(struct mount *mnt)
 187 {
 188 #ifdef CONFIG_SMP
 189         int count = 0;
 190         int cpu;
 191
 192         for_each_possible_cpu(cpu) {
 193                 count += per_cpu_ptr(mnt->mnt_pcp, cpu)->mnt_count;
 194         }
 195
 196         return count;
 197 #else
 198         return mnt->mnt_count;
 199 #endif
 200 }
 201
 202 static struct mount *alloc_vfsmnt(const char *name)
 203 {
 204         struct mount *mnt = kmem_cache_zalloc(mnt_cache, GFP_KERNEL);
 205         if (mnt) {
 206                 int err;
 207
 208                 err = mnt_alloc_id(mnt);
 209                 if (err)
 210                         goto out_free_cache;
 211
 212                 if (name) {
 213                         mnt->mnt_devname = kstrdup_const(name,
 214                                                          GFP_KERNEL_ACCOUNT);
 215                         if (!mnt->mnt_devname)
 216                                 goto out_free_id;
 217                 }
 218
 219 #ifdef CONFIG_SMP
 220                 mnt->mnt_pcp = alloc_percpu(struct mnt_pcp);
 221                 if (!mnt->mnt_pcp)
 222                         goto out_free_devname;
 223
 224                 this_cpu_add(mnt->mnt_pcp->mnt_count, 1);
 225 #else
 226                 mnt->mnt_count = 1;
 227                 mnt->mnt_writers = 0;
 228 #endif
 229
 230                 INIT_HLIST_NODE(&mnt->mnt_hash);
 231                 INIT_LIST_HEAD(&mnt->mnt_child);
 232                 INIT_LIST_HEAD(&mnt->mnt_mounts);
 233                 INIT_LIST_HEAD(&mnt->mnt_list);
 234                 INIT_LIST_HEAD(&mnt->mnt_expire);
 235                 INIT_LIST_HEAD(&mnt->mnt_share);
 236                 INIT_LIST_HEAD(&mnt->mnt_slave_list);
 237                 INIT_LIST_HEAD(&mnt->mnt_slave);
 238                 INIT_HLIST_NODE(&mnt->mnt_mp_list);
 239                 INIT_LIST_HEAD(&mnt->mnt_umounting);
 240                 INIT_HLIST_HEAD(&mnt->mnt_stuck_children);
 241                 mnt->mnt.mnt_idmap = &nop_mnt_idmap;
 242         }
 243         return mnt;
 244
 245 #ifdef CONFIG_SMP
 246 out_free_devname:
 247         kfree_const(mnt->mnt_devname);
 248 #endif
 249 out_free_id:
 250         mnt_free_id(mnt);
 251 out_free_cache:
 252         kmem_cache_free(mnt_cache, mnt);
 253         return NULL;
 254 }
 255
 256 /*
 257  * Most r/o checks on a fs are for operations that take
 258  * discrete amounts of time, like a write() or unlink().
 259  * We must keep track of when those operations start
 260  * (for permission checks) and when they end, so that
 261  * we can determine when writes are able to occur to
 262  * a filesystem.
 263  */
 264 /*
 265  * __mnt_is_readonly: check whether a mount is read-only
 266  * @mnt: the mount to check for its write status
 267  *
 268  * This shouldn't be used directly ouside of the VFS.
 269  * It does not guarantee that the filesystem will stay
 270  * r/w, just that it is right *now*.  This can not and
 271  * should not be used in place of IS_RDONLY(inode).
 272  * mnt_want/drop_write() will _keep_ the filesystem
 273  * r/w.
 274  */
 275 bool __mnt_is_readonly(struct vfsmount *mnt)
 276 {
 277         return (mnt->mnt_flags & MNT_READONLY) || sb_rdonly(mnt->mnt_sb);
 278 }
 279 EXPORT_SYMBOL_GPL(__mnt_is_readonly);
 280
 281 static inline void mnt_inc_writers(struct mount *mnt)
 282 {
 283 #ifdef CONFIG_SMP
 284         this_cpu_inc(mnt->mnt_pcp->mnt_writers);
 285 #else
 286         mnt->mnt_writers++;
 287 #endif
 288 }
 289
 290 static inline void mnt_dec_writers(struct mount *mnt)
 291 {
 292 #ifdef CONFIG_SMP
 293         this_cpu_dec(mnt->mnt_pcp->mnt_writers);
 294 #else
 295         mnt->mnt_writers--;
 296 #endif
 297 }
 298
 299 static unsigned int mnt_get_writers(struct mount *mnt)
 300 {
 301 #ifdef CONFIG_SMP
 302         unsigned int count = 0;
 303         int cpu;
 304
 305         for_each_possible_cpu(cpu) {
 306                 count += per_cpu_ptr(mnt->mnt_pcp, cpu)->mnt_writers;
 307         }
 308
 309         return count;
 310 #else
 311         return mnt->mnt_writers;
 312 #endif
 313 }
 314
 315 static int mnt_is_readonly(struct vfsmount *mnt)
 316 {
 317         if (READ_ONCE(mnt->mnt_sb->s_readonly_remount))
 318                 return 1;
 319         /*
 320          * The barrier pairs with the barrier in sb_start_ro_state_change()
 321          * making sure if we don't see s_readonly_remount set yet, we also will
 322          * not see any superblock / mount flag changes done by remount.
 323          * It also pairs with the barrier in sb_end_ro_state_change()
 324          * assuring that if we see s_readonly_remount already cleared, we will
 325          * see the values of superblock / mount flags updated by remount.
 326          */
 327         smp_rmb();
 328         return __mnt_is_readonly(mnt);
 329 }
 330
 331 /*
 332  * Most r/o & frozen checks on a fs are for operations that take discrete
 333  * amounts of time, like a write() or unlink().  We must keep track of when
 334  * those operations start (for permission checks) and when they end, so that we
 335  * can determine when writes are able to occur to a filesystem.
 336  */
 337 /**
 338  * mnt_get_write_access - get write access to a mount without freeze protection
 339  * @m: the mount on which to take a write
 340  *
 341  * This tells the low-level filesystem that a write is about to be performed to
 342  * it, and makes sure that writes are allowed (mnt it read-write) before
 343  * returning success. This operation does not protect against filesystem being
 344  * frozen. When the write operation is finished, mnt_put_write_access() must be
 345  * called. This is effectively a refcount.
 346  */
 347 int mnt_get_write_access(struct vfsmount *m)
 348 {
 349         struct mount *mnt = real_mount(m);
 350         int ret = 0;
 351
 352         preempt_disable();
 353         mnt_inc_writers(mnt);
 354         /*
 355          * The store to mnt_inc_writers must be visible before we pass
 356          * MNT_WRITE_HOLD loop below, so that the slowpath can see our
 357          * incremented count after it has set MNT_WRITE_HOLD.
 358          */
 359         smp_mb();
 360         might_lock(&mount_lock.lock);
 361         while (READ_ONCE(mnt->mnt.mnt_flags) & MNT_WRITE_HOLD) {
 362                 if (!IS_ENABLED(CONFIG_PREEMPT_RT)) {
 363                         cpu_relax();
 364                 } else {
 365                         /*
 366                          * This prevents priority inversion, if the task
 367                          * setting MNT_WRITE_HOLD got preempted on a remote
 368                          * CPU, and it prevents life lock if the task setting
 369                          * MNT_WRITE_HOLD has a lower priority and is bound to
 370                          * the same CPU as the task that is spinning here.
 371                          */
 372                         preempt_enable();
 373                         lock_mount_hash();
 374                         unlock_mount_hash();
 375                         preempt_disable();
 376                 }
 377         }
 378         /*
 379          * The barrier pairs with the barrier sb_start_ro_state_change() making
 380          * sure that if we see MNT_WRITE_HOLD cleared, we will also see
 381          * s_readonly_remount set (or even SB_RDONLY / MNT_READONLY flags) in
 382          * mnt_is_readonly() and bail in case we are racing with remount
 383          * read-only.
 384          */
 385         smp_rmb();
 386         if (mnt_is_readonly(m)) {
 387                 mnt_dec_writers(mnt);
 388                 ret = -EROFS;
 389         }
 390         preempt_enable();
 391
 392         return ret;
 393 }
 394 EXPORT_SYMBOL_GPL(mnt_get_write_access);
 395
 396 /**
 397  * mnt_want_write - get write access to a mount
 398  * @m: the mount on which to take a write
 399  *
 400  * This tells the low-level filesystem that a write is about to be performed to
 401  * it, and makes sure that writes are allowed (mount is read-write, filesystem
 402  * is not frozen) before returning success.  When the write operation is
 403  * finished, mnt_drop_write() must be called.  This is effectively a refcount.
 404  */
 405 int mnt_want_write(struct vfsmount *m)
 406 {
 407         int ret;
 408
 409         sb_start_write(m->mnt_sb);
 410         ret = mnt_get_write_access(m);
 411         if (ret)
 412                 sb_end_write(m->mnt_sb);
 413         return ret;
 414 }
 415 EXPORT_SYMBOL_GPL(mnt_want_write);
 416
 417 /**
 418  * mnt_get_write_access_file - get write access to a file's mount
 419  * @file: the file who's mount on which to take a write
 420  *
 421  * This is like mnt_get_write_access, but if @file is already open for write it
 422  * skips incrementing mnt_writers (since the open file already has a reference)
 423  * and instead only does the check for emergency r/o remounts.  This must be
 424  * paired with mnt_put_write_access_file.
 425  */
 426 int mnt_get_write_access_file(struct file *file)
 427 {
 428         if (file->f_mode & FMODE_WRITER) {
 429                 /*
 430                  * Superblock may have become readonly while there are still
 431                  * writable fd's, e.g. due to a fs error with errors=remount-ro
 432                  */
 433                 if (__mnt_is_readonly(file->f_path.mnt))
 434                         return -EROFS;
 435                 return 0;
 436         }
 437         return mnt_get_write_access(file->f_path.mnt);
 438 }
 439
 440 /**
 441  * mnt_want_write_file - get write access to a file's mount
 442  * @file: the file who's mount on which to take a write
 443  *
 444  * This is like mnt_want_write, but if the file is already open for writing it
 445  * skips incrementing mnt_writers (since the open file already has a reference)
 446  * and instead only does the freeze protection and the check for emergency r/o
 447  * remounts.  This must be paired with mnt_drop_write_file.
 448  */
 449 int mnt_want_write_file(struct file *file)
 450 {
 451         int ret;
 452
 453         sb_start_write(file_inode(file)->i_sb);
 454         ret = mnt_get_write_access_file(file);
 455         if (ret)
 456                 sb_end_write(file_inode(file)->i_sb);
 457         return ret;
 458 }
 459 EXPORT_SYMBOL_GPL(mnt_want_write_file);
 460
 461 /**
 462  * mnt_put_write_access - give up write access to a mount
 463  * @mnt: the mount on which to give up write access
 464  *
 465  * Tells the low-level filesystem that we are done
 466  * performing writes to it.  Must be matched with
 467  * mnt_get_write_access() call above.
 468  */
 469 void mnt_put_write_access(struct vfsmount *mnt)
 470 {
 471         preempt_disable();
 472         mnt_dec_writers(real_mount(mnt));
 473         preempt_enable();
 474 }
 475 EXPORT_SYMBOL_GPL(mnt_put_write_access);
 476
 477 /**
 478  * mnt_drop_write - give up write access to a mount
 479  * @mnt: the mount on which to give up write access
 480  *
 481  * Tells the low-level filesystem that we are done performing writes to it and
 482  * also allows filesystem to be frozen again.  Must be matched with
 483  * mnt_want_write() call above.
 484  */
 485 void mnt_drop_write(struct vfsmount *mnt)
 486 {
 487         mnt_put_write_access(mnt);
 488         sb_end_write(mnt->mnt_sb);
 489 }
 490 EXPORT_SYMBOL_GPL(mnt_drop_write);
 491
 492 void mnt_put_write_access_file(struct file *file)
 493 {
 494         if (!(file->f_mode & FMODE_WRITER))
 495                 mnt_put_write_access(file->f_path.mnt);
 496 }
 497
 498 void mnt_drop_write_file(struct file *file)
 499 {
 500         mnt_put_write_access_file(file);
 501         sb_end_write(file_inode(file)->i_sb);
 502 }
 503 EXPORT_SYMBOL(mnt_drop_write_file);
 504
 505 /**
 506  * mnt_hold_writers - prevent write access to the given mount
 507  * @mnt: mnt to prevent write access to
 508  *
 509  * Prevents write access to @mnt if there are no active writers for @mnt.
 510  * This function needs to be called and return successfully before changing
 511  * properties of @mnt that need to remain stable for callers with write access
 512  * to @mnt.
 513  *
 514  * After this functions has been called successfully callers must pair it with
 515  * a call to mnt_unhold_writers() in order to stop preventing write access to
 516  * @mnt.
 517  *
 518  * Context: This function expects lock_mount_hash() to be held serializing
 519  *          setting MNT_WRITE_HOLD.
 520  * Return: On success 0 is returned.
 521  *         On error, -EBUSY is returned.
 522  */
 523 static inline int mnt_hold_writers(struct mount *mnt)
 524 {
 525         mnt->mnt.mnt_flags |= MNT_WRITE_HOLD;
 526         /*
 527          * After storing MNT_WRITE_HOLD, we'll read the counters. This store
 528          * should be visible before we do.
 529          */
 530         smp_mb();
 531
 532         /*
 533          * With writers on hold, if this value is zero, then there are
 534          * definitely no active writers (although held writers may subsequently
 535          * increment the count, they'll have to wait, and decrement it after
 536          * seeing MNT_READONLY).
 537          *
 538          * It is OK to have counter incremented on one CPU and decremented on
 539          * another: the sum will add up correctly. The danger would be when we
 540          * sum up each counter, if we read a counter before it is incremented,
 541          * but then read another CPU's count which it has been subsequently
 542          * decremented from -- we would see more decrements than we should.
 543          * MNT_WRITE_HOLD protects against this scenario, because
 544          * mnt_want_write first increments count, then smp_mb, then spins on
 545          * MNT_WRITE_HOLD, so it can't be decremented by another CPU while
 546          * we're counting up here.
 547          */
 548         if (mnt_get_writers(mnt) > 0)
 549                 return -EBUSY;
 550
 551         return 0;
 552 }
 553
 554 /**
 555  * mnt_unhold_writers - stop preventing write access to the given mount
 556  * @mnt: mnt to stop preventing write access to
 557  *
 558  * Stop preventing write access to @mnt allowing callers to gain write access
 559  * to @mnt again.
 560  *
 561  * This function can only be called after a successful call to
 562  * mnt_hold_writers().
 563  *
 564  * Context: This function expects lock_mount_hash() to be held.
 565  */
 566 static inline void mnt_unhold_writers(struct mount *mnt)
 567 {
 568         /*
 569          * MNT_READONLY must become visible before ~MNT_WRITE_HOLD, so writers
 570          * that become unheld will see MNT_READONLY.
 571          */
 572         smp_wmb();
 573         mnt->mnt.mnt_flags &= ~MNT_WRITE_HOLD;
 574 }
 575
 576 static int mnt_make_readonly(struct mount *mnt)
 577 {
 578         int ret;
 579
 580         ret = mnt_hold_writers(mnt);
 581         if (!ret)
 582                 mnt->mnt.mnt_flags |= MNT_READONLY;
 583         mnt_unhold_writers(mnt);
 584         return ret;
 585 }
 586
 587 int sb_prepare_remount_readonly(struct super_block *sb)
 588 {
 589         struct mount *mnt;
 590         int err = 0;
 591
 592         /* Racy optimization.  Recheck the counter under MNT_WRITE_HOLD */
 593         if (atomic_long_read(&sb->s_remove_count))
 594                 return -EBUSY;
 595
 596         lock_mount_hash();
 597         list_for_each_entry(mnt, &sb->s_mounts, mnt_instance) {
 598                 if (!(mnt->mnt.mnt_flags & MNT_READONLY)) {
 599                         err = mnt_hold_writers(mnt);
 600                         if (err)
 601                                 break;
 602                 }
 603         }
 604         if (!err && atomic_long_read(&sb->s_remove_count))
 605                 err = -EBUSY;
 606
 607         if (!err)
 608                 sb_start_ro_state_change(sb);
 609         list_for_each_entry(mnt, &sb->s_mounts, mnt_instance) {
 610                 if (mnt->mnt.mnt_flags & MNT_WRITE_HOLD)
 611                         mnt->mnt.mnt_flags &= ~MNT_WRITE_HOLD;
 612         }
 613         unlock_mount_hash();
 614
 615         return err;
 616 }
 617
 618 static void free_vfsmnt(struct mount *mnt)
 619 {
 620         mnt_idmap_put(mnt_idmap(&mnt->mnt));
 621         kfree_const(mnt->mnt_devname);
 622 #ifdef CONFIG_SMP
 623         free_percpu(mnt->mnt_pcp);
 624 #endif
 625         kmem_cache_free(mnt_cache, mnt);
 626 }
 627
 628 static void delayed_free_vfsmnt(struct rcu_head *head)
 629 {
 630         free_vfsmnt(container_of(head, struct mount, mnt_rcu));
 631 }
 632
 633 /* call under rcu_read_lock */
 634 int __legitimize_mnt(struct vfsmount *bastard, unsigned seq)
 635 {
 636         struct mount *mnt;
 637         if (read_seqretry(&mount_lock, seq))
 638                 return 1;
 639         if (bastard == NULL)
 640                 return 0;
 641         mnt = real_mount(bastard);
 642         mnt_add_count(mnt, 1);
 643         smp_mb();                       // see mntput_no_expire()
 644         if (likely(!read_seqretry(&mount_lock, seq)))
 645                 return 0;
 646         if (bastard->mnt_flags & MNT_SYNC_UMOUNT) {
 647                 mnt_add_count(mnt, -1);
 648                 return 1;
 649         }
 650         lock_mount_hash();
 651         if (unlikely(bastard->mnt_flags & MNT_DOOMED)) {
 652                 mnt_add_count(mnt, -1);
 653                 unlock_mount_hash();
 654                 return 1;
 655         }
 656         unlock_mount_hash();
 657         /* caller will mntput() */
 658         return -1;
 659 }
 660
 661 /* call under rcu_read_lock */
 662 static bool legitimize_mnt(struct vfsmount *bastard, unsigned seq)
 663 {
 664         int res = __legitimize_mnt(bastard, seq);
 665         if (likely(!res))
 666                 return true;
 667         if (unlikely(res < 0)) {
 668                 rcu_read_unlock();
 669                 mntput(bastard);
 670                 rcu_read_lock();
 671         }
 672         return false;
 673 }
 674
 675 /**
 676  * __lookup_mnt - find first child mount
 677  * @mnt:        parent mount
 678  * @dentry:     mountpoint
 679  *
 680  * If @mnt has a child mount @c mounted @dentry find and return it.
 681  *
 682  * Note that the child mount @c need not be unique. There are cases
 683  * where shadow mounts are created. For example, during mount
 684  * propagation when a source mount @mnt whose root got overmounted by a
 685  * mount @o after path lookup but before @namespace_sem could be
 686  * acquired gets copied and propagated. So @mnt gets copied including
 687  * @o. When @mnt is propagated to a destination mount @d that already
 688  * has another mount @n mounted at the same mountpoint then the source
 689  * mount @mnt will be tucked beneath @n, i.e., @n will be mounted on
 690  * @mnt and @mnt mounted on @d. Now both @n and @o are mounted at @mnt
 691  * on @dentry.
 692  *
 693  * Return: The first child of @mnt mounted @dentry or NULL.
 694  */
 695 struct mount *__lookup_mnt(struct vfsmount *mnt, struct dentry *dentry)
 696 {
 697         struct hlist_head *head = m_hash(mnt, dentry);
 698         struct mount *p;
 699
 700         hlist_for_each_entry_rcu(p, head, mnt_hash)
 701                 if (&p->mnt_parent->mnt == mnt && p->mnt_mountpoint == dentry)
 702                         return p;
 703         return NULL;
 704 }
 705
 706 /*
 707  * lookup_mnt - Return the first child mount mounted at path
 708  *
 709  * "First" means first mounted chronologically.  If you create the
 710  * following mounts:
 711  *
 712  * mount /dev/sda1 /mnt
 713  * mount /dev/sda2 /mnt
 714  * mount /dev/sda3 /mnt
 715  *
 716  * Then lookup_mnt() on the base /mnt dentry in the root mount will
 717  * return successively the root dentry and vfsmount of /dev/sda1, then
 718  * /dev/sda2, then /dev/sda3, then NULL.
 719  *
 720  * lookup_mnt takes a reference to the found vfsmount.
 721  */
 722 struct vfsmount *lookup_mnt(const struct path *path)
 723 {
 724         struct mount *child_mnt;
 725         struct vfsmount *m;
 726         unsigned seq;
 727
 728         rcu_read_lock();
 729         do {
 730                 seq = read_seqbegin(&mount_lock);
 731                 child_mnt = __lookup_mnt(path->mnt, path->dentry);
 732                 m = child_mnt ? &child_mnt->mnt : NULL;
 733         } while (!legitimize_mnt(m, seq));
 734         rcu_read_unlock();
 735         return m;
 736 }
 737
 738 /*
 739  * __is_local_mountpoint - Test to see if dentry is a mountpoint in the
 740  *                         current mount namespace.
 741  *
 742  * The common case is dentries are not mountpoints at all and that
 743  * test is handled inline.  For the slow case when we are actually
 744  * dealing with a mountpoint of some kind, walk through all of the
 745  * mounts in the current mount namespace and test to see if the dentry
 746  * is a mountpoint.
 747  *
 748  * The mount_hashtable is not usable in the context because we
 749  * need to identify all mounts that may be in the current mount
 750  * namespace not just a mount that happens to have some specified
 751  * parent mount.
 752  */
 753 bool __is_local_mountpoint(struct dentry *dentry)
 754 {
 755         struct mnt_namespace *ns = current->nsproxy->mnt_ns;
 756         struct mount *mnt, *n;
 757         bool is_covered = false;
 758
 759         down_read(&namespace_sem);
 760         rbtree_postorder_for_each_entry_safe(mnt, n, &ns->mounts, mnt_node) {
 761                 is_covered = (mnt->mnt_mountpoint == dentry);
 762                 if (is_covered)
 763                         break;
 764         }
 765         up_read(&namespace_sem);
 766
 767         return is_covered;
 768 }
 769
 770 static struct mountpoint *lookup_mountpoint(struct dentry *dentry)
 771 {
 772         struct hlist_head *chain = mp_hash(dentry);
 773         struct mountpoint *mp;
 774
 775         hlist_for_each_entry(mp, chain, m_hash) {
 776                 if (mp->m_dentry == dentry) {
 777                         mp->m_count++;
 778                         return mp;
 779                 }
 780         }
 781         return NULL;
 782 }
 783
 784 static struct mountpoint *get_mountpoint(struct dentry *dentry)
 785 {
 786         struct mountpoint *mp, *new = NULL;
 787         int ret;
 788
 789         if (d_mountpoint(dentry)) {
 790                 /* might be worth a WARN_ON() */
 791                 if (d_unlinked(dentry))
 792                         return ERR_PTR(-ENOENT);
 793 mountpoint:
 794                 read_seqlock_excl(&mount_lock);
 795                 mp = lookup_mountpoint(dentry);
 796                 read_sequnlock_excl(&mount_lock);
 797                 if (mp)
 798                         goto done;
 799         }
 800
 801         if (!new)
 802                 new = kmalloc(sizeof(struct mountpoint), GFP_KERNEL);
 803         if (!new)
 804                 return ERR_PTR(-ENOMEM);
 805
 806
 807         /* Exactly one processes may set d_mounted */
 808         ret = d_set_mounted(dentry);
 809
 810         /* Someone else set d_mounted? */
 811         if (ret == -EBUSY)
 812                 goto mountpoint;
 813
 814         /* The dentry is not available as a mountpoint? */
 815         mp = ERR_PTR(ret);
 816         if (ret)
 817                 goto done;
 818
 819         /* Add the new mountpoint to the hash table */
 820         read_seqlock_excl(&mount_lock);
 821         new->m_dentry = dget(dentry);
 822         new->m_count = 1;
 823         hlist_add_head(&new->m_hash, mp_hash(dentry));
 824         INIT_HLIST_HEAD(&new->m_list);
 825         read_sequnlock_excl(&mount_lock);
 826
 827         mp = new;
 828         new = NULL;
 829 done:
 830         kfree(new);
 831         return mp;
 832 }
 833
 834 /*
 835  * vfsmount lock must be held.  Additionally, the caller is responsible
 836  * for serializing calls for given disposal list.
 837  */
 838 static void __put_mountpoint(struct mountpoint *mp, struct list_head *list)
 839 {
 840         if (!--mp->m_count) {
 841                 struct dentry *dentry = mp->m_dentry;
 842                 BUG_ON(!hlist_empty(&mp->m_list));
 843                 spin_lock(&dentry->d_lock);
 844                 dentry->d_flags &= ~DCACHE_MOUNTED;
 845                 spin_unlock(&dentry->d_lock);
 846                 dput_to_list(dentry, list);
 847                 hlist_del(&mp->m_hash);
 848                 kfree(mp);
 849         }
 850 }
 851
 852 /* called with namespace_lock and vfsmount lock */
 853 static void put_mountpoint(struct mountpoint *mp)
 854 {
 855         __put_mountpoint(mp, &ex_mountpoints);
 856 }
 857
 858 static inline int check_mnt(struct mount *mnt)
 859 {
 860         return mnt->mnt_ns == current->nsproxy->mnt_ns;
 861 }
 862
 863 /*
 864  * vfsmount lock must be held for write
 865  */
 866 static void touch_mnt_namespace(struct mnt_namespace *ns)
 867 {
 868         if (ns) {
 869                 ns->event = ++event;
 870                 wake_up_interruptible(&ns->poll);
 871         }
 872 }
 873
 874 /*
 875  * vfsmount lock must be held for write
 876  */
 877 static void __touch_mnt_namespace(struct mnt_namespace *ns)
 878 {
 879         if (ns && ns->event != event) {
 880                 ns->event = event;
 881                 wake_up_interruptible(&ns->poll);
 882         }
 883 }
 884
 885 /*
 886  * vfsmount lock must be held for write
 887  */
 888 static struct mountpoint *unhash_mnt(struct mount *mnt)
 889 {
 890         struct mountpoint *mp;
 891         mnt->mnt_parent = mnt;
 892         mnt->mnt_mountpoint = mnt->mnt.mnt_root;
 893         list_del_init(&mnt->mnt_child);
 894         hlist_del_init_rcu(&mnt->mnt_hash);
 895         hlist_del_init(&mnt->mnt_mp_list);
 896         mp = mnt->mnt_mp;
 897         mnt->mnt_mp = NULL;
 898         return mp;
 899 }
 900
 901 /*
 902  * vfsmount lock must be held for write
 903  */
 904 static void umount_mnt(struct mount *mnt)
 905 {
 906         put_mountpoint(unhash_mnt(mnt));
 907 }
 908
 909 /*
 910  * vfsmount lock must be held for write
 911  */
 912 void mnt_set_mountpoint(struct mount *mnt,
 913                         struct mountpoint *mp,
 914                         struct mount *child_mnt)
 915 {
 916         mp->m_count++;
 917         mnt_add_count(mnt, 1);  /* essentially, that's mntget */
 918         child_mnt->mnt_mountpoint = mp->m_dentry;
 919         child_mnt->mnt_parent = mnt;
 920         child_mnt->mnt_mp = mp;
 921         hlist_add_head(&child_mnt->mnt_mp_list, &mp->m_list);
 922 }
 923
 924 /**
 925  * mnt_set_mountpoint_beneath - mount a mount beneath another one
 926  *
 927  * @new_parent: the source mount
 928  * @top_mnt:    the mount beneath which @new_parent is mounted
 929  * @new_mp:     the new mountpoint of @top_mnt on @new_parent
 930  *
 931  * Remove @top_mnt from its current mountpoint @top_mnt->mnt_mp and
 932  * parent @top_mnt->mnt_parent and mount it on top of @new_parent at
 933  * @new_mp. And mount @new_parent on the old parent and old
 934  * mountpoint of @top_mnt.
 935  *
 936  * Context: This function expects namespace_lock() and lock_mount_hash()
 937  *          to have been acquired in that order.
 938  */
 939 static void mnt_set_mountpoint_beneath(struct mount *new_parent,
 940                                        struct mount *top_mnt,
 941                                        struct mountpoint *new_mp)
 942 {
 943         struct mount *old_top_parent = top_mnt->mnt_parent;
 944         struct mountpoint *old_top_mp = top_mnt->mnt_mp;
 945
 946         mnt_set_mountpoint(old_top_parent, old_top_mp, new_parent);
 947         mnt_change_mountpoint(new_parent, new_mp, top_mnt);
 948 }
 949
 950
 951 static void __attach_mnt(struct mount *mnt, struct mount *parent)
 952 {
 953         hlist_add_head_rcu(&mnt->mnt_hash,
 954                            m_hash(&parent->mnt, mnt->mnt_mountpoint));
 955         list_add_tail(&mnt->mnt_child, &parent->mnt_mounts);
 956 }
 957
 958 /**
 959  * attach_mnt - mount a mount, attach to @mount_hashtable and parent's
 960  *              list of child mounts
 961  * @parent:  the parent
 962  * @mnt:     the new mount
 963  * @mp:      the new mountpoint
 964  * @beneath: whether to mount @mnt beneath or on top of @parent
 965  *
 966  * If @beneath is false, mount @mnt at @mp on @parent. Then attach @mnt
 967  * to @parent's child mount list and to @mount_hashtable.
 968  *
 969  * If @beneath is true, remove @mnt from its current parent and
 970  * mountpoint and mount it on @mp on @parent, and mount @parent on the
 971  * old parent and old mountpoint of @mnt. Finally, attach @parent to
 972  * @mnt_hashtable and @parent->mnt_parent->mnt_mounts.
 973  *
 974  * Note, when __attach_mnt() is called @mnt->mnt_parent already points
 975  * to the correct parent.
 976  *
 977  * Context: This function expects namespace_lock() and lock_mount_hash()
 978  *          to have been acquired in that order.
 979  */
 980 static void attach_mnt(struct mount *mnt, struct mount *parent,
 981                        struct mountpoint *mp, bool beneath)
 982 {
 983         if (beneath)
 984                 mnt_set_mountpoint_beneath(mnt, parent, mp);
 985         else
 986                 mnt_set_mountpoint(parent, mp, mnt);
 987         /*
 988          * Note, @mnt->mnt_parent has to be used. If @mnt was mounted
 989          * beneath @parent then @mnt will need to be attached to
 990          * @parent's old parent, not @parent. IOW, @mnt->mnt_parent
 991          * isn't the same mount as @parent.
 992          */
 993         __attach_mnt(mnt, mnt->mnt_parent);
 994 }
 995
 996 void mnt_change_mountpoint(struct mount *parent, struct mountpoint *mp, struct mount *mnt)
 997 {
 998         struct mountpoint *old_mp = mnt->mnt_mp;
 999         struct mount *old_parent = mnt->mnt_parent;
1000
1001         list_del_init(&mnt->mnt_child);
1002         hlist_del_init(&mnt->mnt_mp_list);
1003         hlist_del_init_rcu(&mnt->mnt_hash);
1004
1005         attach_mnt(mnt, parent, mp, false);
1006
1007         put_mountpoint(old_mp);
1008         mnt_add_count(old_parent, -1);
1009 }
1010
1011 static inline struct mount *node_to_mount(struct rb_node *node)
1012 {
1013         return node ? rb_entry(node, struct mount, mnt_node) : NULL;
1014 }
1015
1016 static void mnt_add_to_ns(struct mnt_namespace *ns, struct mount *mnt)
1017 {
1018         struct rb_node **link = &ns->mounts.rb_node;
1019         struct rb_node *parent = NULL;
1020
1021         WARN_ON(mnt->mnt.mnt_flags & MNT_ONRB);
1022         mnt->mnt_ns = ns;
1023         while (*link) {
1024                 parent = *link;
1025                 if (mnt->mnt_id_unique < node_to_mount(parent)->mnt_id_unique)
1026                         link = &parent->rb_left;
1027                 else
1028                         link = &parent->rb_right;
1029         }
1030         rb_link_node(&mnt->mnt_node, parent, link);
1031         rb_insert_color(&mnt->mnt_node, &ns->mounts);
1032         mnt->mnt.mnt_flags |= MNT_ONRB;
1033 }
1034
1035 /*
1036  * vfsmount lock must be held for write
1037  */
1038 static void commit_tree(struct mount *mnt)
1039 {
1040         struct mount *parent = mnt->mnt_parent;
1041         struct mount *m;
1042         LIST_HEAD(head);
1043         struct mnt_namespace *n = parent->mnt_ns;
1044
1045         BUG_ON(parent == mnt);
1046
1047         list_add_tail(&head, &mnt->mnt_list);
1048         while (!list_empty(&head)) {
1049                 m = list_first_entry(&head, typeof(*m), mnt_list);
1050                 list_del(&m->mnt_list);
1051
1052                 mnt_add_to_ns(n, m);
1053         }
1054         n->nr_mounts += n->pending_mounts;
1055         n->pending_mounts = 0;
1056
1057         __attach_mnt(mnt, parent);
1058         touch_mnt_namespace(n);
1059 }
1060
1061 static struct mount *next_mnt(struct mount *p, struct mount *root)
1062 {
1063         struct list_head *next = p->mnt_mounts.next;
1064         if (next == &p->mnt_mounts) {
1065                 while (1) {
1066                         if (p == root)
1067                                 return NULL;
1068                         next = p->mnt_child.next;
1069                         if (next != &p->mnt_parent->mnt_mounts)
1070                                 break;
1071                         p = p->mnt_parent;
1072                 }
1073         }
1074         return list_entry(next, struct mount, mnt_child);
1075 }
1076
1077 static struct mount *skip_mnt_tree(struct mount *p)
1078 {
1079         struct list_head *prev = p->mnt_mounts.prev;
1080         while (prev != &p->mnt_mounts) {
1081                 p = list_entry(prev, struct mount, mnt_child);
1082                 prev = p->mnt_mounts.prev;
1083         }
1084         return p;
1085 }
1086
1087 /**
1088  * vfs_create_mount - Create a mount for a configured superblock
1089  * @fc: The configuration context with the superblock attached
1090  *
1091  * Create a mount to an already configured superblock.  If necessary, the
1092  * caller should invoke vfs_get_tree() before calling this.
1093  *
1094  * Note that this does not attach the mount to anything.
1095  */
1096 struct vfsmount *vfs_create_mount(struct fs_context *fc)
1097 {
1098         struct mount *mnt;
1099
1100         if (!fc->root)
1101                 return ERR_PTR(-EINVAL);
1102
1103         mnt = alloc_vfsmnt(fc->source ?: "none");
1104         if (!mnt)
1105                 return ERR_PTR(-ENOMEM);
1106
1107         if (fc->sb_flags & SB_KERNMOUNT)
1108                 mnt->mnt.mnt_flags = MNT_INTERNAL;
1109
1110         atomic_inc(&fc->root->d_sb->s_active);
1111         mnt->mnt.mnt_sb         = fc->root->d_sb;
1112         mnt->mnt.mnt_root       = dget(fc->root);
1113         mnt->mnt_mountpoint     = mnt->mnt.mnt_root;
1114         mnt->mnt_parent         = mnt;
1115
1116         lock_mount_hash();
1117         list_add_tail(&mnt->mnt_instance, &mnt->mnt.mnt_sb->s_mounts);
1118         unlock_mount_hash();
1119         return &mnt->mnt;
1120 }
1121 EXPORT_SYMBOL(vfs_create_mount);
1122
1123 struct vfsmount *fc_mount(struct fs_context *fc)
1124 {
1125         int err = vfs_get_tree(fc);
1126         if (!err) {
1127                 up_write(&fc->root->d_sb->s_umount);
1128                 return vfs_create_mount(fc);
1129         }
1130         return ERR_PTR(err);
1131 }
1132 EXPORT_SYMBOL(fc_mount);
1133
1134 struct vfsmount *vfs_kern_mount(struct file_system_type *type,
1135                                 int flags, const char *name,
1136                                 void *data)
1137 {
1138         struct fs_context *fc;
1139         struct vfsmount *mnt;
1140         int ret = 0;
1141
1142         if (!type)
1143                 return ERR_PTR(-EINVAL);
1144
1145         fc = fs_context_for_mount(type, flags);
1146         if (IS_ERR(fc))
1147                 return ERR_CAST(fc);
1148
1149         if (name)
1150                 ret = vfs_parse_fs_string(fc, "source",
1151                                           name, strlen(name));
1152         if (!ret)
1153                 ret = parse_monolithic_mount_data(fc, data);
1154         if (!ret)
1155                 mnt = fc_mount(fc);
1156         else
1157                 mnt = ERR_PTR(ret);
1158
1159         put_fs_context(fc);
1160         return mnt;
1161 }
1162 EXPORT_SYMBOL_GPL(vfs_kern_mount);
1163
1164 struct vfsmount *
1165 vfs_submount(const struct dentry *mountpoint, struct file_system_type *type,
1166              const char *name, void *data)
1167 {
1168         /* Until it is worked out how to pass the user namespace
1169          * through from the parent mount to the submount don't support
1170          * unprivileged mounts with submounts.
1171          */
1172         if (mountpoint->d_sb->s_user_ns != &init_user_ns)
1173                 return ERR_PTR(-EPERM);
1174
1175         return vfs_kern_mount(type, SB_SUBMOUNT, name, data);
1176 }
1177 EXPORT_SYMBOL_GPL(vfs_submount);
1178
1179 static struct mount *clone_mnt(struct mount *old, struct dentry *root,
1180                                         int flag)
1181 {
1182         struct super_block *sb = old->mnt.mnt_sb;
1183         struct mount *mnt;
1184         int err;
1185
1186         mnt = alloc_vfsmnt(old->mnt_devname);
1187         if (!mnt)
1188                 return ERR_PTR(-ENOMEM);
1189
1190         if (flag & (CL_SLAVE | CL_PRIVATE | CL_SHARED_TO_SLAVE))
1191                 mnt->mnt_group_id = 0; /* not a peer of original */
1192         else
1193                 mnt->mnt_group_id = old->mnt_group_id;
1194
1195         if ((flag & CL_MAKE_SHARED) && !mnt->mnt_group_id) {
1196                 err = mnt_alloc_group_id(mnt);
1197                 if (err)
1198                         goto out_free;
1199         }
1200
1201         mnt->mnt.mnt_flags = old->mnt.mnt_flags;
1202         mnt->mnt.mnt_flags &= ~(MNT_WRITE_HOLD|MNT_MARKED|MNT_INTERNAL|MNT_ONRB);
1203
1204         atomic_inc(&sb->s_active);
1205         mnt->mnt.mnt_idmap = mnt_idmap_get(mnt_idmap(&old->mnt));
1206
1207         mnt->mnt.mnt_sb = sb;
1208         mnt->mnt.mnt_root = dget(root);
1209         mnt->mnt_mountpoint = mnt->mnt.mnt_root;
1210         mnt->mnt_parent = mnt;
1211         lock_mount_hash();
1212         list_add_tail(&mnt->mnt_instance, &sb->s_mounts);
1213         unlock_mount_hash();
1214
1215         if ((flag & CL_SLAVE) ||
1216             ((flag & CL_SHARED_TO_SLAVE) && IS_MNT_SHARED(old))) {
1217                 list_add(&mnt->mnt_slave, &old->mnt_slave_list);
1218                 mnt->mnt_master = old;
1219                 CLEAR_MNT_SHARED(mnt);
1220         } else if (!(flag & CL_PRIVATE)) {
1221                 if ((flag & CL_MAKE_SHARED) || IS_MNT_SHARED(old))
1222                         list_add(&mnt->mnt_share, &old->mnt_share);
1223                 if (IS_MNT_SLAVE(old))
1224                         list_add(&mnt->mnt_slave, &old->mnt_slave);
1225                 mnt->mnt_master = old->mnt_master;
1226         } else {
1227                 CLEAR_MNT_SHARED(mnt);
1228         }
1229         if (flag & CL_MAKE_SHARED)
1230                 set_mnt_shared(mnt);
1231
1232         /* stick the duplicate mount on the same expiry list
1233          * as the original if that was on one */
1234         if (flag & CL_EXPIRE) {
1235                 if (!list_empty(&old->mnt_expire))
1236                         list_add(&mnt->mnt_expire, &old->mnt_expire);
1237         }
1238
1239         return mnt;
1240
1241  out_free:
1242         mnt_free_id(mnt);
1243         free_vfsmnt(mnt);
1244         return ERR_PTR(err);
1245 }
1246
1247 static void cleanup_mnt(struct mount *mnt)
1248 {
1249         struct hlist_node *p;
1250         struct mount *m;
1251         /*
1252          * The warning here probably indicates that somebody messed
1253          * up a mnt_want/drop_write() pair.  If this happens, the
1254          * filesystem was probably unable to make r/w->r/o transitions.
1255          * The locking used to deal with mnt_count decrement provides barriers,
1256          * so mnt_get_writers() below is safe.
1257          */
1258         WARN_ON(mnt_get_writers(mnt));
1259         if (unlikely(mnt->mnt_pins.first))
1260                 mnt_pin_kill(mnt);
1261         hlist_for_each_entry_safe(m, p, &mnt->mnt_stuck_children, mnt_umount) {
1262                 hlist_del(&m->mnt_umount);
1263                 mntput(&m->mnt);
1264         }
1265         fsnotify_vfsmount_delete(&mnt->mnt);
1266         dput(mnt->mnt.mnt_root);
1267         deactivate_super(mnt->mnt.mnt_sb);
1268         mnt_free_id(mnt);
1269         call_rcu(&mnt->mnt_rcu, delayed_free_vfsmnt);
1270 }
1271
1272 static void __cleanup_mnt(struct rcu_head *head)
1273 {
1274         cleanup_mnt(container_of(head, struct mount, mnt_rcu));
1275 }
1276
1277 static LLIST_HEAD(delayed_mntput_list);
1278 static void delayed_mntput(struct work_struct *unused)
1279 {
1280         struct llist_node *node = llist_del_all(&delayed_mntput_list);
1281         struct mount *m, *t;
1282
1283         llist_for_each_entry_safe(m, t, node, mnt_llist)
1284                 cleanup_mnt(m);
1285 }
1286 static DECLARE_DELAYED_WORK(delayed_mntput_work, delayed_mntput);
1287
1288 static void mntput_no_expire(struct mount *mnt)
1289 {
1290         LIST_HEAD(list);
1291         int count;
1292
1293         rcu_read_lock();
1294         if (likely(READ_ONCE(mnt->mnt_ns))) {
1295                 /*
1296                  * Since we don't do lock_mount_hash() here,
1297                  * ->mnt_ns can change under us.  However, if it's
1298                  * non-NULL, then there's a reference that won't
1299                  * be dropped until after an RCU delay done after
1300                  * turning ->mnt_ns NULL.  So if we observe it
1301                  * non-NULL under rcu_read_lock(), the reference
1302                  * we are dropping is not the final one.
1303                  */
1304                 mnt_add_count(mnt, -1);
1305                 rcu_read_unlock();
1306                 return;
1307         }
1308         lock_mount_hash();
1309         /*
1310          * make sure that if __legitimize_mnt() has not seen us grab
1311          * mount_lock, we'll see their refcount increment here.
1312          */
1313         smp_mb();
1314         mnt_add_count(mnt, -1);
1315         count = mnt_get_count(mnt);
1316         if (count != 0) {
1317                 WARN_ON(count < 0);
1318                 rcu_read_unlock();
1319                 unlock_mount_hash();
1320                 return;
1321         }
1322         if (unlikely(mnt->mnt.mnt_flags & MNT_DOOMED)) {
1323                 rcu_read_unlock();
1324                 unlock_mount_hash();
1325                 return;
1326         }
1327         mnt->mnt.mnt_flags |= MNT_DOOMED;
1328         rcu_read_unlock();
1329
1330         list_del(&mnt->mnt_instance);
1331
1332         if (unlikely(!list_empty(&mnt->mnt_mounts))) {
1333                 struct mount *p, *tmp;
1334                 list_for_each_entry_safe(p, tmp, &mnt->mnt_mounts,  mnt_child) {
1335                         __put_mountpoint(unhash_mnt(p), &list);
1336                         hlist_add_head(&p->mnt_umount, &mnt->mnt_stuck_children);
1337                 }
1338         }
1339         unlock_mount_hash();
1340         shrink_dentry_list(&list);
1341
1342         if (likely(!(mnt->mnt.mnt_flags & MNT_INTERNAL))) {
1343                 struct task_struct *task = current;
1344                 if (likely(!(task->flags & PF_KTHREAD))) {
1345                         init_task_work(&mnt->mnt_rcu, __cleanup_mnt);
1346                         if (!task_work_add(task, &mnt->mnt_rcu, TWA_RESUME))
1347                                 return;
1348                 }
1349                 if (llist_add(&mnt->mnt_llist, &delayed_mntput_list))
1350                         schedule_delayed_work(&delayed_mntput_work, 1);
1351                 return;
1352         }
1353         cleanup_mnt(mnt);
1354 }
1355
1356 void mntput(struct vfsmount *mnt)
1357 {
1358         if (mnt) {
1359                 struct mount *m = real_mount(mnt);
1360                 /* avoid cacheline pingpong */
1361                 if (unlikely(m->mnt_expiry_mark))
1362                         WRITE_ONCE(m->mnt_expiry_mark, 0);
1363                 mntput_no_expire(m);
1364         }
1365 }
1366 EXPORT_SYMBOL(mntput);
1367
1368 struct vfsmount *mntget(struct vfsmount *mnt)
1369 {
1370         if (mnt)
1371                 mnt_add_count(real_mount(mnt), 1);
1372         return mnt;
1373 }
1374 EXPORT_SYMBOL(mntget);
1375
1376 /*
1377  * Make a mount point inaccessible to new lookups.
1378  * Because there may still be current users, the caller MUST WAIT
1379  * for an RCU grace period before destroying the mount point.
1380  */
1381 void mnt_make_shortterm(struct vfsmount *mnt)
1382 {
1383         if (mnt)
1384                 real_mount(mnt)->mnt_ns = NULL;
1385 }
1386
1387 /**
1388  * path_is_mountpoint() - Check if path is a mount in the current namespace.
1389  * @path: path to check
1390  *
1391  *  d_mountpoint() can only be used reliably to establish if a dentry is
1392  *  not mounted in any namespace and that common case is handled inline.
1393  *  d_mountpoint() isn't aware of the possibility there may be multiple
1394  *  mounts using a given dentry in a different namespace. This function
1395  *  checks if the passed in path is a mountpoint rather than the dentry
1396  *  alone.
1397  */
1398 bool path_is_mountpoint(const struct path *path)
1399 {
1400         unsigned seq;
1401         bool res;
1402
1403         if (!d_mountpoint(path->dentry))
1404                 return false;
1405
1406         rcu_read_lock();
1407         do {
1408                 seq = read_seqbegin(&mount_lock);
1409                 res = __path_is_mountpoint(path);
1410         } while (read_seqretry(&mount_lock, seq));
1411         rcu_read_unlock();
1412
1413         return res;
1414 }
1415 EXPORT_SYMBOL(path_is_mountpoint);
1416
1417 struct vfsmount *mnt_clone_internal(const struct path *path)
1418 {
1419         struct mount *p;
1420         p = clone_mnt(real_mount(path->mnt), path->dentry, CL_PRIVATE);
1421         if (IS_ERR(p))
1422                 return ERR_CAST(p);
1423         p->mnt.mnt_flags |= MNT_INTERNAL;
1424         return &p->mnt;
1425 }
1426
1427 /*
1428  * Returns the mount which either has the specified mnt_id, or has the next
1429  * smallest id afer the specified one.
1430  */
1431 static struct mount *mnt_find_id_at(struct mnt_namespace *ns, u64 mnt_id)
1432 {
1433         struct rb_node *node = ns->mounts.rb_node;
1434         struct mount *ret = NULL;
1435
1436         while (node) {
1437                 struct mount *m = node_to_mount(node);
1438
1439                 if (mnt_id <= m->mnt_id_unique) {
1440                         ret = node_to_mount(node);
1441                         if (mnt_id == m->mnt_id_unique)
1442                                 break;
1443                         node = node->rb_left;
1444                 } else {
1445                         node = node->rb_right;
1446                 }
1447         }
1448         return ret;
1449 }
1450
1451 #ifdef CONFIG_PROC_FS
1452
1453 /* iterator; we want it to have access to namespace_sem, thus here... */
1454 static void *m_start(struct seq_file *m, loff_t *pos)
1455 {
1456         struct proc_mounts *p = m->private;
1457
1458         down_read(&namespace_sem);
1459
1460         return mnt_find_id_at(p->ns, *pos);
1461 }
1462
1463 static void *m_next(struct seq_file *m, void *v, loff_t *pos)
1464 {
1465         struct mount *next = NULL, *mnt = v;
1466         struct rb_node *node = rb_next(&mnt->mnt_node);
1467
1468         ++*pos;
1469         if (node) {
1470                 next = node_to_mount(node);
1471                 *pos = next->mnt_id_unique;
1472         }
1473         return next;
1474 }
1475
1476 static void m_stop(struct seq_file *m, void *v)
1477 {
1478         up_read(&namespace_sem);
1479 }
1480
1481 static int m_show(struct seq_file *m, void *v)
1482 {
1483         struct proc_mounts *p = m->private;
1484         struct mount *r = v;
1485         return p->show(m, &r->mnt);
1486 }
1487
1488 const struct seq_operations mounts_op = {
1489         .start  = m_start,
1490         .next   = m_next,
1491         .stop   = m_stop,
1492         .show   = m_show,
1493 };
1494
1495 #endif  /* CONFIG_PROC_FS */
1496
1497 /**
1498  * may_umount_tree - check if a mount tree is busy
1499  * @m: root of mount tree
1500  *
1501  * This is called to check if a tree of mounts has any
1502  * open files, pwds, chroots or sub mounts that are
1503  * busy.
1504  */
1505 int may_umount_tree(struct vfsmount *m)
1506 {
1507         struct mount *mnt = real_mount(m);
1508         int actual_refs = 0;
1509         int minimum_refs = 0;
1510         struct mount *p;
1511         BUG_ON(!m);
1512
1513         /* write lock needed for mnt_get_count */
1514         lock_mount_hash();
1515         for (p = mnt; p; p = next_mnt(p, mnt)) {
1516                 actual_refs += mnt_get_count(p);
1517                 minimum_refs += 2;
1518         }
1519         unlock_mount_hash();
1520
1521         if (actual_refs > minimum_refs)
1522                 return 0;
1523
1524         return 1;
1525 }
1526
1527 EXPORT_SYMBOL(may_umount_tree);
1528
1529 /**
1530  * may_umount - check if a mount point is busy
1531  * @mnt: root of mount
1532  *
1533  * This is called to check if a mount point has any
1534  * open files, pwds, chroots or sub mounts. If the
1535  * mount has sub mounts this will return busy
1536  * regardless of whether the sub mounts are busy.
1537  *
1538  * Doesn't take quota and stuff into account. IOW, in some cases it will
1539  * give false negatives. The main reason why it's here is that we need
1540  * a non-destructive way to look for easily umountable filesystems.
1541  */
1542 int may_umount(struct vfsmount *mnt)
1543 {
1544         int ret = 1;
1545         down_read(&namespace_sem);
1546         lock_mount_hash();
1547         if (propagate_mount_busy(real_mount(mnt), 2))
1548                 ret = 0;
1549         unlock_mount_hash();
1550         up_read(&namespace_sem);
1551         return ret;
1552 }
1553
1554 EXPORT_SYMBOL(may_umount);
1555
1556 static void namespace_unlock(void)
1557 {
1558         struct hlist_head head;
1559         struct hlist_node *p;
1560         struct mount *m;
1561         LIST_HEAD(list);
1562
1563         hlist_move_list(&unmounted, &head);
1564         list_splice_init(&ex_mountpoints, &list);
1565
1566         up_write(&namespace_sem);
1567
1568         shrink_dentry_list(&list);
1569
1570         if (likely(hlist_empty(&head)))
1571                 return;
1572
1573         synchronize_rcu_expedited();
1574
1575         hlist_for_each_entry_safe(m, p, &head, mnt_umount) {
1576                 hlist_del(&m->mnt_umount);
1577                 mntput(&m->mnt);
1578         }
1579 }
1580
1581 static inline void namespace_lock(void)
1582 {
1583         down_write(&namespace_sem);
1584 }
1585
1586 enum umount_tree_flags {
1587         UMOUNT_SYNC = 1,
1588         UMOUNT_PROPAGATE = 2,
1589         UMOUNT_CONNECTED = 4,
1590 };
1591
1592 static bool disconnect_mount(struct mount *mnt, enum umount_tree_flags how)
1593 {
1594         /* Leaving mounts connected is only valid for lazy umounts */
1595         if (how & UMOUNT_SYNC)
1596                 return true;
1597
1598         /* A mount without a parent has nothing to be connected to */
1599         if (!mnt_has_parent(mnt))
1600                 return true;
1601
1602         /* Because the reference counting rules change when mounts are
1603          * unmounted and connected, umounted mounts may not be
1604          * connected to mounted mounts.
1605          */
1606         if (!(mnt->mnt_parent->mnt.mnt_flags & MNT_UMOUNT))
1607                 return true;
1608
1609         /* Has it been requested that the mount remain connected? */
1610         if (how & UMOUNT_CONNECTED)
1611                 return false;
1612
1613         /* Is the mount locked such that it needs to remain connected? */
1614         if (IS_MNT_LOCKED(mnt))
1615                 return false;
1616
1617         /* By default disconnect the mount */
1618         return true;
1619 }
1620
1621 /*
1622  * mount_lock must be held
1623  * namespace_sem must be held for write
1624  */
1625 static void umount_tree(struct mount *mnt, enum umount_tree_flags how)
1626 {
1627         LIST_HEAD(tmp_list);
1628         struct mount *p;
1629
1630         if (how & UMOUNT_PROPAGATE)
1631                 propagate_mount_unlock(mnt);
1632
1633         /* Gather the mounts to umount */
1634         for (p = mnt; p; p = next_mnt(p, mnt)) {
1635                 p->mnt.mnt_flags |= MNT_UMOUNT;
1636                 if (p->mnt.mnt_flags & MNT_ONRB)
1637                         move_from_ns(p, &tmp_list);
1638                 else
1639                         list_move(&p->mnt_list, &tmp_list);
1640         }
1641
1642         /* Hide the mounts from mnt_mounts */
1643         list_for_each_entry(p, &tmp_list, mnt_list) {
1644                 list_del_init(&p->mnt_child);
1645         }
1646
1647         /* Add propogated mounts to the tmp_list */
1648         if (how & UMOUNT_PROPAGATE)
1649                 propagate_umount(&tmp_list);
1650
1651         while (!list_empty(&tmp_list)) {
1652                 struct mnt_namespace *ns;
1653                 bool disconnect;
1654                 p = list_first_entry(&tmp_list, struct mount, mnt_list);
1655                 list_del_init(&p->mnt_expire);
1656                 list_del_init(&p->mnt_list);
1657                 ns = p->mnt_ns;
1658                 if (ns) {
1659                         ns->nr_mounts--;
1660                         __touch_mnt_namespace(ns);
1661                 }
1662                 p->mnt_ns = NULL;
1663                 if (how & UMOUNT_SYNC)
1664                         p->mnt.mnt_flags |= MNT_SYNC_UMOUNT;
1665
1666                 disconnect = disconnect_mount(p, how);
1667                 if (mnt_has_parent(p)) {
1668                         mnt_add_count(p->mnt_parent, -1);
1669                         if (!disconnect) {
1670                                 /* Don't forget about p */
1671                                 list_add_tail(&p->mnt_child, &p->mnt_parent->mnt_mounts);
1672                         } else {
1673                                 umount_mnt(p);
1674                         }
1675                 }
1676                 change_mnt_propagation(p, MS_PRIVATE);
1677                 if (disconnect)
1678                         hlist_add_head(&p->mnt_umount, &unmounted);
1679         }
1680 }
1681
1682 static void shrink_submounts(struct mount *mnt);
1683
1684 static int do_umount_root(struct super_block *sb)
1685 {
1686         int ret = 0;
1687
1688         down_write(&sb->s_umount);
1689         if (!sb_rdonly(sb)) {
1690                 struct fs_context *fc;
1691
1692                 fc = fs_context_for_reconfigure(sb->s_root, SB_RDONLY,
1693                                                 SB_RDONLY);
1694                 if (IS_ERR(fc)) {
1695                         ret = PTR_ERR(fc);
1696                 } else {
1697                         ret = parse_monolithic_mount_data(fc, NULL);
1698                         if (!ret)
1699                                 ret = reconfigure_super(fc);
1700                         put_fs_context(fc);
1701                 }
1702         }
1703         up_write(&sb->s_umount);
1704         return ret;
1705 }
1706
1707 static int do_umount(struct mount *mnt, int flags)
1708 {
1709         struct super_block *sb = mnt->mnt.mnt_sb;
1710         int retval;
1711
1712         retval = security_sb_umount(&mnt->mnt, flags);
1713         if (retval)
1714                 return retval;
1715
1716         /*
1717          * Allow userspace to request a mountpoint be expired rather than
1718          * unmounting unconditionally. Unmount only happens if:
1719          *  (1) the mark is already set (the mark is cleared by mntput())
1720          *  (2) the usage count == 1 [parent vfsmount] + 1 [sys_umount]
1721          */
1722         if (flags & MNT_EXPIRE) {
1723                 if (&mnt->mnt == current->fs->root.mnt ||
1724                     flags & (MNT_FORCE | MNT_DETACH))
1725                         return -EINVAL;
1726
1727                 /*
1728                  * probably don't strictly need the lock here if we examined
1729                  * all race cases, but it's a slowpath.
1730                  */
1731                 lock_mount_hash();
1732                 if (mnt_get_count(mnt) != 2) {
1733                         unlock_mount_hash();
1734                         return -EBUSY;
1735                 }
1736                 unlock_mount_hash();
1737
1738                 if (!xchg(&mnt->mnt_expiry_mark, 1))
1739                         return -EAGAIN;
1740         }
1741
1742         /*
1743          * If we may have to abort operations to get out of this
1744          * mount, and they will themselves hold resources we must
1745          * allow the fs to do things. In the Unix tradition of
1746          * 'Gee thats tricky lets do it in userspace' the umount_begin
1747          * might fail to complete on the first run through as other tasks
1748          * must return, and the like. Thats for the mount program to worry
1749          * about for the moment.
1750          */
1751
1752         if (flags & MNT_FORCE && sb->s_op->umount_begin) {
1753                 sb->s_op->umount_begin(sb);
1754         }
1755
1756         /*
1757          * No sense to grab the lock for this test, but test itself looks
1758          * somewhat bogus. Suggestions for better replacement?
1759          * Ho-hum... In principle, we might treat that as umount + switch
1760          * to rootfs. GC would eventually take care of the old vfsmount.
1761          * Actually it makes sense, especially if rootfs would contain a
1762          * /reboot - static binary that would close all descriptors and
1763          * call reboot(9). Then init(8) could umount root and exec /reboot.
1764          */
1765         if (&mnt->mnt == current->fs->root.mnt && !(flags & MNT_DETACH)) {
1766                 /*
1767                  * Special case for "unmounting" root ...
1768                  * we just try to remount it readonly.
1769                  */
1770                 if (!ns_capable(sb->s_user_ns, CAP_SYS_ADMIN))
1771                         return -EPERM;
1772                 return do_umount_root(sb);
1773         }
1774
1775         namespace_lock();
1776         lock_mount_hash();
1777
1778         /* Recheck MNT_LOCKED with the locks held */
1779         retval = -EINVAL;
1780         if (mnt->mnt.mnt_flags & MNT_LOCKED)
1781                 goto out;
1782
1783         event++;
1784         if (flags & MNT_DETACH) {
1785                 if (mnt->mnt.mnt_flags & MNT_ONRB ||
1786                     !list_empty(&mnt->mnt_list))
1787                         umount_tree(mnt, UMOUNT_PROPAGATE);
1788                 retval = 0;
1789         } else {
1790                 shrink_submounts(mnt);
1791                 retval = -EBUSY;
1792                 if (!propagate_mount_busy(mnt, 2)) {
1793                         if (mnt->mnt.mnt_flags & MNT_ONRB ||
1794                             !list_empty(&mnt->mnt_list))
1795                                 umount_tree(mnt, UMOUNT_PROPAGATE|UMOUNT_SYNC);
1796                         retval = 0;
1797                 }
1798         }
1799 out:
1800         unlock_mount_hash();
1801         namespace_unlock();
1802         return retval;
1803 }
1804
1805 /*
1806  * __detach_mounts - lazily unmount all mounts on the specified dentry
1807  *
1808  * During unlink, rmdir, and d_drop it is possible to loose the path
1809  * to an existing mountpoint, and wind up leaking the mount.
1810  * detach_mounts allows lazily unmounting those mounts instead of
1811  * leaking them.
1812  *
1813  * The caller may hold dentry->d_inode->i_mutex.
1814  */
1815 void __detach_mounts(struct dentry *dentry)
1816 {
1817         struct mountpoint *mp;
1818         struct mount *mnt;
1819
1820         namespace_lock();
1821         lock_mount_hash();
1822         mp = lookup_mountpoint(dentry);
1823         if (!mp)
1824                 goto out_unlock;
1825
1826         event++;
1827         while (!hlist_empty(&mp->m_list)) {
1828                 mnt = hlist_entry(mp->m_list.first, struct mount, mnt_mp_list);
1829                 if (mnt->mnt.mnt_flags & MNT_UMOUNT) {
1830                         umount_mnt(mnt);
1831                         hlist_add_head(&mnt->mnt_umount, &unmounted);
1832                 }
1833                 else umount_tree(mnt, UMOUNT_CONNECTED);
1834         }
1835         put_mountpoint(mp);
1836 out_unlock:
1837         unlock_mount_hash();
1838         namespace_unlock();
1839 }
1840
1841 /*
1842  * Is the caller allowed to modify his namespace?
1843  */
1844 bool may_mount(void)
1845 {
1846         return ns_capable(current->nsproxy->mnt_ns->user_ns, CAP_SYS_ADMIN);
1847 }
1848
1849 /**
1850  * path_mounted - check whether path is mounted
1851  * @path: path to check
1852  *
1853  * Determine whether @path refers to the root of a mount.
1854  *
1855  * Return: true if @path is the root of a mount, false if not.
1856  */
1857 static inline bool path_mounted(const struct path *path)
1858 {
1859         return path->mnt->mnt_root == path->dentry;
1860 }
1861
1862 static void warn_mandlock(void)
1863 {
1864         pr_warn_once("=======================================================\n"
1865                      "WARNING: The mand mount option has been deprecated and\n"
1866                      "         and is ignored by this kernel. Remove the mand\n"
1867                      "         option from the mount to silence this warning.\n"
1868                      "=======================================================\n");
1869 }
1870
1871 static int can_umount(const struct path *path, int flags)
1872 {
1873         struct mount *mnt = real_mount(path->mnt);
1874
1875         if (!may_mount())
1876                 return -EPERM;
1877         if (!path_mounted(path))
1878                 return -EINVAL;
1879         if (!check_mnt(mnt))
1880                 return -EINVAL;
1881         if (mnt->mnt.mnt_flags & MNT_LOCKED) /* Check optimistically */
1882                 return -EINVAL;
1883         if (flags & MNT_FORCE && !capable(CAP_SYS_ADMIN))
1884                 return -EPERM;
1885         return 0;
1886 }
1887
1888 // caller is responsible for flags being sane
1889 int path_umount(struct path *path, int flags)
1890 {
1891         struct mount *mnt = real_mount(path->mnt);
1892         int ret;
1893
1894         ret = can_umount(path, flags);
1895         if (!ret)
1896                 ret = do_umount(mnt, flags);
1897
1898         /* we mustn't call path_put() as that would clear mnt_expiry_mark */
1899         dput(path->dentry);
1900         mntput_no_expire(mnt);
1901         return ret;
1902 }
1903
1904 static int ksys_umount(char __user *name, int flags)
1905 {
1906         int lookup_flags = LOOKUP_MOUNTPOINT;
1907         struct path path;
1908         int ret;
1909
1910         // basic validity checks done first
1911         if (flags & ~(MNT_FORCE | MNT_DETACH | MNT_EXPIRE | UMOUNT_NOFOLLOW))
1912                 return -EINVAL;
1913
1914         if (!(flags & UMOUNT_NOFOLLOW))
1915                 lookup_flags |= LOOKUP_FOLLOW;
1916         ret = user_path_at(AT_FDCWD, name, lookup_flags, &path);
1917         if (ret)
1918                 return ret;
1919         return path_umount(&path, flags);
1920 }
1921
1922 SYSCALL_DEFINE2(umount, char __user *, name, int, flags)
1923 {
1924         return ksys_umount(name, flags);
1925 }
1926
1927 #ifdef __ARCH_WANT_SYS_OLDUMOUNT
1928
1929 /*
1930  *      The 2.0 compatible umount. No flags.
1931  */
1932 SYSCALL_DEFINE1(oldumount, char __user *, name)
1933 {
1934         return ksys_umount(name, 0);
1935 }
1936
1937 #endif
1938
1939 static bool is_mnt_ns_file(struct dentry *dentry)
1940 {
1941         /* Is this a proxy for a mount namespace? */
1942         return dentry->d_op == &ns_dentry_operations &&
1943                dentry->d_fsdata == &mntns_operations;
1944 }
1945
1946 static struct mnt_namespace *to_mnt_ns(struct ns_common *ns)
1947 {
1948         return container_of(ns, struct mnt_namespace, ns);
1949 }
1950
1951 struct ns_common *from_mnt_ns(struct mnt_namespace *mnt)
1952 {
1953         return &mnt->ns;
1954 }
1955
1956 static bool mnt_ns_loop(struct dentry *dentry)
1957 {
1958         /* Could bind mounting the mount namespace inode cause a
1959          * mount namespace loop?
1960          */
1961         struct mnt_namespace *mnt_ns;
1962         if (!is_mnt_ns_file(dentry))
1963                 return false;
1964
1965         mnt_ns = to_mnt_ns(get_proc_ns(dentry->d_inode));
1966         return current->nsproxy->mnt_ns->seq >= mnt_ns->seq;
1967 }
1968
1969 struct mount *copy_tree(struct mount *mnt, struct dentry *dentry,
1970                                         int flag)
1971 {
1972         struct mount *res, *p, *q, *r, *parent;
1973
1974         if (!(flag & CL_COPY_UNBINDABLE) && IS_MNT_UNBINDABLE(mnt))
1975                 return ERR_PTR(-EINVAL);
1976
1977         if (!(flag & CL_COPY_MNT_NS_FILE) && is_mnt_ns_file(dentry))
1978                 return ERR_PTR(-EINVAL);
1979
1980         res = q = clone_mnt(mnt, dentry, flag);
1981         if (IS_ERR(q))
1982                 return q;
1983
1984         q->mnt_mountpoint = mnt->mnt_mountpoint;
1985
1986         p = mnt;
1987         list_for_each_entry(r, &mnt->mnt_mounts, mnt_child) {
1988                 struct mount *s;
1989                 if (!is_subdir(r->mnt_mountpoint, dentry))
1990                         continue;
1991
1992                 for (s = r; s; s = next_mnt(s, r)) {
1993                         if (!(flag & CL_COPY_UNBINDABLE) &&
1994                             IS_MNT_UNBINDABLE(s)) {
1995                                 if (s->mnt.mnt_flags & MNT_LOCKED) {
1996                                         /* Both unbindable and locked. */
1997                                         q = ERR_PTR(-EPERM);
1998                                         goto out;
1999                                 } else {
2000                                         s = skip_mnt_tree(s);
2001                                         continue;
2002                                 }
2003                         }
2004                         if (!(flag & CL_COPY_MNT_NS_FILE) &&
2005                             is_mnt_ns_file(s->mnt.mnt_root)) {
2006                                 s = skip_mnt_tree(s);
2007                                 continue;
2008                         }
2009                         while (p != s->mnt_parent) {
2010                                 p = p->mnt_parent;
2011                                 q = q->mnt_parent;
2012                         }
2013                         p = s;
2014                         parent = q;
2015                         q = clone_mnt(p, p->mnt.mnt_root, flag);
2016                         if (IS_ERR(q))
2017                                 goto out;
2018                         lock_mount_hash();
2019                         list_add_tail(&q->mnt_list, &res->mnt_list);
2020                         attach_mnt(q, parent, p->mnt_mp, false);
2021                         unlock_mount_hash();
2022                 }
2023         }
2024         return res;
2025 out:
2026         if (res) {
2027                 lock_mount_hash();
2028                 umount_tree(res, UMOUNT_SYNC);
2029                 unlock_mount_hash();
2030         }
2031         return q;
2032 }
2033
2034 /* Caller should check returned pointer for errors */
2035
2036 struct vfsmount *collect_mounts(const struct path *path)
2037 {
2038         struct mount *tree;
2039         namespace_lock();
2040         if (!check_mnt(real_mount(path->mnt)))
2041                 tree = ERR_PTR(-EINVAL);
2042         else
2043                 tree = copy_tree(real_mount(path->mnt), path->dentry,
2044                                  CL_COPY_ALL | CL_PRIVATE);
2045         namespace_unlock();
2046         if (IS_ERR(tree))
2047                 return ERR_CAST(tree);
2048         return &tree->mnt;
2049 }
2050
2051 static void free_mnt_ns(struct mnt_namespace *);
2052 static struct mnt_namespace *alloc_mnt_ns(struct user_namespace *, bool);
2053
2054 void dissolve_on_fput(struct vfsmount *mnt)
2055 {
2056         struct mnt_namespace *ns;
2057         namespace_lock();
2058         lock_mount_hash();
2059         ns = real_mount(mnt)->mnt_ns;
2060         if (ns) {
2061                 if (is_anon_ns(ns))
2062                         umount_tree(real_mount(mnt), UMOUNT_CONNECTED);
2063                 else
2064                         ns = NULL;
2065         }
2066         unlock_mount_hash();
2067         namespace_unlock();
2068         if (ns)
2069                 free_mnt_ns(ns);
2070 }
2071
2072 void drop_collected_mounts(struct vfsmount *mnt)
2073 {
2074         namespace_lock();
2075         lock_mount_hash();
2076         umount_tree(real_mount(mnt), 0);
2077         unlock_mount_hash();
2078         namespace_unlock();
2079 }
2080
2081 static bool has_locked_children(struct mount *mnt, struct dentry *dentry)
2082 {
2083         struct mount *child;
2084
2085         list_for_each_entry(child, &mnt->mnt_mounts, mnt_child) {
2086                 if (!is_subdir(child->mnt_mountpoint, dentry))
2087                         continue;
2088
2089                 if (child->mnt.mnt_flags & MNT_LOCKED)
2090                         return true;
2091         }
2092         return false;
2093 }
2094
2095 /**
2096  * clone_private_mount - create a private clone of a path
2097  * @path: path to clone
2098  *
2099  * This creates a new vfsmount, which will be the clone of @path.  The new mount
2100  * will not be attached anywhere in the namespace and will be private (i.e.
2101  * changes to the originating mount won't be propagated into this).
2102  *
2103  * Release with mntput().
2104  */
2105 struct vfsmount *clone_private_mount(const struct path *path)
2106 {
2107         struct mount *old_mnt = real_mount(path->mnt);
2108         struct mount *new_mnt;
2109
2110         down_read(&namespace_sem);
2111         if (IS_MNT_UNBINDABLE(old_mnt))
2112                 goto invalid;
2113
2114         if (!check_mnt(old_mnt))
2115                 goto invalid;
2116
2117         if (has_locked_children(old_mnt, path->dentry))
2118                 goto invalid;
2119
2120         new_mnt = clone_mnt(old_mnt, path->dentry, CL_PRIVATE);
2121         up_read(&namespace_sem);
2122
2123         if (IS_ERR(new_mnt))
2124                 return ERR_CAST(new_mnt);
2125
2126         /* Longterm mount to be removed by kern_unmount*() */
2127         new_mnt->mnt_ns = MNT_NS_INTERNAL;
2128
2129         return &new_mnt->mnt;
2130
2131 invalid:
2132         up_read(&namespace_sem);
2133         return ERR_PTR(-EINVAL);
2134 }
2135 EXPORT_SYMBOL_GPL(clone_private_mount);
2136
2137 int iterate_mounts(int (*f)(struct vfsmount *, void *), void *arg,
2138                    struct vfsmount *root)
2139 {
2140         struct mount *mnt;
2141         int res = f(root, arg);
2142         if (res)
2143                 return res;
2144         list_for_each_entry(mnt, &real_mount(root)->mnt_list, mnt_list) {
2145                 res = f(&mnt->mnt, arg);
2146                 if (res)
2147                         return res;
2148         }
2149         return 0;
2150 }
2151
2152 static void lock_mnt_tree(struct mount *mnt)
2153 {
2154         struct mount *p;
2155
2156         for (p = mnt; p; p = next_mnt(p, mnt)) {
2157                 int flags = p->mnt.mnt_flags;
2158                 /* Don't allow unprivileged users to change mount flags */
2159                 flags |= MNT_LOCK_ATIME;
2160
2161                 if (flags & MNT_READONLY)
2162                         flags |= MNT_LOCK_READONLY;
2163
2164                 if (flags & MNT_NODEV)
2165                         flags |= MNT_LOCK_NODEV;
2166
2167                 if (flags & MNT_NOSUID)
2168                         flags |= MNT_LOCK_NOSUID;
2169
2170                 if (flags & MNT_NOEXEC)
2171                         flags |= MNT_LOCK_NOEXEC;
2172                 /* Don't allow unprivileged users to reveal what is under a mount */
2173                 if (list_empty(&p->mnt_expire))
2174                         flags |= MNT_LOCKED;
2175                 p->mnt.mnt_flags = flags;
2176         }
2177 }
2178
2179 static void cleanup_group_ids(struct mount *mnt, struct mount *end)
2180 {
2181         struct mount *p;
2182
2183         for (p = mnt; p != end; p = next_mnt(p, mnt)) {
2184                 if (p->mnt_group_id && !IS_MNT_SHARED(p))
2185                         mnt_release_group_id(p);
2186         }
2187 }
2188
2189 static int invent_group_ids(struct mount *mnt, bool recurse)
2190 {
2191         struct mount *p;
2192
2193         for (p = mnt; p; p = recurse ? next_mnt(p, mnt) : NULL) {
2194                 if (!p->mnt_group_id && !IS_MNT_SHARED(p)) {
2195                         int err = mnt_alloc_group_id(p);
2196                         if (err) {
2197                                 cleanup_group_ids(mnt, p);
2198                                 return err;
2199                         }
2200                 }
2201         }
2202
2203         return 0;
2204 }
2205
2206 int count_mounts(struct mnt_namespace *ns, struct mount *mnt)
2207 {
2208         unsigned int max = READ_ONCE(sysctl_mount_max);
2209         unsigned int mounts = 0;
2210         struct mount *p;
2211
2212         if (ns->nr_mounts >= max)
2213                 return -ENOSPC;
2214         max -= ns->nr_mounts;
2215         if (ns->pending_mounts >= max)
2216                 return -ENOSPC;
2217         max -= ns->pending_mounts;
2218
2219         for (p = mnt; p; p = next_mnt(p, mnt))
2220                 mounts++;
2221
2222         if (mounts > max)
2223                 return -ENOSPC;
2224
2225         ns->pending_mounts += mounts;
2226         return 0;
2227 }
2228
2229 enum mnt_tree_flags_t {
2230         MNT_TREE_MOVE = BIT(0),
2231         MNT_TREE_BENEATH = BIT(1),
2232 };
2233
2234 /**
2235  * attach_recursive_mnt - attach a source mount tree
2236  * @source_mnt: mount tree to be attached
2237  * @top_mnt:    mount that @source_mnt will be mounted on or mounted beneath
2238  * @dest_mp:    the mountpoint @source_mnt will be mounted at
2239  * @flags:      modify how @source_mnt is supposed to be attached
2240  *
2241  *  NOTE: in the table below explains the semantics when a source mount
2242  *  of a given type is attached to a destination mount of a given type.
2243  * ---------------------------------------------------------------------------
2244  * |         BIND MOUNT OPERATION                                            |
2245  * |**************************************************************************
2246  * | source-->| shared        |       private  |       slave    | unbindable |
2247  * | dest     |               |                |                |            |
2248  * |   |      |               |                |                |            |
2249  * |   v      |               |                |                |            |
2250  * |**************************************************************************
2251  * |  shared  | shared (++)   |     shared (+) |     shared(+++)|  invalid   |
2252  * |          |               |                |                |            |
2253  * |non-shared| shared (+)    |      private   |      slave (*) |  invalid   |
2254  * ***************************************************************************
2255  * A bind operation clones the source mount and mounts the clone on the
2256  * destination mount.
2257  *
2258  * (++)  the cloned mount is propagated to all the mounts in the propagation
2259  *       tree of the destination mount and the cloned mount is added to
2260  *       the peer group of the source mount.
2261  * (+)   the cloned mount is created under the destination mount and is marked
2262  *       as shared. The cloned mount is added to the peer group of the source
2263  *       mount.
2264  * (+++) the mount is propagated to all the mounts in the propagation tree
2265  *       of the destination mount and the cloned mount is made slave
2266  *       of the same master as that of the source mount. The cloned mount
2267  *       is marked as 'shared and slave'.
2268  * (*)   the cloned mount is made a slave of the same master as that of the
2269  *       source mount.
2270  *
2271  * ---------------------------------------------------------------------------
2272  * |                    MOVE MOUNT OPERATION                                 |
2273  * |**************************************************************************
2274  * | source-->| shared        |       private  |       slave    | unbindable |
2275  * | dest     |               |                |                |            |
2276  * |   |      |               |                |                |            |
2277  * |   v      |               |                |                |            |
2278  * |**************************************************************************
2279  * |  shared  | shared (+)    |     shared (+) |    shared(+++) |  invalid   |
2280  * |          |               |                |                |            |
2281  * |non-shared| shared (+*)   |      private   |    slave (*)   | unbindable |
2282  * ***************************************************************************
2283  *
2284  * (+)  the mount is moved to the destination. And is then propagated to
2285  *      all the mounts in the propagation tree of the destination mount.
2286  * (+*)  the mount is moved to the destination.
2287  * (+++)  the mount is moved to the destination and is then propagated to
2288  *      all the mounts belonging to the destination mount's propagation tree.
2289  *      the mount is marked as 'shared and slave'.
2290  * (*)  the mount continues to be a slave at the new location.
2291  *
2292  * if the source mount is a tree, the operations explained above is
2293  * applied to each mount in the tree.
2294  * Must be called without spinlocks held, since this function can sleep
2295  * in allocations.
2296  *
2297  * Context: The function expects namespace_lock() to be held.
2298  * Return: If @source_mnt was successfully attached 0 is returned.
2299  *         Otherwise a negative error code is returned.
2300  */
2301 static int attach_recursive_mnt(struct mount *source_mnt,
2302                                 struct mount *top_mnt,
2303                                 struct mountpoint *dest_mp,
2304                                 enum mnt_tree_flags_t flags)
2305 {
2306         struct user_namespace *user_ns = current->nsproxy->mnt_ns->user_ns;
2307         HLIST_HEAD(tree_list);
2308         struct mnt_namespace *ns = top_mnt->mnt_ns;
2309         struct mountpoint *smp;
2310         struct mount *child, *dest_mnt, *p;
2311         struct hlist_node *n;
2312         int err = 0;
2313         bool moving = flags & MNT_TREE_MOVE, beneath = flags & MNT_TREE_BENEATH;
2314
2315         /*
2316          * Preallocate a mountpoint in case the new mounts need to be
2317          * mounted beneath mounts on the same mountpoint.
2318          */
2319         smp = get_mountpoint(source_mnt->mnt.mnt_root);
2320         if (IS_ERR(smp))
2321                 return PTR_ERR(smp);
2322
2323         /* Is there space to add these mounts to the mount namespace? */
2324         if (!moving) {
2325                 err = count_mounts(ns, source_mnt);
2326                 if (err)
2327                         goto out;
2328         }
2329
2330         if (beneath)
2331                 dest_mnt = top_mnt->mnt_parent;
2332         else
2333                 dest_mnt = top_mnt;
2334
2335         if (IS_MNT_SHARED(dest_mnt)) {
2336                 err = invent_group_ids(source_mnt, true);
2337                 if (err)
2338                         goto out;
2339                 err = propagate_mnt(dest_mnt, dest_mp, source_mnt, &tree_list);
2340         }
2341         lock_mount_hash();
2342         if (err)
2343                 goto out_cleanup_ids;
2344
2345         if (IS_MNT_SHARED(dest_mnt)) {
2346                 for (p = source_mnt; p; p = next_mnt(p, source_mnt))
2347                         set_mnt_shared(p);
2348         }
2349
2350         if (moving) {
2351                 if (beneath)
2352                         dest_mp = smp;
2353                 unhash_mnt(source_mnt);
2354                 attach_mnt(source_mnt, top_mnt, dest_mp, beneath);
2355                 touch_mnt_namespace(source_mnt->mnt_ns);
2356         } else {
2357                 if (source_mnt->mnt_ns) {
2358                         LIST_HEAD(head);
2359
2360                         /* move from anon - the caller will destroy */
2361                         for (p = source_mnt; p; p = next_mnt(p, source_mnt))
2362                                 move_from_ns(p, &head);
2363                         list_del_init(&head);
2364                 }
2365                 if (beneath)
2366                         mnt_set_mountpoint_beneath(source_mnt, top_mnt, smp);
2367                 else
2368                         mnt_set_mountpoint(dest_mnt, dest_mp, source_mnt);
2369                 commit_tree(source_mnt);
2370         }
2371
2372         hlist_for_each_entry_safe(child, n, &tree_list, mnt_hash) {
2373                 struct mount *q;
2374                 hlist_del_init(&child->mnt_hash);
2375                 q = __lookup_mnt(&child->mnt_parent->mnt,
2376                                  child->mnt_mountpoint);
2377                 if (q)
2378                         mnt_change_mountpoint(child, smp, q);
2379                 /* Notice when we are propagating across user namespaces */
2380                 if (child->mnt_parent->mnt_ns->user_ns != user_ns)
2381                         lock_mnt_tree(child);
2382                 child->mnt.mnt_flags &= ~MNT_LOCKED;
2383                 commit_tree(child);
2384         }
2385         put_mountpoint(smp);
2386         unlock_mount_hash();
2387
2388         return 0;
2389
2390  out_cleanup_ids:
2391         while (!hlist_empty(&tree_list)) {
2392                 child = hlist_entry(tree_list.first, struct mount, mnt_hash);
2393                 child->mnt_parent->mnt_ns->pending_mounts = 0;
2394                 umount_tree(child, UMOUNT_SYNC);
2395         }
2396         unlock_mount_hash();
2397         cleanup_group_ids(source_mnt, NULL);
2398  out:
2399         ns->pending_mounts = 0;
2400
2401         read_seqlock_excl(&mount_lock);
2402         put_mountpoint(smp);
2403         read_sequnlock_excl(&mount_lock);
2404
2405         return err;
2406 }
2407
2408 /**
2409  * do_lock_mount - lock mount and mountpoint
2410  * @path:    target path
2411  * @beneath: whether the intention is to mount beneath @path
2412  *
2413  * Follow the mount stack on @path until the top mount @mnt is found. If
2414  * the initial @path->{mnt,dentry} is a mountpoint lookup the first
2415  * mount stacked on top of it. Then simply follow @{mnt,mnt->mnt_root}
2416  * until nothing is stacked on top of it anymore.
2417  *
2418  * Acquire the inode_lock() on the top mount's ->mnt_root to protect
2419  * against concurrent removal of the new mountpoint from another mount
2420  * namespace.
2421  *
2422  * If @beneath is requested, acquire inode_lock() on @mnt's mountpoint
2423  * @mp on @mnt->mnt_parent must be acquired. This protects against a
2424  * concurrent unlink of @mp->mnt_dentry from another mount namespace
2425  * where @mnt doesn't have a child mount mounted @mp. A concurrent
2426  * removal of @mnt->mnt_root doesn't matter as nothing will be mounted
2427  * on top of it for @beneath.
2428  *
2429  * In addition, @beneath needs to make sure that @mnt hasn't been
2430  * unmounted or moved from its current mountpoint in between dropping
2431  * @mount_lock and acquiring @namespace_sem. For the !@beneath case @mnt
2432  * being unmounted would be detected later by e.g., calling
2433  * check_mnt(mnt) in the function it's called from. For the @beneath
2434  * case however, it's useful to detect it directly in do_lock_mount().
2435  * If @mnt hasn't been unmounted then @mnt->mnt_mountpoint still points
2436  * to @mnt->mnt_mp->m_dentry. But if @mnt has been unmounted it will
2437  * point to @mnt->mnt_root and @mnt->mnt_mp will be NULL.
2438  *
2439  * Return: Either the target mountpoint on the top mount or the top
2440  *         mount's mountpoint.
2441  */
2442 static struct mountpoint *do_lock_mount(struct path *path, bool beneath)
2443 {
2444         struct vfsmount *mnt = path->mnt;
2445         struct dentry *dentry;
2446         struct mountpoint *mp = ERR_PTR(-ENOENT);
2447
2448         for (;;) {
2449                 struct mount *m;
2450
2451                 if (beneath) {
2452                         m = real_mount(mnt);
2453                         read_seqlock_excl(&mount_lock);
2454                         dentry = dget(m->mnt_mountpoint);
2455                         read_sequnlock_excl(&mount_lock);
2456                 } else {
2457                         dentry = path->dentry;
2458                 }
2459
2460                 inode_lock(dentry->d_inode);
2461                 if (unlikely(cant_mount(dentry))) {
2462                         inode_unlock(dentry->d_inode);
2463                         goto out;
2464                 }
2465
2466                 namespace_lock();
2467
2468                 if (beneath && (!is_mounted(mnt) || m->mnt_mountpoint != dentry)) {
2469                         namespace_unlock();
2470                         inode_unlock(dentry->d_inode);
2471                         goto out;
2472                 }
2473
2474                 mnt = lookup_mnt(path);
2475                 if (likely(!mnt))
2476                         break;
2477
2478                 namespace_unlock();
2479                 inode_unlock(dentry->d_inode);
2480                 if (beneath)
2481                         dput(dentry);
2482                 path_put(path);
2483                 path->mnt = mnt;
2484                 path->dentry = dget(mnt->mnt_root);
2485         }
2486
2487         mp = get_mountpoint(dentry);
2488         if (IS_ERR(mp)) {
2489                 namespace_unlock();
2490                 inode_unlock(dentry->d_inode);
2491         }
2492
2493 out:
2494         if (beneath)
2495                 dput(dentry);
2496
2497         return mp;
2498 }
2499
2500 static inline struct mountpoint *lock_mount(struct path *path)
2501 {
2502         return do_lock_mount(path, false);
2503 }
2504
2505 static void unlock_mount(struct mountpoint *where)
2506 {
2507         struct dentry *dentry = where->m_dentry;
2508
2509         read_seqlock_excl(&mount_lock);
2510         put_mountpoint(where);
2511         read_sequnlock_excl(&mount_lock);
2512
2513         namespace_unlock();
2514         inode_unlock(dentry->d_inode);
2515 }
2516
2517 static int graft_tree(struct mount *mnt, struct mount *p, struct mountpoint *mp)
2518 {
2519         if (mnt->mnt.mnt_sb->s_flags & SB_NOUSER)
2520                 return -EINVAL;
2521
2522         if (d_is_dir(mp->m_dentry) !=
2523               d_is_dir(mnt->mnt.mnt_root))
2524                 return -ENOTDIR;
2525
2526         return attach_recursive_mnt(mnt, p, mp, 0);
2527 }
2528
2529 /*
2530  * Sanity check the flags to change_mnt_propagation.
2531  */
2532
2533 static int flags_to_propagation_type(int ms_flags)
2534 {
2535         int type = ms_flags & ~(MS_REC | MS_SILENT);
2536
2537         /* Fail if any non-propagation flags are set */
2538         if (type & ~(MS_SHARED | MS_PRIVATE | MS_SLAVE | MS_UNBINDABLE))
2539                 return 0;
2540         /* Only one propagation flag should be set */
2541         if (!is_power_of_2(type))
2542                 return 0;
2543         return type;
2544 }
2545
2546 /*
2547  * recursively change the type of the mountpoint.
2548  */
2549 static int do_change_type(struct path *path, int ms_flags)
2550 {
2551         struct mount *m;
2552         struct mount *mnt = real_mount(path->mnt);
2553         int recurse = ms_flags & MS_REC;
2554         int type;
2555         int err = 0;
2556
2557         if (!path_mounted(path))
2558                 return -EINVAL;
2559
2560         type = flags_to_propagation_type(ms_flags);
2561         if (!type)
2562                 return -EINVAL;
2563
2564         namespace_lock();
2565         if (type == MS_SHARED) {
2566                 err = invent_group_ids(mnt, recurse);
2567                 if (err)
2568                         goto out_unlock;
2569         }
2570
2571         lock_mount_hash();
2572         for (m = mnt; m; m = (recurse ? next_mnt(m, mnt) : NULL))
2573                 change_mnt_propagation(m, type);
2574         unlock_mount_hash();
2575
2576  out_unlock:
2577         namespace_unlock();
2578         return err;
2579 }
2580
2581 static struct mount *__do_loopback(struct path *old_path, int recurse)
2582 {
2583         struct mount *mnt = ERR_PTR(-EINVAL), *old = real_mount(old_path->mnt);
2584
2585         if (IS_MNT_UNBINDABLE(old))
2586                 return mnt;
2587
2588         if (!check_mnt(old) && old_path->dentry->d_op != &ns_dentry_operations)
2589                 return mnt;
2590
2591         if (!recurse && has_locked_children(old, old_path->dentry))
2592                 return mnt;
2593
2594         if (recurse)
2595                 mnt = copy_tree(old, old_path->dentry, CL_COPY_MNT_NS_FILE);
2596         else
2597                 mnt = clone_mnt(old, old_path->dentry, 0);
2598
2599         if (!IS_ERR(mnt))
2600                 mnt->mnt.mnt_flags &= ~MNT_LOCKED;
2601
2602         return mnt;
2603 }
2604
2605 /*
2606  * do loopback mount.
2607  */
2608 static int do_loopback(struct path *path, const char *old_name,
2609                                 int recurse)
2610 {
2611         struct path old_path;
2612         struct mount *mnt = NULL, *parent;
2613         struct mountpoint *mp;
2614         int err;
2615         if (!old_name || !*old_name)
2616                 return -EINVAL;
2617         err = kern_path(old_name, LOOKUP_FOLLOW|LOOKUP_AUTOMOUNT, &old_path);
2618         if (err)
2619                 return err;
2620
2621         err = -EINVAL;
2622         if (mnt_ns_loop(old_path.dentry))
2623                 goto out;
2624
2625         mp = lock_mount(path);
2626         if (IS_ERR(mp)) {
2627                 err = PTR_ERR(mp);
2628                 goto out;
2629         }
2630
2631         parent = real_mount(path->mnt);
2632         if (!check_mnt(parent))
2633                 goto out2;
2634
2635         mnt = __do_loopback(&old_path, recurse);
2636         if (IS_ERR(mnt)) {
2637                 err = PTR_ERR(mnt);
2638                 goto out2;
2639         }
2640
2641         err = graft_tree(mnt, parent, mp);
2642         if (err) {
2643                 lock_mount_hash();
2644                 umount_tree(mnt, UMOUNT_SYNC);
2645                 unlock_mount_hash();
2646         }
2647 out2:
2648         unlock_mount(mp);
2649 out:
2650         path_put(&old_path);
2651         return err;
2652 }
2653
2654 static struct file *open_detached_copy(struct path *path, bool recursive)
2655 {
2656         struct user_namespace *user_ns = current->nsproxy->mnt_ns->user_ns;
2657         struct mnt_namespace *ns = alloc_mnt_ns(user_ns, true);
2658         struct mount *mnt, *p;
2659         struct file *file;
2660
2661         if (IS_ERR(ns))
2662                 return ERR_CAST(ns);
2663
2664         namespace_lock();
2665         mnt = __do_loopback(path, recursive);
2666         if (IS_ERR(mnt)) {
2667                 namespace_unlock();
2668                 free_mnt_ns(ns);
2669                 return ERR_CAST(mnt);
2670         }
2671
2672         lock_mount_hash();
2673         for (p = mnt; p; p = next_mnt(p, mnt)) {
2674                 mnt_add_to_ns(ns, p);
2675                 ns->nr_mounts++;
2676         }
2677         ns->root = mnt;
2678         mntget(&mnt->mnt);
2679         unlock_mount_hash();
2680         namespace_unlock();
2681
2682         mntput(path->mnt);
2683         path->mnt = &mnt->mnt;
2684         file = dentry_open(path, O_PATH, current_cred());
2685         if (IS_ERR(file))
2686                 dissolve_on_fput(path->mnt);
2687         else
2688                 file->f_mode |= FMODE_NEED_UNMOUNT;
2689         return file;
2690 }
2691
2692 SYSCALL_DEFINE3(open_tree, int, dfd, const char __user *, filename, unsigned, flags)
2693 {
2694         struct file *file;
2695         struct path path;
2696         int lookup_flags = LOOKUP_AUTOMOUNT | LOOKUP_FOLLOW;
2697         bool detached = flags & OPEN_TREE_CLONE;
2698         int error;
2699         int fd;
2700
2701         BUILD_BUG_ON(OPEN_TREE_CLOEXEC != O_CLOEXEC);
2702
2703         if (flags & ~(AT_EMPTY_PATH | AT_NO_AUTOMOUNT | AT_RECURSIVE |
2704                       AT_SYMLINK_NOFOLLOW | OPEN_TREE_CLONE |
2705                       OPEN_TREE_CLOEXEC))
2706                 return -EINVAL;
2707
2708         if ((flags & (AT_RECURSIVE | OPEN_TREE_CLONE)) == AT_RECURSIVE)
2709                 return -EINVAL;
2710
2711         if (flags & AT_NO_AUTOMOUNT)
2712                 lookup_flags &= ~LOOKUP_AUTOMOUNT;
2713         if (flags & AT_SYMLINK_NOFOLLOW)
2714                 lookup_flags &= ~LOOKUP_FOLLOW;
2715         if (flags & AT_EMPTY_PATH)
2716                 lookup_flags |= LOOKUP_EMPTY;
2717
2718         if (detached && !may_mount())
2719                 return -EPERM;
2720
2721         fd = get_unused_fd_flags(flags & O_CLOEXEC);
2722         if (fd < 0)
2723                 return fd;
2724
2725         error = user_path_at(dfd, filename, lookup_flags, &path);
2726         if (unlikely(error)) {
2727                 file = ERR_PTR(error);
2728         } else {
2729                 if (detached)
2730                         file = open_detached_copy(&path, flags & AT_RECURSIVE);
2731                 else
2732                         file = dentry_open(&path, O_PATH, current_cred());
2733                 path_put(&path);
2734         }
2735         if (IS_ERR(file)) {
2736                 put_unused_fd(fd);
2737                 return PTR_ERR(file);
2738         }
2739         fd_install(fd, file);
2740         return fd;
2741 }
2742
2743 /*
2744  * Don't allow locked mount flags to be cleared.
2745  *
2746  * No locks need to be held here while testing the various MNT_LOCK
2747  * flags because those flags can never be cleared once they are set.
2748  */
2749 static bool can_change_locked_flags(struct mount *mnt, unsigned int mnt_flags)
2750 {
2751         unsigned int fl = mnt->mnt.mnt_flags;
2752
2753         if ((fl & MNT_LOCK_READONLY) &&
2754             !(mnt_flags & MNT_READONLY))
2755                 return false;
2756
2757         if ((fl & MNT_LOCK_NODEV) &&
2758             !(mnt_flags & MNT_NODEV))
2759                 return false;
2760
2761         if ((fl & MNT_LOCK_NOSUID) &&
2762             !(mnt_flags & MNT_NOSUID))
2763                 return false;
2764
2765         if ((fl & MNT_LOCK_NOEXEC) &&
2766             !(mnt_flags & MNT_NOEXEC))
2767                 return false;
2768
2769         if ((fl & MNT_LOCK_ATIME) &&
2770             ((fl & MNT_ATIME_MASK) != (mnt_flags & MNT_ATIME_MASK)))
2771                 return false;
2772
2773         return true;
2774 }
2775
2776 static int change_mount_ro_state(struct mount *mnt, unsigned int mnt_flags)
2777 {
2778         bool readonly_request = (mnt_flags & MNT_READONLY);
2779
2780         if (readonly_request == __mnt_is_readonly(&mnt->mnt))
2781                 return 0;
2782
2783         if (readonly_request)
2784                 return mnt_make_readonly(mnt);
2785
2786         mnt->mnt.mnt_flags &= ~MNT_READONLY;
2787         return 0;
2788 }
2789
2790 static void set_mount_attributes(struct mount *mnt, unsigned int mnt_flags)
2791 {
2792         mnt_flags |= mnt->mnt.mnt_flags & ~MNT_USER_SETTABLE_MASK;
2793         mnt->mnt.mnt_flags = mnt_flags;
2794         touch_mnt_namespace(mnt->mnt_ns);
2795 }
2796
2797 static void mnt_warn_timestamp_expiry(struct path *mountpoint, struct vfsmount *mnt)
2798 {
2799         struct super_block *sb = mnt->mnt_sb;
2800
2801         if (!__mnt_is_readonly(mnt) &&
2802            (!(sb->s_iflags & SB_I_TS_EXPIRY_WARNED)) &&
2803            (ktime_get_real_seconds() + TIME_UPTIME_SEC_MAX > sb->s_time_max)) {
2804                 char *buf = (char *)__get_free_page(GFP_KERNEL);
2805                 char *mntpath = buf ? d_path(mountpoint, buf, PAGE_SIZE) : ERR_PTR(-ENOMEM);
2806
2807                 pr_warn("%s filesystem being %s at %s supports timestamps until %ptTd (0x%llx)\n",
2808                         sb->s_type->name,
2809                         is_mounted(mnt) ? "remounted" : "mounted",
2810                         mntpath, &sb->s_time_max,
2811                         (unsigned long long)sb->s_time_max);
2812
2813                 free_page((unsigned long)buf);
2814                 sb->s_iflags |= SB_I_TS_EXPIRY_WARNED;
2815         }
2816 }
2817
2818 /*
2819  * Handle reconfiguration of the mountpoint only without alteration of the
2820  * superblock it refers to.  This is triggered by specifying MS_REMOUNT|MS_BIND
2821  * to mount(2).
2822  */
2823 static int do_reconfigure_mnt(struct path *path, unsigned int mnt_flags)
2824 {
2825         struct super_block *sb = path->mnt->mnt_sb;
2826         struct mount *mnt = real_mount(path->mnt);
2827         int ret;
2828
2829         if (!check_mnt(mnt))
2830                 return -EINVAL;
2831
2832         if (!path_mounted(path))
2833                 return -EINVAL;
2834
2835         if (!can_change_locked_flags(mnt, mnt_flags))
2836                 return -EPERM;
2837
2838         /*
2839          * We're only checking whether the superblock is read-only not
2840          * changing it, so only take down_read(&sb->s_umount).
2841          */
2842         down_read(&sb->s_umount);
2843         lock_mount_hash();
2844         ret = change_mount_ro_state(mnt, mnt_flags);
2845         if (ret == 0)
2846                 set_mount_attributes(mnt, mnt_flags);
2847         unlock_mount_hash();
2848         up_read(&sb->s_umount);
2849
2850         mnt_warn_timestamp_expiry(path, &mnt->mnt);
2851
2852         return ret;
2853 }
2854
2855 /*
2856  * change filesystem flags. dir should be a physical root of filesystem.
2857  * If you've mounted a non-root directory somewhere and want to do remount
2858  * on it - tough luck.
2859  */
2860 static int do_remount(struct path *path, int ms_flags, int sb_flags,
2861                       int mnt_flags, void *data)
2862 {
2863         int err;
2864         struct super_block *sb = path->mnt->mnt_sb;
2865         struct mount *mnt = real_mount(path->mnt);
2866         struct fs_context *fc;
2867
2868         if (!check_mnt(mnt))
2869                 return -EINVAL;
2870
2871         if (!path_mounted(path))
2872                 return -EINVAL;
2873
2874         if (!can_change_locked_flags(mnt, mnt_flags))
2875                 return -EPERM;
2876
2877         fc = fs_context_for_reconfigure(path->dentry, sb_flags, MS_RMT_MASK);
2878         if (IS_ERR(fc))
2879                 return PTR_ERR(fc);
2880
2881         fc->oldapi = true;
2882         err = parse_monolithic_mount_data(fc, data);
2883         if (!err) {
2884                 down_write(&sb->s_umount);
2885                 err = -EPERM;
2886                 if (ns_capable(sb->s_user_ns, CAP_SYS_ADMIN)) {
2887                         err = reconfigure_super(fc);
2888                         if (!err) {
2889                                 lock_mount_hash();
2890                                 set_mount_attributes(mnt, mnt_flags);
2891                                 unlock_mount_hash();
2892                         }
2893                 }
2894                 up_write(&sb->s_umount);
2895         }
2896
2897         mnt_warn_timestamp_expiry(path, &mnt->mnt);
2898
2899         put_fs_context(fc);
2900         return err;
2901 }
2902
2903 static inline int tree_contains_unbindable(struct mount *mnt)
2904 {
2905         struct mount *p;
2906         for (p = mnt; p; p = next_mnt(p, mnt)) {
2907                 if (IS_MNT_UNBINDABLE(p))
2908                         return 1;
2909         }
2910         return 0;
2911 }
2912
2913 /*
2914  * Check that there aren't references to earlier/same mount namespaces in the
2915  * specified subtree.  Such references can act as pins for mount namespaces
2916  * that aren't checked by the mount-cycle checking code, thereby allowing
2917  * cycles to be made.
2918  */
2919 static bool check_for_nsfs_mounts(struct mount *subtree)
2920 {
2921         struct mount *p;
2922         bool ret = false;
2923
2924         lock_mount_hash();
2925         for (p = subtree; p; p = next_mnt(p, subtree))
2926                 if (mnt_ns_loop(p->mnt.mnt_root))
2927                         goto out;
2928
2929         ret = true;
2930 out:
2931         unlock_mount_hash();
2932         return ret;
2933 }
2934
2935 static int do_set_group(struct path *from_path, struct path *to_path)
2936 {
2937         struct mount *from, *to;
2938         int err;
2939
2940         from = real_mount(from_path->mnt);
2941         to = real_mount(to_path->mnt);
2942
2943         namespace_lock();
2944
2945         err = -EINVAL;
2946         /* To and From must be mounted */
2947         if (!is_mounted(&from->mnt))
2948                 goto out;
2949         if (!is_mounted(&to->mnt))
2950                 goto out;
2951
2952         err = -EPERM;
2953         /* We should be allowed to modify mount namespaces of both mounts */
2954         if (!ns_capable(from->mnt_ns->user_ns, CAP_SYS_ADMIN))
2955                 goto out;
2956         if (!ns_capable(to->mnt_ns->user_ns, CAP_SYS_ADMIN))
2957                 goto out;
2958
2959         err = -EINVAL;
2960         /* To and From paths should be mount roots */
2961         if (!path_mounted(from_path))
2962                 goto out;
2963         if (!path_mounted(to_path))
2964                 goto out;
2965
2966         /* Setting sharing groups is only allowed across same superblock */
2967         if (from->mnt.mnt_sb != to->mnt.mnt_sb)
2968                 goto out;
2969
2970         /* From mount root should be wider than To mount root */
2971         if (!is_subdir(to->mnt.mnt_root, from->mnt.mnt_root))
2972                 goto out;
2973
2974         /* From mount should not have locked children in place of To's root */
2975         if (has_locked_children(from, to->mnt.mnt_root))
2976                 goto out;
2977
2978         /* Setting sharing groups is only allowed on private mounts */
2979         if (IS_MNT_SHARED(to) || IS_MNT_SLAVE(to))
2980                 goto out;
2981
2982         /* From should not be private */
2983         if (!IS_MNT_SHARED(from) && !IS_MNT_SLAVE(from))
2984                 goto out;
2985
2986         if (IS_MNT_SLAVE(from)) {
2987                 struct mount *m = from->mnt_master;
2988
2989                 list_add(&to->mnt_slave, &m->mnt_slave_list);
2990                 to->mnt_master = m;
2991         }
2992
2993         if (IS_MNT_SHARED(from)) {
2994                 to->mnt_group_id = from->mnt_group_id;
2995                 list_add(&to->mnt_share, &from->mnt_share);
2996                 lock_mount_hash();
2997                 set_mnt_shared(to);
2998                 unlock_mount_hash();
2999         }
3000
3001         err = 0;
3002 out:
3003         namespace_unlock();
3004         return err;
3005 }
3006
3007 /**
3008  * path_overmounted - check if path is overmounted
3009  * @path: path to check
3010  *
3011  * Check if path is overmounted, i.e., if there's a mount on top of
3012  * @path->mnt with @path->dentry as mountpoint.
3013  *
3014  * Context: This function expects namespace_lock() to be held.
3015  * Return: If path is overmounted true is returned, false if not.
3016  */
3017 static inline bool path_overmounted(const struct path *path)
3018 {
3019         rcu_read_lock();
3020         if (unlikely(__lookup_mnt(path->mnt, path->dentry))) {
3021                 rcu_read_unlock();
3022                 return true;
3023         }
3024         rcu_read_unlock();
3025         return false;
3026 }
3027
3028 /**
3029  * can_move_mount_beneath - check that we can mount beneath the top mount
3030  * @from: mount to mount beneath
3031  * @to:   mount under which to mount
3032  * @mp:   mountpoint of @to
3033  *
3034  * - Make sure that @to->dentry is actually the root of a mount under
3035  *   which we can mount another mount.
3036  * - Make sure that nothing can be mounted beneath the caller's current
3037  *   root or the rootfs of the namespace.
3038  * - Make sure that the caller can unmount the topmost mount ensuring
3039  *   that the caller could reveal the underlying mountpoint.
3040  * - Ensure that nothing has been mounted on top of @from before we
3041  *   grabbed @namespace_sem to avoid creating pointless shadow mounts.
3042  * - Prevent mounting beneath a mount if the propagation relationship
3043  *   between the source mount, parent mount, and top mount would lead to
3044  *   nonsensical mount trees.
3045  *
3046  * Context: This function expects namespace_lock() to be held.
3047  * Return: On success 0, and on error a negative error code is returned.
3048  */
3049 static int can_move_mount_beneath(const struct path *from,
3050                                   const struct path *to,
3051                                   const struct mountpoint *mp)
3052 {
3053         struct mount *mnt_from = real_mount(from->mnt),
3054                      *mnt_to = real_mount(to->mnt),
3055                      *parent_mnt_to = mnt_to->mnt_parent;
3056
3057         if (!mnt_has_parent(mnt_to))
3058                 return -EINVAL;
3059
3060         if (!path_mounted(to))
3061                 return -EINVAL;
3062
3063         if (IS_MNT_LOCKED(mnt_to))
3064                 return -EINVAL;
3065
3066         /* Avoid creating shadow mounts during mount propagation. */
3067         if (path_overmounted(from))
3068                 return -EINVAL;
3069
3070         /*
3071          * Mounting beneath the rootfs only makes sense when the
3072          * semantics of pivot_root(".", ".") are used.
3073          */
3074         if (&mnt_to->mnt == current->fs->root.mnt)
3075                 return -EINVAL;
3076         if (parent_mnt_to == current->nsproxy->mnt_ns->root)
3077                 return -EINVAL;
3078
3079         for (struct mount *p = mnt_from; mnt_has_parent(p); p = p->mnt_parent)
3080                 if (p == mnt_to)
3081                         return -EINVAL;
3082
3083         /*
3084          * If the parent mount propagates to the child mount this would
3085          * mean mounting @mnt_from on @mnt_to->mnt_parent and then
3086          * propagating a copy @c of @mnt_from on top of @mnt_to. This
3087          * defeats the whole purpose of mounting beneath another mount.
3088          */
3089         if (propagation_would_overmount(parent_mnt_to, mnt_to, mp))
3090                 return -EINVAL;
3091
3092         /*
3093          * If @mnt_to->mnt_parent propagates to @mnt_from this would
3094          * mean propagating a copy @c of @mnt_from on top of @mnt_from.
3095          * Afterwards @mnt_from would be mounted on top of
3096          * @mnt_to->mnt_parent and @mnt_to would be unmounted from
3097          * @mnt->mnt_parent and remounted on @mnt_from. But since @c is
3098          * already mounted on @mnt_from, @mnt_to would ultimately be
3099          * remounted on top of @c. Afterwards, @mnt_from would be
3100          * covered by a copy @c of @mnt_from and @c would be covered by
3101          * @mnt_from itself. This defeats the whole purpose of mounting
3102          * @mnt_from beneath @mnt_to.
3103          */
3104         if (propagation_would_overmount(parent_mnt_to, mnt_from, mp))
3105                 return -EINVAL;
3106
3107         return 0;
3108 }
3109
3110 static int do_move_mount(struct path *old_path, struct path *new_path,
3111                          bool beneath)
3112 {
3113         struct mnt_namespace *ns;
3114         struct mount *p;
3115         struct mount *old;
3116         struct mount *parent;
3117         struct mountpoint *mp, *old_mp;
3118         int err;
3119         bool attached;
3120         enum mnt_tree_flags_t flags = 0;
3121
3122         mp = do_lock_mount(new_path, beneath);
3123         if (IS_ERR(mp))
3124                 return PTR_ERR(mp);
3125
3126         old = real_mount(old_path->mnt);
3127         p = real_mount(new_path->mnt);
3128         parent = old->mnt_parent;
3129         attached = mnt_has_parent(old);
3130         if (attached)
3131                 flags |= MNT_TREE_MOVE;
3132         old_mp = old->mnt_mp;
3133         ns = old->mnt_ns;
3134
3135         err = -EINVAL;
3136         /* The mountpoint must be in our namespace. */
3137         if (!check_mnt(p))
3138                 goto out;
3139
3140         /* The thing moved must be mounted... */
3141         if (!is_mounted(&old->mnt))
3142                 goto out;
3143
3144         /* ... and either ours or the root of anon namespace */
3145         if (!(attached ? check_mnt(old) : is_anon_ns(ns)))
3146                 goto out;
3147
3148         if (old->mnt.mnt_flags & MNT_LOCKED)
3149                 goto out;
3150
3151         if (!path_mounted(old_path))
3152                 goto out;
3153
3154         if (d_is_dir(new_path->dentry) !=
3155             d_is_dir(old_path->dentry))
3156                 goto out;
3157         /*
3158          * Don't move a mount residing in a shared parent.
3159          */
3160         if (attached && IS_MNT_SHARED(parent))
3161                 goto out;
3162
3163         if (beneath) {
3164                 err = can_move_mount_beneath(old_path, new_path, mp);
3165                 if (err)
3166                         goto out;
3167
3168                 err = -EINVAL;
3169                 p = p->mnt_parent;
3170                 flags |= MNT_TREE_BENEATH;
3171         }
3172
3173         /*
3174          * Don't move a mount tree containing unbindable mounts to a destination
3175          * mount which is shared.
3176          */
3177         if (IS_MNT_SHARED(p) && tree_contains_unbindable(old))
3178                 goto out;
3179         err = -ELOOP;
3180         if (!check_for_nsfs_mounts(old))
3181                 goto out;
3182         for (; mnt_has_parent(p); p = p->mnt_parent)
3183                 if (p == old)
3184                         goto out;
3185
3186         err = attach_recursive_mnt(old, real_mount(new_path->mnt), mp, flags);
3187         if (err)
3188                 goto out;
3189
3190         /* if the mount is moved, it should no longer be expire
3191          * automatically */
3192         list_del_init(&old->mnt_expire);
3193         if (attached)
3194                 put_mountpoint(old_mp);
3195 out:
3196         unlock_mount(mp);
3197         if (!err) {
3198                 if (attached)
3199                         mntput_no_expire(parent);
3200                 else
3201                         free_mnt_ns(ns);
3202         }
3203         return err;
3204 }
3205
3206 static int do_move_mount_old(struct path *path, const char *old_name)
3207 {
3208         struct path old_path;
3209         int err;
3210
3211         if (!old_name || !*old_name)
3212                 return -EINVAL;
3213
3214         err = kern_path(old_name, LOOKUP_FOLLOW, &old_path);
3215         if (err)
3216                 return err;
3217
3218         err = do_move_mount(&old_path, path, false);
3219         path_put(&old_path);
3220         return err;
3221 }
3222
3223 /*
3224  * add a mount into a namespace's mount tree
3225  */
3226 static int do_add_mount(struct mount *newmnt, struct mountpoint *mp,
3227                         const struct path *path, int mnt_flags)
3228 {
3229         struct mount *parent = real_mount(path->mnt);
3230
3231         mnt_flags &= ~MNT_INTERNAL_FLAGS;
3232
3233         if (unlikely(!check_mnt(parent))) {
3234                 /* that's acceptable only for automounts done in private ns */
3235                 if (!(mnt_flags & MNT_SHRINKABLE))
3236                         return -EINVAL;
3237                 /* ... and for those we'd better have mountpoint still alive */
3238                 if (!parent->mnt_ns)
3239                         return -EINVAL;
3240         }
3241
3242         /* Refuse the same filesystem on the same mount point */
3243         if (path->mnt->mnt_sb == newmnt->mnt.mnt_sb && path_mounted(path))
3244                 return -EBUSY;
3245
3246         if (d_is_symlink(newmnt->mnt.mnt_root))
3247                 return -EINVAL;
3248
3249         newmnt->mnt.mnt_flags = mnt_flags;
3250         return graft_tree(newmnt, parent, mp);
3251 }
3252
3253 static bool mount_too_revealing(const struct super_block *sb, int *new_mnt_flags);
3254
3255 /*
3256  * Create a new mount using a superblock configuration and request it
3257  * be added to the namespace tree.
3258  */
3259 static int do_new_mount_fc(struct fs_context *fc, struct path *mountpoint,
3260                            unsigned int mnt_flags)
3261 {
3262         struct vfsmount *mnt;
3263         struct mountpoint *mp;
3264         struct super_block *sb = fc->root->d_sb;
3265         int error;
3266
3267         error = security_sb_kern_mount(sb);
3268         if (!error && mount_too_revealing(sb, &mnt_flags))
3269                 error = -EPERM;
3270
3271         if (unlikely(error)) {
3272                 fc_drop_locked(fc);
3273                 return error;
3274         }
3275
3276         up_write(&sb->s_umount);
3277
3278         mnt = vfs_create_mount(fc);
3279         if (IS_ERR(mnt))
3280                 return PTR_ERR(mnt);
3281
3282         mnt_warn_timestamp_expiry(mountpoint, mnt);
3283
3284         mp = lock_mount(mountpoint);
3285         if (IS_ERR(mp)) {
3286                 mntput(mnt);
3287                 return PTR_ERR(mp);
3288         }
3289         error = do_add_mount(real_mount(mnt), mp, mountpoint, mnt_flags);
3290         unlock_mount(mp);
3291         if (error < 0)
3292                 mntput(mnt);
3293         return error;
3294 }
3295
3296 /*
3297  * create a new mount for userspace and request it to be added into the
3298  * namespace's tree
3299  */
3300 static int do_new_mount(struct path *path, const char *fstype, int sb_flags,
3301                         int mnt_flags, const char *name, void *data)
3302 {
3303         struct file_system_type *type;
3304         struct fs_context *fc;
3305         const char *subtype = NULL;
3306         int err = 0;
3307
3308         if (!fstype)
3309                 return -EINVAL;
3310
3311         type = get_fs_type(fstype);
3312         if (!type)
3313                 return -ENODEV;
3314
3315         if (type->fs_flags & FS_HAS_SUBTYPE) {
3316                 subtype = strchr(fstype, '.');
3317                 if (subtype) {
3318                         subtype++;
3319                         if (!*subtype) {
3320                                 put_filesystem(type);
3321                                 return -EINVAL;
3322                         }
3323                 }
3324         }
3325
3326         fc = fs_context_for_mount(type, sb_flags);
3327         put_filesystem(type);
3328         if (IS_ERR(fc))
3329                 return PTR_ERR(fc);
3330
3331         if (subtype)
3332                 err = vfs_parse_fs_string(fc, "subtype",
3333                                           subtype, strlen(subtype));
3334         if (!err && name)
3335                 err = vfs_parse_fs_string(fc, "source", name, strlen(name));
3336         if (!err)
3337                 err = parse_monolithic_mount_data(fc, data);
3338         if (!err && !mount_capable(fc))
3339                 err = -EPERM;
3340         if (!err)
3341                 err = vfs_get_tree(fc);
3342         if (!err)
3343                 err = do_new_mount_fc(fc, path, mnt_flags);
3344
3345         put_fs_context(fc);
3346         return err;
3347 }
3348
3349 int finish_automount(struct vfsmount *m, const struct path *path)
3350 {
3351         struct dentry *dentry = path->dentry;
3352         struct mountpoint *mp;
3353         struct mount *mnt;
3354         int err;
3355
3356         if (!m)
3357                 return 0;
3358         if (IS_ERR(m))
3359                 return PTR_ERR(m);
3360
3361         mnt = real_mount(m);
3362         /* The new mount record should have at least 2 refs to prevent it being
3363          * expired before we get a chance to add it
3364          */
3365         BUG_ON(mnt_get_count(mnt) < 2);
3366
3367         if (m->mnt_sb == path->mnt->mnt_sb &&
3368             m->mnt_root == dentry) {
3369                 err = -ELOOP;
3370                 goto discard;
3371         }
3372
3373         /*
3374          * we don't want to use lock_mount() - in this case finding something
3375          * that overmounts our mountpoint to be means "quitely drop what we've
3376          * got", not "try to mount it on top".
3377          */
3378         inode_lock(dentry->d_inode);
3379         namespace_lock();
3380         if (unlikely(cant_mount(dentry))) {
3381                 err = -ENOENT;
3382                 goto discard_locked;
3383         }
3384         if (path_overmounted(path)) {
3385                 err = 0;
3386                 goto discard_locked;
3387         }
3388         mp = get_mountpoint(dentry);
3389         if (IS_ERR(mp)) {
3390                 err = PTR_ERR(mp);
3391                 goto discard_locked;
3392         }
3393
3394         err = do_add_mount(mnt, mp, path, path->mnt->mnt_flags | MNT_SHRINKABLE);
3395         unlock_mount(mp);
3396         if (unlikely(err))
3397                 goto discard;
3398         mntput(m);
3399         return 0;
3400
3401 discard_locked:
3402         namespace_unlock();
3403         inode_unlock(dentry->d_inode);
3404 discard:
3405         /* remove m from any expiration list it may be on */
3406         if (!list_empty(&mnt->mnt_expire)) {
3407                 namespace_lock();
3408                 list_del_init(&mnt->mnt_expire);
3409                 namespace_unlock();
3410         }
3411         mntput(m);
3412         mntput(m);
3413         return err;
3414 }
3415
3416 /**
3417  * mnt_set_expiry - Put a mount on an expiration list
3418  * @mnt: The mount to list.
3419  * @expiry_list: The list to add the mount to.
3420  */
3421 void mnt_set_expiry(struct vfsmount *mnt, struct list_head *expiry_list)
3422 {
3423         namespace_lock();
3424
3425         list_add_tail(&real_mount(mnt)->mnt_expire, expiry_list);
3426
3427         namespace_unlock();
3428 }
3429 EXPORT_SYMBOL(mnt_set_expiry);
3430
3431 /*
3432  * process a list of expirable mountpoints with the intent of discarding any
3433  * mountpoints that aren't in use and haven't been touched since last we came
3434  * here
3435  */
3436 void mark_mounts_for_expiry(struct list_head *mounts)
3437 {
3438         struct mount *mnt, *next;
3439         LIST_HEAD(graveyard);
3440
3441         if (list_empty(mounts))
3442                 return;
3443
3444         namespace_lock();
3445         lock_mount_hash();
3446
3447         /* extract from the expiration list every vfsmount that matches the
3448          * following criteria:
3449          * - only referenced by its parent vfsmount
3450          * - still marked for expiry (marked on the last call here; marks are
3451          *   cleared by mntput())
3452          */
3453         list_for_each_entry_safe(mnt, next, mounts, mnt_expire) {
3454                 if (!xchg(&mnt->mnt_expiry_mark, 1) ||
3455                         propagate_mount_busy(mnt, 1))
3456                         continue;
3457                 list_move(&mnt->mnt_expire, &graveyard);
3458         }
3459         while (!list_empty(&graveyard)) {
3460                 mnt = list_first_entry(&graveyard, struct mount, mnt_expire);
3461                 touch_mnt_namespace(mnt->mnt_ns);
3462                 umount_tree(mnt, UMOUNT_PROPAGATE|UMOUNT_SYNC);
3463         }
3464         unlock_mount_hash();
3465         namespace_unlock();
3466 }
3467
3468 EXPORT_SYMBOL_GPL(mark_mounts_for_expiry);
3469
3470 /*
3471  * Ripoff of 'select_parent()'
3472  *
3473  * search the list of submounts for a given mountpoint, and move any
3474  * shrinkable submounts to the 'graveyard' list.
3475  */
3476 static int select_submounts(struct mount *parent, struct list_head *graveyard)
3477 {
3478         struct mount *this_parent = parent;
3479         struct list_head *next;
3480         int found = 0;
3481
3482 repeat:
3483         next = this_parent->mnt_mounts.next;
3484 resume:
3485         while (next != &this_parent->mnt_mounts) {
3486                 struct list_head *tmp = next;
3487                 struct mount *mnt = list_entry(tmp, struct mount, mnt_child);
3488
3489                 next = tmp->next;
3490                 if (!(mnt->mnt.mnt_flags & MNT_SHRINKABLE))
3491                         continue;
3492                 /*
3493                  * Descend a level if the d_mounts list is non-empty.
3494                  */
3495                 if (!list_empty(&mnt->mnt_mounts)) {
3496                         this_parent = mnt;
3497                         goto repeat;
3498                 }
3499
3500                 if (!propagate_mount_busy(mnt, 1)) {
3501                         list_move_tail(&mnt->mnt_expire, graveyard);
3502                         found++;
3503                 }
3504         }
3505         /*
3506          * All done at this level ... ascend and resume the search
3507          */
3508         if (this_parent != parent) {
3509                 next = this_parent->mnt_child.next;
3510                 this_parent = this_parent->mnt_parent;
3511                 goto resume;
3512         }
3513         return found;
3514 }
3515
3516 /*
3517  * process a list of expirable mountpoints with the intent of discarding any
3518  * submounts of a specific parent mountpoint
3519  *
3520  * mount_lock must be held for write
3521  */
3522 static void shrink_submounts(struct mount *mnt)
3523 {
3524         LIST_HEAD(graveyard);
3525         struct mount *m;
3526
3527         /* extract submounts of 'mountpoint' from the expiration list */
3528         while (select_submounts(mnt, &graveyard)) {
3529                 while (!list_empty(&graveyard)) {
3530                         m = list_first_entry(&graveyard, struct mount,
3531                                                 mnt_expire);
3532                         touch_mnt_namespace(m->mnt_ns);
3533                         umount_tree(m, UMOUNT_PROPAGATE|UMOUNT_SYNC);
3534                 }
3535         }
3536 }
3537
3538 static void *copy_mount_options(const void __user * data)
3539 {
3540         char *copy;
3541         unsigned left, offset;
3542
3543         if (!data)
3544                 return NULL;
3545
3546         copy = kmalloc(PAGE_SIZE, GFP_KERNEL);
3547         if (!copy)
3548                 return ERR_PTR(-ENOMEM);
3549
3550         left = copy_from_user(copy, data, PAGE_SIZE);
3551
3552         /*
3553          * Not all architectures have an exact copy_from_user(). Resort to
3554          * byte at a time.
3555          */
3556         offset = PAGE_SIZE - left;
3557         while (left) {
3558                 char c;
3559                 if (get_user(c, (const char __user *)data + offset))
3560                         break;
3561                 copy[offset] = c;
3562                 left--;
3563                 offset++;
3564         }
3565
3566         if (left == PAGE_SIZE) {
3567                 kfree(copy);
3568                 return ERR_PTR(-EFAULT);
3569         }
3570
3571         return copy;
3572 }
3573
3574 static char *copy_mount_string(const void __user *data)
3575 {
3576         return data ? strndup_user(data, PATH_MAX) : NULL;
3577 }
3578
3579 /*
3580  * Flags is a 32-bit value that allows up to 31 non-fs dependent flags to
3581  * be given to the mount() call (ie: read-only, no-dev, no-suid etc).
3582  *
3583  * data is a (void *) that can point to any structure up to
3584  * PAGE_SIZE-1 bytes, which can contain arbitrary fs-dependent
3585  * information (or be NULL).
3586  *
3587  * Pre-0.97 versions of mount() didn't have a flags word.
3588  * When the flags word was introduced its top half was required
3589  * to have the magic value 0xC0ED, and this remained so until 2.4.0-test9.
3590  * Therefore, if this magic number is present, it carries no information
3591  * and must be discarded.
3592  */
3593 int path_mount(const char *dev_name, struct path *path,
3594                 const char *type_page, unsigned long flags, void *data_page)
3595 {
3596         unsigned int mnt_flags = 0, sb_flags;
3597         int ret;
3598
3599         /* Discard magic */
3600         if ((flags & MS_MGC_MSK) == MS_MGC_VAL)
3601                 flags &= ~MS_MGC_MSK;
3602
3603         /* Basic sanity checks */
3604         if (data_page)
3605                 ((char *)data_page)[PAGE_SIZE - 1] = 0;
3606
3607         if (flags & MS_NOUSER)
3608                 return -EINVAL;
3609
3610         ret = security_sb_mount(dev_name, path, type_page, flags, data_page);
3611         if (ret)
3612                 return ret;
3613         if (!may_mount())
3614                 return -EPERM;
3615         if (flags & SB_MANDLOCK)
3616                 warn_mandlock();
3617
3618         /* Default to relatime unless overriden */
3619         if (!(flags & MS_NOATIME))
3620                 mnt_flags |= MNT_RELATIME;
3621
3622         /* Separate the per-mountpoint flags */
3623         if (flags & MS_NOSUID)
3624                 mnt_flags |= MNT_NOSUID;
3625         if (flags & MS_NODEV)
3626                 mnt_flags |= MNT_NODEV;
3627         if (flags & MS_NOEXEC)
3628                 mnt_flags |= MNT_NOEXEC;
3629         if (flags & MS_NOATIME)
3630                 mnt_flags |= MNT_NOATIME;
3631         if (flags & MS_NODIRATIME)
3632                 mnt_flags |= MNT_NODIRATIME;
3633         if (flags & MS_STRICTATIME)
3634                 mnt_flags &= ~(MNT_RELATIME | MNT_NOATIME);
3635         if (flags & MS_RDONLY)
3636                 mnt_flags |= MNT_READONLY;
3637         if (flags & MS_NOSYMFOLLOW)
3638                 mnt_flags |= MNT_NOSYMFOLLOW;
3639
3640         /* The default atime for remount is preservation */
3641         if ((flags & MS_REMOUNT) &&
3642             ((flags & (MS_NOATIME | MS_NODIRATIME | MS_RELATIME |
3643                        MS_STRICTATIME)) == 0)) {
3644                 mnt_flags &= ~MNT_ATIME_MASK;
3645                 mnt_flags |= path->mnt->mnt_flags & MNT_ATIME_MASK;
3646         }
3647
3648         sb_flags = flags & (SB_RDONLY |
3649                             SB_SYNCHRONOUS |
3650                             SB_MANDLOCK |
3651                             SB_DIRSYNC |
3652                             SB_SILENT |
3653                             SB_POSIXACL |
3654                             SB_LAZYTIME |
3655                             SB_I_VERSION);
3656
3657         if ((flags & (MS_REMOUNT | MS_BIND)) == (MS_REMOUNT | MS_BIND))
3658                 return do_reconfigure_mnt(path, mnt_flags);
3659         if (flags & MS_REMOUNT)
3660                 return do_remount(path, flags, sb_flags, mnt_flags, data_page);
3661         if (flags & MS_BIND)
3662                 return do_loopback(path, dev_name, flags & MS_REC);
3663         if (flags & (MS_SHARED | MS_PRIVATE | MS_SLAVE | MS_UNBINDABLE))
3664                 return do_change_type(path, flags);
3665         if (flags & MS_MOVE)
3666                 return do_move_mount_old(path, dev_name);
3667
3668         return do_new_mount(path, type_page, sb_flags, mnt_flags, dev_name,
3669                             data_page);
3670 }
3671
3672 long do_mount(const char *dev_name, const char __user *dir_name,
3673                 const char *type_page, unsigned long flags, void *data_page)
3674 {
3675         struct path path;
3676         int ret;
3677
3678         ret = user_path_at(AT_FDCWD, dir_name, LOOKUP_FOLLOW, &path);
3679         if (ret)
3680                 return ret;
3681         ret = path_mount(dev_name, &path, type_page, flags, data_page);
3682         path_put(&path);
3683         return ret;
3684 }
3685
3686 static struct ucounts *inc_mnt_namespaces(struct user_namespace *ns)
3687 {
3688         return inc_ucount(ns, current_euid(), UCOUNT_MNT_NAMESPACES);
3689 }
3690
3691 static void dec_mnt_namespaces(struct ucounts *ucounts)
3692 {
3693         dec_ucount(ucounts, UCOUNT_MNT_NAMESPACES);
3694 }
3695
3696 static void free_mnt_ns(struct mnt_namespace *ns)
3697 {
3698         if (!is_anon_ns(ns))
3699                 ns_free_inum(&ns->ns);
3700         dec_mnt_namespaces(ns->ucounts);
3701         put_user_ns(ns->user_ns);
3702         kfree(ns);
3703 }
3704
3705 /*
3706  * Assign a sequence number so we can detect when we attempt to bind
3707  * mount a reference to an older mount namespace into the current
3708  * mount namespace, preventing reference counting loops.  A 64bit
3709  * number incrementing at 10Ghz will take 12,427 years to wrap which
3710  * is effectively never, so we can ignore the possibility.
3711  */
3712 static atomic64_t mnt_ns_seq = ATOMIC64_INIT(1);
3713
3714 static struct mnt_namespace *alloc_mnt_ns(struct user_namespace *user_ns, bool anon)
3715 {
3716         struct mnt_namespace *new_ns;
3717         struct ucounts *ucounts;
3718         int ret;
3719
3720         ucounts = inc_mnt_namespaces(user_ns);
3721         if (!ucounts)
3722                 return ERR_PTR(-ENOSPC);
3723
3724         new_ns = kzalloc(sizeof(struct mnt_namespace), GFP_KERNEL_ACCOUNT);
3725         if (!new_ns) {
3726                 dec_mnt_namespaces(ucounts);
3727                 return ERR_PTR(-ENOMEM);
3728         }
3729         if (!anon) {
3730                 ret = ns_alloc_inum(&new_ns->ns);
3731                 if (ret) {
3732                         kfree(new_ns);
3733                         dec_mnt_namespaces(ucounts);
3734                         return ERR_PTR(ret);
3735                 }
3736         }
3737         new_ns->ns.ops = &mntns_operations;
3738         if (!anon)
3739                 new_ns->seq = atomic64_add_return(1, &mnt_ns_seq);
3740         refcount_set(&new_ns->ns.count, 1);
3741         new_ns->mounts = RB_ROOT;
3742         init_waitqueue_head(&new_ns->poll);
3743         new_ns->user_ns = get_user_ns(user_ns);
3744         new_ns->ucounts = ucounts;
3745         return new_ns;
3746 }
3747
3748 __latent_entropy
3749 struct mnt_namespace *copy_mnt_ns(unsigned long flags, struct mnt_namespace *ns,
3750                 struct user_namespace *user_ns, struct fs_struct *new_fs)
3751 {
3752         struct mnt_namespace *new_ns;
3753         struct vfsmount *rootmnt = NULL, *pwdmnt = NULL;
3754         struct mount *p, *q;
3755         struct mount *old;
3756         struct mount *new;
3757         int copy_flags;
3758
3759         BUG_ON(!ns);
3760
3761         if (likely(!(flags & CLONE_NEWNS))) {
3762                 get_mnt_ns(ns);
3763                 return ns;
3764         }
3765
3766         old = ns->root;
3767
3768         new_ns = alloc_mnt_ns(user_ns, false);
3769         if (IS_ERR(new_ns))
3770                 return new_ns;
3771
3772         namespace_lock();
3773         /* First pass: copy the tree topology */
3774         copy_flags = CL_COPY_UNBINDABLE | CL_EXPIRE;
3775         if (user_ns != ns->user_ns)
3776                 copy_flags |= CL_SHARED_TO_SLAVE;
3777         new = copy_tree(old, old->mnt.mnt_root, copy_flags);
3778         if (IS_ERR(new)) {
3779                 namespace_unlock();
3780                 free_mnt_ns(new_ns);
3781                 return ERR_CAST(new);
3782         }
3783         if (user_ns != ns->user_ns) {
3784                 lock_mount_hash();
3785                 lock_mnt_tree(new);
3786                 unlock_mount_hash();
3787         }
3788         new_ns->root = new;
3789
3790         /*
3791          * Second pass: switch the tsk->fs->* elements and mark new vfsmounts
3792          * as belonging to new namespace.  We have already acquired a private
3793          * fs_struct, so tsk->fs->lock is not needed.
3794          */
3795         p = old;
3796         q = new;
3797         while (p) {
3798                 mnt_add_to_ns(new_ns, q);
3799                 new_ns->nr_mounts++;
3800                 if (new_fs) {
3801                         if (&p->mnt == new_fs->root.mnt) {
3802                                 new_fs->root.mnt = mntget(&q->mnt);
3803                                 rootmnt = &p->mnt;
3804                         }
3805                         if (&p->mnt == new_fs->pwd.mnt) {
3806                                 new_fs->pwd.mnt = mntget(&q->mnt);
3807                                 pwdmnt = &p->mnt;
3808                         }
3809                 }
3810                 p = next_mnt(p, old);
3811                 q = next_mnt(q, new);
3812                 if (!q)
3813                         break;
3814                 // an mntns binding we'd skipped?
3815                 while (p->mnt.mnt_root != q->mnt.mnt_root)
3816                         p = next_mnt(skip_mnt_tree(p), old);
3817         }
3818         namespace_unlock();
3819
3820         if (rootmnt)
3821                 mntput(rootmnt);
3822         if (pwdmnt)
3823                 mntput(pwdmnt);
3824
3825         return new_ns;
3826 }
3827
3828 struct dentry *mount_subtree(struct vfsmount *m, const char *name)
3829 {
3830         struct mount *mnt = real_mount(m);
3831         struct mnt_namespace *ns;
3832         struct super_block *s;
3833         struct path path;
3834         int err;
3835
3836         ns = alloc_mnt_ns(&init_user_ns, true);
3837         if (IS_ERR(ns)) {
3838                 mntput(m);
3839                 return ERR_CAST(ns);
3840         }
3841         ns->root = mnt;
3842         ns->nr_mounts++;
3843         mnt_add_to_ns(ns, mnt);
3844
3845         err = vfs_path_lookup(m->mnt_root, m,
3846                         name, LOOKUP_FOLLOW|LOOKUP_AUTOMOUNT, &path);
3847
3848         put_mnt_ns(ns);
3849
3850         if (err)
3851                 return ERR_PTR(err);
3852
3853         /* trade a vfsmount reference for active sb one */
3854         s = path.mnt->mnt_sb;
3855         atomic_inc(&s->s_active);
3856         mntput(path.mnt);
3857         /* lock the sucker */
3858         down_write(&s->s_umount);
3859         /* ... and return the root of (sub)tree on it */
3860         return path.dentry;
3861 }
3862 EXPORT_SYMBOL(mount_subtree);
3863
3864 SYSCALL_DEFINE5(mount, char __user *, dev_name, char __user *, dir_name,
3865                 char __user *, type, unsigned long, flags, void __user *, data)
3866 {
3867         int ret;
3868         char *kernel_type;
3869         char *kernel_dev;
3870         void *options;
3871
3872         kernel_type = copy_mount_string(type);
3873         ret = PTR_ERR(kernel_type);
3874         if (IS_ERR(kernel_type))
3875                 goto out_type;
3876
3877         kernel_dev = copy_mount_string(dev_name);
3878         ret = PTR_ERR(kernel_dev);
3879         if (IS_ERR(kernel_dev))
3880                 goto out_dev;
3881
3882         options = copy_mount_options(data);
3883         ret = PTR_ERR(options);
3884         if (IS_ERR(options))
3885                 goto out_data;
3886
3887         ret = do_mount(kernel_dev, dir_name, kernel_type, flags, options);
3888
3889         kfree(options);
3890 out_data:
3891         kfree(kernel_dev);
3892 out_dev:
3893         kfree(kernel_type);
3894 out_type:
3895         return ret;
3896 }
3897
3898 #define FSMOUNT_VALID_FLAGS                                                    \
3899         (MOUNT_ATTR_RDONLY | MOUNT_ATTR_NOSUID | MOUNT_ATTR_NODEV |            \
3900          MOUNT_ATTR_NOEXEC | MOUNT_ATTR__ATIME | MOUNT_ATTR_NODIRATIME |       \
3901          MOUNT_ATTR_NOSYMFOLLOW)
3902
3903 #define MOUNT_SETATTR_VALID_FLAGS (FSMOUNT_VALID_FLAGS | MOUNT_ATTR_IDMAP)
3904
3905 #define MOUNT_SETATTR_PROPAGATION_FLAGS \
3906         (MS_UNBINDABLE | MS_PRIVATE | MS_SLAVE | MS_SHARED)
3907
3908 static unsigned int attr_flags_to_mnt_flags(u64 attr_flags)
3909 {
3910         unsigned int mnt_flags = 0;
3911
3912         if (attr_flags & MOUNT_ATTR_RDONLY)
3913                 mnt_flags |= MNT_READONLY;
3914         if (attr_flags & MOUNT_ATTR_NOSUID)
3915                 mnt_flags |= MNT_NOSUID;
3916         if (attr_flags & MOUNT_ATTR_NODEV)
3917                 mnt_flags |= MNT_NODEV;
3918         if (attr_flags & MOUNT_ATTR_NOEXEC)
3919                 mnt_flags |= MNT_NOEXEC;
3920         if (attr_flags & MOUNT_ATTR_NODIRATIME)
3921                 mnt_flags |= MNT_NODIRATIME;
3922         if (attr_flags & MOUNT_ATTR_NOSYMFOLLOW)
3923                 mnt_flags |= MNT_NOSYMFOLLOW;
3924
3925         return mnt_flags;
3926 }
3927
3928 /*
3929  * Create a kernel mount representation for a new, prepared superblock
3930  * (specified by fs_fd) and attach to an open_tree-like file descriptor.
3931  */
3932 SYSCALL_DEFINE3(fsmount, int, fs_fd, unsigned int, flags,
3933                 unsigned int, attr_flags)
3934 {
3935         struct mnt_namespace *ns;
3936         struct fs_context *fc;
3937         struct file *file;
3938         struct path newmount;
3939         struct mount *mnt;
3940         struct fd f;
3941         unsigned int mnt_flags = 0;
3942         long ret;
3943
3944         if (!may_mount())
3945                 return -EPERM;
3946
3947         if ((flags & ~(FSMOUNT_CLOEXEC)) != 0)
3948                 return -EINVAL;
3949
3950         if (attr_flags & ~FSMOUNT_VALID_FLAGS)
3951                 return -EINVAL;
3952
3953         mnt_flags = attr_flags_to_mnt_flags(attr_flags);
3954
3955         switch (attr_flags & MOUNT_ATTR__ATIME) {
3956         case MOUNT_ATTR_STRICTATIME:
3957                 break;
3958         case MOUNT_ATTR_NOATIME:
3959                 mnt_flags |= MNT_NOATIME;
3960                 break;
3961         case MOUNT_ATTR_RELATIME:
3962                 mnt_flags |= MNT_RELATIME;
3963                 break;
3964         default:
3965                 return -EINVAL;
3966         }
3967
3968         f = fdget(fs_fd);
3969         if (!f.file)
3970                 return -EBADF;
3971
3972         ret = -EINVAL;
3973         if (f.file->f_op != &fscontext_fops)
3974                 goto err_fsfd;
3975
3976         fc = f.file->private_data;
3977
3978         ret = mutex_lock_interruptible(&fc->uapi_mutex);
3979         if (ret < 0)
3980                 goto err_fsfd;
3981
3982         /* There must be a valid superblock or we can't mount it */
3983         ret = -EINVAL;
3984         if (!fc->root)
3985                 goto err_unlock;
3986
3987         ret = -EPERM;
3988         if (mount_too_revealing(fc->root->d_sb, &mnt_flags)) {
3989                 pr_warn("VFS: Mount too revealing\n");
3990                 goto err_unlock;
3991         }
3992
3993         ret = -EBUSY;
3994         if (fc->phase != FS_CONTEXT_AWAITING_MOUNT)
3995                 goto err_unlock;
3996
3997         if (fc->sb_flags & SB_MANDLOCK)
3998                 warn_mandlock();
3999
4000         newmount.mnt = vfs_create_mount(fc);
4001         if (IS_ERR(newmount.mnt)) {
4002                 ret = PTR_ERR(newmount.mnt);
4003                 goto err_unlock;
4004         }
4005         newmount.dentry = dget(fc->root);
4006         newmount.mnt->mnt_flags = mnt_flags;
4007
4008         /* We've done the mount bit - now move the file context into more or
4009          * less the same state as if we'd done an fspick().  We don't want to
4010          * do any memory allocation or anything like that at this point as we
4011          * don't want to have to handle any errors incurred.
4012          */
4013         vfs_clean_context(fc);
4014
4015         ns = alloc_mnt_ns(current->nsproxy->mnt_ns->user_ns, true);
4016         if (IS_ERR(ns)) {
4017                 ret = PTR_ERR(ns);
4018                 goto err_path;
4019         }
4020         mnt = real_mount(newmount.mnt);
4021         ns->root = mnt;
4022         ns->nr_mounts = 1;
4023         mnt_add_to_ns(ns, mnt);
4024         mntget(newmount.mnt);
4025
4026         /* Attach to an apparent O_PATH fd with a note that we need to unmount
4027          * it, not just simply put it.
4028          */
4029         file = dentry_open(&newmount, O_PATH, fc->cred);
4030         if (IS_ERR(file)) {
4031                 dissolve_on_fput(newmount.mnt);
4032                 ret = PTR_ERR(file);
4033                 goto err_path;
4034         }
4035         file->f_mode |= FMODE_NEED_UNMOUNT;
4036
4037         ret = get_unused_fd_flags((flags & FSMOUNT_CLOEXEC) ? O_CLOEXEC : 0);
4038         if (ret >= 0)
4039                 fd_install(ret, file);
4040         else
4041                 fput(file);
4042
4043 err_path:
4044         path_put(&newmount);
4045 err_unlock:
4046         mutex_unlock(&fc->uapi_mutex);
4047 err_fsfd:
4048         fdput(f);
4049         return ret;
4050 }
4051
4052 /*
4053  * Move a mount from one place to another.  In combination with
4054  * fsopen()/fsmount() this is used to install a new mount and in combination
4055  * with open_tree(OPEN_TREE_CLONE [| AT_RECURSIVE]) it can be used to copy
4056  * a mount subtree.
4057  *
4058  * Note the flags value is a combination of MOVE_MOUNT_* flags.
4059  */
4060 SYSCALL_DEFINE5(move_mount,
4061                 int, from_dfd, const char __user *, from_pathname,
4062                 int, to_dfd, const char __user *, to_pathname,
4063                 unsigned int, flags)
4064 {
4065         struct path from_path, to_path;
4066         unsigned int lflags;
4067         int ret = 0;
4068
4069         if (!may_mount())
4070                 return -EPERM;
4071
4072         if (flags & ~MOVE_MOUNT__MASK)
4073                 return -EINVAL;
4074
4075         if ((flags & (MOVE_MOUNT_BENEATH | MOVE_MOUNT_SET_GROUP)) ==
4076             (MOVE_MOUNT_BENEATH | MOVE_MOUNT_SET_GROUP))
4077                 return -EINVAL;
4078
4079         /* If someone gives a pathname, they aren't permitted to move
4080          * from an fd that requires unmount as we can't get at the flag
4081          * to clear it afterwards.
4082          */
4083         lflags = 0;
4084         if (flags & MOVE_MOUNT_F_SYMLINKS)      lflags |= LOOKUP_FOLLOW;
4085         if (flags & MOVE_MOUNT_F_AUTOMOUNTS)    lflags |= LOOKUP_AUTOMOUNT;
4086         if (flags & MOVE_MOUNT_F_EMPTY_PATH)    lflags |= LOOKUP_EMPTY;
4087
4088         ret = user_path_at(from_dfd, from_pathname, lflags, &from_path);
4089         if (ret < 0)
4090                 return ret;
4091
4092         lflags = 0;
4093         if (flags & MOVE_MOUNT_T_SYMLINKS)      lflags |= LOOKUP_FOLLOW;
4094         if (flags & MOVE_MOUNT_T_AUTOMOUNTS)    lflags |= LOOKUP_AUTOMOUNT;
4095         if (flags & MOVE_MOUNT_T_EMPTY_PATH)    lflags |= LOOKUP_EMPTY;
4096
4097         ret = user_path_at(to_dfd, to_pathname, lflags, &to_path);
4098         if (ret < 0)
4099                 goto out_from;
4100
4101         ret = security_move_mount(&from_path, &to_path);
4102         if (ret < 0)
4103                 goto out_to;
4104
4105         if (flags & MOVE_MOUNT_SET_GROUP)
4106                 ret = do_set_group(&from_path, &to_path);
4107         else
4108                 ret = do_move_mount(&from_path, &to_path,
4109                                     (flags & MOVE_MOUNT_BENEATH));
4110
4111 out_to:
4112         path_put(&to_path);
4113 out_from:
4114         path_put(&from_path);
4115         return ret;
4116 }
4117
4118 /*
4119  * Return true if path is reachable from root
4120  *
4121  * namespace_sem or mount_lock is held
4122  */
4123 bool is_path_reachable(struct mount *mnt, struct dentry *dentry,
4124                          const struct path *root)
4125 {
4126         while (&mnt->mnt != root->mnt && mnt_has_parent(mnt)) {
4127                 dentry = mnt->mnt_mountpoint;
4128                 mnt = mnt->mnt_parent;
4129         }
4130         return &mnt->mnt == root->mnt && is_subdir(dentry, root->dentry);
4131 }
4132
4133 bool path_is_under(const struct path *path1, const struct path *path2)
4134 {
4135         bool res;
4136         read_seqlock_excl(&mount_lock);
4137         res = is_path_reachable(real_mount(path1->mnt), path1->dentry, path2);
4138         read_sequnlock_excl(&mount_lock);
4139         return res;
4140 }
4141 EXPORT_SYMBOL(path_is_under);
4142
4143 /*
4144  * pivot_root Semantics:
4145  * Moves the root file system of the current process to the directory put_old,
4146  * makes new_root as the new root file system of the current process, and sets
4147  * root/cwd of all processes which had them on the current root to new_root.
4148  *
4149  * Restrictions:
4150  * The new_root and put_old must be directories, and  must not be on the
4151  * same file  system as the current process root. The put_old  must  be
4152  * underneath new_root,  i.e. adding a non-zero number of /.. to the string
4153  * pointed to by put_old must yield the same directory as new_root. No other
4154  * file system may be mounted on put_old. After all, new_root is a mountpoint.
4155  *
4156  * Also, the current root cannot be on the 'rootfs' (initial ramfs) filesystem.
4157  * See Documentation/filesystems/ramfs-rootfs-initramfs.rst for alternatives
4158  * in this situation.
4159  *
4160  * Notes:
4161  *  - we don't move root/cwd if they are not at the root (reason: if something
4162  *    cared enough to change them, it's probably wrong to force them elsewhere)
4163  *  - it's okay to pick a root that isn't the root of a file system, e.g.
4164  *    /nfs/my_root where /nfs is the mount point. It must be a mountpoint,
4165  *    though, so you may need to say mount --bind /nfs/my_root /nfs/my_root
4166  *    first.
4167  */
4168 SYSCALL_DEFINE2(pivot_root, const char __user *, new_root,
4169                 const char __user *, put_old)
4170 {
4171         struct path new, old, root;
4172         struct mount *new_mnt, *root_mnt, *old_mnt, *root_parent, *ex_parent;
4173         struct mountpoint *old_mp, *root_mp;
4174         int error;
4175
4176         if (!may_mount())
4177                 return -EPERM;
4178
4179         error = user_path_at(AT_FDCWD, new_root,
4180                              LOOKUP_FOLLOW | LOOKUP_DIRECTORY, &new);
4181         if (error)
4182                 goto out0;
4183
4184         error = user_path_at(AT_FDCWD, put_old,
4185                              LOOKUP_FOLLOW | LOOKUP_DIRECTORY, &old);
4186         if (error)
4187                 goto out1;
4188
4189         error = security_sb_pivotroot(&old, &new);
4190         if (error)
4191                 goto out2;
4192
4193         get_fs_root(current->fs, &root);
4194         old_mp = lock_mount(&old);
4195         error = PTR_ERR(old_mp);
4196         if (IS_ERR(old_mp))
4197                 goto out3;
4198
4199         error = -EINVAL;
4200         new_mnt = real_mount(new.mnt);
4201         root_mnt = real_mount(root.mnt);
4202         old_mnt = real_mount(old.mnt);
4203         ex_parent = new_mnt->mnt_parent;
4204         root_parent = root_mnt->mnt_parent;
4205         if (IS_MNT_SHARED(old_mnt) ||
4206                 IS_MNT_SHARED(ex_parent) ||
4207                 IS_MNT_SHARED(root_parent))
4208                 goto out4;
4209         if (!check_mnt(root_mnt) || !check_mnt(new_mnt))
4210                 goto out4;
4211         if (new_mnt->mnt.mnt_flags & MNT_LOCKED)
4212                 goto out4;
4213         error = -ENOENT;
4214         if (d_unlinked(new.dentry))
4215                 goto out4;
4216         error = -EBUSY;
4217         if (new_mnt == root_mnt || old_mnt == root_mnt)
4218                 goto out4; /* loop, on the same file system  */
4219         error = -EINVAL;
4220         if (!path_mounted(&root))
4221                 goto out4; /* not a mountpoint */
4222         if (!mnt_has_parent(root_mnt))
4223                 goto out4; /* not attached */
4224         if (!path_mounted(&new))
4225                 goto out4; /* not a mountpoint */
4226         if (!mnt_has_parent(new_mnt))
4227                 goto out4; /* not attached */
4228         /* make sure we can reach put_old from new_root */
4229         if (!is_path_reachable(old_mnt, old.dentry, &new))
4230                 goto out4;
4231         /* make certain new is below the root */
4232         if (!is_path_reachable(new_mnt, new.dentry, &root))
4233                 goto out4;
4234         lock_mount_hash();
4235         umount_mnt(new_mnt);
4236         root_mp = unhash_mnt(root_mnt);  /* we'll need its mountpoint */
4237         if (root_mnt->mnt.mnt_flags & MNT_LOCKED) {
4238                 new_mnt->mnt.mnt_flags |= MNT_LOCKED;
4239                 root_mnt->mnt.mnt_flags &= ~MNT_LOCKED;
4240         }
4241         /* mount old root on put_old */
4242         attach_mnt(root_mnt, old_mnt, old_mp, false);
4243         /* mount new_root on / */
4244         attach_mnt(new_mnt, root_parent, root_mp, false);
4245         mnt_add_count(root_parent, -1);
4246         touch_mnt_namespace(current->nsproxy->mnt_ns);
4247         /* A moved mount should not expire automatically */
4248         list_del_init(&new_mnt->mnt_expire);
4249         put_mountpoint(root_mp);
4250         unlock_mount_hash();
4251         chroot_fs_refs(&root, &new);
4252         error = 0;
4253 out4:
4254         unlock_mount(old_mp);
4255         if (!error)
4256                 mntput_no_expire(ex_parent);
4257 out3:
4258         path_put(&root);
4259 out2:
4260         path_put(&old);
4261 out1:
4262         path_put(&new);
4263 out0:
4264         return error;
4265 }
4266
4267 static unsigned int recalc_flags(struct mount_kattr *kattr, struct mount *mnt)
4268 {
4269         unsigned int flags = mnt->mnt.mnt_flags;
4270
4271         /*  flags to clear */
4272         flags &= ~kattr->attr_clr;
4273         /* flags to raise */
4274         flags |= kattr->attr_set;
4275
4276         return flags;
4277 }
4278
4279 static int can_idmap_mount(const struct mount_kattr *kattr, struct mount *mnt)
4280 {
4281         struct vfsmount *m = &mnt->mnt;
4282         struct user_namespace *fs_userns = m->mnt_sb->s_user_ns;
4283
4284         if (!kattr->mnt_idmap)
4285                 return 0;
4286
4287         /*
4288          * Creating an idmapped mount with the filesystem wide idmapping
4289          * doesn't make sense so block that. We don't allow mushy semantics.
4290          */
4291         if (kattr->mnt_userns == m->mnt_sb->s_user_ns)
4292                 return -EINVAL;
4293
4294         /*
4295          * Once a mount has been idmapped we don't allow it to change its
4296          * mapping. It makes things simpler and callers can just create
4297          * another bind-mount they can idmap if they want to.
4298          */
4299         if (is_idmapped_mnt(m))
4300                 return -EPERM;
4301
4302         /* The underlying filesystem doesn't support idmapped mounts yet. */
4303         if (!(m->mnt_sb->s_type->fs_flags & FS_ALLOW_IDMAP))
4304                 return -EINVAL;
4305
4306         /* We're not controlling the superblock. */
4307         if (!ns_capable(fs_userns, CAP_SYS_ADMIN))
4308                 return -EPERM;
4309
4310         /* Mount has already been visible in the filesystem hierarchy. */
4311         if (!is_anon_ns(mnt->mnt_ns))
4312                 return -EINVAL;
4313
4314         return 0;
4315 }
4316
4317 /**
4318  * mnt_allow_writers() - check whether the attribute change allows writers
4319  * @kattr: the new mount attributes
4320  * @mnt: the mount to which @kattr will be applied
4321  *
4322  * Check whether thew new mount attributes in @kattr allow concurrent writers.
4323  *
4324  * Return: true if writers need to be held, false if not
4325  */
4326 static inline bool mnt_allow_writers(const struct mount_kattr *kattr,
4327                                      const struct mount *mnt)
4328 {
4329         return (!(kattr->attr_set & MNT_READONLY) ||
4330                 (mnt->mnt.mnt_flags & MNT_READONLY)) &&
4331                !kattr->mnt_idmap;
4332 }
4333
4334 static int mount_setattr_prepare(struct mount_kattr *kattr, struct mount *mnt)
4335 {
4336         struct mount *m;
4337         int err;
4338
4339         for (m = mnt; m; m = next_mnt(m, mnt)) {
4340                 if (!can_change_locked_flags(m, recalc_flags(kattr, m))) {
4341                         err = -EPERM;
4342                         break;
4343                 }
4344
4345                 err = can_idmap_mount(kattr, m);
4346                 if (err)
4347                         break;
4348
4349                 if (!mnt_allow_writers(kattr, m)) {
4350                         err = mnt_hold_writers(m);
4351                         if (err)
4352                                 break;
4353                 }
4354
4355                 if (!kattr->recurse)
4356                         return 0;
4357         }
4358
4359         if (err) {
4360                 struct mount *p;
4361
4362                 /*
4363                  * If we had to call mnt_hold_writers() MNT_WRITE_HOLD will
4364                  * be set in @mnt_flags. The loop unsets MNT_WRITE_HOLD for all
4365                  * mounts and needs to take care to include the first mount.
4366                  */
4367                 for (p = mnt; p; p = next_mnt(p, mnt)) {
4368                         /* If we had to hold writers unblock them. */
4369                         if (p->mnt.mnt_flags & MNT_WRITE_HOLD)
4370                                 mnt_unhold_writers(p);
4371
4372                         /*
4373                          * We're done once the first mount we changed got
4374                          * MNT_WRITE_HOLD unset.
4375                          */
4376                         if (p == m)
4377                                 break;
4378                 }
4379         }
4380         return err;
4381 }
4382
4383 static void do_idmap_mount(const struct mount_kattr *kattr, struct mount *mnt)
4384 {
4385         if (!kattr->mnt_idmap)
4386                 return;
4387
4388         /*
4389          * Pairs with smp_load_acquire() in mnt_idmap().
4390          *
4391          * Since we only allow a mount to change the idmapping once and
4392          * verified this in can_idmap_mount() we know that the mount has
4393          * @nop_mnt_idmap attached to it. So there's no need to drop any
4394          * references.
4395          */
4396         smp_store_release(&mnt->mnt.mnt_idmap, mnt_idmap_get(kattr->mnt_idmap));
4397 }
4398
4399 static void mount_setattr_commit(struct mount_kattr *kattr, struct mount *mnt)
4400 {
4401         struct mount *m;
4402
4403         for (m = mnt; m; m = next_mnt(m, mnt)) {
4404                 unsigned int flags;
4405
4406                 do_idmap_mount(kattr, m);
4407                 flags = recalc_flags(kattr, m);
4408                 WRITE_ONCE(m->mnt.mnt_flags, flags);
4409
4410                 /* If we had to hold writers unblock them. */
4411                 if (m->mnt.mnt_flags & MNT_WRITE_HOLD)
4412                         mnt_unhold_writers(m);
4413
4414                 if (kattr->propagation)
4415                         change_mnt_propagation(m, kattr->propagation);
4416                 if (!kattr->recurse)
4417                         break;
4418         }
4419         touch_mnt_namespace(mnt->mnt_ns);
4420 }
4421
4422 static int do_mount_setattr(struct path *path, struct mount_kattr *kattr)
4423 {
4424         struct mount *mnt = real_mount(path->mnt);
4425         int err = 0;
4426
4427         if (!path_mounted(path))
4428                 return -EINVAL;
4429
4430         if (kattr->mnt_userns) {
4431                 struct mnt_idmap *mnt_idmap;
4432
4433                 mnt_idmap = alloc_mnt_idmap(kattr->mnt_userns);
4434                 if (IS_ERR(mnt_idmap))
4435                         return PTR_ERR(mnt_idmap);
4436                 kattr->mnt_idmap = mnt_idmap;
4437         }
4438
4439         if (kattr->propagation) {
4440                 /*
4441                  * Only take namespace_lock() if we're actually changing
4442                  * propagation.
4443                  */
4444                 namespace_lock();
4445                 if (kattr->propagation == MS_SHARED) {
4446                         err = invent_group_ids(mnt, kattr->recurse);
4447                         if (err) {
4448                                 namespace_unlock();
4449                                 return err;
4450                         }
4451                 }
4452         }
4453
4454         err = -EINVAL;
4455         lock_mount_hash();
4456
4457         /* Ensure that this isn't anything purely vfs internal. */
4458         if (!is_mounted(&mnt->mnt))
4459                 goto out;
4460
4461         /*
4462          * If this is an attached mount make sure it's located in the callers
4463          * mount namespace. If it's not don't let the caller interact with it.
4464          * If this is a detached mount make sure it has an anonymous mount
4465          * namespace attached to it, i.e. we've created it via OPEN_TREE_CLONE.
4466          */
4467         if (!(mnt_has_parent(mnt) ? check_mnt(mnt) : is_anon_ns(mnt->mnt_ns)))
4468                 goto out;
4469
4470         /*
4471          * First, we get the mount tree in a shape where we can change mount
4472          * properties without failure. If we succeeded to do so we commit all
4473          * changes and if we failed we clean up.
4474          */
4475         err = mount_setattr_prepare(kattr, mnt);
4476         if (!err)
4477                 mount_setattr_commit(kattr, mnt);
4478
4479 out:
4480         unlock_mount_hash();
4481
4482         if (kattr->propagation) {
4483                 if (err)
4484                         cleanup_group_ids(mnt, NULL);
4485                 namespace_unlock();
4486         }
4487
4488         return err;
4489 }
4490
4491 static int build_mount_idmapped(const struct mount_attr *attr, size_t usize,
4492                                 struct mount_kattr *kattr, unsigned int flags)
4493 {
4494         int err = 0;
4495         struct ns_common *ns;
4496         struct user_namespace *mnt_userns;
4497         struct fd f;
4498
4499         if (!((attr->attr_set | attr->attr_clr) & MOUNT_ATTR_IDMAP))
4500                 return 0;
4501
4502         /*
4503          * We currently do not support clearing an idmapped mount. If this ever
4504          * is a use-case we can revisit this but for now let's keep it simple
4505          * and not allow it.
4506          */
4507         if (attr->attr_clr & MOUNT_ATTR_IDMAP)
4508                 return -EINVAL;
4509
4510         if (attr->userns_fd > INT_MAX)
4511                 return -EINVAL;
4512
4513         f = fdget(attr->userns_fd);
4514         if (!f.file)
4515                 return -EBADF;
4516
4517         if (!proc_ns_file(f.file)) {
4518                 err = -EINVAL;
4519                 goto out_fput;
4520         }
4521
4522         ns = get_proc_ns(file_inode(f.file));
4523         if (ns->ops->type != CLONE_NEWUSER) {
4524                 err = -EINVAL;
4525                 goto out_fput;
4526         }
4527
4528         /*
4529          * The initial idmapping cannot be used to create an idmapped
4530          * mount. We use the initial idmapping as an indicator of a mount
4531          * that is not idmapped. It can simply be passed into helpers that
4532          * are aware of idmapped mounts as a convenient shortcut. A user
4533          * can just create a dedicated identity mapping to achieve the same
4534          * result.
4535          */
4536         mnt_userns = container_of(ns, struct user_namespace, ns);
4537         if (mnt_userns == &init_user_ns) {
4538                 err = -EPERM;
4539                 goto out_fput;
4540         }
4541
4542         /* We're not controlling the target namespace. */
4543         if (!ns_capable(mnt_userns, CAP_SYS_ADMIN)) {
4544                 err = -EPERM;
4545                 goto out_fput;
4546         }
4547
4548         kattr->mnt_userns = get_user_ns(mnt_userns);
4549
4550 out_fput:
4551         fdput(f);
4552         return err;
4553 }
4554
4555 static int build_mount_kattr(const struct mount_attr *attr, size_t usize,
4556                              struct mount_kattr *kattr, unsigned int flags)
4557 {
4558         unsigned int lookup_flags = LOOKUP_AUTOMOUNT | LOOKUP_FOLLOW;
4559
4560         if (flags & AT_NO_AUTOMOUNT)
4561                 lookup_flags &= ~LOOKUP_AUTOMOUNT;
4562         if (flags & AT_SYMLINK_NOFOLLOW)
4563                 lookup_flags &= ~LOOKUP_FOLLOW;
4564         if (flags & AT_EMPTY_PATH)
4565                 lookup_flags |= LOOKUP_EMPTY;
4566
4567         *kattr = (struct mount_kattr) {
4568                 .lookup_flags   = lookup_flags,
4569                 .recurse        = !!(flags & AT_RECURSIVE),
4570         };
4571
4572         if (attr->propagation & ~MOUNT_SETATTR_PROPAGATION_FLAGS)
4573                 return -EINVAL;
4574         if (hweight32(attr->propagation & MOUNT_SETATTR_PROPAGATION_FLAGS) > 1)
4575                 return -EINVAL;
4576         kattr->propagation = attr->propagation;
4577
4578         if ((attr->attr_set | attr->attr_clr) & ~MOUNT_SETATTR_VALID_FLAGS)
4579                 return -EINVAL;
4580
4581         kattr->attr_set = attr_flags_to_mnt_flags(attr->attr_set);
4582         kattr->attr_clr = attr_flags_to_mnt_flags(attr->attr_clr);
4583
4584         /*
4585          * Since the MOUNT_ATTR_<atime> values are an enum, not a bitmap,
4586          * users wanting to transition to a different atime setting cannot
4587          * simply specify the atime setting in @attr_set, but must also
4588          * specify MOUNT_ATTR__ATIME in the @attr_clr field.
4589          * So ensure that MOUNT_ATTR__ATIME can't be partially set in
4590          * @attr_clr and that @attr_set can't have any atime bits set if
4591          * MOUNT_ATTR__ATIME isn't set in @attr_clr.
4592          */
4593         if (attr->attr_clr & MOUNT_ATTR__ATIME) {
4594                 if ((attr->attr_clr & MOUNT_ATTR__ATIME) != MOUNT_ATTR__ATIME)
4595                         return -EINVAL;
4596
4597                 /*
4598                  * Clear all previous time settings as they are mutually
4599                  * exclusive.
4600                  */
4601                 kattr->attr_clr |= MNT_RELATIME | MNT_NOATIME;
4602                 switch (attr->attr_set & MOUNT_ATTR__ATIME) {
4603                 case MOUNT_ATTR_RELATIME:
4604                         kattr->attr_set |= MNT_RELATIME;
4605                         break;
4606                 case MOUNT_ATTR_NOATIME:
4607                         kattr->attr_set |= MNT_NOATIME;
4608                         break;
4609                 case MOUNT_ATTR_STRICTATIME:
4610                         break;
4611                 default:
4612                         return -EINVAL;
4613                 }
4614         } else {
4615                 if (attr->attr_set & MOUNT_ATTR__ATIME)
4616                         return -EINVAL;
4617         }
4618
4619         return build_mount_idmapped(attr, usize, kattr, flags);
4620 }
4621
4622 static void finish_mount_kattr(struct mount_kattr *kattr)
4623 {
4624         put_user_ns(kattr->mnt_userns);
4625         kattr->mnt_userns = NULL;
4626
4627         if (kattr->mnt_idmap)
4628                 mnt_idmap_put(kattr->mnt_idmap);
4629 }
4630
4631 SYSCALL_DEFINE5(mount_setattr, int, dfd, const char __user *, path,
4632                 unsigned int, flags, struct mount_attr __user *, uattr,
4633                 size_t, usize)
4634 {
4635         int err;
4636         struct path target;
4637         struct mount_attr attr;
4638         struct mount_kattr kattr;
4639
4640         BUILD_BUG_ON(sizeof(struct mount_attr) != MOUNT_ATTR_SIZE_VER0);
4641
4642         if (flags & ~(AT_EMPTY_PATH |
4643                       AT_RECURSIVE |
4644                       AT_SYMLINK_NOFOLLOW |
4645                       AT_NO_AUTOMOUNT))
4646                 return -EINVAL;
4647
4648         if (unlikely(usize > PAGE_SIZE))
4649                 return -E2BIG;
4650         if (unlikely(usize < MOUNT_ATTR_SIZE_VER0))
4651                 return -EINVAL;
4652
4653         if (!may_mount())
4654                 return -EPERM;
4655
4656         err = copy_struct_from_user(&attr, sizeof(attr), uattr, usize);
4657         if (err)
4658                 return err;
4659
4660         /* Don't bother walking through the mounts if this is a nop. */
4661         if (attr.attr_set == 0 &&
4662             attr.attr_clr == 0 &&
4663             attr.propagation == 0)
4664                 return 0;
4665
4666         err = build_mount_kattr(&attr, usize, &kattr, flags);
4667         if (err)
4668                 return err;
4669
4670         err = user_path_at(dfd, path, kattr.lookup_flags, &target);
4671         if (!err) {
4672                 err = do_mount_setattr(&target, &kattr);
4673                 path_put(&target);
4674         }
4675         finish_mount_kattr(&kattr);
4676         return err;
4677 }
4678
4679 int show_path(struct seq_file *m, struct dentry *root)
4680 {
4681         if (root->d_sb->s_op->show_path)
4682                 return root->d_sb->s_op->show_path(m, root);
4683
4684         seq_dentry(m, root, " \t\n\\");
4685         return 0;
4686 }
4687
4688 static struct vfsmount *lookup_mnt_in_ns(u64 id, struct mnt_namespace *ns)
4689 {
4690         struct mount *mnt = mnt_find_id_at(ns, id);
4691
4692         if (!mnt || mnt->mnt_id_unique != id)
4693                 return NULL;
4694
4695         return &mnt->mnt;
4696 }
4697
4698 struct kstatmount {
4699         struct statmount __user *buf;
4700         size_t bufsize;
4701         struct vfsmount *mnt;
4702         u64 mask;
4703         struct path root;
4704         struct statmount sm;
4705         struct seq_file seq;
4706 };
4707
4708 static u64 mnt_to_attr_flags(struct vfsmount *mnt)
4709 {
4710         unsigned int mnt_flags = READ_ONCE(mnt->mnt_flags);
4711         u64 attr_flags = 0;
4712
4713         if (mnt_flags & MNT_READONLY)
4714                 attr_flags |= MOUNT_ATTR_RDONLY;
4715         if (mnt_flags & MNT_NOSUID)
4716                 attr_flags |= MOUNT_ATTR_NOSUID;
4717         if (mnt_flags & MNT_NODEV)
4718                 attr_flags |= MOUNT_ATTR_NODEV;
4719         if (mnt_flags & MNT_NOEXEC)
4720                 attr_flags |= MOUNT_ATTR_NOEXEC;
4721         if (mnt_flags & MNT_NODIRATIME)
4722                 attr_flags |= MOUNT_ATTR_NODIRATIME;
4723         if (mnt_flags & MNT_NOSYMFOLLOW)
4724                 attr_flags |= MOUNT_ATTR_NOSYMFOLLOW;
4725
4726         if (mnt_flags & MNT_NOATIME)
4727                 attr_flags |= MOUNT_ATTR_NOATIME;
4728         else if (mnt_flags & MNT_RELATIME)
4729                 attr_flags |= MOUNT_ATTR_RELATIME;
4730         else
4731                 attr_flags |= MOUNT_ATTR_STRICTATIME;
4732
4733         if (is_idmapped_mnt(mnt))
4734                 attr_flags |= MOUNT_ATTR_IDMAP;
4735
4736         return attr_flags;
4737 }
4738
4739 static u64 mnt_to_propagation_flags(struct mount *m)
4740 {
4741         u64 propagation = 0;
4742
4743         if (IS_MNT_SHARED(m))
4744                 propagation |= MS_SHARED;
4745         if (IS_MNT_SLAVE(m))
4746                 propagation |= MS_SLAVE;
4747         if (IS_MNT_UNBINDABLE(m))
4748                 propagation |= MS_UNBINDABLE;
4749         if (!propagation)
4750                 propagation |= MS_PRIVATE;
4751
4752         return propagation;
4753 }
4754
4755 static void statmount_sb_basic(struct kstatmount *s)
4756 {
4757         struct super_block *sb = s->mnt->mnt_sb;
4758
4759         s->sm.mask |= STATMOUNT_SB_BASIC;
4760         s->sm.sb_dev_major = MAJOR(sb->s_dev);
4761         s->sm.sb_dev_minor = MINOR(sb->s_dev);
4762         s->sm.sb_magic = sb->s_magic;
4763         s->sm.sb_flags = sb->s_flags & (SB_RDONLY|SB_SYNCHRONOUS|SB_DIRSYNC|SB_LAZYTIME);
4764 }
4765
4766 static void statmount_mnt_basic(struct kstatmount *s)
4767 {
4768         struct mount *m = real_mount(s->mnt);
4769
4770         s->sm.mask |= STATMOUNT_MNT_BASIC;
4771         s->sm.mnt_id = m->mnt_id_unique;
4772         s->sm.mnt_parent_id = m->mnt_parent->mnt_id_unique;
4773         s->sm.mnt_id_old = m->mnt_id;
4774         s->sm.mnt_parent_id_old = m->mnt_parent->mnt_id;
4775         s->sm.mnt_attr = mnt_to_attr_flags(&m->mnt);
4776         s->sm.mnt_propagation = mnt_to_propagation_flags(m);
4777         s->sm.mnt_peer_group = IS_MNT_SHARED(m) ? m->mnt_group_id : 0;
4778         s->sm.mnt_master = IS_MNT_SLAVE(m) ? m->mnt_master->mnt_group_id : 0;
4779 }
4780
4781 static void statmount_propagate_from(struct kstatmount *s)
4782 {
4783         struct mount *m = real_mount(s->mnt);
4784
4785         s->sm.mask |= STATMOUNT_PROPAGATE_FROM;
4786         if (IS_MNT_SLAVE(m))
4787                 s->sm.propagate_from = get_dominating_id(m, &current->fs->root);
4788 }
4789
4790 static int statmount_mnt_root(struct kstatmount *s, struct seq_file *seq)
4791 {
4792         int ret;
4793         size_t start = seq->count;
4794
4795         ret = show_path(seq, s->mnt->mnt_root);
4796         if (ret)
4797                 return ret;
4798
4799         if (unlikely(seq_has_overflowed(seq)))
4800                 return -EAGAIN;
4801
4802         /*
4803          * Unescape the result. It would be better if supplied string was not
4804          * escaped in the first place, but that's a pretty invasive change.
4805          */
4806         seq->buf[seq->count] = '\0';
4807         seq->count = start;
4808         seq_commit(seq, string_unescape_inplace(seq->buf + start, UNESCAPE_OCTAL));
4809         return 0;
4810 }
4811
4812 static int statmount_mnt_point(struct kstatmount *s, struct seq_file *seq)
4813 {
4814         struct vfsmount *mnt = s->mnt;
4815         struct path mnt_path = { .dentry = mnt->mnt_root, .mnt = mnt };
4816         int err;
4817
4818         err = seq_path_root(seq, &mnt_path, &s->root, "");
4819         return err == SEQ_SKIP ? 0 : err;
4820 }
4821
4822 static int statmount_fs_type(struct kstatmount *s, struct seq_file *seq)
4823 {
4824         struct super_block *sb = s->mnt->mnt_sb;
4825
4826         seq_puts(seq, sb->s_type->name);
4827         return 0;
4828 }
4829
4830 static int statmount_string(struct kstatmount *s, u64 flag)
4831 {
4832         int ret;
4833         size_t kbufsize;
4834         struct seq_file *seq = &s->seq;
4835         struct statmount *sm = &s->sm;
4836
4837         switch (flag) {
4838         case STATMOUNT_FS_TYPE:
4839                 sm->fs_type = seq->count;
4840                 ret = statmount_fs_type(s, seq);
4841                 break;
4842         case STATMOUNT_MNT_ROOT:
4843                 sm->mnt_root = seq->count;
4844                 ret = statmount_mnt_root(s, seq);
4845                 break;
4846         case STATMOUNT_MNT_POINT:
4847                 sm->mnt_point = seq->count;
4848                 ret = statmount_mnt_point(s, seq);
4849                 break;
4850         default:
4851                 WARN_ON_ONCE(true);
4852                 return -EINVAL;
4853         }
4854
4855         if (unlikely(check_add_overflow(sizeof(*sm), seq->count, &kbufsize)))
4856                 return -EOVERFLOW;
4857         if (kbufsize >= s->bufsize)
4858                 return -EOVERFLOW;
4859
4860         /* signal a retry */
4861         if (unlikely(seq_has_overflowed(seq)))
4862                 return -EAGAIN;
4863
4864         if (ret)
4865                 return ret;
4866
4867         seq->buf[seq->count++] = '\0';
4868         sm->mask |= flag;
4869         return 0;
4870 }
4871
4872 static int copy_statmount_to_user(struct kstatmount *s)
4873 {
4874         struct statmount *sm = &s->sm;
4875         struct seq_file *seq = &s->seq;
4876         char __user *str = ((char __user *)s->buf) + sizeof(*sm);
4877         size_t copysize = min_t(size_t, s->bufsize, sizeof(*sm));
4878
4879         if (seq->count && copy_to_user(str, seq->buf, seq->count))
4880                 return -EFAULT;
4881
4882         /* Return the number of bytes copied to the buffer */
4883         sm->size = copysize + seq->count;
4884         if (copy_to_user(s->buf, sm, copysize))
4885                 return -EFAULT;
4886
4887         return 0;
4888 }
4889
4890 static int do_statmount(struct kstatmount *s)
4891 {
4892         struct mount *m = real_mount(s->mnt);
4893         int err;
4894
4895         /*
4896          * Don't trigger audit denials. We just want to determine what
4897          * mounts to show users.
4898          */
4899         if (!is_path_reachable(m, m->mnt.mnt_root, &s->root) &&
4900             !ns_capable_noaudit(&init_user_ns, CAP_SYS_ADMIN))
4901                 return -EPERM;
4902
4903         err = security_sb_statfs(s->mnt->mnt_root);
4904         if (err)
4905                 return err;
4906
4907         if (s->mask & STATMOUNT_SB_BASIC)
4908                 statmount_sb_basic(s);
4909
4910         if (s->mask & STATMOUNT_MNT_BASIC)
4911                 statmount_mnt_basic(s);
4912
4913         if (s->mask & STATMOUNT_PROPAGATE_FROM)
4914                 statmount_propagate_from(s);
4915
4916         if (s->mask & STATMOUNT_FS_TYPE)
4917                 err = statmount_string(s, STATMOUNT_FS_TYPE);
4918
4919         if (!err && s->mask & STATMOUNT_MNT_ROOT)
4920                 err = statmount_string(s, STATMOUNT_MNT_ROOT);
4921
4922         if (!err && s->mask & STATMOUNT_MNT_POINT)
4923                 err = statmount_string(s, STATMOUNT_MNT_POINT);
4924
4925         if (err)
4926                 return err;
4927
4928         return 0;
4929 }
4930
4931 static inline bool retry_statmount(const long ret, size_t *seq_size)
4932 {
4933         if (likely(ret != -EAGAIN))
4934                 return false;
4935         if (unlikely(check_mul_overflow(*seq_size, 2, seq_size)))
4936                 return false;
4937         if (unlikely(*seq_size > MAX_RW_COUNT))
4938                 return false;
4939         return true;
4940 }
4941
4942 static int prepare_kstatmount(struct kstatmount *ks, struct mnt_id_req *kreq,
4943                               struct statmount __user *buf, size_t bufsize,
4944                               size_t seq_size)
4945 {
4946         if (!access_ok(buf, bufsize))
4947                 return -EFAULT;
4948
4949         memset(ks, 0, sizeof(*ks));
4950         ks->mask = kreq->param;
4951         ks->buf = buf;
4952         ks->bufsize = bufsize;
4953         ks->seq.size = seq_size;
4954         ks->seq.buf = kvmalloc(seq_size, GFP_KERNEL_ACCOUNT);
4955         if (!ks->seq.buf)
4956                 return -ENOMEM;
4957         return 0;
4958 }
4959
4960 static int copy_mnt_id_req(const struct mnt_id_req __user *req,
4961                            struct mnt_id_req *kreq)
4962 {
4963         int ret;
4964         size_t usize;
4965
4966         BUILD_BUG_ON(sizeof(struct mnt_id_req) != MNT_ID_REQ_SIZE_VER0);
4967
4968         ret = get_user(usize, &req->size);
4969         if (ret)
4970                 return -EFAULT;
4971         if (unlikely(usize > PAGE_SIZE))
4972                 return -E2BIG;
4973         if (unlikely(usize < MNT_ID_REQ_SIZE_VER0))
4974                 return -EINVAL;
4975         memset(kreq, 0, sizeof(*kreq));
4976         ret = copy_struct_from_user(kreq, sizeof(*kreq), req, usize);
4977         if (ret)
4978                 return ret;
4979         if (kreq->spare != 0)
4980                 return -EINVAL;
4981         return 0;
4982 }
4983
4984 SYSCALL_DEFINE4(statmount, const struct mnt_id_req __user *, req,
4985                 struct statmount __user *, buf, size_t, bufsize,
4986                 unsigned int, flags)
4987 {
4988         struct vfsmount *mnt;
4989         struct mnt_id_req kreq;
4990         struct kstatmount ks;
4991         /* We currently support retrieval of 3 strings. */
4992         size_t seq_size = 3 * PATH_MAX;
4993         int ret;
4994
4995         if (flags)
4996                 return -EINVAL;
4997
4998         ret = copy_mnt_id_req(req, &kreq);
4999         if (ret)
5000                 return ret;
5001
5002 retry:
5003         ret = prepare_kstatmount(&ks, &kreq, buf, bufsize, seq_size);
5004         if (ret)
5005                 return ret;
5006
5007         down_read(&namespace_sem);
5008         mnt = lookup_mnt_in_ns(kreq.mnt_id, current->nsproxy->mnt_ns);
5009         if (!mnt) {
5010                 up_read(&namespace_sem);
5011                 kvfree(ks.seq.buf);
5012                 return -ENOENT;
5013         }
5014
5015         ks.mnt = mnt;
5016         get_fs_root(current->fs, &ks.root);
5017         ret = do_statmount(&ks);
5018         path_put(&ks.root);
5019         up_read(&namespace_sem);
5020
5021         if (!ret)
5022                 ret = copy_statmount_to_user(&ks);
5023         kvfree(ks.seq.buf);
5024         if (retry_statmount(ret, &seq_size))
5025                 goto retry;
5026         return ret;
5027 }
5028
5029 static struct mount *listmnt_next(struct mount *curr)
5030 {
5031         return node_to_mount(rb_next(&curr->mnt_node));
5032 }
5033
5034 static ssize_t do_listmount(struct mount *first, struct path *orig, u64 mnt_id,
5035                             u64 __user *buf, size_t bufsize,
5036                             const struct path *root)
5037 {
5038         struct mount *r;
5039         ssize_t ctr;
5040         int err;
5041
5042         /*
5043          * Don't trigger audit denials. We just want to determine what
5044          * mounts to show users.
5045          */
5046         if (!is_path_reachable(real_mount(orig->mnt), orig->dentry, root) &&
5047             !ns_capable_noaudit(&init_user_ns, CAP_SYS_ADMIN))
5048                 return -EPERM;
5049
5050         err = security_sb_statfs(orig->dentry);
5051         if (err)
5052                 return err;
5053
5054         for (ctr = 0, r = first; r && ctr < bufsize; r = listmnt_next(r)) {
5055                 if (r->mnt_id_unique == mnt_id)
5056                         continue;
5057                 if (!is_path_reachable(r, r->mnt.mnt_root, orig))
5058                         continue;
5059                 ctr = array_index_nospec(ctr, bufsize);
5060                 if (put_user(r->mnt_id_unique, buf + ctr))
5061                         return -EFAULT;
5062                 if (check_add_overflow(ctr, 1, &ctr))
5063                         return -ERANGE;
5064         }
5065         return ctr;
5066 }
5067
5068 SYSCALL_DEFINE4(listmount, const struct mnt_id_req __user *, req,
5069                 u64 __user *, buf, size_t, bufsize, unsigned int, flags)
5070 {
5071         struct mnt_namespace *ns = current->nsproxy->mnt_ns;
5072         struct mnt_id_req kreq;
5073         struct mount *first;
5074         struct path root, orig;
5075         u64 mnt_id, last_mnt_id;
5076         ssize_t ret;
5077
5078         if (flags)
5079                 return -EINVAL;
5080
5081         ret = copy_mnt_id_req(req, &kreq);
5082         if (ret)
5083                 return ret;
5084         mnt_id = kreq.mnt_id;
5085         last_mnt_id = kreq.param;
5086
5087         down_read(&namespace_sem);
5088         get_fs_root(current->fs, &root);
5089         if (mnt_id == LSMT_ROOT) {
5090                 orig = root;
5091         } else {
5092                 ret = -ENOENT;
5093                 orig.mnt  = lookup_mnt_in_ns(mnt_id, ns);
5094                 if (!orig.mnt)
5095                         goto err;
5096                 orig.dentry = orig.mnt->mnt_root;
5097         }
5098         if (!last_mnt_id)
5099                 first = node_to_mount(rb_first(&ns->mounts));
5100         else
5101                 first = mnt_find_id_at(ns, last_mnt_id + 1);
5102
5103         ret = do_listmount(first, &orig, mnt_id, buf, bufsize, &root);
5104 err:
5105         path_put(&root);
5106         up_read(&namespace_sem);
5107         return ret;
5108 }
5109
5110
5111 static void __init init_mount_tree(void)
5112 {
5113         struct vfsmount *mnt;
5114         struct mount *m;
5115         struct mnt_namespace *ns;
5116         struct path root;
5117
5118         mnt = vfs_kern_mount(&rootfs_fs_type, 0, "rootfs", NULL);
5119         if (IS_ERR(mnt))
5120                 panic("Can't create rootfs");
5121
5122         ns = alloc_mnt_ns(&init_user_ns, false);
5123         if (IS_ERR(ns))
5124                 panic("Can't allocate initial namespace");
5125         m = real_mount(mnt);
5126         ns->root = m;
5127         ns->nr_mounts = 1;
5128         mnt_add_to_ns(ns, m);
5129         init_task.nsproxy->mnt_ns = ns;
5130         get_mnt_ns(ns);
5131
5132         root.mnt = mnt;
5133         root.dentry = mnt->mnt_root;
5134         mnt->mnt_flags |= MNT_LOCKED;
5135
5136         set_fs_pwd(current->fs, &root);
5137         set_fs_root(current->fs, &root);
5138 }
5139
5140 void __init mnt_init(void)
5141 {
5142         int err;
5143
5144         mnt_cache = kmem_cache_create("mnt_cache", sizeof(struct mount),
5145                         0, SLAB_HWCACHE_ALIGN|SLAB_PANIC|SLAB_ACCOUNT, NULL);
5146
5147         mount_hashtable = alloc_large_system_hash("Mount-cache",
5148                                 sizeof(struct hlist_head),
5149                                 mhash_entries, 19,
5150                                 HASH_ZERO,
5151                                 &m_hash_shift, &m_hash_mask, 0, 0);
5152         mountpoint_hashtable = alloc_large_system_hash("Mountpoint-cache",
5153                                 sizeof(struct hlist_head),
5154                                 mphash_entries, 19,
5155                                 HASH_ZERO,
5156                                 &mp_hash_shift, &mp_hash_mask, 0, 0);
5157
5158         if (!mount_hashtable || !mountpoint_hashtable)
5159                 panic("Failed to allocate mount hash table\n");
5160
5161         kernfs_init();
5162
5163         err = sysfs_init();
5164         if (err)
5165                 printk(KERN_WARNING "%s: sysfs_init error: %d\n",
5166                         __func__, err);
5167         fs_kobj = kobject_create_and_add("fs", NULL);
5168         if (!fs_kobj)
5169                 printk(KERN_WARNING "%s: kobj create error\n", __func__);
5170         shmem_init();
5171         init_rootfs();
5172         init_mount_tree();
5173 }
5174
5175 void put_mnt_ns(struct mnt_namespace *ns)
5176 {
5177         if (!refcount_dec_and_test(&ns->ns.count))
5178                 return;
5179         drop_collected_mounts(&ns->root->mnt);
5180         free_mnt_ns(ns);
5181 }
5182
5183 struct vfsmount *kern_mount(struct file_system_type *type)
5184 {
5185         struct vfsmount *mnt;
5186         mnt = vfs_kern_mount(type, SB_KERNMOUNT, type->name, NULL);
5187         if (!IS_ERR(mnt)) {
5188                 /*
5189                  * it is a longterm mount, don't release mnt until
5190                  * we unmount before file sys is unregistered
5191                 */
5192                 real_mount(mnt)->mnt_ns = MNT_NS_INTERNAL;
5193         }
5194         return mnt;
5195 }
5196 EXPORT_SYMBOL_GPL(kern_mount);
5197
5198 void kern_unmount(struct vfsmount *mnt)
5199 {
5200         /* release long term mount so mount point can be released */
5201         if (!IS_ERR(mnt)) {
5202                 mnt_make_shortterm(mnt);
5203                 synchronize_rcu();      /* yecchhh... */
5204                 mntput(mnt);
5205         }
5206 }
5207 EXPORT_SYMBOL(kern_unmount);
5208
5209 void kern_unmount_array(struct vfsmount *mnt[], unsigned int num)
5210 {
5211         unsigned int i;
5212
5213         for (i = 0; i < num; i++)
5214                 mnt_make_shortterm(mnt[i]);
5215         synchronize_rcu_expedited();
5216         for (i = 0; i < num; i++)
5217                 mntput(mnt[i]);
5218 }
5219 EXPORT_SYMBOL(kern_unmount_array);
5220
5221 bool our_mnt(struct vfsmount *mnt)
5222 {
5223         return check_mnt(real_mount(mnt));
5224 }
5225
5226 bool current_chrooted(void)
5227 {
5228         /* Does the current process have a non-standard root */
5229         struct path ns_root;
5230         struct path fs_root;
5231         bool chrooted;
5232
5233         /* Find the namespace root */
5234         ns_root.mnt = &current->nsproxy->mnt_ns->root->mnt;
5235         ns_root.dentry = ns_root.mnt->mnt_root;
5236         path_get(&ns_root);
5237         while (d_mountpoint(ns_root.dentry) && follow_down_one(&ns_root))
5238                 ;
5239
5240         get_fs_root(current->fs, &fs_root);
5241
5242         chrooted = !path_equal(&fs_root, &ns_root);
5243
5244         path_put(&fs_root);
5245         path_put(&ns_root);
5246
5247         return chrooted;
5248 }
5249
5250 static bool mnt_already_visible(struct mnt_namespace *ns,
5251                                 const struct super_block *sb,
5252                                 int *new_mnt_flags)
5253 {
5254         int new_flags = *new_mnt_flags;
5255         struct mount *mnt, *n;
5256         bool visible = false;
5257
5258         down_read(&namespace_sem);
5259         rbtree_postorder_for_each_entry_safe(mnt, n, &ns->mounts, mnt_node) {
5260                 struct mount *child;
5261                 int mnt_flags;
5262
5263                 if (mnt->mnt.mnt_sb->s_type != sb->s_type)
5264                         continue;
5265
5266                 /* This mount is not fully visible if it's root directory
5267                  * is not the root directory of the filesystem.
5268                  */
5269                 if (mnt->mnt.mnt_root != mnt->mnt.mnt_sb->s_root)
5270                         continue;
5271
5272                 /* A local view of the mount flags */
5273                 mnt_flags = mnt->mnt.mnt_flags;
5274
5275                 /* Don't miss readonly hidden in the superblock flags */
5276                 if (sb_rdonly(mnt->mnt.mnt_sb))
5277                         mnt_flags |= MNT_LOCK_READONLY;
5278
5279                 /* Verify the mount flags are equal to or more permissive
5280                  * than the proposed new mount.
5281                  */
5282                 if ((mnt_flags & MNT_LOCK_READONLY) &&
5283                     !(new_flags & MNT_READONLY))
5284                         continue;
5285                 if ((mnt_flags & MNT_LOCK_ATIME) &&
5286                     ((mnt_flags & MNT_ATIME_MASK) != (new_flags & MNT_ATIME_MASK)))
5287                         continue;
5288
5289                 /* This mount is not fully visible if there are any
5290                  * locked child mounts that cover anything except for
5291                  * empty directories.
5292                  */
5293                 list_for_each_entry(child, &mnt->mnt_mounts, mnt_child) {
5294                         struct inode *inode = child->mnt_mountpoint->d_inode;
5295                         /* Only worry about locked mounts */
5296                         if (!(child->mnt.mnt_flags & MNT_LOCKED))
5297                                 continue;
5298                         /* Is the directory permanetly empty? */
5299                         if (!is_empty_dir_inode(inode))
5300                                 goto next;
5301                 }
5302                 /* Preserve the locked attributes */
5303                 *new_mnt_flags |= mnt_flags & (MNT_LOCK_READONLY | \
5304                                                MNT_LOCK_ATIME);
5305                 visible = true;
5306                 goto found;
5307         next:   ;
5308         }
5309 found:
5310         up_read(&namespace_sem);
5311         return visible;
5312 }
5313
5314 static bool mount_too_revealing(const struct super_block *sb, int *new_mnt_flags)
5315 {
5316         const unsigned long required_iflags = SB_I_NOEXEC | SB_I_NODEV;
5317         struct mnt_namespace *ns = current->nsproxy->mnt_ns;
5318         unsigned long s_iflags;
5319
5320         if (ns->user_ns == &init_user_ns)
5321                 return false;
5322
5323         /* Can this filesystem be too revealing? */
5324         s_iflags = sb->s_iflags;
5325         if (!(s_iflags & SB_I_USERNS_VISIBLE))
5326                 return false;
5327
5328         if ((s_iflags & required_iflags) != required_iflags) {
5329                 WARN_ONCE(1, "Expected s_iflags to contain 0x%lx\n",
5330                           required_iflags);
5331                 return true;
5332         }
5333
5334         return !mnt_already_visible(ns, sb, new_mnt_flags);
5335 }
5336
5337 bool mnt_may_suid(struct vfsmount *mnt)
5338 {
5339         /*
5340          * Foreign mounts (accessed via fchdir or through /proc
5341          * symlinks) are always treated as if they are nosuid.  This
5342          * prevents namespaces from trusting potentially unsafe
5343          * suid/sgid bits, file caps, or security labels that originate
5344          * in other namespaces.
5345          */
5346         return !(mnt->mnt_flags & MNT_NOSUID) && check_mnt(real_mount(mnt)) &&
5347                current_in_userns(mnt->mnt_sb->s_user_ns);
5348 }
5349
5350 static struct ns_common *mntns_get(struct task_struct *task)
5351 {
5352         struct ns_common *ns = NULL;
5353         struct nsproxy *nsproxy;
5354
5355         task_lock(task);
5356         nsproxy = task->nsproxy;
5357         if (nsproxy) {
5358                 ns = &nsproxy->mnt_ns->ns;
5359                 get_mnt_ns(to_mnt_ns(ns));
5360         }
5361         task_unlock(task);
5362
5363         return ns;
5364 }
5365
5366 static void mntns_put(struct ns_common *ns)
5367 {
5368         put_mnt_ns(to_mnt_ns(ns));
5369 }
5370
5371 static int mntns_install(struct nsset *nsset, struct ns_common *ns)
5372 {
5373         struct nsproxy *nsproxy = nsset->nsproxy;
5374         struct fs_struct *fs = nsset->fs;
5375         struct mnt_namespace *mnt_ns = to_mnt_ns(ns), *old_mnt_ns;
5376         struct user_namespace *user_ns = nsset->cred->user_ns;
5377         struct path root;
5378         int err;
5379
5380         if (!ns_capable(mnt_ns->user_ns, CAP_SYS_ADMIN) ||
5381             !ns_capable(user_ns, CAP_SYS_CHROOT) ||
5382             !ns_capable(user_ns, CAP_SYS_ADMIN))
5383                 return -EPERM;
5384
5385         if (is_anon_ns(mnt_ns))
5386                 return -EINVAL;
5387
5388         if (fs->users != 1)
5389                 return -EINVAL;
5390
5391         get_mnt_ns(mnt_ns);
5392         old_mnt_ns = nsproxy->mnt_ns;
5393         nsproxy->mnt_ns = mnt_ns;
5394
5395         /* Find the root */
5396         err = vfs_path_lookup(mnt_ns->root->mnt.mnt_root, &mnt_ns->root->mnt,
5397                                 "/", LOOKUP_DOWN, &root);
5398         if (err) {
5399                 /* revert to old namespace */
5400                 nsproxy->mnt_ns = old_mnt_ns;
5401                 put_mnt_ns(mnt_ns);
5402                 return err;
5403         }
5404
5405         put_mnt_ns(old_mnt_ns);
5406
5407         /* Update the pwd and root */
5408         set_fs_pwd(fs, &root);
5409         set_fs_root(fs, &root);
5410
5411         path_put(&root);
5412         return 0;
5413 }
5414
5415 static struct user_namespace *mntns_owner(struct ns_common *ns)
5416 {
5417         return to_mnt_ns(ns)->user_ns;
5418 }
5419
5420 const struct proc_ns_operations mntns_operations = {
5421         .name           = "mnt",
5422         .type           = CLONE_NEWNS,
5423         .get            = mntns_get,
5424         .put            = mntns_put,
5425         .install        = mntns_install,
5426         .owner          = mntns_owner,
5427 };
5428
5429 #ifdef CONFIG_SYSCTL
5430 static struct ctl_table fs_namespace_sysctls[] = {
5431         {
5432                 .procname       = "mount-max",
5433                 .data           = &sysctl_mount_max,
5434                 .maxlen         = sizeof(unsigned int),
5435                 .mode           = 0644,
5436                 .proc_handler   = proc_dointvec_minmax,
5437                 .extra1         = SYSCTL_ONE,
5438         },
5439         { }
5440 };
5441
5442 static int __init init_fs_namespace_sysctls(void)
5443 {
5444         register_sysctl_init("fs", fs_namespace_sysctls);
5445         return 0;
5446 }
5447 fs_initcall(init_fs_namespace_sysctls);
5448
5449 #endif /* CONFIG_SYSCTL */