fs/readdir.c

   1 // SPDX-License-Identifier: GPL-2.0
   2 /*
   3  *  linux/fs/readdir.c
   4  *
   5  *  Copyright (C) 1995  Linus Torvalds
   6  */
   7
   8 #include <linux/stddef.h>
   9 #include <linux/kernel.h>
  10 #include <linux/export.h>
  11 #include <linux/time.h>
  12 #include <linux/mm.h>
  13 #include <linux/errno.h>
  14 #include <linux/stat.h>
  15 #include <linux/file.h>
  16 #include <linux/fs.h>
  17 #include <linux/fsnotify.h>
  18 #include <linux/dirent.h>
  19 #include <linux/security.h>
  20 #include <linux/syscalls.h>
  21 #include <linux/unistd.h>
  22 #include <linux/compat.h>
  23 #include <linux/uaccess.h>
  24
  25 #include <asm/unaligned.h>
  26
  27 /*
  28  * Note the "unsafe_put_user() semantics: we goto a
  29  * label for errors.
  30  *
  31  * Also note how we use a "while()" loop here, even though
  32  * only the biggest size needs to loop. The compiler (well,
  33  * at least gcc) is smart enough to turn the smaller sizes
  34  * into just if-statements, and this way we don't need to
  35  * care whether 'u64' or 'u32' is the biggest size.
  36  */
  37 #define unsafe_copy_loop(dst, src, len, type, label)            \
  38         while (len >= sizeof(type)) {                           \
  39                 unsafe_put_user(get_unaligned((type *)src),     \
  40                         (type __user *)dst, label);             \
  41                 dst += sizeof(type);                            \
  42                 src += sizeof(type);                            \
  43                 len -= sizeof(type);                            \
  44         }
  45
  46 /*
  47  * We avoid doing 64-bit copies on 32-bit architectures. They
  48  * might be better, but the component names are mostly small,
  49  * and the 64-bit cases can end up being much more complex and
  50  * put much more register pressure on the code, so it's likely
  51  * not worth the pain of unaligned accesses etc.
  52  *
  53  * So limit the copies to "unsigned long" size. I did verify
  54  * that at least the x86-32 case is ok without this limiting,
  55  * but I worry about random other legacy 32-bit cases that
  56  * might not do as well.
  57  */
  58 #define unsafe_copy_type(dst, src, len, type, label) do {       \
  59         if (sizeof(type) <= sizeof(unsigned long))              \
  60                 unsafe_copy_loop(dst, src, len, type, label);   \
  61 } while (0)
  62
  63 /*
  64  * Copy the dirent name to user space, and NUL-terminate
  65  * it. This should not be a function call, since we're doing
  66  * the copy inside a "user_access_begin/end()" section.
  67  */
  68 #define unsafe_copy_dirent_name(_dst, _src, _len, label) do {   \
  69         char __user *dst = (_dst);                              \
  70         const char *src = (_src);                               \
  71         size_t len = (_len);                                    \
  72         unsafe_copy_type(dst, src, len, u64, label);            \
  73         unsafe_copy_type(dst, src, len, u32, label);            \
  74         unsafe_copy_type(dst, src, len, u16, label);            \
  75         unsafe_copy_type(dst, src, len, u8,  label);            \
  76         unsafe_put_user(0, dst, label);                         \
  77 } while (0)
  78
  79
  80 int iterate_dir(struct file *file, struct dir_context *ctx)
  81 {
  82         struct inode *inode = file_inode(file);
  83         bool shared = false;
  84         int res = -ENOTDIR;
  85         if (file->f_op->iterate_shared)
  86                 shared = true;
  87         else if (!file->f_op->iterate)
  88                 goto out;
  89
  90         res = security_file_permission(file, MAY_READ);
  91         if (res)
  92                 goto out;
  93
  94         if (shared)
  95                 res = down_read_killable(&inode->i_rwsem);
  96         else
  97                 res = down_write_killable(&inode->i_rwsem);
  98         if (res)
  99                 goto out;
 100
 101         res = -ENOENT;
 102         if (!IS_DEADDIR(inode)) {
 103                 ctx->pos = file->f_pos;
 104                 if (shared)
 105                         res = file->f_op->iterate_shared(file, ctx);
 106                 else
 107                         res = file->f_op->iterate(file, ctx);
 108                 file->f_pos = ctx->pos;
 109                 fsnotify_access(file);
 110                 file_accessed(file);
 111         }
 112         if (shared)
 113                 inode_unlock_shared(inode);
 114         else
 115                 inode_unlock(inode);
 116 out:
 117         return res;
 118 }
 119 EXPORT_SYMBOL(iterate_dir);
 120
 121 /*
 122  * Traditional linux readdir() handling..
 123  *
 124  * "count=1" is a special case, meaning that the buffer is one
 125  * dirent-structure in size and that the code can't handle more
 126  * anyway. Thus the special "fillonedir()" function for that
 127  * case (the low-level handlers don't need to care about this).
 128  */
 129
 130 #ifdef __ARCH_WANT_OLD_READDIR
 131
 132 struct old_linux_dirent {
 133         unsigned long   d_ino;
 134         unsigned long   d_offset;
 135         unsigned short  d_namlen;
 136         char            d_name[1];
 137 };
 138
 139 struct readdir_callback {
 140         struct dir_context ctx;
 141         struct old_linux_dirent __user * dirent;
 142         int result;
 143 };
 144
 145 static int fillonedir(struct dir_context *ctx, const char *name, int namlen,
 146                       loff_t offset, u64 ino, unsigned int d_type)
 147 {
 148         struct readdir_callback *buf =
 149                 container_of(ctx, struct readdir_callback, ctx);
 150         struct old_linux_dirent __user * dirent;
 151         unsigned long d_ino;
 152
 153         if (buf->result)
 154                 return -EINVAL;
 155         d_ino = ino;
 156         if (sizeof(d_ino) < sizeof(ino) && d_ino != ino) {
 157                 buf->result = -EOVERFLOW;
 158                 return -EOVERFLOW;
 159         }
 160         buf->result++;
 161         dirent = buf->dirent;
 162         if (!access_ok(dirent,
 163                         (unsigned long)(dirent->d_name + namlen + 1) -
 164                                 (unsigned long)dirent))
 165                 goto efault;
 166         if (    __put_user(d_ino, &dirent->d_ino) ||
 167                 __put_user(offset, &dirent->d_offset) ||
 168                 __put_user(namlen, &dirent->d_namlen) ||
 169                 __copy_to_user(dirent->d_name, name, namlen) ||
 170                 __put_user(0, dirent->d_name + namlen))
 171                 goto efault;
 172         return 0;
 173 efault:
 174         buf->result = -EFAULT;
 175         return -EFAULT;
 176 }
 177
 178 SYSCALL_DEFINE3(old_readdir, unsigned int, fd,
 179                 struct old_linux_dirent __user *, dirent, unsigned int, count)
 180 {
 181         int error;
 182         struct fd f = fdget_pos(fd);
 183         struct readdir_callback buf = {
 184                 .ctx.actor = fillonedir,
 185                 .dirent = dirent
 186         };
 187
 188         if (!f.file)
 189                 return -EBADF;
 190
 191         error = iterate_dir(f.file, &buf.ctx);
 192         if (buf.result)
 193                 error = buf.result;
 194
 195         fdput_pos(f);
 196         return error;
 197 }
 198
 199 #endif /* __ARCH_WANT_OLD_READDIR */
 200
 201 /*
 202  * New, all-improved, singing, dancing, iBCS2-compliant getdents()
 203  * interface.
 204  */
 205 struct linux_dirent {
 206         unsigned long   d_ino;
 207         unsigned long   d_off;
 208         unsigned short  d_reclen;
 209         char            d_name[1];
 210 };
 211
 212 struct getdents_callback {
 213         struct dir_context ctx;
 214         struct linux_dirent __user * current_dir;
 215         struct linux_dirent __user * previous;
 216         int count;
 217         int error;
 218 };
 219
 220 static int filldir(struct dir_context *ctx, const char *name, int namlen,
 221                    loff_t offset, u64 ino, unsigned int d_type)
 222 {
 223         struct linux_dirent __user * dirent;
 224         struct getdents_callback *buf =
 225                 container_of(ctx, struct getdents_callback, ctx);
 226         unsigned long d_ino;
 227         int reclen = ALIGN(offsetof(struct linux_dirent, d_name) + namlen + 2,
 228                 sizeof(long));
 229
 230         buf->error = -EINVAL;   /* only used if we fail.. */
 231         if (reclen > buf->count)
 232                 return -EINVAL;
 233         d_ino = ino;
 234         if (sizeof(d_ino) < sizeof(ino) && d_ino != ino) {
 235                 buf->error = -EOVERFLOW;
 236                 return -EOVERFLOW;
 237         }
 238         dirent = buf->previous;
 239         if (dirent && signal_pending(current))
 240                 return -EINTR;
 241
 242         /*
 243          * Note! This range-checks 'previous' (which may be NULL).
 244          * The real range was checked in getdents
 245          */
 246         if (!user_access_begin(dirent, sizeof(*dirent)))
 247                 goto efault;
 248         if (dirent)
 249                 unsafe_put_user(offset, &dirent->d_off, efault_end);
 250         dirent = buf->current_dir;
 251         unsafe_put_user(d_ino, &dirent->d_ino, efault_end);
 252         unsafe_put_user(reclen, &dirent->d_reclen, efault_end);
 253         unsafe_put_user(d_type, (char __user *) dirent + reclen - 1, efault_end);
 254         unsafe_copy_dirent_name(dirent->d_name, name, namlen, efault_end);
 255         user_access_end();
 256
 257         buf->previous = dirent;
 258         dirent = (void __user *)dirent + reclen;
 259         buf->current_dir = dirent;
 260         buf->count -= reclen;
 261         return 0;
 262 efault_end:
 263         user_access_end();
 264 efault:
 265         buf->error = -EFAULT;
 266         return -EFAULT;
 267 }
 268
 269 SYSCALL_DEFINE3(getdents, unsigned int, fd,
 270                 struct linux_dirent __user *, dirent, unsigned int, count)
 271 {
 272         struct fd f;
 273         struct linux_dirent __user * lastdirent;
 274         struct getdents_callback buf = {
 275                 .ctx.actor = filldir,
 276                 .count = count,
 277                 .current_dir = dirent
 278         };
 279         int error;
 280
 281         if (!access_ok(dirent, count))
 282                 return -EFAULT;
 283
 284         f = fdget_pos(fd);
 285         if (!f.file)
 286                 return -EBADF;
 287
 288         error = iterate_dir(f.file, &buf.ctx);
 289         if (error >= 0)
 290                 error = buf.error;
 291         lastdirent = buf.previous;
 292         if (lastdirent) {
 293                 if (put_user(buf.ctx.pos, &lastdirent->d_off))
 294                         error = -EFAULT;
 295                 else
 296                         error = count - buf.count;
 297         }
 298         fdput_pos(f);
 299         return error;
 300 }
 301
 302 struct getdents_callback64 {
 303         struct dir_context ctx;
 304         struct linux_dirent64 __user * current_dir;
 305         struct linux_dirent64 __user * previous;
 306         int count;
 307         int error;
 308 };
 309
 310 static int filldir64(struct dir_context *ctx, const char *name, int namlen,
 311                      loff_t offset, u64 ino, unsigned int d_type)
 312 {
 313         struct linux_dirent64 __user *dirent;
 314         struct getdents_callback64 *buf =
 315                 container_of(ctx, struct getdents_callback64, ctx);
 316         int reclen = ALIGN(offsetof(struct linux_dirent64, d_name) + namlen + 1,
 317                 sizeof(u64));
 318
 319         buf->error = -EINVAL;   /* only used if we fail.. */
 320         if (reclen > buf->count)
 321                 return -EINVAL;
 322         dirent = buf->previous;
 323         if (dirent && signal_pending(current))
 324                 return -EINTR;
 325
 326         /*
 327          * Note! This range-checks 'previous' (which may be NULL).
 328          * The real range was checked in getdents
 329          */
 330         if (!user_access_begin(dirent, sizeof(*dirent)))
 331                 goto efault;
 332         if (dirent)
 333                 unsafe_put_user(offset, &dirent->d_off, efault_end);
 334         dirent = buf->current_dir;
 335         unsafe_put_user(ino, &dirent->d_ino, efault_end);
 336         unsafe_put_user(reclen, &dirent->d_reclen, efault_end);
 337         unsafe_put_user(d_type, &dirent->d_type, efault_end);
 338         unsafe_copy_dirent_name(dirent->d_name, name, namlen, efault_end);
 339         user_access_end();
 340
 341         buf->previous = dirent;
 342         dirent = (void __user *)dirent + reclen;
 343         buf->current_dir = dirent;
 344         buf->count -= reclen;
 345         return 0;
 346 efault_end:
 347         user_access_end();
 348 efault:
 349         buf->error = -EFAULT;
 350         return -EFAULT;
 351 }
 352
 353 int ksys_getdents64(unsigned int fd, struct linux_dirent64 __user *dirent,
 354                     unsigned int count)
 355 {
 356         struct fd f;
 357         struct linux_dirent64 __user * lastdirent;
 358         struct getdents_callback64 buf = {
 359                 .ctx.actor = filldir64,
 360                 .count = count,
 361                 .current_dir = dirent
 362         };
 363         int error;
 364
 365         if (!access_ok(dirent, count))
 366                 return -EFAULT;
 367
 368         f = fdget_pos(fd);
 369         if (!f.file)
 370                 return -EBADF;
 371
 372         error = iterate_dir(f.file, &buf.ctx);
 373         if (error >= 0)
 374                 error = buf.error;
 375         lastdirent = buf.previous;
 376         if (lastdirent) {
 377                 typeof(lastdirent->d_off) d_off = buf.ctx.pos;
 378                 if (__put_user(d_off, &lastdirent->d_off))
 379                         error = -EFAULT;
 380                 else
 381                         error = count - buf.count;
 382         }
 383         fdput_pos(f);
 384         return error;
 385 }
 386
 387
 388 SYSCALL_DEFINE3(getdents64, unsigned int, fd,
 389                 struct linux_dirent64 __user *, dirent, unsigned int, count)
 390 {
 391         return ksys_getdents64(fd, dirent, count);
 392 }
 393
 394 #ifdef CONFIG_COMPAT
 395 struct compat_old_linux_dirent {
 396         compat_ulong_t  d_ino;
 397         compat_ulong_t  d_offset;
 398         unsigned short  d_namlen;
 399         char            d_name[1];
 400 };
 401
 402 struct compat_readdir_callback {
 403         struct dir_context ctx;
 404         struct compat_old_linux_dirent __user *dirent;
 405         int result;
 406 };
 407
 408 static int compat_fillonedir(struct dir_context *ctx, const char *name,
 409                              int namlen, loff_t offset, u64 ino,
 410                              unsigned int d_type)
 411 {
 412         struct compat_readdir_callback *buf =
 413                 container_of(ctx, struct compat_readdir_callback, ctx);
 414         struct compat_old_linux_dirent __user *dirent;
 415         compat_ulong_t d_ino;
 416
 417         if (buf->result)
 418                 return -EINVAL;
 419         d_ino = ino;
 420         if (sizeof(d_ino) < sizeof(ino) && d_ino != ino) {
 421                 buf->result = -EOVERFLOW;
 422                 return -EOVERFLOW;
 423         }
 424         buf->result++;
 425         dirent = buf->dirent;
 426         if (!access_ok(dirent,
 427                         (unsigned long)(dirent->d_name + namlen + 1) -
 428                                 (unsigned long)dirent))
 429                 goto efault;
 430         if (    __put_user(d_ino, &dirent->d_ino) ||
 431                 __put_user(offset, &dirent->d_offset) ||
 432                 __put_user(namlen, &dirent->d_namlen) ||
 433                 __copy_to_user(dirent->d_name, name, namlen) ||
 434                 __put_user(0, dirent->d_name + namlen))
 435                 goto efault;
 436         return 0;
 437 efault:
 438         buf->result = -EFAULT;
 439         return -EFAULT;
 440 }
 441
 442 COMPAT_SYSCALL_DEFINE3(old_readdir, unsigned int, fd,
 443                 struct compat_old_linux_dirent __user *, dirent, unsigned int, count)
 444 {
 445         int error;
 446         struct fd f = fdget_pos(fd);
 447         struct compat_readdir_callback buf = {
 448                 .ctx.actor = compat_fillonedir,
 449                 .dirent = dirent
 450         };
 451
 452         if (!f.file)
 453                 return -EBADF;
 454
 455         error = iterate_dir(f.file, &buf.ctx);
 456         if (buf.result)
 457                 error = buf.result;
 458
 459         fdput_pos(f);
 460         return error;
 461 }
 462
 463 struct compat_linux_dirent {
 464         compat_ulong_t  d_ino;
 465         compat_ulong_t  d_off;
 466         unsigned short  d_reclen;
 467         char            d_name[1];
 468 };
 469
 470 struct compat_getdents_callback {
 471         struct dir_context ctx;
 472         struct compat_linux_dirent __user *current_dir;
 473         struct compat_linux_dirent __user *previous;
 474         int count;
 475         int error;
 476 };
 477
 478 static int compat_filldir(struct dir_context *ctx, const char *name, int namlen,
 479                 loff_t offset, u64 ino, unsigned int d_type)
 480 {
 481         struct compat_linux_dirent __user * dirent;
 482         struct compat_getdents_callback *buf =
 483                 container_of(ctx, struct compat_getdents_callback, ctx);
 484         compat_ulong_t d_ino;
 485         int reclen = ALIGN(offsetof(struct compat_linux_dirent, d_name) +
 486                 namlen + 2, sizeof(compat_long_t));
 487
 488         buf->error = -EINVAL;   /* only used if we fail.. */
 489         if (reclen > buf->count)
 490                 return -EINVAL;
 491         d_ino = ino;
 492         if (sizeof(d_ino) < sizeof(ino) && d_ino != ino) {
 493                 buf->error = -EOVERFLOW;
 494                 return -EOVERFLOW;
 495         }
 496         dirent = buf->previous;
 497         if (dirent) {
 498                 if (signal_pending(current))
 499                         return -EINTR;
 500                 if (__put_user(offset, &dirent->d_off))
 501                         goto efault;
 502         }
 503         dirent = buf->current_dir;
 504         if (__put_user(d_ino, &dirent->d_ino))
 505                 goto efault;
 506         if (__put_user(reclen, &dirent->d_reclen))
 507                 goto efault;
 508         if (copy_to_user(dirent->d_name, name, namlen))
 509                 goto efault;
 510         if (__put_user(0, dirent->d_name + namlen))
 511                 goto efault;
 512         if (__put_user(d_type, (char  __user *) dirent + reclen - 1))
 513                 goto efault;
 514         buf->previous = dirent;
 515         dirent = (void __user *)dirent + reclen;
 516         buf->current_dir = dirent;
 517         buf->count -= reclen;
 518         return 0;
 519 efault:
 520         buf->error = -EFAULT;
 521         return -EFAULT;
 522 }
 523
 524 COMPAT_SYSCALL_DEFINE3(getdents, unsigned int, fd,
 525                 struct compat_linux_dirent __user *, dirent, unsigned int, count)
 526 {
 527         struct fd f;
 528         struct compat_linux_dirent __user * lastdirent;
 529         struct compat_getdents_callback buf = {
 530                 .ctx.actor = compat_filldir,
 531                 .current_dir = dirent,
 532                 .count = count
 533         };
 534         int error;
 535
 536         if (!access_ok(dirent, count))
 537                 return -EFAULT;
 538
 539         f = fdget_pos(fd);
 540         if (!f.file)
 541                 return -EBADF;
 542
 543         error = iterate_dir(f.file, &buf.ctx);
 544         if (error >= 0)
 545                 error = buf.error;
 546         lastdirent = buf.previous;
 547         if (lastdirent) {
 548                 if (put_user(buf.ctx.pos, &lastdirent->d_off))
 549                         error = -EFAULT;
 550                 else
 551                         error = count - buf.count;
 552         }
 553         fdput_pos(f);
 554         return error;
 555 }
 556 #endif