include/linux/fscache.h

   1 /* SPDX-License-Identifier: GPL-2.0-or-later */
   2 /* General filesystem caching interface
   3  *
   4  * Copyright (C) 2021 Red Hat, Inc. All Rights Reserved.
   5  * Written by David Howells (dhowells@redhat.com)
   6  *
   7  * NOTE!!! See:
   8  *
   9  *      Documentation/filesystems/caching/netfs-api.rst
  10  *
  11  * for a description of the network filesystem interface declared here.
  12  */
  13
  14 #ifndef _LINUX_FSCACHE_H
  15 #define _LINUX_FSCACHE_H
  16
  17 #include <linux/fs.h>
  18 #include <linux/netfs.h>
  19 #include <linux/writeback.h>
  20
  21 #if defined(CONFIG_FSCACHE) || defined(CONFIG_FSCACHE_MODULE)
  22 #define __fscache_available (1)
  23 #define fscache_available() (1)
  24 #define fscache_volume_valid(volume) (volume)
  25 #define fscache_cookie_valid(cookie) (cookie)
  26 #define fscache_resources_valid(cres) ((cres)->cache_priv)
  27 #define fscache_cookie_enabled(cookie) (cookie && !test_bit(FSCACHE_COOKIE_DISABLED, &cookie->flags))
  28 #else
  29 #define __fscache_available (0)
  30 #define fscache_available() (0)
  31 #define fscache_volume_valid(volume) (0)
  32 #define fscache_cookie_valid(cookie) (0)
  33 #define fscache_resources_valid(cres) (false)
  34 #define fscache_cookie_enabled(cookie) (0)
  35 #endif
  36
  37 struct fscache_cookie;
  38
  39 #define FSCACHE_ADV_SINGLE_CHUNK        0x01 /* The object is a single chunk of data */
  40 #define FSCACHE_ADV_WRITE_CACHE         0x00 /* Do cache if written to locally */
  41 #define FSCACHE_ADV_WRITE_NOCACHE       0x02 /* Don't cache if written to locally */
  42 #define FSCACHE_ADV_WANT_CACHE_SIZE     0x04 /* Retrieve cache size at runtime */
  43
  44 #define FSCACHE_INVAL_DIO_WRITE         0x01 /* Invalidate due to DIO write */
  45
  46 enum fscache_want_state {
  47         FSCACHE_WANT_PARAMS,
  48         FSCACHE_WANT_WRITE,
  49         FSCACHE_WANT_READ,
  50 };
  51
  52 /*
  53  * Data object state.
  54  */
  55 enum fscache_cookie_state {
  56         FSCACHE_COOKIE_STATE_QUIESCENT,         /* The cookie is uncached */
  57         FSCACHE_COOKIE_STATE_LOOKING_UP,        /* The cache object is being looked up */
  58         FSCACHE_COOKIE_STATE_CREATING,          /* The cache object is being created */
  59         FSCACHE_COOKIE_STATE_ACTIVE,            /* The cache is active, readable and writable */
  60         FSCACHE_COOKIE_STATE_INVALIDATING,      /* The cache is being invalidated */
  61         FSCACHE_COOKIE_STATE_FAILED,            /* The cache failed, withdraw to clear */
  62         FSCACHE_COOKIE_STATE_LRU_DISCARDING,    /* The cookie is being discarded by the LRU */
  63         FSCACHE_COOKIE_STATE_WITHDRAWING,       /* The cookie is being withdrawn */
  64         FSCACHE_COOKIE_STATE_RELINQUISHING,     /* The cookie is being relinquished */
  65         FSCACHE_COOKIE_STATE_DROPPED,           /* The cookie has been dropped */
  66 #define FSCACHE_COOKIE_STATE__NR (FSCACHE_COOKIE_STATE_DROPPED + 1)
  67 } __attribute__((mode(byte)));
  68
  69 /*
  70  * Volume representation cookie.
  71  */
  72 struct fscache_volume {
  73         refcount_t                      ref;
  74         atomic_t                        n_cookies;      /* Number of data cookies in volume */
  75         atomic_t                        n_accesses;     /* Number of cache accesses in progress */
  76         unsigned int                    debug_id;
  77         unsigned int                    key_hash;       /* Hash of key string */
  78         char                            *key;           /* Volume ID, eg. "afs@example.com@1234" */
  79         struct list_head                proc_link;      /* Link in /proc/fs/fscache/volumes */
  80         struct hlist_bl_node            hash_link;      /* Link in hash table */
  81         struct work_struct              work;
  82         struct fscache_cache            *cache;         /* The cache in which this resides */
  83         void                            *cache_priv;    /* Cache private data */
  84         spinlock_t                      lock;
  85         unsigned long                   flags;
  86 #define FSCACHE_VOLUME_RELINQUISHED     0       /* Volume is being cleaned up */
  87 #define FSCACHE_VOLUME_INVALIDATE       1       /* Volume was invalidated */
  88 #define FSCACHE_VOLUME_COLLIDED_WITH    2       /* Volume was collided with */
  89 #define FSCACHE_VOLUME_ACQUIRE_PENDING  3       /* Volume is waiting to complete acquisition */
  90 #define FSCACHE_VOLUME_CREATING         4       /* Volume is being created on disk */
  91         u8                              coherency_len;  /* Length of the coherency data */
  92         u8                              coherency[];    /* Coherency data */
  93 };
  94
  95 /*
  96  * Data file representation cookie.
  97  * - a file will only appear in one cache
  98  * - a request to cache a file may or may not be honoured, subject to
  99  *   constraints such as disk space
 100  * - indices are created on disk just-in-time
 101  */
 102 struct fscache_cookie {
 103         refcount_t                      ref;
 104         atomic_t                        n_active;       /* number of active users of cookie */
 105         atomic_t                        n_accesses;     /* Number of cache accesses in progress */
 106         unsigned int                    debug_id;
 107         unsigned int                    inval_counter;  /* Number of invalidations made */
 108         spinlock_t                      lock;
 109         struct fscache_volume           *volume;        /* Parent volume of this file. */
 110         void                            *cache_priv;    /* Cache-side representation */
 111         struct hlist_bl_node            hash_link;      /* Link in hash table */
 112         struct list_head                proc_link;      /* Link in proc list */
 113         struct list_head                commit_link;    /* Link in commit queue */
 114         struct work_struct              work;           /* Commit/relinq/withdraw work */
 115         loff_t                          object_size;    /* Size of the netfs object */
 116         unsigned long                   unused_at;      /* Time at which unused (jiffies) */
 117         unsigned long                   flags;
 118 #define FSCACHE_COOKIE_RELINQUISHED     0               /* T if cookie has been relinquished */
 119 #define FSCACHE_COOKIE_RETIRED          1               /* T if this cookie has retired on relinq */
 120 #define FSCACHE_COOKIE_IS_CACHING       2               /* T if this cookie is cached */
 121 #define FSCACHE_COOKIE_NO_DATA_TO_READ  3               /* T if this cookie has nothing to read */
 122 #define FSCACHE_COOKIE_NEEDS_UPDATE     4               /* T if attrs have been updated */
 123 #define FSCACHE_COOKIE_HAS_BEEN_CACHED  5               /* T if cookie needs withdraw-on-relinq */
 124 #define FSCACHE_COOKIE_DISABLED         6               /* T if cookie has been disabled */
 125 #define FSCACHE_COOKIE_LOCAL_WRITE      7               /* T if cookie has been modified locally */
 126 #define FSCACHE_COOKIE_NO_ACCESS_WAKE   8               /* T if no wake when n_accesses goes 0 */
 127 #define FSCACHE_COOKIE_DO_RELINQUISH    9               /* T if this cookie needs relinquishment */
 128 #define FSCACHE_COOKIE_DO_WITHDRAW      10              /* T if this cookie needs withdrawing */
 129 #define FSCACHE_COOKIE_DO_LRU_DISCARD   11              /* T if this cookie needs LRU discard */
 130 #define FSCACHE_COOKIE_DO_PREP_TO_WRITE 12              /* T if cookie needs write preparation */
 131 #define FSCACHE_COOKIE_HAVE_DATA        13              /* T if this cookie has data stored */
 132 #define FSCACHE_COOKIE_IS_HASHED        14              /* T if this cookie is hashed */
 133
 134         enum fscache_cookie_state       state;
 135         u8                              advice;         /* FSCACHE_ADV_* */
 136         u8                              key_len;        /* Length of index key */
 137         u8                              aux_len;        /* Length of auxiliary data */
 138         u32                             key_hash;       /* Hash of volume, key, len */
 139         union {
 140                 void                    *key;           /* Index key */
 141                 u8                      inline_key[16]; /* - If the key is short enough */
 142         };
 143         union {
 144                 void                    *aux;           /* Auxiliary data */
 145                 u8                      inline_aux[8];  /* - If the aux data is short enough */
 146         };
 147 };
 148
 149 /*
 150  * slow-path functions for when there is actually caching available, and the
 151  * netfs does actually have a valid token
 152  * - these are not to be called directly
 153  * - these are undefined symbols when FS-Cache is not configured and the
 154  *   optimiser takes care of not using them
 155  */
 156 extern struct fscache_volume *__fscache_acquire_volume(const char *, const char *,
 157                                                        const void *, size_t);
 158 extern void __fscache_relinquish_volume(struct fscache_volume *, const void *, bool);
 159
 160 extern struct fscache_cookie *__fscache_acquire_cookie(
 161         struct fscache_volume *,
 162         u8,
 163         const void *, size_t,
 164         const void *, size_t,
 165         loff_t);
 166 extern void __fscache_use_cookie(struct fscache_cookie *, bool);
 167 extern void __fscache_unuse_cookie(struct fscache_cookie *, const void *, const loff_t *);
 168 extern void __fscache_relinquish_cookie(struct fscache_cookie *, bool);
 169 extern void __fscache_resize_cookie(struct fscache_cookie *, loff_t);
 170 extern void __fscache_invalidate(struct fscache_cookie *, const void *, loff_t, unsigned int);
 171 extern int __fscache_begin_read_operation(struct netfs_cache_resources *, struct fscache_cookie *);
 172 extern int __fscache_begin_write_operation(struct netfs_cache_resources *, struct fscache_cookie *);
 173
 174 extern void __fscache_write_to_cache(struct fscache_cookie *, struct address_space *,
 175                                      loff_t, size_t, loff_t, netfs_io_terminated_t, void *,
 176                                      bool);
 177 extern void __fscache_clear_page_bits(struct address_space *, loff_t, size_t);
 178
 179 /**
 180  * fscache_acquire_volume - Register a volume as desiring caching services
 181  * @volume_key: An identification string for the volume
 182  * @cache_name: The name of the cache to use (or NULL for the default)
 183  * @coherency_data: Piece of arbitrary coherency data to check (or NULL)
 184  * @coherency_len: The size of the coherency data
 185  *
 186  * Register a volume as desiring caching services if they're available.  The
 187  * caller must provide an identifier for the volume and may also indicate which
 188  * cache it should be in.  If a preexisting volume entry is found in the cache,
 189  * the coherency data must match otherwise the entry will be invalidated.
 190  *
 191  * Returns a cookie pointer on success, -ENOMEM if out of memory or -EBUSY if a
 192  * cache volume of that name is already acquired.  Note that "NULL" is a valid
 193  * cookie pointer and can be returned if caching is refused.
 194  */
 195 static inline
 196 struct fscache_volume *fscache_acquire_volume(const char *volume_key,
 197                                               const char *cache_name,
 198                                               const void *coherency_data,
 199                                               size_t coherency_len)
 200 {
 201         if (!fscache_available())
 202                 return NULL;
 203         return __fscache_acquire_volume(volume_key, cache_name,
 204                                         coherency_data, coherency_len);
 205 }
 206
 207 /**
 208  * fscache_relinquish_volume - Cease caching a volume
 209  * @volume: The volume cookie
 210  * @coherency_data: Piece of arbitrary coherency data to set (or NULL)
 211  * @invalidate: True if the volume should be invalidated
 212  *
 213  * Indicate that a filesystem no longer desires caching services for a volume.
 214  * The caller must have relinquished all file cookies prior to calling this.
 215  * The stored coherency data is updated.
 216  */
 217 static inline
 218 void fscache_relinquish_volume(struct fscache_volume *volume,
 219                                const void *coherency_data,
 220                                bool invalidate)
 221 {
 222         if (fscache_volume_valid(volume))
 223                 __fscache_relinquish_volume(volume, coherency_data, invalidate);
 224 }
 225
 226 /**
 227  * fscache_acquire_cookie - Acquire a cookie to represent a cache object
 228  * @volume: The volume in which to locate/create this cookie
 229  * @advice: Advice flags (FSCACHE_COOKIE_ADV_*)
 230  * @index_key: The index key for this cookie
 231  * @index_key_len: Size of the index key
 232  * @aux_data: The auxiliary data for the cookie (may be NULL)
 233  * @aux_data_len: Size of the auxiliary data buffer
 234  * @object_size: The initial size of object
 235  *
 236  * Acquire a cookie to represent a data file within the given cache volume.
 237  *
 238  * See Documentation/filesystems/caching/netfs-api.rst for a complete
 239  * description.
 240  */
 241 static inline
 242 struct fscache_cookie *fscache_acquire_cookie(struct fscache_volume *volume,
 243                                               u8 advice,
 244                                               const void *index_key,
 245                                               size_t index_key_len,
 246                                               const void *aux_data,
 247                                               size_t aux_data_len,
 248                                               loff_t object_size)
 249 {
 250         if (!fscache_volume_valid(volume))
 251                 return NULL;
 252         return __fscache_acquire_cookie(volume, advice,
 253                                         index_key, index_key_len,
 254                                         aux_data, aux_data_len,
 255                                         object_size);
 256 }
 257
 258 /**
 259  * fscache_use_cookie - Request usage of cookie attached to an object
 260  * @object: Object description
 261  * @will_modify: If cache is expected to be modified locally
 262  *
 263  * Request usage of the cookie attached to an object.  The caller should tell
 264  * the cache if the object's contents are about to be modified locally and then
 265  * the cache can apply the policy that has been set to handle this case.
 266  */
 267 static inline void fscache_use_cookie(struct fscache_cookie *cookie,
 268                                       bool will_modify)
 269 {
 270         if (fscache_cookie_valid(cookie))
 271                 __fscache_use_cookie(cookie, will_modify);
 272 }
 273
 274 /**
 275  * fscache_unuse_cookie - Cease usage of cookie attached to an object
 276  * @object: Object description
 277  * @aux_data: Updated auxiliary data (or NULL)
 278  * @object_size: Revised size of the object (or NULL)
 279  *
 280  * Cease usage of the cookie attached to an object.  When the users count
 281  * reaches zero then the cookie relinquishment will be permitted to proceed.
 282  */
 283 static inline void fscache_unuse_cookie(struct fscache_cookie *cookie,
 284                                         const void *aux_data,
 285                                         const loff_t *object_size)
 286 {
 287         if (fscache_cookie_valid(cookie))
 288                 __fscache_unuse_cookie(cookie, aux_data, object_size);
 289 }
 290
 291 /**
 292  * fscache_relinquish_cookie - Return the cookie to the cache, maybe discarding
 293  * it
 294  * @cookie: The cookie being returned
 295  * @retire: True if the cache object the cookie represents is to be discarded
 296  *
 297  * This function returns a cookie to the cache, forcibly discarding the
 298  * associated cache object if retire is set to true.
 299  *
 300  * See Documentation/filesystems/caching/netfs-api.rst for a complete
 301  * description.
 302  */
 303 static inline
 304 void fscache_relinquish_cookie(struct fscache_cookie *cookie, bool retire)
 305 {
 306         if (fscache_cookie_valid(cookie))
 307                 __fscache_relinquish_cookie(cookie, retire);
 308 }
 309
 310 /*
 311  * Find the auxiliary data on a cookie.
 312  */
 313 static inline void *fscache_get_aux(struct fscache_cookie *cookie)
 314 {
 315         if (cookie->aux_len <= sizeof(cookie->inline_aux))
 316                 return cookie->inline_aux;
 317         else
 318                 return cookie->aux;
 319 }
 320
 321 /*
 322  * Update the auxiliary data on a cookie.
 323  */
 324 static inline
 325 void fscache_update_aux(struct fscache_cookie *cookie,
 326                         const void *aux_data, const loff_t *object_size)
 327 {
 328         void *p = fscache_get_aux(cookie);
 329
 330         if (aux_data && p)
 331                 memcpy(p, aux_data, cookie->aux_len);
 332         if (object_size)
 333                 cookie->object_size = *object_size;
 334 }
 335
 336 #ifdef CONFIG_FSCACHE_STATS
 337 extern atomic_t fscache_n_updates;
 338 #endif
 339
 340 static inline
 341 void __fscache_update_cookie(struct fscache_cookie *cookie, const void *aux_data,
 342                              const loff_t *object_size)
 343 {
 344 #ifdef CONFIG_FSCACHE_STATS
 345         atomic_inc(&fscache_n_updates);
 346 #endif
 347         fscache_update_aux(cookie, aux_data, object_size);
 348         smp_wmb();
 349         set_bit(FSCACHE_COOKIE_NEEDS_UPDATE, &cookie->flags);
 350 }
 351
 352 /**
 353  * fscache_update_cookie - Request that a cache object be updated
 354  * @cookie: The cookie representing the cache object
 355  * @aux_data: The updated auxiliary data for the cookie (may be NULL)
 356  * @object_size: The current size of the object (may be NULL)
 357  *
 358  * Request an update of the index data for the cache object associated with the
 359  * cookie.  The auxiliary data on the cookie will be updated first if @aux_data
 360  * is set and the object size will be updated and the object possibly trimmed
 361  * if @object_size is set.
 362  *
 363  * See Documentation/filesystems/caching/netfs-api.rst for a complete
 364  * description.
 365  */
 366 static inline
 367 void fscache_update_cookie(struct fscache_cookie *cookie, const void *aux_data,
 368                            const loff_t *object_size)
 369 {
 370         if (fscache_cookie_enabled(cookie))
 371                 __fscache_update_cookie(cookie, aux_data, object_size);
 372 }
 373
 374 /**
 375  * fscache_resize_cookie - Request that a cache object be resized
 376  * @cookie: The cookie representing the cache object
 377  * @new_size: The new size of the object (may be NULL)
 378  *
 379  * Request that the size of an object be changed.
 380  *
 381  * See Documentation/filesystems/caching/netfs-api.txt for a complete
 382  * description.
 383  */
 384 static inline
 385 void fscache_resize_cookie(struct fscache_cookie *cookie, loff_t new_size)
 386 {
 387         if (fscache_cookie_enabled(cookie))
 388                 __fscache_resize_cookie(cookie, new_size);
 389 }
 390
 391 /**
 392  * fscache_invalidate - Notify cache that an object needs invalidation
 393  * @cookie: The cookie representing the cache object
 394  * @aux_data: The updated auxiliary data for the cookie (may be NULL)
 395  * @size: The revised size of the object.
 396  * @flags: Invalidation flags (FSCACHE_INVAL_*)
 397  *
 398  * Notify the cache that an object is needs to be invalidated and that it
 399  * should abort any retrievals or stores it is doing on the cache.  This
 400  * increments inval_counter on the cookie which can be used by the caller to
 401  * reconsider I/O requests as they complete.
 402  *
 403  * If @flags has FSCACHE_INVAL_DIO_WRITE set, this indicates that this is due
 404  * to a direct I/O write and will cause caching to be disabled on this cookie
 405  * until it is completely unused.
 406  *
 407  * See Documentation/filesystems/caching/netfs-api.rst for a complete
 408  * description.
 409  */
 410 static inline
 411 void fscache_invalidate(struct fscache_cookie *cookie,
 412                         const void *aux_data, loff_t size, unsigned int flags)
 413 {
 414         if (fscache_cookie_enabled(cookie))
 415                 __fscache_invalidate(cookie, aux_data, size, flags);
 416 }
 417
 418 /**
 419  * fscache_operation_valid - Return true if operations resources are usable
 420  * @cres: The resources to check.
 421  *
 422  * Returns a pointer to the operations table if usable or NULL if not.
 423  */
 424 static inline
 425 const struct netfs_cache_ops *fscache_operation_valid(const struct netfs_cache_resources *cres)
 426 {
 427         return fscache_resources_valid(cres) ? cres->ops : NULL;
 428 }
 429
 430 /**
 431  * fscache_begin_read_operation - Begin a read operation for the netfs lib
 432  * @cres: The cache resources for the read being performed
 433  * @cookie: The cookie representing the cache object
 434  *
 435  * Begin a read operation on behalf of the netfs helper library.  @cres
 436  * indicates the cache resources to which the operation state should be
 437  * attached; @cookie indicates the cache object that will be accessed.
 438  *
 439  * This is intended to be called from the ->begin_cache_operation() netfs lib
 440  * operation as implemented by the network filesystem.
 441  *
 442  * @cres->inval_counter is set from @cookie->inval_counter for comparison at
 443  * the end of the operation.  This allows invalidation during the operation to
 444  * be detected by the caller.
 445  *
 446  * Returns:
 447  * * 0          - Success
 448  * * -ENOBUFS   - No caching available
 449  * * Other error code from the cache, such as -ENOMEM.
 450  */
 451 static inline
 452 int fscache_begin_read_operation(struct netfs_cache_resources *cres,
 453                                  struct fscache_cookie *cookie)
 454 {
 455         if (fscache_cookie_enabled(cookie))
 456                 return __fscache_begin_read_operation(cres, cookie);
 457         return -ENOBUFS;
 458 }
 459
 460 /**
 461  * fscache_end_operation - End the read operation for the netfs lib
 462  * @cres: The cache resources for the read operation
 463  *
 464  * Clean up the resources at the end of the read request.
 465  */
 466 static inline void fscache_end_operation(struct netfs_cache_resources *cres)
 467 {
 468         const struct netfs_cache_ops *ops = fscache_operation_valid(cres);
 469
 470         if (ops)
 471                 ops->end_operation(cres);
 472 }
 473
 474 /**
 475  * fscache_read - Start a read from the cache.
 476  * @cres: The cache resources to use
 477  * @start_pos: The beginning file offset in the cache file
 478  * @iter: The buffer to fill - and also the length
 479  * @read_hole: How to handle a hole in the data.
 480  * @term_func: The function to call upon completion
 481  * @term_func_priv: The private data for @term_func
 482  *
 483  * Start a read from the cache.  @cres indicates the cache object to read from
 484  * and must be obtained by a call to fscache_begin_operation() beforehand.
 485  *
 486  * The data is read into the iterator, @iter, and that also indicates the size
 487  * of the operation.  @start_pos is the start position in the file, though if
 488  * @seek_data is set appropriately, the cache can use SEEK_DATA to find the
 489  * next piece of data, writing zeros for the hole into the iterator.
 490  *
 491  * Upon termination of the operation, @term_func will be called and supplied
 492  * with @term_func_priv plus the amount of data written, if successful, or the
 493  * error code otherwise.
 494  *
 495  * @read_hole indicates how a partially populated region in the cache should be
 496  * handled.  It can be one of a number of settings:
 497  *
 498  *      NETFS_READ_HOLE_IGNORE - Just try to read (may return a short read).
 499  *
 500  *      NETFS_READ_HOLE_CLEAR - Seek for data, clearing the part of the buffer
 501  *                              skipped over, then do as for IGNORE.
 502  *
 503  *      NETFS_READ_HOLE_FAIL - Give ENODATA if we encounter a hole.
 504  */
 505 static inline
 506 int fscache_read(struct netfs_cache_resources *cres,
 507                  loff_t start_pos,
 508                  struct iov_iter *iter,
 509                  enum netfs_read_from_hole read_hole,
 510                  netfs_io_terminated_t term_func,
 511                  void *term_func_priv)
 512 {
 513         const struct netfs_cache_ops *ops = fscache_operation_valid(cres);
 514         return ops->read(cres, start_pos, iter, read_hole,
 515                          term_func, term_func_priv);
 516 }
 517
 518 /**
 519  * fscache_begin_write_operation - Begin a write operation for the netfs lib
 520  * @cres: The cache resources for the write being performed
 521  * @cookie: The cookie representing the cache object
 522  *
 523  * Begin a write operation on behalf of the netfs helper library.  @cres
 524  * indicates the cache resources to which the operation state should be
 525  * attached; @cookie indicates the cache object that will be accessed.
 526  *
 527  * @cres->inval_counter is set from @cookie->inval_counter for comparison at
 528  * the end of the operation.  This allows invalidation during the operation to
 529  * be detected by the caller.
 530  *
 531  * Returns:
 532  * * 0          - Success
 533  * * -ENOBUFS   - No caching available
 534  * * Other error code from the cache, such as -ENOMEM.
 535  */
 536 static inline
 537 int fscache_begin_write_operation(struct netfs_cache_resources *cres,
 538                                   struct fscache_cookie *cookie)
 539 {
 540         if (fscache_cookie_enabled(cookie))
 541                 return __fscache_begin_write_operation(cres, cookie);
 542         return -ENOBUFS;
 543 }
 544
 545 /**
 546  * fscache_write - Start a write to the cache.
 547  * @cres: The cache resources to use
 548  * @start_pos: The beginning file offset in the cache file
 549  * @iter: The data to write - and also the length
 550  * @term_func: The function to call upon completion
 551  * @term_func_priv: The private data for @term_func
 552  *
 553  * Start a write to the cache.  @cres indicates the cache object to write to and
 554  * must be obtained by a call to fscache_begin_operation() beforehand.
 555  *
 556  * The data to be written is obtained from the iterator, @iter, and that also
 557  * indicates the size of the operation.  @start_pos is the start position in
 558  * the file.
 559  *
 560  * Upon termination of the operation, @term_func will be called and supplied
 561  * with @term_func_priv plus the amount of data written, if successful, or the
 562  * error code otherwise.
 563  */
 564 static inline
 565 int fscache_write(struct netfs_cache_resources *cres,
 566                   loff_t start_pos,
 567                   struct iov_iter *iter,
 568                   netfs_io_terminated_t term_func,
 569                   void *term_func_priv)
 570 {
 571         const struct netfs_cache_ops *ops = fscache_operation_valid(cres);
 572         return ops->write(cres, start_pos, iter, term_func, term_func_priv);
 573 }
 574
 575 /**
 576  * fscache_clear_page_bits - Clear the PG_fscache bits from a set of pages
 577  * @mapping: The netfs inode to use as the source
 578  * @start: The start position in @mapping
 579  * @len: The amount of data to unlock
 580  * @caching: If PG_fscache has been set
 581  *
 582  * Clear the PG_fscache flag from a sequence of pages and wake up anyone who's
 583  * waiting.
 584  */
 585 static inline void fscache_clear_page_bits(struct address_space *mapping,
 586                                            loff_t start, size_t len,
 587                                            bool caching)
 588 {
 589         if (caching)
 590                 __fscache_clear_page_bits(mapping, start, len);
 591 }
 592
 593 /**
 594  * fscache_write_to_cache - Save a write to the cache and clear PG_fscache
 595  * @cookie: The cookie representing the cache object
 596  * @mapping: The netfs inode to use as the source
 597  * @start: The start position in @mapping
 598  * @len: The amount of data to write back
 599  * @i_size: The new size of the inode
 600  * @term_func: The function to call upon completion
 601  * @term_func_priv: The private data for @term_func
 602  * @caching: If PG_fscache has been set
 603  *
 604  * Helper function for a netfs to write dirty data from an inode into the cache
 605  * object that's backing it.
 606  *
 607  * @start and @len describe the range of the data.  This does not need to be
 608  * page-aligned, but to satisfy DIO requirements, the cache may expand it up to
 609  * the page boundaries on either end.  All the pages covering the range must be
 610  * marked with PG_fscache.
 611  *
 612  * If given, @term_func will be called upon completion and supplied with
 613  * @term_func_priv.  Note that the PG_fscache flags will have been cleared by
 614  * this point, so the netfs must retain its own pin on the mapping.
 615  */
 616 static inline void fscache_write_to_cache(struct fscache_cookie *cookie,
 617                                           struct address_space *mapping,
 618                                           loff_t start, size_t len, loff_t i_size,
 619                                           netfs_io_terminated_t term_func,
 620                                           void *term_func_priv,
 621                                           bool caching)
 622 {
 623         if (caching)
 624                 __fscache_write_to_cache(cookie, mapping, start, len, i_size,
 625                                          term_func, term_func_priv, caching);
 626         else if (term_func)
 627                 term_func(term_func_priv, -ENOBUFS, false);
 628
 629 }
 630
 631 #if __fscache_available
 632 bool fscache_dirty_folio(struct address_space *mapping, struct folio *folio,
 633                 struct fscache_cookie *cookie);
 634 #else
 635 #define fscache_dirty_folio(MAPPING, FOLIO, COOKIE) \
 636                 filemap_dirty_folio(MAPPING, FOLIO)
 637 #endif
 638
 639 /**
 640  * fscache_unpin_writeback - Unpin writeback resources
 641  * @wbc: The writeback control
 642  * @cookie: The cookie referring to the cache object
 643  *
 644  * Unpin the writeback resources pinned by fscache_dirty_folio().  This is
 645  * intended to be called by the netfs's ->write_inode() method.
 646  */
 647 static inline void fscache_unpin_writeback(struct writeback_control *wbc,
 648                                            struct fscache_cookie *cookie)
 649 {
 650         if (wbc->unpinned_fscache_wb)
 651                 fscache_unuse_cookie(cookie, NULL, NULL);
 652 }
 653
 654 /**
 655  * fscache_clear_inode_writeback - Clear writeback resources pinned by an inode
 656  * @cookie: The cookie referring to the cache object
 657  * @inode: The inode to clean up
 658  * @aux: Auxiliary data to apply to the inode
 659  *
 660  * Clear any writeback resources held by an inode when the inode is evicted.
 661  * This must be called before clear_inode() is called.
 662  */
 663 static inline void fscache_clear_inode_writeback(struct fscache_cookie *cookie,
 664                                                  struct inode *inode,
 665                                                  const void *aux)
 666 {
 667         if (inode->i_state & I_PINNING_FSCACHE_WB) {
 668                 loff_t i_size = i_size_read(inode);
 669                 fscache_unuse_cookie(cookie, aux, &i_size);
 670         }
 671 }
 672
 673 /**
 674  * fscache_note_page_release - Note that a netfs page got released
 675  * @cookie: The cookie corresponding to the file
 676  *
 677  * Note that a page that has been copied to the cache has been released.  This
 678  * means that future reads will need to look in the cache to see if it's there.
 679  */
 680 static inline
 681 void fscache_note_page_release(struct fscache_cookie *cookie)
 682 {
 683         /* If we've written data to the cache (HAVE_DATA) and there wasn't any
 684          * data in the cache when we started (NO_DATA_TO_READ), it may no
 685          * longer be true that we can skip reading from the cache - so clear
 686          * the flag that causes reads to be skipped.
 687          */
 688         if (cookie &&
 689             test_bit(FSCACHE_COOKIE_HAVE_DATA, &cookie->flags) &&
 690             test_bit(FSCACHE_COOKIE_NO_DATA_TO_READ, &cookie->flags))
 691                 clear_bit(FSCACHE_COOKIE_NO_DATA_TO_READ, &cookie->flags);
 692 }
 693
 694 #endif /* _LINUX_FSCACHE_H */