Merge tag 'acpi-5.12-rc2' of git://git.kernel.org/pub/scm/linux/kernel/git/rafael...
[linux-2.6-microblaze.git] / fs / btrfs / ctree.h
1 /* SPDX-License-Identifier: GPL-2.0 */
2 /*
3  * Copyright (C) 2007 Oracle.  All rights reserved.
4  */
5
6 #ifndef BTRFS_CTREE_H
7 #define BTRFS_CTREE_H
8
9 #include <linux/mm.h>
10 #include <linux/sched/signal.h>
11 #include <linux/highmem.h>
12 #include <linux/fs.h>
13 #include <linux/rwsem.h>
14 #include <linux/semaphore.h>
15 #include <linux/completion.h>
16 #include <linux/backing-dev.h>
17 #include <linux/wait.h>
18 #include <linux/slab.h>
19 #include <trace/events/btrfs.h>
20 #include <asm/unaligned.h>
21 #include <linux/pagemap.h>
22 #include <linux/btrfs.h>
23 #include <linux/btrfs_tree.h>
24 #include <linux/workqueue.h>
25 #include <linux/security.h>
26 #include <linux/sizes.h>
27 #include <linux/dynamic_debug.h>
28 #include <linux/refcount.h>
29 #include <linux/crc32c.h>
30 #include <linux/iomap.h>
31 #include "extent-io-tree.h"
32 #include "extent_io.h"
33 #include "extent_map.h"
34 #include "async-thread.h"
35 #include "block-rsv.h"
36 #include "locking.h"
37
38 struct btrfs_trans_handle;
39 struct btrfs_transaction;
40 struct btrfs_pending_snapshot;
41 struct btrfs_delayed_ref_root;
42 struct btrfs_space_info;
43 struct btrfs_block_group;
44 extern struct kmem_cache *btrfs_trans_handle_cachep;
45 extern struct kmem_cache *btrfs_bit_radix_cachep;
46 extern struct kmem_cache *btrfs_path_cachep;
47 extern struct kmem_cache *btrfs_free_space_cachep;
48 extern struct kmem_cache *btrfs_free_space_bitmap_cachep;
49 struct btrfs_ordered_sum;
50 struct btrfs_ref;
51
52 #define BTRFS_MAGIC 0x4D5F53665248425FULL /* ascii _BHRfS_M, no null */
53
54 /*
55  * Maximum number of mirrors that can be available for all profiles counting
56  * the target device of dev-replace as one. During an active device replace
57  * procedure, the target device of the copy operation is a mirror for the
58  * filesystem data as well that can be used to read data in order to repair
59  * read errors on other disks.
60  *
61  * Current value is derived from RAID1C4 with 4 copies.
62  */
63 #define BTRFS_MAX_MIRRORS (4 + 1)
64
65 #define BTRFS_MAX_LEVEL 8
66
67 #define BTRFS_OLDEST_GENERATION 0ULL
68
69 /*
70  * we can actually store much bigger names, but lets not confuse the rest
71  * of linux
72  */
73 #define BTRFS_NAME_LEN 255
74
75 /*
76  * Theoretical limit is larger, but we keep this down to a sane
77  * value. That should limit greatly the possibility of collisions on
78  * inode ref items.
79  */
80 #define BTRFS_LINK_MAX 65535U
81
82 #define BTRFS_EMPTY_DIR_SIZE 0
83
84 /* ioprio of readahead is set to idle */
85 #define BTRFS_IOPRIO_READA (IOPRIO_PRIO_VALUE(IOPRIO_CLASS_IDLE, 0))
86
87 #define BTRFS_DIRTY_METADATA_THRESH     SZ_32M
88
89 /*
90  * Use large batch size to reduce overhead of metadata updates.  On the reader
91  * side, we only read it when we are close to ENOSPC and the read overhead is
92  * mostly related to the number of CPUs, so it is OK to use arbitrary large
93  * value here.
94  */
95 #define BTRFS_TOTAL_BYTES_PINNED_BATCH  SZ_128M
96
97 #define BTRFS_MAX_EXTENT_SIZE SZ_128M
98
99 /*
100  * Deltas are an effective way to populate global statistics.  Give macro names
101  * to make it clear what we're doing.  An example is discard_extents in
102  * btrfs_free_space_ctl.
103  */
104 #define BTRFS_STAT_NR_ENTRIES   2
105 #define BTRFS_STAT_CURR         0
106 #define BTRFS_STAT_PREV         1
107
108 /*
109  * Count how many BTRFS_MAX_EXTENT_SIZE cover the @size
110  */
111 static inline u32 count_max_extents(u64 size)
112 {
113         return div_u64(size + BTRFS_MAX_EXTENT_SIZE - 1, BTRFS_MAX_EXTENT_SIZE);
114 }
115
116 static inline unsigned long btrfs_chunk_item_size(int num_stripes)
117 {
118         BUG_ON(num_stripes == 0);
119         return sizeof(struct btrfs_chunk) +
120                 sizeof(struct btrfs_stripe) * (num_stripes - 1);
121 }
122
123 /*
124  * Runtime (in-memory) states of filesystem
125  */
126 enum {
127         /* Global indicator of serious filesystem errors */
128         BTRFS_FS_STATE_ERROR,
129         /*
130          * Filesystem is being remounted, allow to skip some operations, like
131          * defrag
132          */
133         BTRFS_FS_STATE_REMOUNTING,
134         /* Filesystem in RO mode */
135         BTRFS_FS_STATE_RO,
136         /* Track if a transaction abort has been reported on this filesystem */
137         BTRFS_FS_STATE_TRANS_ABORTED,
138         /*
139          * Bio operations should be blocked on this filesystem because a source
140          * or target device is being destroyed as part of a device replace
141          */
142         BTRFS_FS_STATE_DEV_REPLACING,
143         /* The btrfs_fs_info created for self-tests */
144         BTRFS_FS_STATE_DUMMY_FS_INFO,
145 };
146
147 #define BTRFS_BACKREF_REV_MAX           256
148 #define BTRFS_BACKREF_REV_SHIFT         56
149 #define BTRFS_BACKREF_REV_MASK          (((u64)BTRFS_BACKREF_REV_MAX - 1) << \
150                                          BTRFS_BACKREF_REV_SHIFT)
151
152 #define BTRFS_OLD_BACKREF_REV           0
153 #define BTRFS_MIXED_BACKREF_REV         1
154
155 /*
156  * every tree block (leaf or node) starts with this header.
157  */
158 struct btrfs_header {
159         /* these first four must match the super block */
160         u8 csum[BTRFS_CSUM_SIZE];
161         u8 fsid[BTRFS_FSID_SIZE]; /* FS specific uuid */
162         __le64 bytenr; /* which block this node is supposed to live in */
163         __le64 flags;
164
165         /* allowed to be different from the super from here on down */
166         u8 chunk_tree_uuid[BTRFS_UUID_SIZE];
167         __le64 generation;
168         __le64 owner;
169         __le32 nritems;
170         u8 level;
171 } __attribute__ ((__packed__));
172
173 /*
174  * this is a very generous portion of the super block, giving us
175  * room to translate 14 chunks with 3 stripes each.
176  */
177 #define BTRFS_SYSTEM_CHUNK_ARRAY_SIZE 2048
178
179 /*
180  * just in case we somehow lose the roots and are not able to mount,
181  * we store an array of the roots from previous transactions
182  * in the super.
183  */
184 #define BTRFS_NUM_BACKUP_ROOTS 4
185 struct btrfs_root_backup {
186         __le64 tree_root;
187         __le64 tree_root_gen;
188
189         __le64 chunk_root;
190         __le64 chunk_root_gen;
191
192         __le64 extent_root;
193         __le64 extent_root_gen;
194
195         __le64 fs_root;
196         __le64 fs_root_gen;
197
198         __le64 dev_root;
199         __le64 dev_root_gen;
200
201         __le64 csum_root;
202         __le64 csum_root_gen;
203
204         __le64 total_bytes;
205         __le64 bytes_used;
206         __le64 num_devices;
207         /* future */
208         __le64 unused_64[4];
209
210         u8 tree_root_level;
211         u8 chunk_root_level;
212         u8 extent_root_level;
213         u8 fs_root_level;
214         u8 dev_root_level;
215         u8 csum_root_level;
216         /* future and to align */
217         u8 unused_8[10];
218 } __attribute__ ((__packed__));
219
220 /*
221  * the super block basically lists the main trees of the FS
222  * it currently lacks any block count etc etc
223  */
224 struct btrfs_super_block {
225         /* the first 4 fields must match struct btrfs_header */
226         u8 csum[BTRFS_CSUM_SIZE];
227         /* FS specific UUID, visible to user */
228         u8 fsid[BTRFS_FSID_SIZE];
229         __le64 bytenr; /* this block number */
230         __le64 flags;
231
232         /* allowed to be different from the btrfs_header from here own down */
233         __le64 magic;
234         __le64 generation;
235         __le64 root;
236         __le64 chunk_root;
237         __le64 log_root;
238
239         /* this will help find the new super based on the log root */
240         __le64 log_root_transid;
241         __le64 total_bytes;
242         __le64 bytes_used;
243         __le64 root_dir_objectid;
244         __le64 num_devices;
245         __le32 sectorsize;
246         __le32 nodesize;
247         __le32 __unused_leafsize;
248         __le32 stripesize;
249         __le32 sys_chunk_array_size;
250         __le64 chunk_root_generation;
251         __le64 compat_flags;
252         __le64 compat_ro_flags;
253         __le64 incompat_flags;
254         __le16 csum_type;
255         u8 root_level;
256         u8 chunk_root_level;
257         u8 log_root_level;
258         struct btrfs_dev_item dev_item;
259
260         char label[BTRFS_LABEL_SIZE];
261
262         __le64 cache_generation;
263         __le64 uuid_tree_generation;
264
265         /* the UUID written into btree blocks */
266         u8 metadata_uuid[BTRFS_FSID_SIZE];
267
268         /* future expansion */
269         __le64 reserved[28];
270         u8 sys_chunk_array[BTRFS_SYSTEM_CHUNK_ARRAY_SIZE];
271         struct btrfs_root_backup super_roots[BTRFS_NUM_BACKUP_ROOTS];
272 } __attribute__ ((__packed__));
273
274 /*
275  * Compat flags that we support.  If any incompat flags are set other than the
276  * ones specified below then we will fail to mount
277  */
278 #define BTRFS_FEATURE_COMPAT_SUPP               0ULL
279 #define BTRFS_FEATURE_COMPAT_SAFE_SET           0ULL
280 #define BTRFS_FEATURE_COMPAT_SAFE_CLEAR         0ULL
281
282 #define BTRFS_FEATURE_COMPAT_RO_SUPP                    \
283         (BTRFS_FEATURE_COMPAT_RO_FREE_SPACE_TREE |      \
284          BTRFS_FEATURE_COMPAT_RO_FREE_SPACE_TREE_VALID)
285
286 #define BTRFS_FEATURE_COMPAT_RO_SAFE_SET        0ULL
287 #define BTRFS_FEATURE_COMPAT_RO_SAFE_CLEAR      0ULL
288
289 #define BTRFS_FEATURE_INCOMPAT_SUPP                     \
290         (BTRFS_FEATURE_INCOMPAT_MIXED_BACKREF |         \
291          BTRFS_FEATURE_INCOMPAT_DEFAULT_SUBVOL |        \
292          BTRFS_FEATURE_INCOMPAT_MIXED_GROUPS |          \
293          BTRFS_FEATURE_INCOMPAT_BIG_METADATA |          \
294          BTRFS_FEATURE_INCOMPAT_COMPRESS_LZO |          \
295          BTRFS_FEATURE_INCOMPAT_COMPRESS_ZSTD |         \
296          BTRFS_FEATURE_INCOMPAT_RAID56 |                \
297          BTRFS_FEATURE_INCOMPAT_EXTENDED_IREF |         \
298          BTRFS_FEATURE_INCOMPAT_SKINNY_METADATA |       \
299          BTRFS_FEATURE_INCOMPAT_NO_HOLES        |       \
300          BTRFS_FEATURE_INCOMPAT_METADATA_UUID   |       \
301          BTRFS_FEATURE_INCOMPAT_RAID1C34        |       \
302          BTRFS_FEATURE_INCOMPAT_ZONED)
303
304 #define BTRFS_FEATURE_INCOMPAT_SAFE_SET                 \
305         (BTRFS_FEATURE_INCOMPAT_EXTENDED_IREF)
306 #define BTRFS_FEATURE_INCOMPAT_SAFE_CLEAR               0ULL
307
308 /*
309  * A leaf is full of items. offset and size tell us where to find
310  * the item in the leaf (relative to the start of the data area)
311  */
312 struct btrfs_item {
313         struct btrfs_disk_key key;
314         __le32 offset;
315         __le32 size;
316 } __attribute__ ((__packed__));
317
318 /*
319  * leaves have an item area and a data area:
320  * [item0, item1....itemN] [free space] [dataN...data1, data0]
321  *
322  * The data is separate from the items to get the keys closer together
323  * during searches.
324  */
325 struct btrfs_leaf {
326         struct btrfs_header header;
327         struct btrfs_item items[];
328 } __attribute__ ((__packed__));
329
330 /*
331  * all non-leaf blocks are nodes, they hold only keys and pointers to
332  * other blocks
333  */
334 struct btrfs_key_ptr {
335         struct btrfs_disk_key key;
336         __le64 blockptr;
337         __le64 generation;
338 } __attribute__ ((__packed__));
339
340 struct btrfs_node {
341         struct btrfs_header header;
342         struct btrfs_key_ptr ptrs[];
343 } __attribute__ ((__packed__));
344
345 /*
346  * btrfs_paths remember the path taken from the root down to the leaf.
347  * level 0 is always the leaf, and nodes[1...BTRFS_MAX_LEVEL] will point
348  * to any other levels that are present.
349  *
350  * The slots array records the index of the item or block pointer
351  * used while walking the tree.
352  */
353 enum { READA_NONE, READA_BACK, READA_FORWARD };
354 struct btrfs_path {
355         struct extent_buffer *nodes[BTRFS_MAX_LEVEL];
356         int slots[BTRFS_MAX_LEVEL];
357         /* if there is real range locking, this locks field will change */
358         u8 locks[BTRFS_MAX_LEVEL];
359         u8 reada;
360         /* keep some upper locks as we walk down */
361         u8 lowest_level;
362
363         /*
364          * set by btrfs_split_item, tells search_slot to keep all locks
365          * and to force calls to keep space in the nodes
366          */
367         unsigned int search_for_split:1;
368         unsigned int keep_locks:1;
369         unsigned int skip_locking:1;
370         unsigned int search_commit_root:1;
371         unsigned int need_commit_sem:1;
372         unsigned int skip_release_on_error:1;
373         /*
374          * Indicate that new item (btrfs_search_slot) is extending already
375          * existing item and ins_len contains only the data size and not item
376          * header (ie. sizeof(struct btrfs_item) is not included).
377          */
378         unsigned int search_for_extension:1;
379 };
380 #define BTRFS_MAX_EXTENT_ITEM_SIZE(r) ((BTRFS_LEAF_DATA_SIZE(r->fs_info) >> 4) - \
381                                         sizeof(struct btrfs_item))
382 struct btrfs_dev_replace {
383         u64 replace_state;      /* see #define above */
384         time64_t time_started;  /* seconds since 1-Jan-1970 */
385         time64_t time_stopped;  /* seconds since 1-Jan-1970 */
386         atomic64_t num_write_errors;
387         atomic64_t num_uncorrectable_read_errors;
388
389         u64 cursor_left;
390         u64 committed_cursor_left;
391         u64 cursor_left_last_write_of_item;
392         u64 cursor_right;
393
394         u64 cont_reading_from_srcdev_mode;      /* see #define above */
395
396         int is_valid;
397         int item_needs_writeback;
398         struct btrfs_device *srcdev;
399         struct btrfs_device *tgtdev;
400
401         struct mutex lock_finishing_cancel_unmount;
402         struct rw_semaphore rwsem;
403
404         struct btrfs_scrub_progress scrub_progress;
405
406         struct percpu_counter bio_counter;
407         wait_queue_head_t replace_wait;
408 };
409
410 /*
411  * free clusters are used to claim free space in relatively large chunks,
412  * allowing us to do less seeky writes. They are used for all metadata
413  * allocations. In ssd_spread mode they are also used for data allocations.
414  */
415 struct btrfs_free_cluster {
416         spinlock_t lock;
417         spinlock_t refill_lock;
418         struct rb_root root;
419
420         /* largest extent in this cluster */
421         u64 max_size;
422
423         /* first extent starting offset */
424         u64 window_start;
425
426         /* We did a full search and couldn't create a cluster */
427         bool fragmented;
428
429         struct btrfs_block_group *block_group;
430         /*
431          * when a cluster is allocated from a block group, we put the
432          * cluster onto a list in the block group so that it can
433          * be freed before the block group is freed.
434          */
435         struct list_head block_group_list;
436 };
437
438 enum btrfs_caching_type {
439         BTRFS_CACHE_NO,
440         BTRFS_CACHE_STARTED,
441         BTRFS_CACHE_FAST,
442         BTRFS_CACHE_FINISHED,
443         BTRFS_CACHE_ERROR,
444 };
445
446 /*
447  * Tree to record all locked full stripes of a RAID5/6 block group
448  */
449 struct btrfs_full_stripe_locks_tree {
450         struct rb_root root;
451         struct mutex lock;
452 };
453
454 /* Discard control. */
455 /*
456  * Async discard uses multiple lists to differentiate the discard filter
457  * parameters.  Index 0 is for completely free block groups where we need to
458  * ensure the entire block group is trimmed without being lossy.  Indices
459  * afterwards represent monotonically decreasing discard filter sizes to
460  * prioritize what should be discarded next.
461  */
462 #define BTRFS_NR_DISCARD_LISTS          3
463 #define BTRFS_DISCARD_INDEX_UNUSED      0
464 #define BTRFS_DISCARD_INDEX_START       1
465
466 struct btrfs_discard_ctl {
467         struct workqueue_struct *discard_workers;
468         struct delayed_work work;
469         spinlock_t lock;
470         struct btrfs_block_group *block_group;
471         struct list_head discard_list[BTRFS_NR_DISCARD_LISTS];
472         u64 prev_discard;
473         u64 prev_discard_time;
474         atomic_t discardable_extents;
475         atomic64_t discardable_bytes;
476         u64 max_discard_size;
477         u64 delay_ms;
478         u32 iops_limit;
479         u32 kbps_limit;
480         u64 discard_extent_bytes;
481         u64 discard_bitmap_bytes;
482         atomic64_t discard_bytes_saved;
483 };
484
485 /* delayed seq elem */
486 struct seq_list {
487         struct list_head list;
488         u64 seq;
489 };
490
491 #define SEQ_LIST_INIT(name)     { .list = LIST_HEAD_INIT((name).list), .seq = 0 }
492
493 #define SEQ_LAST        ((u64)-1)
494
495 enum btrfs_orphan_cleanup_state {
496         ORPHAN_CLEANUP_STARTED  = 1,
497         ORPHAN_CLEANUP_DONE     = 2,
498 };
499
500 void btrfs_init_async_reclaim_work(struct btrfs_fs_info *fs_info);
501
502 /* fs_info */
503 struct reloc_control;
504 struct btrfs_device;
505 struct btrfs_fs_devices;
506 struct btrfs_balance_control;
507 struct btrfs_delayed_root;
508
509 /*
510  * Block group or device which contains an active swapfile. Used for preventing
511  * unsafe operations while a swapfile is active.
512  *
513  * These are sorted on (ptr, inode) (note that a block group or device can
514  * contain more than one swapfile). We compare the pointer values because we
515  * don't actually care what the object is, we just need a quick check whether
516  * the object exists in the rbtree.
517  */
518 struct btrfs_swapfile_pin {
519         struct rb_node node;
520         void *ptr;
521         struct inode *inode;
522         /*
523          * If true, ptr points to a struct btrfs_block_group. Otherwise, ptr
524          * points to a struct btrfs_device.
525          */
526         bool is_block_group;
527         /*
528          * Only used when 'is_block_group' is true and it is the number of
529          * extents used by a swapfile for this block group ('ptr' field).
530          */
531         int bg_extent_count;
532 };
533
534 bool btrfs_pinned_by_swapfile(struct btrfs_fs_info *fs_info, void *ptr);
535
536 enum {
537         BTRFS_FS_BARRIER,
538         BTRFS_FS_CLOSING_START,
539         BTRFS_FS_CLOSING_DONE,
540         BTRFS_FS_LOG_RECOVERING,
541         BTRFS_FS_OPEN,
542         BTRFS_FS_QUOTA_ENABLED,
543         BTRFS_FS_UPDATE_UUID_TREE_GEN,
544         BTRFS_FS_CREATING_FREE_SPACE_TREE,
545         BTRFS_FS_BTREE_ERR,
546         BTRFS_FS_LOG1_ERR,
547         BTRFS_FS_LOG2_ERR,
548         BTRFS_FS_QUOTA_OVERRIDE,
549         /* Used to record internally whether fs has been frozen */
550         BTRFS_FS_FROZEN,
551         /*
552          * Indicate that balance has been set up from the ioctl and is in the
553          * main phase. The fs_info::balance_ctl is initialized.
554          * Set and cleared while holding fs_info::balance_mutex.
555          */
556         BTRFS_FS_BALANCE_RUNNING,
557
558         /* Indicate that the cleaner thread is awake and doing something. */
559         BTRFS_FS_CLEANER_RUNNING,
560
561         /*
562          * The checksumming has an optimized version and is considered fast,
563          * so we don't need to offload checksums to workqueues.
564          */
565         BTRFS_FS_CSUM_IMPL_FAST,
566
567         /* Indicate that the discard workqueue can service discards. */
568         BTRFS_FS_DISCARD_RUNNING,
569
570         /* Indicate that we need to cleanup space cache v1 */
571         BTRFS_FS_CLEANUP_SPACE_CACHE_V1,
572
573         /* Indicate that we can't trust the free space tree for caching yet */
574         BTRFS_FS_FREE_SPACE_TREE_UNTRUSTED,
575 };
576
577 /*
578  * Exclusive operations (device replace, resize, device add/remove, balance)
579  */
580 enum btrfs_exclusive_operation {
581         BTRFS_EXCLOP_NONE,
582         BTRFS_EXCLOP_BALANCE,
583         BTRFS_EXCLOP_DEV_ADD,
584         BTRFS_EXCLOP_DEV_REMOVE,
585         BTRFS_EXCLOP_DEV_REPLACE,
586         BTRFS_EXCLOP_RESIZE,
587         BTRFS_EXCLOP_SWAP_ACTIVATE,
588 };
589
590 struct btrfs_fs_info {
591         u8 chunk_tree_uuid[BTRFS_UUID_SIZE];
592         unsigned long flags;
593         struct btrfs_root *extent_root;
594         struct btrfs_root *tree_root;
595         struct btrfs_root *chunk_root;
596         struct btrfs_root *dev_root;
597         struct btrfs_root *fs_root;
598         struct btrfs_root *csum_root;
599         struct btrfs_root *quota_root;
600         struct btrfs_root *uuid_root;
601         struct btrfs_root *free_space_root;
602         struct btrfs_root *data_reloc_root;
603
604         /* the log root tree is a directory of all the other log roots */
605         struct btrfs_root *log_root_tree;
606
607         spinlock_t fs_roots_radix_lock;
608         struct radix_tree_root fs_roots_radix;
609
610         /* block group cache stuff */
611         spinlock_t block_group_cache_lock;
612         u64 first_logical_byte;
613         struct rb_root block_group_cache_tree;
614
615         /* keep track of unallocated space */
616         atomic64_t free_chunk_space;
617
618         /* Track ranges which are used by log trees blocks/logged data extents */
619         struct extent_io_tree excluded_extents;
620
621         /* logical->physical extent mapping */
622         struct extent_map_tree mapping_tree;
623
624         /*
625          * block reservation for extent, checksum, root tree and
626          * delayed dir index item
627          */
628         struct btrfs_block_rsv global_block_rsv;
629         /* block reservation for metadata operations */
630         struct btrfs_block_rsv trans_block_rsv;
631         /* block reservation for chunk tree */
632         struct btrfs_block_rsv chunk_block_rsv;
633         /* block reservation for delayed operations */
634         struct btrfs_block_rsv delayed_block_rsv;
635         /* block reservation for delayed refs */
636         struct btrfs_block_rsv delayed_refs_rsv;
637
638         struct btrfs_block_rsv empty_block_rsv;
639
640         u64 generation;
641         u64 last_trans_committed;
642         u64 avg_delayed_ref_runtime;
643
644         /*
645          * this is updated to the current trans every time a full commit
646          * is required instead of the faster short fsync log commits
647          */
648         u64 last_trans_log_full_commit;
649         unsigned long mount_opt;
650         /*
651          * Track requests for actions that need to be done during transaction
652          * commit (like for some mount options).
653          */
654         unsigned long pending_changes;
655         unsigned long compress_type:4;
656         unsigned int compress_level;
657         u32 commit_interval;
658         /*
659          * It is a suggestive number, the read side is safe even it gets a
660          * wrong number because we will write out the data into a regular
661          * extent. The write side(mount/remount) is under ->s_umount lock,
662          * so it is also safe.
663          */
664         u64 max_inline;
665
666         struct btrfs_transaction *running_transaction;
667         wait_queue_head_t transaction_throttle;
668         wait_queue_head_t transaction_wait;
669         wait_queue_head_t transaction_blocked_wait;
670         wait_queue_head_t async_submit_wait;
671
672         /*
673          * Used to protect the incompat_flags, compat_flags, compat_ro_flags
674          * when they are updated.
675          *
676          * Because we do not clear the flags for ever, so we needn't use
677          * the lock on the read side.
678          *
679          * We also needn't use the lock when we mount the fs, because
680          * there is no other task which will update the flag.
681          */
682         spinlock_t super_lock;
683         struct btrfs_super_block *super_copy;
684         struct btrfs_super_block *super_for_commit;
685         struct super_block *sb;
686         struct inode *btree_inode;
687         struct mutex tree_log_mutex;
688         struct mutex transaction_kthread_mutex;
689         struct mutex cleaner_mutex;
690         struct mutex chunk_mutex;
691
692         /*
693          * this is taken to make sure we don't set block groups ro after
694          * the free space cache has been allocated on them
695          */
696         struct mutex ro_block_group_mutex;
697
698         /* this is used during read/modify/write to make sure
699          * no two ios are trying to mod the same stripe at the same
700          * time
701          */
702         struct btrfs_stripe_hash_table *stripe_hash_table;
703
704         /*
705          * this protects the ordered operations list only while we are
706          * processing all of the entries on it.  This way we make
707          * sure the commit code doesn't find the list temporarily empty
708          * because another function happens to be doing non-waiting preflush
709          * before jumping into the main commit.
710          */
711         struct mutex ordered_operations_mutex;
712
713         struct rw_semaphore commit_root_sem;
714
715         struct rw_semaphore cleanup_work_sem;
716
717         struct rw_semaphore subvol_sem;
718
719         spinlock_t trans_lock;
720         /*
721          * the reloc mutex goes with the trans lock, it is taken
722          * during commit to protect us from the relocation code
723          */
724         struct mutex reloc_mutex;
725
726         struct list_head trans_list;
727         struct list_head dead_roots;
728         struct list_head caching_block_groups;
729
730         spinlock_t delayed_iput_lock;
731         struct list_head delayed_iputs;
732         atomic_t nr_delayed_iputs;
733         wait_queue_head_t delayed_iputs_wait;
734
735         atomic64_t tree_mod_seq;
736
737         /* this protects tree_mod_log and tree_mod_seq_list */
738         rwlock_t tree_mod_log_lock;
739         struct rb_root tree_mod_log;
740         struct list_head tree_mod_seq_list;
741
742         atomic_t async_delalloc_pages;
743
744         /*
745          * this is used to protect the following list -- ordered_roots.
746          */
747         spinlock_t ordered_root_lock;
748
749         /*
750          * all fs/file tree roots in which there are data=ordered extents
751          * pending writeback are added into this list.
752          *
753          * these can span multiple transactions and basically include
754          * every dirty data page that isn't from nodatacow
755          */
756         struct list_head ordered_roots;
757
758         struct mutex delalloc_root_mutex;
759         spinlock_t delalloc_root_lock;
760         /* all fs/file tree roots that have delalloc inodes. */
761         struct list_head delalloc_roots;
762
763         /*
764          * there is a pool of worker threads for checksumming during writes
765          * and a pool for checksumming after reads.  This is because readers
766          * can run with FS locks held, and the writers may be waiting for
767          * those locks.  We don't want ordering in the pending list to cause
768          * deadlocks, and so the two are serviced separately.
769          *
770          * A third pool does submit_bio to avoid deadlocking with the other
771          * two
772          */
773         struct btrfs_workqueue *workers;
774         struct btrfs_workqueue *delalloc_workers;
775         struct btrfs_workqueue *flush_workers;
776         struct btrfs_workqueue *endio_workers;
777         struct btrfs_workqueue *endio_meta_workers;
778         struct btrfs_workqueue *endio_raid56_workers;
779         struct btrfs_workqueue *rmw_workers;
780         struct btrfs_workqueue *endio_meta_write_workers;
781         struct btrfs_workqueue *endio_write_workers;
782         struct btrfs_workqueue *endio_freespace_worker;
783         struct btrfs_workqueue *caching_workers;
784         struct btrfs_workqueue *readahead_workers;
785
786         /*
787          * fixup workers take dirty pages that didn't properly go through
788          * the cow mechanism and make them safe to write.  It happens
789          * for the sys_munmap function call path
790          */
791         struct btrfs_workqueue *fixup_workers;
792         struct btrfs_workqueue *delayed_workers;
793
794         struct task_struct *transaction_kthread;
795         struct task_struct *cleaner_kthread;
796         u32 thread_pool_size;
797
798         struct kobject *space_info_kobj;
799         struct kobject *qgroups_kobj;
800
801         u64 total_pinned;
802
803         /* used to keep from writing metadata until there is a nice batch */
804         struct percpu_counter dirty_metadata_bytes;
805         struct percpu_counter delalloc_bytes;
806         struct percpu_counter ordered_bytes;
807         s32 dirty_metadata_batch;
808         s32 delalloc_batch;
809
810         struct list_head dirty_cowonly_roots;
811
812         struct btrfs_fs_devices *fs_devices;
813
814         /*
815          * The space_info list is effectively read only after initial
816          * setup.  It is populated at mount time and cleaned up after
817          * all block groups are removed.  RCU is used to protect it.
818          */
819         struct list_head space_info;
820
821         struct btrfs_space_info *data_sinfo;
822
823         struct reloc_control *reloc_ctl;
824
825         /* data_alloc_cluster is only used in ssd_spread mode */
826         struct btrfs_free_cluster data_alloc_cluster;
827
828         /* all metadata allocations go through this cluster */
829         struct btrfs_free_cluster meta_alloc_cluster;
830
831         /* auto defrag inodes go here */
832         spinlock_t defrag_inodes_lock;
833         struct rb_root defrag_inodes;
834         atomic_t defrag_running;
835
836         /* Used to protect avail_{data, metadata, system}_alloc_bits */
837         seqlock_t profiles_lock;
838         /*
839          * these three are in extended format (availability of single
840          * chunks is denoted by BTRFS_AVAIL_ALLOC_BIT_SINGLE bit, other
841          * types are denoted by corresponding BTRFS_BLOCK_GROUP_* bits)
842          */
843         u64 avail_data_alloc_bits;
844         u64 avail_metadata_alloc_bits;
845         u64 avail_system_alloc_bits;
846
847         /* restriper state */
848         spinlock_t balance_lock;
849         struct mutex balance_mutex;
850         atomic_t balance_pause_req;
851         atomic_t balance_cancel_req;
852         struct btrfs_balance_control *balance_ctl;
853         wait_queue_head_t balance_wait_q;
854
855         u32 data_chunk_allocations;
856         u32 metadata_ratio;
857
858         void *bdev_holder;
859
860         /* private scrub information */
861         struct mutex scrub_lock;
862         atomic_t scrubs_running;
863         atomic_t scrub_pause_req;
864         atomic_t scrubs_paused;
865         atomic_t scrub_cancel_req;
866         wait_queue_head_t scrub_pause_wait;
867         /*
868          * The worker pointers are NULL iff the refcount is 0, ie. scrub is not
869          * running.
870          */
871         refcount_t scrub_workers_refcnt;
872         struct btrfs_workqueue *scrub_workers;
873         struct btrfs_workqueue *scrub_wr_completion_workers;
874         struct btrfs_workqueue *scrub_parity_workers;
875
876         struct btrfs_discard_ctl discard_ctl;
877
878 #ifdef CONFIG_BTRFS_FS_CHECK_INTEGRITY
879         u32 check_integrity_print_mask;
880 #endif
881         /* is qgroup tracking in a consistent state? */
882         u64 qgroup_flags;
883
884         /* holds configuration and tracking. Protected by qgroup_lock */
885         struct rb_root qgroup_tree;
886         spinlock_t qgroup_lock;
887
888         /*
889          * used to avoid frequently calling ulist_alloc()/ulist_free()
890          * when doing qgroup accounting, it must be protected by qgroup_lock.
891          */
892         struct ulist *qgroup_ulist;
893
894         /*
895          * Protect user change for quota operations. If a transaction is needed,
896          * it must be started before locking this lock.
897          */
898         struct mutex qgroup_ioctl_lock;
899
900         /* list of dirty qgroups to be written at next commit */
901         struct list_head dirty_qgroups;
902
903         /* used by qgroup for an efficient tree traversal */
904         u64 qgroup_seq;
905
906         /* qgroup rescan items */
907         struct mutex qgroup_rescan_lock; /* protects the progress item */
908         struct btrfs_key qgroup_rescan_progress;
909         struct btrfs_workqueue *qgroup_rescan_workers;
910         struct completion qgroup_rescan_completion;
911         struct btrfs_work qgroup_rescan_work;
912         bool qgroup_rescan_running;     /* protected by qgroup_rescan_lock */
913
914         /* filesystem state */
915         unsigned long fs_state;
916
917         struct btrfs_delayed_root *delayed_root;
918
919         /* readahead tree */
920         spinlock_t reada_lock;
921         struct radix_tree_root reada_tree;
922
923         /* readahead works cnt */
924         atomic_t reada_works_cnt;
925
926         /* Extent buffer radix tree */
927         spinlock_t buffer_lock;
928         /* Entries are eb->start / sectorsize */
929         struct radix_tree_root buffer_radix;
930
931         /* next backup root to be overwritten */
932         int backup_root_index;
933
934         /* device replace state */
935         struct btrfs_dev_replace dev_replace;
936
937         struct semaphore uuid_tree_rescan_sem;
938
939         /* Used to reclaim the metadata space in the background. */
940         struct work_struct async_reclaim_work;
941         struct work_struct async_data_reclaim_work;
942         struct work_struct preempt_reclaim_work;
943
944         spinlock_t unused_bgs_lock;
945         struct list_head unused_bgs;
946         struct mutex unused_bg_unpin_mutex;
947         struct mutex delete_unused_bgs_mutex;
948
949         /* Cached block sizes */
950         u32 nodesize;
951         u32 sectorsize;
952         /* ilog2 of sectorsize, use to avoid 64bit division */
953         u32 sectorsize_bits;
954         u32 csum_size;
955         u32 csums_per_leaf;
956         u32 stripesize;
957
958         /* Block groups and devices containing active swapfiles. */
959         spinlock_t swapfile_pins_lock;
960         struct rb_root swapfile_pins;
961
962         struct crypto_shash *csum_shash;
963
964         /*
965          * Number of send operations in progress.
966          * Updated while holding fs_info::balance_mutex.
967          */
968         int send_in_progress;
969
970         /* Type of exclusive operation running */
971         unsigned long exclusive_operation;
972
973         /*
974          * Zone size > 0 when in ZONED mode, otherwise it's used for a check
975          * if the mode is enabled
976          */
977         union {
978                 u64 zone_size;
979                 u64 zoned;
980         };
981
982         /* Max size to emit ZONE_APPEND write command */
983         u64 max_zone_append_size;
984         struct mutex zoned_meta_io_lock;
985         spinlock_t treelog_bg_lock;
986         u64 treelog_bg;
987
988 #ifdef CONFIG_BTRFS_FS_REF_VERIFY
989         spinlock_t ref_verify_lock;
990         struct rb_root block_tree;
991 #endif
992
993 #ifdef CONFIG_BTRFS_DEBUG
994         struct kobject *debug_kobj;
995         struct kobject *discard_debug_kobj;
996         struct list_head allocated_roots;
997
998         spinlock_t eb_leak_lock;
999         struct list_head allocated_ebs;
1000 #endif
1001 };
1002
1003 static inline struct btrfs_fs_info *btrfs_sb(struct super_block *sb)
1004 {
1005         return sb->s_fs_info;
1006 }
1007
1008 /*
1009  * The state of btrfs root
1010  */
1011 enum {
1012         /*
1013          * btrfs_record_root_in_trans is a multi-step process, and it can race
1014          * with the balancing code.   But the race is very small, and only the
1015          * first time the root is added to each transaction.  So IN_TRANS_SETUP
1016          * is used to tell us when more checks are required
1017          */
1018         BTRFS_ROOT_IN_TRANS_SETUP,
1019
1020         /*
1021          * Set if tree blocks of this root can be shared by other roots.
1022          * Only subvolume trees and their reloc trees have this bit set.
1023          * Conflicts with TRACK_DIRTY bit.
1024          *
1025          * This affects two things:
1026          *
1027          * - How balance works
1028          *   For shareable roots, we need to use reloc tree and do path
1029          *   replacement for balance, and need various pre/post hooks for
1030          *   snapshot creation to handle them.
1031          *
1032          *   While for non-shareable trees, we just simply do a tree search
1033          *   with COW.
1034          *
1035          * - How dirty roots are tracked
1036          *   For shareable roots, btrfs_record_root_in_trans() is needed to
1037          *   track them, while non-subvolume roots have TRACK_DIRTY bit, they
1038          *   don't need to set this manually.
1039          */
1040         BTRFS_ROOT_SHAREABLE,
1041         BTRFS_ROOT_TRACK_DIRTY,
1042         BTRFS_ROOT_IN_RADIX,
1043         BTRFS_ROOT_ORPHAN_ITEM_INSERTED,
1044         BTRFS_ROOT_DEFRAG_RUNNING,
1045         BTRFS_ROOT_FORCE_COW,
1046         BTRFS_ROOT_MULTI_LOG_TASKS,
1047         BTRFS_ROOT_DIRTY,
1048         BTRFS_ROOT_DELETING,
1049
1050         /*
1051          * Reloc tree is orphan, only kept here for qgroup delayed subtree scan
1052          *
1053          * Set for the subvolume tree owning the reloc tree.
1054          */
1055         BTRFS_ROOT_DEAD_RELOC_TREE,
1056         /* Mark dead root stored on device whose cleanup needs to be resumed */
1057         BTRFS_ROOT_DEAD_TREE,
1058         /* The root has a log tree. Used for subvolume roots and the tree root. */
1059         BTRFS_ROOT_HAS_LOG_TREE,
1060         /* Qgroup flushing is in progress */
1061         BTRFS_ROOT_QGROUP_FLUSHING,
1062 };
1063
1064 /*
1065  * Record swapped tree blocks of a subvolume tree for delayed subtree trace
1066  * code. For detail check comment in fs/btrfs/qgroup.c.
1067  */
1068 struct btrfs_qgroup_swapped_blocks {
1069         spinlock_t lock;
1070         /* RM_EMPTY_ROOT() of above blocks[] */
1071         bool swapped;
1072         struct rb_root blocks[BTRFS_MAX_LEVEL];
1073 };
1074
1075 /*
1076  * in ram representation of the tree.  extent_root is used for all allocations
1077  * and for the extent tree extent_root root.
1078  */
1079 struct btrfs_root {
1080         struct extent_buffer *node;
1081
1082         struct extent_buffer *commit_root;
1083         struct btrfs_root *log_root;
1084         struct btrfs_root *reloc_root;
1085
1086         unsigned long state;
1087         struct btrfs_root_item root_item;
1088         struct btrfs_key root_key;
1089         struct btrfs_fs_info *fs_info;
1090         struct extent_io_tree dirty_log_pages;
1091
1092         struct mutex objectid_mutex;
1093
1094         spinlock_t accounting_lock;
1095         struct btrfs_block_rsv *block_rsv;
1096
1097         struct mutex log_mutex;
1098         wait_queue_head_t log_writer_wait;
1099         wait_queue_head_t log_commit_wait[2];
1100         struct list_head log_ctxs[2];
1101         /* Used only for log trees of subvolumes, not for the log root tree */
1102         atomic_t log_writers;
1103         atomic_t log_commit[2];
1104         /* Used only for log trees of subvolumes, not for the log root tree */
1105         atomic_t log_batch;
1106         int log_transid;
1107         /* No matter the commit succeeds or not*/
1108         int log_transid_committed;
1109         /* Just be updated when the commit succeeds. */
1110         int last_log_commit;
1111         pid_t log_start_pid;
1112
1113         u64 last_trans;
1114
1115         u32 type;
1116
1117         u64 free_objectid;
1118
1119         struct btrfs_key defrag_progress;
1120         struct btrfs_key defrag_max;
1121
1122         /* The dirty list is only used by non-shareable roots */
1123         struct list_head dirty_list;
1124
1125         struct list_head root_list;
1126
1127         spinlock_t log_extents_lock[2];
1128         struct list_head logged_list[2];
1129
1130         int orphan_cleanup_state;
1131
1132         spinlock_t inode_lock;
1133         /* red-black tree that keeps track of in-memory inodes */
1134         struct rb_root inode_tree;
1135
1136         /*
1137          * radix tree that keeps track of delayed nodes of every inode,
1138          * protected by inode_lock
1139          */
1140         struct radix_tree_root delayed_nodes_tree;
1141         /*
1142          * right now this just gets used so that a root has its own devid
1143          * for stat.  It may be used for more later
1144          */
1145         dev_t anon_dev;
1146
1147         spinlock_t root_item_lock;
1148         refcount_t refs;
1149
1150         struct mutex delalloc_mutex;
1151         spinlock_t delalloc_lock;
1152         /*
1153          * all of the inodes that have delalloc bytes.  It is possible for
1154          * this list to be empty even when there is still dirty data=ordered
1155          * extents waiting to finish IO.
1156          */
1157         struct list_head delalloc_inodes;
1158         struct list_head delalloc_root;
1159         u64 nr_delalloc_inodes;
1160
1161         struct mutex ordered_extent_mutex;
1162         /*
1163          * this is used by the balancing code to wait for all the pending
1164          * ordered extents
1165          */
1166         spinlock_t ordered_extent_lock;
1167
1168         /*
1169          * all of the data=ordered extents pending writeback
1170          * these can span multiple transactions and basically include
1171          * every dirty data page that isn't from nodatacow
1172          */
1173         struct list_head ordered_extents;
1174         struct list_head ordered_root;
1175         u64 nr_ordered_extents;
1176
1177         /*
1178          * Not empty if this subvolume root has gone through tree block swap
1179          * (relocation)
1180          *
1181          * Will be used by reloc_control::dirty_subvol_roots.
1182          */
1183         struct list_head reloc_dirty_list;
1184
1185         /*
1186          * Number of currently running SEND ioctls to prevent
1187          * manipulation with the read-only status via SUBVOL_SETFLAGS
1188          */
1189         int send_in_progress;
1190         /*
1191          * Number of currently running deduplication operations that have a
1192          * destination inode belonging to this root. Protected by the lock
1193          * root_item_lock.
1194          */
1195         int dedupe_in_progress;
1196         /* For exclusion of snapshot creation and nocow writes */
1197         struct btrfs_drew_lock snapshot_lock;
1198
1199         atomic_t snapshot_force_cow;
1200
1201         /* For qgroup metadata reserved space */
1202         spinlock_t qgroup_meta_rsv_lock;
1203         u64 qgroup_meta_rsv_pertrans;
1204         u64 qgroup_meta_rsv_prealloc;
1205         wait_queue_head_t qgroup_flush_wait;
1206
1207         /* Number of active swapfiles */
1208         atomic_t nr_swapfiles;
1209
1210         /* Record pairs of swapped blocks for qgroup */
1211         struct btrfs_qgroup_swapped_blocks swapped_blocks;
1212
1213         /* Used only by log trees, when logging csum items */
1214         struct extent_io_tree log_csum_range;
1215
1216 #ifdef CONFIG_BTRFS_FS_RUN_SANITY_TESTS
1217         u64 alloc_bytenr;
1218 #endif
1219
1220 #ifdef CONFIG_BTRFS_DEBUG
1221         struct list_head leak_list;
1222 #endif
1223 };
1224
1225 /*
1226  * Structure that conveys information about an extent that is going to replace
1227  * all the extents in a file range.
1228  */
1229 struct btrfs_replace_extent_info {
1230         u64 disk_offset;
1231         u64 disk_len;
1232         u64 data_offset;
1233         u64 data_len;
1234         u64 file_offset;
1235         /* Pointer to a file extent item of type regular or prealloc. */
1236         char *extent_buf;
1237         /*
1238          * Set to true when attempting to replace a file range with a new extent
1239          * described by this structure, set to false when attempting to clone an
1240          * existing extent into a file range.
1241          */
1242         bool is_new_extent;
1243         /* Meaningful only if is_new_extent is true. */
1244         int qgroup_reserved;
1245         /*
1246          * Meaningful only if is_new_extent is true.
1247          * Used to track how many extent items we have already inserted in a
1248          * subvolume tree that refer to the extent described by this structure,
1249          * so that we know when to create a new delayed ref or update an existing
1250          * one.
1251          */
1252         int insertions;
1253 };
1254
1255 /* Arguments for btrfs_drop_extents() */
1256 struct btrfs_drop_extents_args {
1257         /* Input parameters */
1258
1259         /*
1260          * If NULL, btrfs_drop_extents() will allocate and free its own path.
1261          * If 'replace_extent' is true, this must not be NULL. Also the path
1262          * is always released except if 'replace_extent' is true and
1263          * btrfs_drop_extents() sets 'extent_inserted' to true, in which case
1264          * the path is kept locked.
1265          */
1266         struct btrfs_path *path;
1267         /* Start offset of the range to drop extents from */
1268         u64 start;
1269         /* End (exclusive, last byte + 1) of the range to drop extents from */
1270         u64 end;
1271         /* If true drop all the extent maps in the range */
1272         bool drop_cache;
1273         /*
1274          * If true it means we want to insert a new extent after dropping all
1275          * the extents in the range. If this is true, the 'extent_item_size'
1276          * parameter must be set as well and the 'extent_inserted' field will
1277          * be set to true by btrfs_drop_extents() if it could insert the new
1278          * extent.
1279          * Note: when this is set to true the path must not be NULL.
1280          */
1281         bool replace_extent;
1282         /*
1283          * Used if 'replace_extent' is true. Size of the file extent item to
1284          * insert after dropping all existing extents in the range
1285          */
1286         u32 extent_item_size;
1287
1288         /* Output parameters */
1289
1290         /*
1291          * Set to the minimum between the input parameter 'end' and the end
1292          * (exclusive, last byte + 1) of the last dropped extent. This is always
1293          * set even if btrfs_drop_extents() returns an error.
1294          */
1295         u64 drop_end;
1296         /*
1297          * The number of allocated bytes found in the range. This can be smaller
1298          * than the range's length when there are holes in the range.
1299          */
1300         u64 bytes_found;
1301         /*
1302          * Only set if 'replace_extent' is true. Set to true if we were able
1303          * to insert a replacement extent after dropping all extents in the
1304          * range, otherwise set to false by btrfs_drop_extents().
1305          * Also, if btrfs_drop_extents() has set this to true it means it
1306          * returned with the path locked, otherwise if it has set this to
1307          * false it has returned with the path released.
1308          */
1309         bool extent_inserted;
1310 };
1311
1312 struct btrfs_file_private {
1313         void *filldir_buf;
1314 };
1315
1316
1317 static inline u32 BTRFS_LEAF_DATA_SIZE(const struct btrfs_fs_info *info)
1318 {
1319
1320         return info->nodesize - sizeof(struct btrfs_header);
1321 }
1322
1323 #define BTRFS_LEAF_DATA_OFFSET          offsetof(struct btrfs_leaf, items)
1324
1325 static inline u32 BTRFS_MAX_ITEM_SIZE(const struct btrfs_fs_info *info)
1326 {
1327         return BTRFS_LEAF_DATA_SIZE(info) - sizeof(struct btrfs_item);
1328 }
1329
1330 static inline u32 BTRFS_NODEPTRS_PER_BLOCK(const struct btrfs_fs_info *info)
1331 {
1332         return BTRFS_LEAF_DATA_SIZE(info) / sizeof(struct btrfs_key_ptr);
1333 }
1334
1335 #define BTRFS_FILE_EXTENT_INLINE_DATA_START             \
1336                 (offsetof(struct btrfs_file_extent_item, disk_bytenr))
1337 static inline u32 BTRFS_MAX_INLINE_DATA_SIZE(const struct btrfs_fs_info *info)
1338 {
1339         return BTRFS_MAX_ITEM_SIZE(info) -
1340                BTRFS_FILE_EXTENT_INLINE_DATA_START;
1341 }
1342
1343 static inline u32 BTRFS_MAX_XATTR_SIZE(const struct btrfs_fs_info *info)
1344 {
1345         return BTRFS_MAX_ITEM_SIZE(info) - sizeof(struct btrfs_dir_item);
1346 }
1347
1348 /*
1349  * Flags for mount options.
1350  *
1351  * Note: don't forget to add new options to btrfs_show_options()
1352  */
1353 #define BTRFS_MOUNT_NODATASUM           (1 << 0)
1354 #define BTRFS_MOUNT_NODATACOW           (1 << 1)
1355 #define BTRFS_MOUNT_NOBARRIER           (1 << 2)
1356 #define BTRFS_MOUNT_SSD                 (1 << 3)
1357 #define BTRFS_MOUNT_DEGRADED            (1 << 4)
1358 #define BTRFS_MOUNT_COMPRESS            (1 << 5)
1359 #define BTRFS_MOUNT_NOTREELOG           (1 << 6)
1360 #define BTRFS_MOUNT_FLUSHONCOMMIT       (1 << 7)
1361 #define BTRFS_MOUNT_SSD_SPREAD          (1 << 8)
1362 #define BTRFS_MOUNT_NOSSD               (1 << 9)
1363 #define BTRFS_MOUNT_DISCARD_SYNC        (1 << 10)
1364 #define BTRFS_MOUNT_FORCE_COMPRESS      (1 << 11)
1365 #define BTRFS_MOUNT_SPACE_CACHE         (1 << 12)
1366 #define BTRFS_MOUNT_CLEAR_CACHE         (1 << 13)
1367 #define BTRFS_MOUNT_USER_SUBVOL_RM_ALLOWED (1 << 14)
1368 #define BTRFS_MOUNT_ENOSPC_DEBUG         (1 << 15)
1369 #define BTRFS_MOUNT_AUTO_DEFRAG         (1 << 16)
1370 /* bit 17 is free */
1371 #define BTRFS_MOUNT_USEBACKUPROOT       (1 << 18)
1372 #define BTRFS_MOUNT_SKIP_BALANCE        (1 << 19)
1373 #define BTRFS_MOUNT_CHECK_INTEGRITY     (1 << 20)
1374 #define BTRFS_MOUNT_CHECK_INTEGRITY_INCLUDING_EXTENT_DATA (1 << 21)
1375 #define BTRFS_MOUNT_PANIC_ON_FATAL_ERROR        (1 << 22)
1376 #define BTRFS_MOUNT_RESCAN_UUID_TREE    (1 << 23)
1377 #define BTRFS_MOUNT_FRAGMENT_DATA       (1 << 24)
1378 #define BTRFS_MOUNT_FRAGMENT_METADATA   (1 << 25)
1379 #define BTRFS_MOUNT_FREE_SPACE_TREE     (1 << 26)
1380 #define BTRFS_MOUNT_NOLOGREPLAY         (1 << 27)
1381 #define BTRFS_MOUNT_REF_VERIFY          (1 << 28)
1382 #define BTRFS_MOUNT_DISCARD_ASYNC       (1 << 29)
1383 #define BTRFS_MOUNT_IGNOREBADROOTS      (1 << 30)
1384 #define BTRFS_MOUNT_IGNOREDATACSUMS     (1 << 31)
1385
1386 #define BTRFS_DEFAULT_COMMIT_INTERVAL   (30)
1387 #define BTRFS_DEFAULT_MAX_INLINE        (2048)
1388
1389 #define btrfs_clear_opt(o, opt)         ((o) &= ~BTRFS_MOUNT_##opt)
1390 #define btrfs_set_opt(o, opt)           ((o) |= BTRFS_MOUNT_##opt)
1391 #define btrfs_raw_test_opt(o, opt)      ((o) & BTRFS_MOUNT_##opt)
1392 #define btrfs_test_opt(fs_info, opt)    ((fs_info)->mount_opt & \
1393                                          BTRFS_MOUNT_##opt)
1394
1395 #define btrfs_set_and_info(fs_info, opt, fmt, args...)                  \
1396 do {                                                                    \
1397         if (!btrfs_test_opt(fs_info, opt))                              \
1398                 btrfs_info(fs_info, fmt, ##args);                       \
1399         btrfs_set_opt(fs_info->mount_opt, opt);                         \
1400 } while (0)
1401
1402 #define btrfs_clear_and_info(fs_info, opt, fmt, args...)                \
1403 do {                                                                    \
1404         if (btrfs_test_opt(fs_info, opt))                               \
1405                 btrfs_info(fs_info, fmt, ##args);                       \
1406         btrfs_clear_opt(fs_info->mount_opt, opt);                       \
1407 } while (0)
1408
1409 /*
1410  * Requests for changes that need to be done during transaction commit.
1411  *
1412  * Internal mount options that are used for special handling of the real
1413  * mount options (eg. cannot be set during remount and have to be set during
1414  * transaction commit)
1415  */
1416
1417 #define BTRFS_PENDING_COMMIT                    (0)
1418
1419 #define btrfs_test_pending(info, opt)   \
1420         test_bit(BTRFS_PENDING_##opt, &(info)->pending_changes)
1421 #define btrfs_set_pending(info, opt)    \
1422         set_bit(BTRFS_PENDING_##opt, &(info)->pending_changes)
1423 #define btrfs_clear_pending(info, opt)  \
1424         clear_bit(BTRFS_PENDING_##opt, &(info)->pending_changes)
1425
1426 /*
1427  * Helpers for setting pending mount option changes.
1428  *
1429  * Expects corresponding macros
1430  * BTRFS_PENDING_SET_ and CLEAR_ + short mount option name
1431  */
1432 #define btrfs_set_pending_and_info(info, opt, fmt, args...)            \
1433 do {                                                                   \
1434        if (!btrfs_raw_test_opt((info)->mount_opt, opt)) {              \
1435                btrfs_info((info), fmt, ##args);                        \
1436                btrfs_set_pending((info), SET_##opt);                   \
1437                btrfs_clear_pending((info), CLEAR_##opt);               \
1438        }                                                               \
1439 } while(0)
1440
1441 #define btrfs_clear_pending_and_info(info, opt, fmt, args...)          \
1442 do {                                                                   \
1443        if (btrfs_raw_test_opt((info)->mount_opt, opt)) {               \
1444                btrfs_info((info), fmt, ##args);                        \
1445                btrfs_set_pending((info), CLEAR_##opt);                 \
1446                btrfs_clear_pending((info), SET_##opt);                 \
1447        }                                                               \
1448 } while(0)
1449
1450 /*
1451  * Inode flags
1452  */
1453 #define BTRFS_INODE_NODATASUM           (1 << 0)
1454 #define BTRFS_INODE_NODATACOW           (1 << 1)
1455 #define BTRFS_INODE_READONLY            (1 << 2)
1456 #define BTRFS_INODE_NOCOMPRESS          (1 << 3)
1457 #define BTRFS_INODE_PREALLOC            (1 << 4)
1458 #define BTRFS_INODE_SYNC                (1 << 5)
1459 #define BTRFS_INODE_IMMUTABLE           (1 << 6)
1460 #define BTRFS_INODE_APPEND              (1 << 7)
1461 #define BTRFS_INODE_NODUMP              (1 << 8)
1462 #define BTRFS_INODE_NOATIME             (1 << 9)
1463 #define BTRFS_INODE_DIRSYNC             (1 << 10)
1464 #define BTRFS_INODE_COMPRESS            (1 << 11)
1465
1466 #define BTRFS_INODE_ROOT_ITEM_INIT      (1 << 31)
1467
1468 #define BTRFS_INODE_FLAG_MASK                                           \
1469         (BTRFS_INODE_NODATASUM |                                        \
1470          BTRFS_INODE_NODATACOW |                                        \
1471          BTRFS_INODE_READONLY |                                         \
1472          BTRFS_INODE_NOCOMPRESS |                                       \
1473          BTRFS_INODE_PREALLOC |                                         \
1474          BTRFS_INODE_SYNC |                                             \
1475          BTRFS_INODE_IMMUTABLE |                                        \
1476          BTRFS_INODE_APPEND |                                           \
1477          BTRFS_INODE_NODUMP |                                           \
1478          BTRFS_INODE_NOATIME |                                          \
1479          BTRFS_INODE_DIRSYNC |                                          \
1480          BTRFS_INODE_COMPRESS |                                         \
1481          BTRFS_INODE_ROOT_ITEM_INIT)
1482
1483 struct btrfs_map_token {
1484         struct extent_buffer *eb;
1485         char *kaddr;
1486         unsigned long offset;
1487 };
1488
1489 #define BTRFS_BYTES_TO_BLKS(fs_info, bytes) \
1490                                 ((bytes) >> (fs_info)->sectorsize_bits)
1491
1492 static inline void btrfs_init_map_token(struct btrfs_map_token *token,
1493                                         struct extent_buffer *eb)
1494 {
1495         token->eb = eb;
1496         token->kaddr = page_address(eb->pages[0]);
1497         token->offset = 0;
1498 }
1499
1500 /* some macros to generate set/get functions for the struct fields.  This
1501  * assumes there is a lefoo_to_cpu for every type, so lets make a simple
1502  * one for u8:
1503  */
1504 #define le8_to_cpu(v) (v)
1505 #define cpu_to_le8(v) (v)
1506 #define __le8 u8
1507
1508 static inline u8 get_unaligned_le8(const void *p)
1509 {
1510        return *(u8 *)p;
1511 }
1512
1513 static inline void put_unaligned_le8(u8 val, void *p)
1514 {
1515        *(u8 *)p = val;
1516 }
1517
1518 #define read_eb_member(eb, ptr, type, member, result) (\
1519         read_extent_buffer(eb, (char *)(result),                        \
1520                            ((unsigned long)(ptr)) +                     \
1521                             offsetof(type, member),                     \
1522                            sizeof(((type *)0)->member)))
1523
1524 #define write_eb_member(eb, ptr, type, member, result) (\
1525         write_extent_buffer(eb, (char *)(result),                       \
1526                            ((unsigned long)(ptr)) +                     \
1527                             offsetof(type, member),                     \
1528                            sizeof(((type *)0)->member)))
1529
1530 #define DECLARE_BTRFS_SETGET_BITS(bits)                                 \
1531 u##bits btrfs_get_token_##bits(struct btrfs_map_token *token,           \
1532                                const void *ptr, unsigned long off);     \
1533 void btrfs_set_token_##bits(struct btrfs_map_token *token,              \
1534                             const void *ptr, unsigned long off,         \
1535                             u##bits val);                               \
1536 u##bits btrfs_get_##bits(const struct extent_buffer *eb,                \
1537                          const void *ptr, unsigned long off);           \
1538 void btrfs_set_##bits(const struct extent_buffer *eb, void *ptr,        \
1539                       unsigned long off, u##bits val);
1540
1541 DECLARE_BTRFS_SETGET_BITS(8)
1542 DECLARE_BTRFS_SETGET_BITS(16)
1543 DECLARE_BTRFS_SETGET_BITS(32)
1544 DECLARE_BTRFS_SETGET_BITS(64)
1545
1546 #define BTRFS_SETGET_FUNCS(name, type, member, bits)                    \
1547 static inline u##bits btrfs_##name(const struct extent_buffer *eb,      \
1548                                    const type *s)                       \
1549 {                                                                       \
1550         BUILD_BUG_ON(sizeof(u##bits) != sizeof(((type *)0))->member);   \
1551         return btrfs_get_##bits(eb, s, offsetof(type, member));         \
1552 }                                                                       \
1553 static inline void btrfs_set_##name(const struct extent_buffer *eb, type *s, \
1554                                     u##bits val)                        \
1555 {                                                                       \
1556         BUILD_BUG_ON(sizeof(u##bits) != sizeof(((type *)0))->member);   \
1557         btrfs_set_##bits(eb, s, offsetof(type, member), val);           \
1558 }                                                                       \
1559 static inline u##bits btrfs_token_##name(struct btrfs_map_token *token, \
1560                                          const type *s)                 \
1561 {                                                                       \
1562         BUILD_BUG_ON(sizeof(u##bits) != sizeof(((type *)0))->member);   \
1563         return btrfs_get_token_##bits(token, s, offsetof(type, member));\
1564 }                                                                       \
1565 static inline void btrfs_set_token_##name(struct btrfs_map_token *token,\
1566                                           type *s, u##bits val)         \
1567 {                                                                       \
1568         BUILD_BUG_ON(sizeof(u##bits) != sizeof(((type *)0))->member);   \
1569         btrfs_set_token_##bits(token, s, offsetof(type, member), val);  \
1570 }
1571
1572 #define BTRFS_SETGET_HEADER_FUNCS(name, type, member, bits)             \
1573 static inline u##bits btrfs_##name(const struct extent_buffer *eb)      \
1574 {                                                                       \
1575         const type *p = page_address(eb->pages[0]) +                    \
1576                         offset_in_page(eb->start);                      \
1577         return get_unaligned_le##bits(&p->member);                      \
1578 }                                                                       \
1579 static inline void btrfs_set_##name(const struct extent_buffer *eb,     \
1580                                     u##bits val)                        \
1581 {                                                                       \
1582         type *p = page_address(eb->pages[0]) + offset_in_page(eb->start); \
1583         put_unaligned_le##bits(val, &p->member);                        \
1584 }
1585
1586 #define BTRFS_SETGET_STACK_FUNCS(name, type, member, bits)              \
1587 static inline u##bits btrfs_##name(const type *s)                       \
1588 {                                                                       \
1589         return get_unaligned_le##bits(&s->member);                      \
1590 }                                                                       \
1591 static inline void btrfs_set_##name(type *s, u##bits val)               \
1592 {                                                                       \
1593         put_unaligned_le##bits(val, &s->member);                        \
1594 }
1595
1596 static inline u64 btrfs_device_total_bytes(const struct extent_buffer *eb,
1597                                            struct btrfs_dev_item *s)
1598 {
1599         BUILD_BUG_ON(sizeof(u64) !=
1600                      sizeof(((struct btrfs_dev_item *)0))->total_bytes);
1601         return btrfs_get_64(eb, s, offsetof(struct btrfs_dev_item,
1602                                             total_bytes));
1603 }
1604 static inline void btrfs_set_device_total_bytes(const struct extent_buffer *eb,
1605                                                 struct btrfs_dev_item *s,
1606                                                 u64 val)
1607 {
1608         BUILD_BUG_ON(sizeof(u64) !=
1609                      sizeof(((struct btrfs_dev_item *)0))->total_bytes);
1610         WARN_ON(!IS_ALIGNED(val, eb->fs_info->sectorsize));
1611         btrfs_set_64(eb, s, offsetof(struct btrfs_dev_item, total_bytes), val);
1612 }
1613
1614
1615 BTRFS_SETGET_FUNCS(device_type, struct btrfs_dev_item, type, 64);
1616 BTRFS_SETGET_FUNCS(device_bytes_used, struct btrfs_dev_item, bytes_used, 64);
1617 BTRFS_SETGET_FUNCS(device_io_align, struct btrfs_dev_item, io_align, 32);
1618 BTRFS_SETGET_FUNCS(device_io_width, struct btrfs_dev_item, io_width, 32);
1619 BTRFS_SETGET_FUNCS(device_start_offset, struct btrfs_dev_item,
1620                    start_offset, 64);
1621 BTRFS_SETGET_FUNCS(device_sector_size, struct btrfs_dev_item, sector_size, 32);
1622 BTRFS_SETGET_FUNCS(device_id, struct btrfs_dev_item, devid, 64);
1623 BTRFS_SETGET_FUNCS(device_group, struct btrfs_dev_item, dev_group, 32);
1624 BTRFS_SETGET_FUNCS(device_seek_speed, struct btrfs_dev_item, seek_speed, 8);
1625 BTRFS_SETGET_FUNCS(device_bandwidth, struct btrfs_dev_item, bandwidth, 8);
1626 BTRFS_SETGET_FUNCS(device_generation, struct btrfs_dev_item, generation, 64);
1627
1628 BTRFS_SETGET_STACK_FUNCS(stack_device_type, struct btrfs_dev_item, type, 64);
1629 BTRFS_SETGET_STACK_FUNCS(stack_device_total_bytes, struct btrfs_dev_item,
1630                          total_bytes, 64);
1631 BTRFS_SETGET_STACK_FUNCS(stack_device_bytes_used, struct btrfs_dev_item,
1632                          bytes_used, 64);
1633 BTRFS_SETGET_STACK_FUNCS(stack_device_io_align, struct btrfs_dev_item,
1634                          io_align, 32);
1635 BTRFS_SETGET_STACK_FUNCS(stack_device_io_width, struct btrfs_dev_item,
1636                          io_width, 32);
1637 BTRFS_SETGET_STACK_FUNCS(stack_device_sector_size, struct btrfs_dev_item,
1638                          sector_size, 32);
1639 BTRFS_SETGET_STACK_FUNCS(stack_device_id, struct btrfs_dev_item, devid, 64);
1640 BTRFS_SETGET_STACK_FUNCS(stack_device_group, struct btrfs_dev_item,
1641                          dev_group, 32);
1642 BTRFS_SETGET_STACK_FUNCS(stack_device_seek_speed, struct btrfs_dev_item,
1643                          seek_speed, 8);
1644 BTRFS_SETGET_STACK_FUNCS(stack_device_bandwidth, struct btrfs_dev_item,
1645                          bandwidth, 8);
1646 BTRFS_SETGET_STACK_FUNCS(stack_device_generation, struct btrfs_dev_item,
1647                          generation, 64);
1648
1649 static inline unsigned long btrfs_device_uuid(struct btrfs_dev_item *d)
1650 {
1651         return (unsigned long)d + offsetof(struct btrfs_dev_item, uuid);
1652 }
1653
1654 static inline unsigned long btrfs_device_fsid(struct btrfs_dev_item *d)
1655 {
1656         return (unsigned long)d + offsetof(struct btrfs_dev_item, fsid);
1657 }
1658
1659 BTRFS_SETGET_FUNCS(chunk_length, struct btrfs_chunk, length, 64);
1660 BTRFS_SETGET_FUNCS(chunk_owner, struct btrfs_chunk, owner, 64);
1661 BTRFS_SETGET_FUNCS(chunk_stripe_len, struct btrfs_chunk, stripe_len, 64);
1662 BTRFS_SETGET_FUNCS(chunk_io_align, struct btrfs_chunk, io_align, 32);
1663 BTRFS_SETGET_FUNCS(chunk_io_width, struct btrfs_chunk, io_width, 32);
1664 BTRFS_SETGET_FUNCS(chunk_sector_size, struct btrfs_chunk, sector_size, 32);
1665 BTRFS_SETGET_FUNCS(chunk_type, struct btrfs_chunk, type, 64);
1666 BTRFS_SETGET_FUNCS(chunk_num_stripes, struct btrfs_chunk, num_stripes, 16);
1667 BTRFS_SETGET_FUNCS(chunk_sub_stripes, struct btrfs_chunk, sub_stripes, 16);
1668 BTRFS_SETGET_FUNCS(stripe_devid, struct btrfs_stripe, devid, 64);
1669 BTRFS_SETGET_FUNCS(stripe_offset, struct btrfs_stripe, offset, 64);
1670
1671 static inline char *btrfs_stripe_dev_uuid(struct btrfs_stripe *s)
1672 {
1673         return (char *)s + offsetof(struct btrfs_stripe, dev_uuid);
1674 }
1675
1676 BTRFS_SETGET_STACK_FUNCS(stack_chunk_length, struct btrfs_chunk, length, 64);
1677 BTRFS_SETGET_STACK_FUNCS(stack_chunk_owner, struct btrfs_chunk, owner, 64);
1678 BTRFS_SETGET_STACK_FUNCS(stack_chunk_stripe_len, struct btrfs_chunk,
1679                          stripe_len, 64);
1680 BTRFS_SETGET_STACK_FUNCS(stack_chunk_io_align, struct btrfs_chunk,
1681                          io_align, 32);
1682 BTRFS_SETGET_STACK_FUNCS(stack_chunk_io_width, struct btrfs_chunk,
1683                          io_width, 32);
1684 BTRFS_SETGET_STACK_FUNCS(stack_chunk_sector_size, struct btrfs_chunk,
1685                          sector_size, 32);
1686 BTRFS_SETGET_STACK_FUNCS(stack_chunk_type, struct btrfs_chunk, type, 64);
1687 BTRFS_SETGET_STACK_FUNCS(stack_chunk_num_stripes, struct btrfs_chunk,
1688                          num_stripes, 16);
1689 BTRFS_SETGET_STACK_FUNCS(stack_chunk_sub_stripes, struct btrfs_chunk,
1690                          sub_stripes, 16);
1691 BTRFS_SETGET_STACK_FUNCS(stack_stripe_devid, struct btrfs_stripe, devid, 64);
1692 BTRFS_SETGET_STACK_FUNCS(stack_stripe_offset, struct btrfs_stripe, offset, 64);
1693
1694 static inline struct btrfs_stripe *btrfs_stripe_nr(struct btrfs_chunk *c,
1695                                                    int nr)
1696 {
1697         unsigned long offset = (unsigned long)c;
1698         offset += offsetof(struct btrfs_chunk, stripe);
1699         offset += nr * sizeof(struct btrfs_stripe);
1700         return (struct btrfs_stripe *)offset;
1701 }
1702
1703 static inline char *btrfs_stripe_dev_uuid_nr(struct btrfs_chunk *c, int nr)
1704 {
1705         return btrfs_stripe_dev_uuid(btrfs_stripe_nr(c, nr));
1706 }
1707
1708 static inline u64 btrfs_stripe_offset_nr(const struct extent_buffer *eb,
1709                                          struct btrfs_chunk *c, int nr)
1710 {
1711         return btrfs_stripe_offset(eb, btrfs_stripe_nr(c, nr));
1712 }
1713
1714 static inline u64 btrfs_stripe_devid_nr(const struct extent_buffer *eb,
1715                                          struct btrfs_chunk *c, int nr)
1716 {
1717         return btrfs_stripe_devid(eb, btrfs_stripe_nr(c, nr));
1718 }
1719
1720 /* struct btrfs_block_group_item */
1721 BTRFS_SETGET_STACK_FUNCS(stack_block_group_used, struct btrfs_block_group_item,
1722                          used, 64);
1723 BTRFS_SETGET_FUNCS(block_group_used, struct btrfs_block_group_item,
1724                          used, 64);
1725 BTRFS_SETGET_STACK_FUNCS(stack_block_group_chunk_objectid,
1726                         struct btrfs_block_group_item, chunk_objectid, 64);
1727
1728 BTRFS_SETGET_FUNCS(block_group_chunk_objectid,
1729                    struct btrfs_block_group_item, chunk_objectid, 64);
1730 BTRFS_SETGET_FUNCS(block_group_flags,
1731                    struct btrfs_block_group_item, flags, 64);
1732 BTRFS_SETGET_STACK_FUNCS(stack_block_group_flags,
1733                         struct btrfs_block_group_item, flags, 64);
1734
1735 /* struct btrfs_free_space_info */
1736 BTRFS_SETGET_FUNCS(free_space_extent_count, struct btrfs_free_space_info,
1737                    extent_count, 32);
1738 BTRFS_SETGET_FUNCS(free_space_flags, struct btrfs_free_space_info, flags, 32);
1739
1740 /* struct btrfs_inode_ref */
1741 BTRFS_SETGET_FUNCS(inode_ref_name_len, struct btrfs_inode_ref, name_len, 16);
1742 BTRFS_SETGET_FUNCS(inode_ref_index, struct btrfs_inode_ref, index, 64);
1743
1744 /* struct btrfs_inode_extref */
1745 BTRFS_SETGET_FUNCS(inode_extref_parent, struct btrfs_inode_extref,
1746                    parent_objectid, 64);
1747 BTRFS_SETGET_FUNCS(inode_extref_name_len, struct btrfs_inode_extref,
1748                    name_len, 16);
1749 BTRFS_SETGET_FUNCS(inode_extref_index, struct btrfs_inode_extref, index, 64);
1750
1751 /* struct btrfs_inode_item */
1752 BTRFS_SETGET_FUNCS(inode_generation, struct btrfs_inode_item, generation, 64);
1753 BTRFS_SETGET_FUNCS(inode_sequence, struct btrfs_inode_item, sequence, 64);
1754 BTRFS_SETGET_FUNCS(inode_transid, struct btrfs_inode_item, transid, 64);
1755 BTRFS_SETGET_FUNCS(inode_size, struct btrfs_inode_item, size, 64);
1756 BTRFS_SETGET_FUNCS(inode_nbytes, struct btrfs_inode_item, nbytes, 64);
1757 BTRFS_SETGET_FUNCS(inode_block_group, struct btrfs_inode_item, block_group, 64);
1758 BTRFS_SETGET_FUNCS(inode_nlink, struct btrfs_inode_item, nlink, 32);
1759 BTRFS_SETGET_FUNCS(inode_uid, struct btrfs_inode_item, uid, 32);
1760 BTRFS_SETGET_FUNCS(inode_gid, struct btrfs_inode_item, gid, 32);
1761 BTRFS_SETGET_FUNCS(inode_mode, struct btrfs_inode_item, mode, 32);
1762 BTRFS_SETGET_FUNCS(inode_rdev, struct btrfs_inode_item, rdev, 64);
1763 BTRFS_SETGET_FUNCS(inode_flags, struct btrfs_inode_item, flags, 64);
1764 BTRFS_SETGET_STACK_FUNCS(stack_inode_generation, struct btrfs_inode_item,
1765                          generation, 64);
1766 BTRFS_SETGET_STACK_FUNCS(stack_inode_sequence, struct btrfs_inode_item,
1767                          sequence, 64);
1768 BTRFS_SETGET_STACK_FUNCS(stack_inode_transid, struct btrfs_inode_item,
1769                          transid, 64);
1770 BTRFS_SETGET_STACK_FUNCS(stack_inode_size, struct btrfs_inode_item, size, 64);
1771 BTRFS_SETGET_STACK_FUNCS(stack_inode_nbytes, struct btrfs_inode_item,
1772                          nbytes, 64);
1773 BTRFS_SETGET_STACK_FUNCS(stack_inode_block_group, struct btrfs_inode_item,
1774                          block_group, 64);
1775 BTRFS_SETGET_STACK_FUNCS(stack_inode_nlink, struct btrfs_inode_item, nlink, 32);
1776 BTRFS_SETGET_STACK_FUNCS(stack_inode_uid, struct btrfs_inode_item, uid, 32);
1777 BTRFS_SETGET_STACK_FUNCS(stack_inode_gid, struct btrfs_inode_item, gid, 32);
1778 BTRFS_SETGET_STACK_FUNCS(stack_inode_mode, struct btrfs_inode_item, mode, 32);
1779 BTRFS_SETGET_STACK_FUNCS(stack_inode_rdev, struct btrfs_inode_item, rdev, 64);
1780 BTRFS_SETGET_STACK_FUNCS(stack_inode_flags, struct btrfs_inode_item, flags, 64);
1781 BTRFS_SETGET_FUNCS(timespec_sec, struct btrfs_timespec, sec, 64);
1782 BTRFS_SETGET_FUNCS(timespec_nsec, struct btrfs_timespec, nsec, 32);
1783 BTRFS_SETGET_STACK_FUNCS(stack_timespec_sec, struct btrfs_timespec, sec, 64);
1784 BTRFS_SETGET_STACK_FUNCS(stack_timespec_nsec, struct btrfs_timespec, nsec, 32);
1785
1786 /* struct btrfs_dev_extent */
1787 BTRFS_SETGET_FUNCS(dev_extent_chunk_tree, struct btrfs_dev_extent,
1788                    chunk_tree, 64);
1789 BTRFS_SETGET_FUNCS(dev_extent_chunk_objectid, struct btrfs_dev_extent,
1790                    chunk_objectid, 64);
1791 BTRFS_SETGET_FUNCS(dev_extent_chunk_offset, struct btrfs_dev_extent,
1792                    chunk_offset, 64);
1793 BTRFS_SETGET_FUNCS(dev_extent_length, struct btrfs_dev_extent, length, 64);
1794 BTRFS_SETGET_FUNCS(extent_refs, struct btrfs_extent_item, refs, 64);
1795 BTRFS_SETGET_FUNCS(extent_generation, struct btrfs_extent_item,
1796                    generation, 64);
1797 BTRFS_SETGET_FUNCS(extent_flags, struct btrfs_extent_item, flags, 64);
1798
1799 BTRFS_SETGET_FUNCS(tree_block_level, struct btrfs_tree_block_info, level, 8);
1800
1801 static inline void btrfs_tree_block_key(const struct extent_buffer *eb,
1802                                         struct btrfs_tree_block_info *item,
1803                                         struct btrfs_disk_key *key)
1804 {
1805         read_eb_member(eb, item, struct btrfs_tree_block_info, key, key);
1806 }
1807
1808 static inline void btrfs_set_tree_block_key(const struct extent_buffer *eb,
1809                                             struct btrfs_tree_block_info *item,
1810                                             struct btrfs_disk_key *key)
1811 {
1812         write_eb_member(eb, item, struct btrfs_tree_block_info, key, key);
1813 }
1814
1815 BTRFS_SETGET_FUNCS(extent_data_ref_root, struct btrfs_extent_data_ref,
1816                    root, 64);
1817 BTRFS_SETGET_FUNCS(extent_data_ref_objectid, struct btrfs_extent_data_ref,
1818                    objectid, 64);
1819 BTRFS_SETGET_FUNCS(extent_data_ref_offset, struct btrfs_extent_data_ref,
1820                    offset, 64);
1821 BTRFS_SETGET_FUNCS(extent_data_ref_count, struct btrfs_extent_data_ref,
1822                    count, 32);
1823
1824 BTRFS_SETGET_FUNCS(shared_data_ref_count, struct btrfs_shared_data_ref,
1825                    count, 32);
1826
1827 BTRFS_SETGET_FUNCS(extent_inline_ref_type, struct btrfs_extent_inline_ref,
1828                    type, 8);
1829 BTRFS_SETGET_FUNCS(extent_inline_ref_offset, struct btrfs_extent_inline_ref,
1830                    offset, 64);
1831
1832 static inline u32 btrfs_extent_inline_ref_size(int type)
1833 {
1834         if (type == BTRFS_TREE_BLOCK_REF_KEY ||
1835             type == BTRFS_SHARED_BLOCK_REF_KEY)
1836                 return sizeof(struct btrfs_extent_inline_ref);
1837         if (type == BTRFS_SHARED_DATA_REF_KEY)
1838                 return sizeof(struct btrfs_shared_data_ref) +
1839                        sizeof(struct btrfs_extent_inline_ref);
1840         if (type == BTRFS_EXTENT_DATA_REF_KEY)
1841                 return sizeof(struct btrfs_extent_data_ref) +
1842                        offsetof(struct btrfs_extent_inline_ref, offset);
1843         return 0;
1844 }
1845
1846 /* struct btrfs_node */
1847 BTRFS_SETGET_FUNCS(key_blockptr, struct btrfs_key_ptr, blockptr, 64);
1848 BTRFS_SETGET_FUNCS(key_generation, struct btrfs_key_ptr, generation, 64);
1849 BTRFS_SETGET_STACK_FUNCS(stack_key_blockptr, struct btrfs_key_ptr,
1850                          blockptr, 64);
1851 BTRFS_SETGET_STACK_FUNCS(stack_key_generation, struct btrfs_key_ptr,
1852                          generation, 64);
1853
1854 static inline u64 btrfs_node_blockptr(const struct extent_buffer *eb, int nr)
1855 {
1856         unsigned long ptr;
1857         ptr = offsetof(struct btrfs_node, ptrs) +
1858                 sizeof(struct btrfs_key_ptr) * nr;
1859         return btrfs_key_blockptr(eb, (struct btrfs_key_ptr *)ptr);
1860 }
1861
1862 static inline void btrfs_set_node_blockptr(const struct extent_buffer *eb,
1863                                            int nr, u64 val)
1864 {
1865         unsigned long ptr;
1866         ptr = offsetof(struct btrfs_node, ptrs) +
1867                 sizeof(struct btrfs_key_ptr) * nr;
1868         btrfs_set_key_blockptr(eb, (struct btrfs_key_ptr *)ptr, val);
1869 }
1870
1871 static inline u64 btrfs_node_ptr_generation(const struct extent_buffer *eb, int nr)
1872 {
1873         unsigned long ptr;
1874         ptr = offsetof(struct btrfs_node, ptrs) +
1875                 sizeof(struct btrfs_key_ptr) * nr;
1876         return btrfs_key_generation(eb, (struct btrfs_key_ptr *)ptr);
1877 }
1878
1879 static inline void btrfs_set_node_ptr_generation(const struct extent_buffer *eb,
1880                                                  int nr, u64 val)
1881 {
1882         unsigned long ptr;
1883         ptr = offsetof(struct btrfs_node, ptrs) +
1884                 sizeof(struct btrfs_key_ptr) * nr;
1885         btrfs_set_key_generation(eb, (struct btrfs_key_ptr *)ptr, val);
1886 }
1887
1888 static inline unsigned long btrfs_node_key_ptr_offset(int nr)
1889 {
1890         return offsetof(struct btrfs_node, ptrs) +
1891                 sizeof(struct btrfs_key_ptr) * nr;
1892 }
1893
1894 void btrfs_node_key(const struct extent_buffer *eb,
1895                     struct btrfs_disk_key *disk_key, int nr);
1896
1897 static inline void btrfs_set_node_key(const struct extent_buffer *eb,
1898                                       struct btrfs_disk_key *disk_key, int nr)
1899 {
1900         unsigned long ptr;
1901         ptr = btrfs_node_key_ptr_offset(nr);
1902         write_eb_member(eb, (struct btrfs_key_ptr *)ptr,
1903                        struct btrfs_key_ptr, key, disk_key);
1904 }
1905
1906 /* struct btrfs_item */
1907 BTRFS_SETGET_FUNCS(item_offset, struct btrfs_item, offset, 32);
1908 BTRFS_SETGET_FUNCS(item_size, struct btrfs_item, size, 32);
1909 BTRFS_SETGET_STACK_FUNCS(stack_item_offset, struct btrfs_item, offset, 32);
1910 BTRFS_SETGET_STACK_FUNCS(stack_item_size, struct btrfs_item, size, 32);
1911
1912 static inline unsigned long btrfs_item_nr_offset(int nr)
1913 {
1914         return offsetof(struct btrfs_leaf, items) +
1915                 sizeof(struct btrfs_item) * nr;
1916 }
1917
1918 static inline struct btrfs_item *btrfs_item_nr(int nr)
1919 {
1920         return (struct btrfs_item *)btrfs_item_nr_offset(nr);
1921 }
1922
1923 static inline u32 btrfs_item_end(const struct extent_buffer *eb,
1924                                  struct btrfs_item *item)
1925 {
1926         return btrfs_item_offset(eb, item) + btrfs_item_size(eb, item);
1927 }
1928
1929 static inline u32 btrfs_item_end_nr(const struct extent_buffer *eb, int nr)
1930 {
1931         return btrfs_item_end(eb, btrfs_item_nr(nr));
1932 }
1933
1934 static inline u32 btrfs_item_offset_nr(const struct extent_buffer *eb, int nr)
1935 {
1936         return btrfs_item_offset(eb, btrfs_item_nr(nr));
1937 }
1938
1939 static inline u32 btrfs_item_size_nr(const struct extent_buffer *eb, int nr)
1940 {
1941         return btrfs_item_size(eb, btrfs_item_nr(nr));
1942 }
1943
1944 static inline void btrfs_item_key(const struct extent_buffer *eb,
1945                            struct btrfs_disk_key *disk_key, int nr)
1946 {
1947         struct btrfs_item *item = btrfs_item_nr(nr);
1948         read_eb_member(eb, item, struct btrfs_item, key, disk_key);
1949 }
1950
1951 static inline void btrfs_set_item_key(struct extent_buffer *eb,
1952                                struct btrfs_disk_key *disk_key, int nr)
1953 {
1954         struct btrfs_item *item = btrfs_item_nr(nr);
1955         write_eb_member(eb, item, struct btrfs_item, key, disk_key);
1956 }
1957
1958 BTRFS_SETGET_FUNCS(dir_log_end, struct btrfs_dir_log_item, end, 64);
1959
1960 /*
1961  * struct btrfs_root_ref
1962  */
1963 BTRFS_SETGET_FUNCS(root_ref_dirid, struct btrfs_root_ref, dirid, 64);
1964 BTRFS_SETGET_FUNCS(root_ref_sequence, struct btrfs_root_ref, sequence, 64);
1965 BTRFS_SETGET_FUNCS(root_ref_name_len, struct btrfs_root_ref, name_len, 16);
1966
1967 /* struct btrfs_dir_item */
1968 BTRFS_SETGET_FUNCS(dir_data_len, struct btrfs_dir_item, data_len, 16);
1969 BTRFS_SETGET_FUNCS(dir_type, struct btrfs_dir_item, type, 8);
1970 BTRFS_SETGET_FUNCS(dir_name_len, struct btrfs_dir_item, name_len, 16);
1971 BTRFS_SETGET_FUNCS(dir_transid, struct btrfs_dir_item, transid, 64);
1972 BTRFS_SETGET_STACK_FUNCS(stack_dir_type, struct btrfs_dir_item, type, 8);
1973 BTRFS_SETGET_STACK_FUNCS(stack_dir_data_len, struct btrfs_dir_item,
1974                          data_len, 16);
1975 BTRFS_SETGET_STACK_FUNCS(stack_dir_name_len, struct btrfs_dir_item,
1976                          name_len, 16);
1977 BTRFS_SETGET_STACK_FUNCS(stack_dir_transid, struct btrfs_dir_item,
1978                          transid, 64);
1979
1980 static inline void btrfs_dir_item_key(const struct extent_buffer *eb,
1981                                       const struct btrfs_dir_item *item,
1982                                       struct btrfs_disk_key *key)
1983 {
1984         read_eb_member(eb, item, struct btrfs_dir_item, location, key);
1985 }
1986
1987 static inline void btrfs_set_dir_item_key(struct extent_buffer *eb,
1988                                           struct btrfs_dir_item *item,
1989                                           const struct btrfs_disk_key *key)
1990 {
1991         write_eb_member(eb, item, struct btrfs_dir_item, location, key);
1992 }
1993
1994 BTRFS_SETGET_FUNCS(free_space_entries, struct btrfs_free_space_header,
1995                    num_entries, 64);
1996 BTRFS_SETGET_FUNCS(free_space_bitmaps, struct btrfs_free_space_header,
1997                    num_bitmaps, 64);
1998 BTRFS_SETGET_FUNCS(free_space_generation, struct btrfs_free_space_header,
1999                    generation, 64);
2000
2001 static inline void btrfs_free_space_key(const struct extent_buffer *eb,
2002                                         const struct btrfs_free_space_header *h,
2003                                         struct btrfs_disk_key *key)
2004 {
2005         read_eb_member(eb, h, struct btrfs_free_space_header, location, key);
2006 }
2007
2008 static inline void btrfs_set_free_space_key(struct extent_buffer *eb,
2009                                             struct btrfs_free_space_header *h,
2010                                             const struct btrfs_disk_key *key)
2011 {
2012         write_eb_member(eb, h, struct btrfs_free_space_header, location, key);
2013 }
2014
2015 /* struct btrfs_disk_key */
2016 BTRFS_SETGET_STACK_FUNCS(disk_key_objectid, struct btrfs_disk_key,
2017                          objectid, 64);
2018 BTRFS_SETGET_STACK_FUNCS(disk_key_offset, struct btrfs_disk_key, offset, 64);
2019 BTRFS_SETGET_STACK_FUNCS(disk_key_type, struct btrfs_disk_key, type, 8);
2020
2021 #ifdef __LITTLE_ENDIAN
2022
2023 /*
2024  * Optimized helpers for little-endian architectures where CPU and on-disk
2025  * structures have the same endianness and we can skip conversions.
2026  */
2027
2028 static inline void btrfs_disk_key_to_cpu(struct btrfs_key *cpu_key,
2029                                          const struct btrfs_disk_key *disk_key)
2030 {
2031         memcpy(cpu_key, disk_key, sizeof(struct btrfs_key));
2032 }
2033
2034 static inline void btrfs_cpu_key_to_disk(struct btrfs_disk_key *disk_key,
2035                                          const struct btrfs_key *cpu_key)
2036 {
2037         memcpy(disk_key, cpu_key, sizeof(struct btrfs_key));
2038 }
2039
2040 static inline void btrfs_node_key_to_cpu(const struct extent_buffer *eb,
2041                                          struct btrfs_key *cpu_key, int nr)
2042 {
2043         struct btrfs_disk_key *disk_key = (struct btrfs_disk_key *)cpu_key;
2044
2045         btrfs_node_key(eb, disk_key, nr);
2046 }
2047
2048 static inline void btrfs_item_key_to_cpu(const struct extent_buffer *eb,
2049                                          struct btrfs_key *cpu_key, int nr)
2050 {
2051         struct btrfs_disk_key *disk_key = (struct btrfs_disk_key *)cpu_key;
2052
2053         btrfs_item_key(eb, disk_key, nr);
2054 }
2055
2056 static inline void btrfs_dir_item_key_to_cpu(const struct extent_buffer *eb,
2057                                              const struct btrfs_dir_item *item,
2058                                              struct btrfs_key *cpu_key)
2059 {
2060         struct btrfs_disk_key *disk_key = (struct btrfs_disk_key *)cpu_key;
2061
2062         btrfs_dir_item_key(eb, item, disk_key);
2063 }
2064
2065 #else
2066
2067 static inline void btrfs_disk_key_to_cpu(struct btrfs_key *cpu,
2068                                          const struct btrfs_disk_key *disk)
2069 {
2070         cpu->offset = le64_to_cpu(disk->offset);
2071         cpu->type = disk->type;
2072         cpu->objectid = le64_to_cpu(disk->objectid);
2073 }
2074
2075 static inline void btrfs_cpu_key_to_disk(struct btrfs_disk_key *disk,
2076                                          const struct btrfs_key *cpu)
2077 {
2078         disk->offset = cpu_to_le64(cpu->offset);
2079         disk->type = cpu->type;
2080         disk->objectid = cpu_to_le64(cpu->objectid);
2081 }
2082
2083 static inline void btrfs_node_key_to_cpu(const struct extent_buffer *eb,
2084                                          struct btrfs_key *key, int nr)
2085 {
2086         struct btrfs_disk_key disk_key;
2087         btrfs_node_key(eb, &disk_key, nr);
2088         btrfs_disk_key_to_cpu(key, &disk_key);
2089 }
2090
2091 static inline void btrfs_item_key_to_cpu(const struct extent_buffer *eb,
2092                                          struct btrfs_key *key, int nr)
2093 {
2094         struct btrfs_disk_key disk_key;
2095         btrfs_item_key(eb, &disk_key, nr);
2096         btrfs_disk_key_to_cpu(key, &disk_key);
2097 }
2098
2099 static inline void btrfs_dir_item_key_to_cpu(const struct extent_buffer *eb,
2100                                              const struct btrfs_dir_item *item,
2101                                              struct btrfs_key *key)
2102 {
2103         struct btrfs_disk_key disk_key;
2104         btrfs_dir_item_key(eb, item, &disk_key);
2105         btrfs_disk_key_to_cpu(key, &disk_key);
2106 }
2107
2108 #endif
2109
2110 /* struct btrfs_header */
2111 BTRFS_SETGET_HEADER_FUNCS(header_bytenr, struct btrfs_header, bytenr, 64);
2112 BTRFS_SETGET_HEADER_FUNCS(header_generation, struct btrfs_header,
2113                           generation, 64);
2114 BTRFS_SETGET_HEADER_FUNCS(header_owner, struct btrfs_header, owner, 64);
2115 BTRFS_SETGET_HEADER_FUNCS(header_nritems, struct btrfs_header, nritems, 32);
2116 BTRFS_SETGET_HEADER_FUNCS(header_flags, struct btrfs_header, flags, 64);
2117 BTRFS_SETGET_HEADER_FUNCS(header_level, struct btrfs_header, level, 8);
2118 BTRFS_SETGET_STACK_FUNCS(stack_header_generation, struct btrfs_header,
2119                          generation, 64);
2120 BTRFS_SETGET_STACK_FUNCS(stack_header_owner, struct btrfs_header, owner, 64);
2121 BTRFS_SETGET_STACK_FUNCS(stack_header_nritems, struct btrfs_header,
2122                          nritems, 32);
2123 BTRFS_SETGET_STACK_FUNCS(stack_header_bytenr, struct btrfs_header, bytenr, 64);
2124
2125 static inline int btrfs_header_flag(const struct extent_buffer *eb, u64 flag)
2126 {
2127         return (btrfs_header_flags(eb) & flag) == flag;
2128 }
2129
2130 static inline void btrfs_set_header_flag(struct extent_buffer *eb, u64 flag)
2131 {
2132         u64 flags = btrfs_header_flags(eb);
2133         btrfs_set_header_flags(eb, flags | flag);
2134 }
2135
2136 static inline void btrfs_clear_header_flag(struct extent_buffer *eb, u64 flag)
2137 {
2138         u64 flags = btrfs_header_flags(eb);
2139         btrfs_set_header_flags(eb, flags & ~flag);
2140 }
2141
2142 static inline int btrfs_header_backref_rev(const struct extent_buffer *eb)
2143 {
2144         u64 flags = btrfs_header_flags(eb);
2145         return flags >> BTRFS_BACKREF_REV_SHIFT;
2146 }
2147
2148 static inline void btrfs_set_header_backref_rev(struct extent_buffer *eb,
2149                                                 int rev)
2150 {
2151         u64 flags = btrfs_header_flags(eb);
2152         flags &= ~BTRFS_BACKREF_REV_MASK;
2153         flags |= (u64)rev << BTRFS_BACKREF_REV_SHIFT;
2154         btrfs_set_header_flags(eb, flags);
2155 }
2156
2157 static inline int btrfs_is_leaf(const struct extent_buffer *eb)
2158 {
2159         return btrfs_header_level(eb) == 0;
2160 }
2161
2162 /* struct btrfs_root_item */
2163 BTRFS_SETGET_FUNCS(disk_root_generation, struct btrfs_root_item,
2164                    generation, 64);
2165 BTRFS_SETGET_FUNCS(disk_root_refs, struct btrfs_root_item, refs, 32);
2166 BTRFS_SETGET_FUNCS(disk_root_bytenr, struct btrfs_root_item, bytenr, 64);
2167 BTRFS_SETGET_FUNCS(disk_root_level, struct btrfs_root_item, level, 8);
2168
2169 BTRFS_SETGET_STACK_FUNCS(root_generation, struct btrfs_root_item,
2170                          generation, 64);
2171 BTRFS_SETGET_STACK_FUNCS(root_bytenr, struct btrfs_root_item, bytenr, 64);
2172 BTRFS_SETGET_STACK_FUNCS(root_drop_level, struct btrfs_root_item, drop_level, 8);
2173 BTRFS_SETGET_STACK_FUNCS(root_level, struct btrfs_root_item, level, 8);
2174 BTRFS_SETGET_STACK_FUNCS(root_dirid, struct btrfs_root_item, root_dirid, 64);
2175 BTRFS_SETGET_STACK_FUNCS(root_refs, struct btrfs_root_item, refs, 32);
2176 BTRFS_SETGET_STACK_FUNCS(root_flags, struct btrfs_root_item, flags, 64);
2177 BTRFS_SETGET_STACK_FUNCS(root_used, struct btrfs_root_item, bytes_used, 64);
2178 BTRFS_SETGET_STACK_FUNCS(root_limit, struct btrfs_root_item, byte_limit, 64);
2179 BTRFS_SETGET_STACK_FUNCS(root_last_snapshot, struct btrfs_root_item,
2180                          last_snapshot, 64);
2181 BTRFS_SETGET_STACK_FUNCS(root_generation_v2, struct btrfs_root_item,
2182                          generation_v2, 64);
2183 BTRFS_SETGET_STACK_FUNCS(root_ctransid, struct btrfs_root_item,
2184                          ctransid, 64);
2185 BTRFS_SETGET_STACK_FUNCS(root_otransid, struct btrfs_root_item,
2186                          otransid, 64);
2187 BTRFS_SETGET_STACK_FUNCS(root_stransid, struct btrfs_root_item,
2188                          stransid, 64);
2189 BTRFS_SETGET_STACK_FUNCS(root_rtransid, struct btrfs_root_item,
2190                          rtransid, 64);
2191
2192 static inline bool btrfs_root_readonly(const struct btrfs_root *root)
2193 {
2194         return (root->root_item.flags & cpu_to_le64(BTRFS_ROOT_SUBVOL_RDONLY)) != 0;
2195 }
2196
2197 static inline bool btrfs_root_dead(const struct btrfs_root *root)
2198 {
2199         return (root->root_item.flags & cpu_to_le64(BTRFS_ROOT_SUBVOL_DEAD)) != 0;
2200 }
2201
2202 /* struct btrfs_root_backup */
2203 BTRFS_SETGET_STACK_FUNCS(backup_tree_root, struct btrfs_root_backup,
2204                    tree_root, 64);
2205 BTRFS_SETGET_STACK_FUNCS(backup_tree_root_gen, struct btrfs_root_backup,
2206                    tree_root_gen, 64);
2207 BTRFS_SETGET_STACK_FUNCS(backup_tree_root_level, struct btrfs_root_backup,
2208                    tree_root_level, 8);
2209
2210 BTRFS_SETGET_STACK_FUNCS(backup_chunk_root, struct btrfs_root_backup,
2211                    chunk_root, 64);
2212 BTRFS_SETGET_STACK_FUNCS(backup_chunk_root_gen, struct btrfs_root_backup,
2213                    chunk_root_gen, 64);
2214 BTRFS_SETGET_STACK_FUNCS(backup_chunk_root_level, struct btrfs_root_backup,
2215                    chunk_root_level, 8);
2216
2217 BTRFS_SETGET_STACK_FUNCS(backup_extent_root, struct btrfs_root_backup,
2218                    extent_root, 64);
2219 BTRFS_SETGET_STACK_FUNCS(backup_extent_root_gen, struct btrfs_root_backup,
2220                    extent_root_gen, 64);
2221 BTRFS_SETGET_STACK_FUNCS(backup_extent_root_level, struct btrfs_root_backup,
2222                    extent_root_level, 8);
2223
2224 BTRFS_SETGET_STACK_FUNCS(backup_fs_root, struct btrfs_root_backup,
2225                    fs_root, 64);
2226 BTRFS_SETGET_STACK_FUNCS(backup_fs_root_gen, struct btrfs_root_backup,
2227                    fs_root_gen, 64);
2228 BTRFS_SETGET_STACK_FUNCS(backup_fs_root_level, struct btrfs_root_backup,
2229                    fs_root_level, 8);
2230
2231 BTRFS_SETGET_STACK_FUNCS(backup_dev_root, struct btrfs_root_backup,
2232                    dev_root, 64);
2233 BTRFS_SETGET_STACK_FUNCS(backup_dev_root_gen, struct btrfs_root_backup,
2234                    dev_root_gen, 64);
2235 BTRFS_SETGET_STACK_FUNCS(backup_dev_root_level, struct btrfs_root_backup,
2236                    dev_root_level, 8);
2237
2238 BTRFS_SETGET_STACK_FUNCS(backup_csum_root, struct btrfs_root_backup,
2239                    csum_root, 64);
2240 BTRFS_SETGET_STACK_FUNCS(backup_csum_root_gen, struct btrfs_root_backup,
2241                    csum_root_gen, 64);
2242 BTRFS_SETGET_STACK_FUNCS(backup_csum_root_level, struct btrfs_root_backup,
2243                    csum_root_level, 8);
2244 BTRFS_SETGET_STACK_FUNCS(backup_total_bytes, struct btrfs_root_backup,
2245                    total_bytes, 64);
2246 BTRFS_SETGET_STACK_FUNCS(backup_bytes_used, struct btrfs_root_backup,
2247                    bytes_used, 64);
2248 BTRFS_SETGET_STACK_FUNCS(backup_num_devices, struct btrfs_root_backup,
2249                    num_devices, 64);
2250
2251 /* struct btrfs_balance_item */
2252 BTRFS_SETGET_FUNCS(balance_flags, struct btrfs_balance_item, flags, 64);
2253
2254 static inline void btrfs_balance_data(const struct extent_buffer *eb,
2255                                       const struct btrfs_balance_item *bi,
2256                                       struct btrfs_disk_balance_args *ba)
2257 {
2258         read_eb_member(eb, bi, struct btrfs_balance_item, data, ba);
2259 }
2260
2261 static inline void btrfs_set_balance_data(struct extent_buffer *eb,
2262                                   struct btrfs_balance_item *bi,
2263                                   const struct btrfs_disk_balance_args *ba)
2264 {
2265         write_eb_member(eb, bi, struct btrfs_balance_item, data, ba);
2266 }
2267
2268 static inline void btrfs_balance_meta(const struct extent_buffer *eb,
2269                                       const struct btrfs_balance_item *bi,
2270                                       struct btrfs_disk_balance_args *ba)
2271 {
2272         read_eb_member(eb, bi, struct btrfs_balance_item, meta, ba);
2273 }
2274
2275 static inline void btrfs_set_balance_meta(struct extent_buffer *eb,
2276                                   struct btrfs_balance_item *bi,
2277                                   const struct btrfs_disk_balance_args *ba)
2278 {
2279         write_eb_member(eb, bi, struct btrfs_balance_item, meta, ba);
2280 }
2281
2282 static inline void btrfs_balance_sys(const struct extent_buffer *eb,
2283                                      const struct btrfs_balance_item *bi,
2284                                      struct btrfs_disk_balance_args *ba)
2285 {
2286         read_eb_member(eb, bi, struct btrfs_balance_item, sys, ba);
2287 }
2288
2289 static inline void btrfs_set_balance_sys(struct extent_buffer *eb,
2290                                  struct btrfs_balance_item *bi,
2291                                  const struct btrfs_disk_balance_args *ba)
2292 {
2293         write_eb_member(eb, bi, struct btrfs_balance_item, sys, ba);
2294 }
2295
2296 static inline void
2297 btrfs_disk_balance_args_to_cpu(struct btrfs_balance_args *cpu,
2298                                const struct btrfs_disk_balance_args *disk)
2299 {
2300         memset(cpu, 0, sizeof(*cpu));
2301
2302         cpu->profiles = le64_to_cpu(disk->profiles);
2303         cpu->usage = le64_to_cpu(disk->usage);
2304         cpu->devid = le64_to_cpu(disk->devid);
2305         cpu->pstart = le64_to_cpu(disk->pstart);
2306         cpu->pend = le64_to_cpu(disk->pend);
2307         cpu->vstart = le64_to_cpu(disk->vstart);
2308         cpu->vend = le64_to_cpu(disk->vend);
2309         cpu->target = le64_to_cpu(disk->target);
2310         cpu->flags = le64_to_cpu(disk->flags);
2311         cpu->limit = le64_to_cpu(disk->limit);
2312         cpu->stripes_min = le32_to_cpu(disk->stripes_min);
2313         cpu->stripes_max = le32_to_cpu(disk->stripes_max);
2314 }
2315
2316 static inline void
2317 btrfs_cpu_balance_args_to_disk(struct btrfs_disk_balance_args *disk,
2318                                const struct btrfs_balance_args *cpu)
2319 {
2320         memset(disk, 0, sizeof(*disk));
2321
2322         disk->profiles = cpu_to_le64(cpu->profiles);
2323         disk->usage = cpu_to_le64(cpu->usage);
2324         disk->devid = cpu_to_le64(cpu->devid);
2325         disk->pstart = cpu_to_le64(cpu->pstart);
2326         disk->pend = cpu_to_le64(cpu->pend);
2327         disk->vstart = cpu_to_le64(cpu->vstart);
2328         disk->vend = cpu_to_le64(cpu->vend);
2329         disk->target = cpu_to_le64(cpu->target);
2330         disk->flags = cpu_to_le64(cpu->flags);
2331         disk->limit = cpu_to_le64(cpu->limit);
2332         disk->stripes_min = cpu_to_le32(cpu->stripes_min);
2333         disk->stripes_max = cpu_to_le32(cpu->stripes_max);
2334 }
2335
2336 /* struct btrfs_super_block */
2337 BTRFS_SETGET_STACK_FUNCS(super_bytenr, struct btrfs_super_block, bytenr, 64);
2338 BTRFS_SETGET_STACK_FUNCS(super_flags, struct btrfs_super_block, flags, 64);
2339 BTRFS_SETGET_STACK_FUNCS(super_generation, struct btrfs_super_block,
2340                          generation, 64);
2341 BTRFS_SETGET_STACK_FUNCS(super_root, struct btrfs_super_block, root, 64);
2342 BTRFS_SETGET_STACK_FUNCS(super_sys_array_size,
2343                          struct btrfs_super_block, sys_chunk_array_size, 32);
2344 BTRFS_SETGET_STACK_FUNCS(super_chunk_root_generation,
2345                          struct btrfs_super_block, chunk_root_generation, 64);
2346 BTRFS_SETGET_STACK_FUNCS(super_root_level, struct btrfs_super_block,
2347                          root_level, 8);
2348 BTRFS_SETGET_STACK_FUNCS(super_chunk_root, struct btrfs_super_block,
2349                          chunk_root, 64);
2350 BTRFS_SETGET_STACK_FUNCS(super_chunk_root_level, struct btrfs_super_block,
2351                          chunk_root_level, 8);
2352 BTRFS_SETGET_STACK_FUNCS(super_log_root, struct btrfs_super_block,
2353                          log_root, 64);
2354 BTRFS_SETGET_STACK_FUNCS(super_log_root_transid, struct btrfs_super_block,
2355                          log_root_transid, 64);
2356 BTRFS_SETGET_STACK_FUNCS(super_log_root_level, struct btrfs_super_block,
2357                          log_root_level, 8);
2358 BTRFS_SETGET_STACK_FUNCS(super_total_bytes, struct btrfs_super_block,
2359                          total_bytes, 64);
2360 BTRFS_SETGET_STACK_FUNCS(super_bytes_used, struct btrfs_super_block,
2361                          bytes_used, 64);
2362 BTRFS_SETGET_STACK_FUNCS(super_sectorsize, struct btrfs_super_block,
2363                          sectorsize, 32);
2364 BTRFS_SETGET_STACK_FUNCS(super_nodesize, struct btrfs_super_block,
2365                          nodesize, 32);
2366 BTRFS_SETGET_STACK_FUNCS(super_stripesize, struct btrfs_super_block,
2367                          stripesize, 32);
2368 BTRFS_SETGET_STACK_FUNCS(super_root_dir, struct btrfs_super_block,
2369                          root_dir_objectid, 64);
2370 BTRFS_SETGET_STACK_FUNCS(super_num_devices, struct btrfs_super_block,
2371                          num_devices, 64);
2372 BTRFS_SETGET_STACK_FUNCS(super_compat_flags, struct btrfs_super_block,
2373                          compat_flags, 64);
2374 BTRFS_SETGET_STACK_FUNCS(super_compat_ro_flags, struct btrfs_super_block,
2375                          compat_ro_flags, 64);
2376 BTRFS_SETGET_STACK_FUNCS(super_incompat_flags, struct btrfs_super_block,
2377                          incompat_flags, 64);
2378 BTRFS_SETGET_STACK_FUNCS(super_csum_type, struct btrfs_super_block,
2379                          csum_type, 16);
2380 BTRFS_SETGET_STACK_FUNCS(super_cache_generation, struct btrfs_super_block,
2381                          cache_generation, 64);
2382 BTRFS_SETGET_STACK_FUNCS(super_magic, struct btrfs_super_block, magic, 64);
2383 BTRFS_SETGET_STACK_FUNCS(super_uuid_tree_generation, struct btrfs_super_block,
2384                          uuid_tree_generation, 64);
2385
2386 int btrfs_super_csum_size(const struct btrfs_super_block *s);
2387 const char *btrfs_super_csum_name(u16 csum_type);
2388 const char *btrfs_super_csum_driver(u16 csum_type);
2389 size_t __attribute_const__ btrfs_get_num_csums(void);
2390
2391
2392 /*
2393  * The leaf data grows from end-to-front in the node.
2394  * this returns the address of the start of the last item,
2395  * which is the stop of the leaf data stack
2396  */
2397 static inline unsigned int leaf_data_end(const struct extent_buffer *leaf)
2398 {
2399         u32 nr = btrfs_header_nritems(leaf);
2400
2401         if (nr == 0)
2402                 return BTRFS_LEAF_DATA_SIZE(leaf->fs_info);
2403         return btrfs_item_offset_nr(leaf, nr - 1);
2404 }
2405
2406 /* struct btrfs_file_extent_item */
2407 BTRFS_SETGET_STACK_FUNCS(stack_file_extent_type, struct btrfs_file_extent_item,
2408                          type, 8);
2409 BTRFS_SETGET_STACK_FUNCS(stack_file_extent_disk_bytenr,
2410                          struct btrfs_file_extent_item, disk_bytenr, 64);
2411 BTRFS_SETGET_STACK_FUNCS(stack_file_extent_offset,
2412                          struct btrfs_file_extent_item, offset, 64);
2413 BTRFS_SETGET_STACK_FUNCS(stack_file_extent_generation,
2414                          struct btrfs_file_extent_item, generation, 64);
2415 BTRFS_SETGET_STACK_FUNCS(stack_file_extent_num_bytes,
2416                          struct btrfs_file_extent_item, num_bytes, 64);
2417 BTRFS_SETGET_STACK_FUNCS(stack_file_extent_ram_bytes,
2418                          struct btrfs_file_extent_item, ram_bytes, 64);
2419 BTRFS_SETGET_STACK_FUNCS(stack_file_extent_disk_num_bytes,
2420                          struct btrfs_file_extent_item, disk_num_bytes, 64);
2421 BTRFS_SETGET_STACK_FUNCS(stack_file_extent_compression,
2422                          struct btrfs_file_extent_item, compression, 8);
2423
2424 static inline unsigned long
2425 btrfs_file_extent_inline_start(const struct btrfs_file_extent_item *e)
2426 {
2427         return (unsigned long)e + BTRFS_FILE_EXTENT_INLINE_DATA_START;
2428 }
2429
2430 static inline u32 btrfs_file_extent_calc_inline_size(u32 datasize)
2431 {
2432         return BTRFS_FILE_EXTENT_INLINE_DATA_START + datasize;
2433 }
2434
2435 BTRFS_SETGET_FUNCS(file_extent_type, struct btrfs_file_extent_item, type, 8);
2436 BTRFS_SETGET_FUNCS(file_extent_disk_bytenr, struct btrfs_file_extent_item,
2437                    disk_bytenr, 64);
2438 BTRFS_SETGET_FUNCS(file_extent_generation, struct btrfs_file_extent_item,
2439                    generation, 64);
2440 BTRFS_SETGET_FUNCS(file_extent_disk_num_bytes, struct btrfs_file_extent_item,
2441                    disk_num_bytes, 64);
2442 BTRFS_SETGET_FUNCS(file_extent_offset, struct btrfs_file_extent_item,
2443                   offset, 64);
2444 BTRFS_SETGET_FUNCS(file_extent_num_bytes, struct btrfs_file_extent_item,
2445                    num_bytes, 64);
2446 BTRFS_SETGET_FUNCS(file_extent_ram_bytes, struct btrfs_file_extent_item,
2447                    ram_bytes, 64);
2448 BTRFS_SETGET_FUNCS(file_extent_compression, struct btrfs_file_extent_item,
2449                    compression, 8);
2450 BTRFS_SETGET_FUNCS(file_extent_encryption, struct btrfs_file_extent_item,
2451                    encryption, 8);
2452 BTRFS_SETGET_FUNCS(file_extent_other_encoding, struct btrfs_file_extent_item,
2453                    other_encoding, 16);
2454
2455 /*
2456  * this returns the number of bytes used by the item on disk, minus the
2457  * size of any extent headers.  If a file is compressed on disk, this is
2458  * the compressed size
2459  */
2460 static inline u32 btrfs_file_extent_inline_item_len(
2461                                                 const struct extent_buffer *eb,
2462                                                 struct btrfs_item *e)
2463 {
2464         return btrfs_item_size(eb, e) - BTRFS_FILE_EXTENT_INLINE_DATA_START;
2465 }
2466
2467 /* btrfs_qgroup_status_item */
2468 BTRFS_SETGET_FUNCS(qgroup_status_generation, struct btrfs_qgroup_status_item,
2469                    generation, 64);
2470 BTRFS_SETGET_FUNCS(qgroup_status_version, struct btrfs_qgroup_status_item,
2471                    version, 64);
2472 BTRFS_SETGET_FUNCS(qgroup_status_flags, struct btrfs_qgroup_status_item,
2473                    flags, 64);
2474 BTRFS_SETGET_FUNCS(qgroup_status_rescan, struct btrfs_qgroup_status_item,
2475                    rescan, 64);
2476
2477 /* btrfs_qgroup_info_item */
2478 BTRFS_SETGET_FUNCS(qgroup_info_generation, struct btrfs_qgroup_info_item,
2479                    generation, 64);
2480 BTRFS_SETGET_FUNCS(qgroup_info_rfer, struct btrfs_qgroup_info_item, rfer, 64);
2481 BTRFS_SETGET_FUNCS(qgroup_info_rfer_cmpr, struct btrfs_qgroup_info_item,
2482                    rfer_cmpr, 64);
2483 BTRFS_SETGET_FUNCS(qgroup_info_excl, struct btrfs_qgroup_info_item, excl, 64);
2484 BTRFS_SETGET_FUNCS(qgroup_info_excl_cmpr, struct btrfs_qgroup_info_item,
2485                    excl_cmpr, 64);
2486
2487 BTRFS_SETGET_STACK_FUNCS(stack_qgroup_info_generation,
2488                          struct btrfs_qgroup_info_item, generation, 64);
2489 BTRFS_SETGET_STACK_FUNCS(stack_qgroup_info_rfer, struct btrfs_qgroup_info_item,
2490                          rfer, 64);
2491 BTRFS_SETGET_STACK_FUNCS(stack_qgroup_info_rfer_cmpr,
2492                          struct btrfs_qgroup_info_item, rfer_cmpr, 64);
2493 BTRFS_SETGET_STACK_FUNCS(stack_qgroup_info_excl, struct btrfs_qgroup_info_item,
2494                          excl, 64);
2495 BTRFS_SETGET_STACK_FUNCS(stack_qgroup_info_excl_cmpr,
2496                          struct btrfs_qgroup_info_item, excl_cmpr, 64);
2497
2498 /* btrfs_qgroup_limit_item */
2499 BTRFS_SETGET_FUNCS(qgroup_limit_flags, struct btrfs_qgroup_limit_item,
2500                    flags, 64);
2501 BTRFS_SETGET_FUNCS(qgroup_limit_max_rfer, struct btrfs_qgroup_limit_item,
2502                    max_rfer, 64);
2503 BTRFS_SETGET_FUNCS(qgroup_limit_max_excl, struct btrfs_qgroup_limit_item,
2504                    max_excl, 64);
2505 BTRFS_SETGET_FUNCS(qgroup_limit_rsv_rfer, struct btrfs_qgroup_limit_item,
2506                    rsv_rfer, 64);
2507 BTRFS_SETGET_FUNCS(qgroup_limit_rsv_excl, struct btrfs_qgroup_limit_item,
2508                    rsv_excl, 64);
2509
2510 /* btrfs_dev_replace_item */
2511 BTRFS_SETGET_FUNCS(dev_replace_src_devid,
2512                    struct btrfs_dev_replace_item, src_devid, 64);
2513 BTRFS_SETGET_FUNCS(dev_replace_cont_reading_from_srcdev_mode,
2514                    struct btrfs_dev_replace_item, cont_reading_from_srcdev_mode,
2515                    64);
2516 BTRFS_SETGET_FUNCS(dev_replace_replace_state, struct btrfs_dev_replace_item,
2517                    replace_state, 64);
2518 BTRFS_SETGET_FUNCS(dev_replace_time_started, struct btrfs_dev_replace_item,
2519                    time_started, 64);
2520 BTRFS_SETGET_FUNCS(dev_replace_time_stopped, struct btrfs_dev_replace_item,
2521                    time_stopped, 64);
2522 BTRFS_SETGET_FUNCS(dev_replace_num_write_errors, struct btrfs_dev_replace_item,
2523                    num_write_errors, 64);
2524 BTRFS_SETGET_FUNCS(dev_replace_num_uncorrectable_read_errors,
2525                    struct btrfs_dev_replace_item, num_uncorrectable_read_errors,
2526                    64);
2527 BTRFS_SETGET_FUNCS(dev_replace_cursor_left, struct btrfs_dev_replace_item,
2528                    cursor_left, 64);
2529 BTRFS_SETGET_FUNCS(dev_replace_cursor_right, struct btrfs_dev_replace_item,
2530                    cursor_right, 64);
2531
2532 BTRFS_SETGET_STACK_FUNCS(stack_dev_replace_src_devid,
2533                          struct btrfs_dev_replace_item, src_devid, 64);
2534 BTRFS_SETGET_STACK_FUNCS(stack_dev_replace_cont_reading_from_srcdev_mode,
2535                          struct btrfs_dev_replace_item,
2536                          cont_reading_from_srcdev_mode, 64);
2537 BTRFS_SETGET_STACK_FUNCS(stack_dev_replace_replace_state,
2538                          struct btrfs_dev_replace_item, replace_state, 64);
2539 BTRFS_SETGET_STACK_FUNCS(stack_dev_replace_time_started,
2540                          struct btrfs_dev_replace_item, time_started, 64);
2541 BTRFS_SETGET_STACK_FUNCS(stack_dev_replace_time_stopped,
2542                          struct btrfs_dev_replace_item, time_stopped, 64);
2543 BTRFS_SETGET_STACK_FUNCS(stack_dev_replace_num_write_errors,
2544                          struct btrfs_dev_replace_item, num_write_errors, 64);
2545 BTRFS_SETGET_STACK_FUNCS(stack_dev_replace_num_uncorrectable_read_errors,
2546                          struct btrfs_dev_replace_item,
2547                          num_uncorrectable_read_errors, 64);
2548 BTRFS_SETGET_STACK_FUNCS(stack_dev_replace_cursor_left,
2549                          struct btrfs_dev_replace_item, cursor_left, 64);
2550 BTRFS_SETGET_STACK_FUNCS(stack_dev_replace_cursor_right,
2551                          struct btrfs_dev_replace_item, cursor_right, 64);
2552
2553 /* helper function to cast into the data area of the leaf. */
2554 #define btrfs_item_ptr(leaf, slot, type) \
2555         ((type *)(BTRFS_LEAF_DATA_OFFSET + \
2556         btrfs_item_offset_nr(leaf, slot)))
2557
2558 #define btrfs_item_ptr_offset(leaf, slot) \
2559         ((unsigned long)(BTRFS_LEAF_DATA_OFFSET + \
2560         btrfs_item_offset_nr(leaf, slot)))
2561
2562 static inline u32 btrfs_crc32c(u32 crc, const void *address, unsigned length)
2563 {
2564         return crc32c(crc, address, length);
2565 }
2566
2567 static inline void btrfs_crc32c_final(u32 crc, u8 *result)
2568 {
2569         put_unaligned_le32(~crc, result);
2570 }
2571
2572 static inline u64 btrfs_name_hash(const char *name, int len)
2573 {
2574        return crc32c((u32)~1, name, len);
2575 }
2576
2577 /*
2578  * Figure the key offset of an extended inode ref
2579  */
2580 static inline u64 btrfs_extref_hash(u64 parent_objectid, const char *name,
2581                                    int len)
2582 {
2583        return (u64) crc32c(parent_objectid, name, len);
2584 }
2585
2586 static inline gfp_t btrfs_alloc_write_mask(struct address_space *mapping)
2587 {
2588         return mapping_gfp_constraint(mapping, ~__GFP_FS);
2589 }
2590
2591 /* extent-tree.c */
2592
2593 enum btrfs_inline_ref_type {
2594         BTRFS_REF_TYPE_INVALID,
2595         BTRFS_REF_TYPE_BLOCK,
2596         BTRFS_REF_TYPE_DATA,
2597         BTRFS_REF_TYPE_ANY,
2598 };
2599
2600 int btrfs_get_extent_inline_ref_type(const struct extent_buffer *eb,
2601                                      struct btrfs_extent_inline_ref *iref,
2602                                      enum btrfs_inline_ref_type is_data);
2603 u64 hash_extent_data_ref(u64 root_objectid, u64 owner, u64 offset);
2604
2605 /*
2606  * Take the number of bytes to be checksummmed and figure out how many leaves
2607  * it would require to store the csums for that many bytes.
2608  */
2609 static inline u64 btrfs_csum_bytes_to_leaves(
2610                         const struct btrfs_fs_info *fs_info, u64 csum_bytes)
2611 {
2612         const u64 num_csums = csum_bytes >> fs_info->sectorsize_bits;
2613
2614         return DIV_ROUND_UP_ULL(num_csums, fs_info->csums_per_leaf);
2615 }
2616
2617 /*
2618  * Use this if we would be adding new items, as we could split nodes as we cow
2619  * down the tree.
2620  */
2621 static inline u64 btrfs_calc_insert_metadata_size(struct btrfs_fs_info *fs_info,
2622                                                   unsigned num_items)
2623 {
2624         return (u64)fs_info->nodesize * BTRFS_MAX_LEVEL * 2 * num_items;
2625 }
2626
2627 /*
2628  * Doing a truncate or a modification won't result in new nodes or leaves, just
2629  * what we need for COW.
2630  */
2631 static inline u64 btrfs_calc_metadata_size(struct btrfs_fs_info *fs_info,
2632                                                  unsigned num_items)
2633 {
2634         return (u64)fs_info->nodesize * BTRFS_MAX_LEVEL * num_items;
2635 }
2636
2637 int btrfs_add_excluded_extent(struct btrfs_fs_info *fs_info,
2638                               u64 start, u64 num_bytes);
2639 void btrfs_free_excluded_extents(struct btrfs_block_group *cache);
2640 int btrfs_run_delayed_refs(struct btrfs_trans_handle *trans,
2641                            unsigned long count);
2642 void btrfs_cleanup_ref_head_accounting(struct btrfs_fs_info *fs_info,
2643                                   struct btrfs_delayed_ref_root *delayed_refs,
2644                                   struct btrfs_delayed_ref_head *head);
2645 int btrfs_lookup_data_extent(struct btrfs_fs_info *fs_info, u64 start, u64 len);
2646 int btrfs_lookup_extent_info(struct btrfs_trans_handle *trans,
2647                              struct btrfs_fs_info *fs_info, u64 bytenr,
2648                              u64 offset, int metadata, u64 *refs, u64 *flags);
2649 int btrfs_pin_extent(struct btrfs_trans_handle *trans, u64 bytenr, u64 num,
2650                      int reserved);
2651 int btrfs_pin_extent_for_log_replay(struct btrfs_trans_handle *trans,
2652                                     u64 bytenr, u64 num_bytes);
2653 int btrfs_exclude_logged_extents(struct extent_buffer *eb);
2654 int btrfs_cross_ref_exist(struct btrfs_root *root,
2655                           u64 objectid, u64 offset, u64 bytenr, bool strict);
2656 struct extent_buffer *btrfs_alloc_tree_block(struct btrfs_trans_handle *trans,
2657                                              struct btrfs_root *root,
2658                                              u64 parent, u64 root_objectid,
2659                                              const struct btrfs_disk_key *key,
2660                                              int level, u64 hint,
2661                                              u64 empty_size,
2662                                              enum btrfs_lock_nesting nest);
2663 void btrfs_free_tree_block(struct btrfs_trans_handle *trans,
2664                            struct btrfs_root *root,
2665                            struct extent_buffer *buf,
2666                            u64 parent, int last_ref);
2667 int btrfs_alloc_reserved_file_extent(struct btrfs_trans_handle *trans,
2668                                      struct btrfs_root *root, u64 owner,
2669                                      u64 offset, u64 ram_bytes,
2670                                      struct btrfs_key *ins);
2671 int btrfs_alloc_logged_file_extent(struct btrfs_trans_handle *trans,
2672                                    u64 root_objectid, u64 owner, u64 offset,
2673                                    struct btrfs_key *ins);
2674 int btrfs_reserve_extent(struct btrfs_root *root, u64 ram_bytes, u64 num_bytes,
2675                          u64 min_alloc_size, u64 empty_size, u64 hint_byte,
2676                          struct btrfs_key *ins, int is_data, int delalloc);
2677 int btrfs_inc_ref(struct btrfs_trans_handle *trans, struct btrfs_root *root,
2678                   struct extent_buffer *buf, int full_backref);
2679 int btrfs_dec_ref(struct btrfs_trans_handle *trans, struct btrfs_root *root,
2680                   struct extent_buffer *buf, int full_backref);
2681 int btrfs_set_disk_extent_flags(struct btrfs_trans_handle *trans,
2682                                 struct extent_buffer *eb, u64 flags,
2683                                 int level, int is_data);
2684 int btrfs_free_extent(struct btrfs_trans_handle *trans, struct btrfs_ref *ref);
2685
2686 int btrfs_free_reserved_extent(struct btrfs_fs_info *fs_info,
2687                                u64 start, u64 len, int delalloc);
2688 int btrfs_pin_reserved_extent(struct btrfs_trans_handle *trans, u64 start,
2689                               u64 len);
2690 int btrfs_finish_extent_commit(struct btrfs_trans_handle *trans);
2691 int btrfs_inc_extent_ref(struct btrfs_trans_handle *trans,
2692                          struct btrfs_ref *generic_ref);
2693
2694 int btrfs_extent_readonly(struct btrfs_fs_info *fs_info, u64 bytenr);
2695 void btrfs_clear_space_info_full(struct btrfs_fs_info *info);
2696
2697 /*
2698  * Different levels for to flush space when doing space reservations.
2699  *
2700  * The higher the level, the more methods we try to reclaim space.
2701  */
2702 enum btrfs_reserve_flush_enum {
2703         /* If we are in the transaction, we can't flush anything.*/
2704         BTRFS_RESERVE_NO_FLUSH,
2705
2706         /*
2707          * Flush space by:
2708          * - Running delayed inode items
2709          * - Allocating a new chunk
2710          */
2711         BTRFS_RESERVE_FLUSH_LIMIT,
2712
2713         /*
2714          * Flush space by:
2715          * - Running delayed inode items
2716          * - Running delayed refs
2717          * - Running delalloc and waiting for ordered extents
2718          * - Allocating a new chunk
2719          */
2720         BTRFS_RESERVE_FLUSH_EVICT,
2721
2722         /*
2723          * Flush space by above mentioned methods and by:
2724          * - Running delayed iputs
2725          * - Commiting transaction
2726          *
2727          * Can be interruped by fatal signal.
2728          */
2729         BTRFS_RESERVE_FLUSH_DATA,
2730         BTRFS_RESERVE_FLUSH_FREE_SPACE_INODE,
2731         BTRFS_RESERVE_FLUSH_ALL,
2732
2733         /*
2734          * Pretty much the same as FLUSH_ALL, but can also steal space from
2735          * global rsv.
2736          *
2737          * Can be interruped by fatal signal.
2738          */
2739         BTRFS_RESERVE_FLUSH_ALL_STEAL,
2740 };
2741
2742 enum btrfs_flush_state {
2743         FLUSH_DELAYED_ITEMS_NR  =       1,
2744         FLUSH_DELAYED_ITEMS     =       2,
2745         FLUSH_DELAYED_REFS_NR   =       3,
2746         FLUSH_DELAYED_REFS      =       4,
2747         FLUSH_DELALLOC          =       5,
2748         FLUSH_DELALLOC_WAIT     =       6,
2749         ALLOC_CHUNK             =       7,
2750         ALLOC_CHUNK_FORCE       =       8,
2751         RUN_DELAYED_IPUTS       =       9,
2752         COMMIT_TRANS            =       10,
2753         FORCE_COMMIT_TRANS      =       11,
2754 };
2755
2756 int btrfs_subvolume_reserve_metadata(struct btrfs_root *root,
2757                                      struct btrfs_block_rsv *rsv,
2758                                      int nitems, bool use_global_rsv);
2759 void btrfs_subvolume_release_metadata(struct btrfs_root *root,
2760                                       struct btrfs_block_rsv *rsv);
2761 void btrfs_delalloc_release_extents(struct btrfs_inode *inode, u64 num_bytes);
2762
2763 int btrfs_delalloc_reserve_metadata(struct btrfs_inode *inode, u64 num_bytes);
2764 u64 btrfs_account_ro_block_groups_free_space(struct btrfs_space_info *sinfo);
2765 int btrfs_error_unpin_extent_range(struct btrfs_fs_info *fs_info,
2766                                    u64 start, u64 end);
2767 int btrfs_discard_extent(struct btrfs_fs_info *fs_info, u64 bytenr,
2768                          u64 num_bytes, u64 *actual_bytes);
2769 int btrfs_trim_fs(struct btrfs_fs_info *fs_info, struct fstrim_range *range);
2770
2771 int btrfs_init_space_info(struct btrfs_fs_info *fs_info);
2772 int btrfs_delayed_refs_qgroup_accounting(struct btrfs_trans_handle *trans,
2773                                          struct btrfs_fs_info *fs_info);
2774 int btrfs_start_write_no_snapshotting(struct btrfs_root *root);
2775 void btrfs_end_write_no_snapshotting(struct btrfs_root *root);
2776 void btrfs_wait_for_snapshot_creation(struct btrfs_root *root);
2777
2778 /* ctree.c */
2779 int btrfs_bin_search(struct extent_buffer *eb, const struct btrfs_key *key,
2780                      int *slot);
2781 int __pure btrfs_comp_cpu_keys(const struct btrfs_key *k1, const struct btrfs_key *k2);
2782 int btrfs_previous_item(struct btrfs_root *root,
2783                         struct btrfs_path *path, u64 min_objectid,
2784                         int type);
2785 int btrfs_previous_extent_item(struct btrfs_root *root,
2786                         struct btrfs_path *path, u64 min_objectid);
2787 void btrfs_set_item_key_safe(struct btrfs_fs_info *fs_info,
2788                              struct btrfs_path *path,
2789                              const struct btrfs_key *new_key);
2790 struct extent_buffer *btrfs_root_node(struct btrfs_root *root);
2791 int btrfs_find_next_key(struct btrfs_root *root, struct btrfs_path *path,
2792                         struct btrfs_key *key, int lowest_level,
2793                         u64 min_trans);
2794 int btrfs_search_forward(struct btrfs_root *root, struct btrfs_key *min_key,
2795                          struct btrfs_path *path,
2796                          u64 min_trans);
2797 struct extent_buffer *btrfs_read_node_slot(struct extent_buffer *parent,
2798                                            int slot);
2799
2800 int btrfs_cow_block(struct btrfs_trans_handle *trans,
2801                     struct btrfs_root *root, struct extent_buffer *buf,
2802                     struct extent_buffer *parent, int parent_slot,
2803                     struct extent_buffer **cow_ret,
2804                     enum btrfs_lock_nesting nest);
2805 int btrfs_copy_root(struct btrfs_trans_handle *trans,
2806                       struct btrfs_root *root,
2807                       struct extent_buffer *buf,
2808                       struct extent_buffer **cow_ret, u64 new_root_objectid);
2809 int btrfs_block_can_be_shared(struct btrfs_root *root,
2810                               struct extent_buffer *buf);
2811 void btrfs_extend_item(struct btrfs_path *path, u32 data_size);
2812 void btrfs_truncate_item(struct btrfs_path *path, u32 new_size, int from_end);
2813 int btrfs_split_item(struct btrfs_trans_handle *trans,
2814                      struct btrfs_root *root,
2815                      struct btrfs_path *path,
2816                      const struct btrfs_key *new_key,
2817                      unsigned long split_offset);
2818 int btrfs_duplicate_item(struct btrfs_trans_handle *trans,
2819                          struct btrfs_root *root,
2820                          struct btrfs_path *path,
2821                          const struct btrfs_key *new_key);
2822 int btrfs_find_item(struct btrfs_root *fs_root, struct btrfs_path *path,
2823                 u64 inum, u64 ioff, u8 key_type, struct btrfs_key *found_key);
2824 int btrfs_search_slot(struct btrfs_trans_handle *trans, struct btrfs_root *root,
2825                       const struct btrfs_key *key, struct btrfs_path *p,
2826                       int ins_len, int cow);
2827 int btrfs_search_old_slot(struct btrfs_root *root, const struct btrfs_key *key,
2828                           struct btrfs_path *p, u64 time_seq);
2829 int btrfs_search_slot_for_read(struct btrfs_root *root,
2830                                const struct btrfs_key *key,
2831                                struct btrfs_path *p, int find_higher,
2832                                int return_any);
2833 int btrfs_realloc_node(struct btrfs_trans_handle *trans,
2834                        struct btrfs_root *root, struct extent_buffer *parent,
2835                        int start_slot, u64 *last_ret,
2836                        struct btrfs_key *progress);
2837 void btrfs_release_path(struct btrfs_path *p);
2838 struct btrfs_path *btrfs_alloc_path(void);
2839 void btrfs_free_path(struct btrfs_path *p);
2840
2841 int btrfs_del_items(struct btrfs_trans_handle *trans, struct btrfs_root *root,
2842                    struct btrfs_path *path, int slot, int nr);
2843 static inline int btrfs_del_item(struct btrfs_trans_handle *trans,
2844                                  struct btrfs_root *root,
2845                                  struct btrfs_path *path)
2846 {
2847         return btrfs_del_items(trans, root, path, path->slots[0], 1);
2848 }
2849
2850 void setup_items_for_insert(struct btrfs_root *root, struct btrfs_path *path,
2851                             const struct btrfs_key *cpu_key, u32 *data_size,
2852                             int nr);
2853 int btrfs_insert_item(struct btrfs_trans_handle *trans, struct btrfs_root *root,
2854                       const struct btrfs_key *key, void *data, u32 data_size);
2855 int btrfs_insert_empty_items(struct btrfs_trans_handle *trans,
2856                              struct btrfs_root *root,
2857                              struct btrfs_path *path,
2858                              const struct btrfs_key *cpu_key, u32 *data_size,
2859                              int nr);
2860
2861 static inline int btrfs_insert_empty_item(struct btrfs_trans_handle *trans,
2862                                           struct btrfs_root *root,
2863                                           struct btrfs_path *path,
2864                                           const struct btrfs_key *key,
2865                                           u32 data_size)
2866 {
2867         return btrfs_insert_empty_items(trans, root, path, key, &data_size, 1);
2868 }
2869
2870 int btrfs_next_leaf(struct btrfs_root *root, struct btrfs_path *path);
2871 int btrfs_prev_leaf(struct btrfs_root *root, struct btrfs_path *path);
2872 int btrfs_next_old_leaf(struct btrfs_root *root, struct btrfs_path *path,
2873                         u64 time_seq);
2874 static inline int btrfs_next_old_item(struct btrfs_root *root,
2875                                       struct btrfs_path *p, u64 time_seq)
2876 {
2877         ++p->slots[0];
2878         if (p->slots[0] >= btrfs_header_nritems(p->nodes[0]))
2879                 return btrfs_next_old_leaf(root, p, time_seq);
2880         return 0;
2881 }
2882 static inline int btrfs_next_item(struct btrfs_root *root, struct btrfs_path *p)
2883 {
2884         return btrfs_next_old_item(root, p, 0);
2885 }
2886 int btrfs_leaf_free_space(struct extent_buffer *leaf);
2887 int __must_check btrfs_drop_snapshot(struct btrfs_root *root, int update_ref,
2888                                      int for_reloc);
2889 int btrfs_drop_subtree(struct btrfs_trans_handle *trans,
2890                         struct btrfs_root *root,
2891                         struct extent_buffer *node,
2892                         struct extent_buffer *parent);
2893 static inline int btrfs_fs_closing(struct btrfs_fs_info *fs_info)
2894 {
2895         /*
2896          * Do it this way so we only ever do one test_bit in the normal case.
2897          */
2898         if (test_bit(BTRFS_FS_CLOSING_START, &fs_info->flags)) {
2899                 if (test_bit(BTRFS_FS_CLOSING_DONE, &fs_info->flags))
2900                         return 2;
2901                 return 1;
2902         }
2903         return 0;
2904 }
2905
2906 /*
2907  * If we remount the fs to be R/O or umount the fs, the cleaner needn't do
2908  * anything except sleeping. This function is used to check the status of
2909  * the fs.
2910  * We check for BTRFS_FS_STATE_RO to avoid races with a concurrent remount,
2911  * since setting and checking for SB_RDONLY in the superblock's flags is not
2912  * atomic.
2913  */
2914 static inline int btrfs_need_cleaner_sleep(struct btrfs_fs_info *fs_info)
2915 {
2916         return test_bit(BTRFS_FS_STATE_RO, &fs_info->fs_state) ||
2917                 btrfs_fs_closing(fs_info);
2918 }
2919
2920 static inline void btrfs_set_sb_rdonly(struct super_block *sb)
2921 {
2922         sb->s_flags |= SB_RDONLY;
2923         set_bit(BTRFS_FS_STATE_RO, &btrfs_sb(sb)->fs_state);
2924 }
2925
2926 static inline void btrfs_clear_sb_rdonly(struct super_block *sb)
2927 {
2928         sb->s_flags &= ~SB_RDONLY;
2929         clear_bit(BTRFS_FS_STATE_RO, &btrfs_sb(sb)->fs_state);
2930 }
2931
2932 /* tree mod log functions from ctree.c */
2933 u64 btrfs_get_tree_mod_seq(struct btrfs_fs_info *fs_info,
2934                            struct seq_list *elem);
2935 void btrfs_put_tree_mod_seq(struct btrfs_fs_info *fs_info,
2936                             struct seq_list *elem);
2937 int btrfs_old_root_level(struct btrfs_root *root, u64 time_seq);
2938
2939 /* root-item.c */
2940 int btrfs_add_root_ref(struct btrfs_trans_handle *trans, u64 root_id,
2941                        u64 ref_id, u64 dirid, u64 sequence, const char *name,
2942                        int name_len);
2943 int btrfs_del_root_ref(struct btrfs_trans_handle *trans, u64 root_id,
2944                        u64 ref_id, u64 dirid, u64 *sequence, const char *name,
2945                        int name_len);
2946 int btrfs_del_root(struct btrfs_trans_handle *trans,
2947                    const struct btrfs_key *key);
2948 int btrfs_insert_root(struct btrfs_trans_handle *trans, struct btrfs_root *root,
2949                       const struct btrfs_key *key,
2950                       struct btrfs_root_item *item);
2951 int __must_check btrfs_update_root(struct btrfs_trans_handle *trans,
2952                                    struct btrfs_root *root,
2953                                    struct btrfs_key *key,
2954                                    struct btrfs_root_item *item);
2955 int btrfs_find_root(struct btrfs_root *root, const struct btrfs_key *search_key,
2956                     struct btrfs_path *path, struct btrfs_root_item *root_item,
2957                     struct btrfs_key *root_key);
2958 int btrfs_find_orphan_roots(struct btrfs_fs_info *fs_info);
2959 void btrfs_set_root_node(struct btrfs_root_item *item,
2960                          struct extent_buffer *node);
2961 void btrfs_check_and_init_root_item(struct btrfs_root_item *item);
2962 void btrfs_update_root_times(struct btrfs_trans_handle *trans,
2963                              struct btrfs_root *root);
2964
2965 /* uuid-tree.c */
2966 int btrfs_uuid_tree_add(struct btrfs_trans_handle *trans, u8 *uuid, u8 type,
2967                         u64 subid);
2968 int btrfs_uuid_tree_remove(struct btrfs_trans_handle *trans, u8 *uuid, u8 type,
2969                         u64 subid);
2970 int btrfs_uuid_tree_iterate(struct btrfs_fs_info *fs_info);
2971
2972 /* dir-item.c */
2973 int btrfs_check_dir_item_collision(struct btrfs_root *root, u64 dir,
2974                           const char *name, int name_len);
2975 int btrfs_insert_dir_item(struct btrfs_trans_handle *trans, const char *name,
2976                           int name_len, struct btrfs_inode *dir,
2977                           struct btrfs_key *location, u8 type, u64 index);
2978 struct btrfs_dir_item *btrfs_lookup_dir_item(struct btrfs_trans_handle *trans,
2979                                              struct btrfs_root *root,
2980                                              struct btrfs_path *path, u64 dir,
2981                                              const char *name, int name_len,
2982                                              int mod);
2983 struct btrfs_dir_item *
2984 btrfs_lookup_dir_index_item(struct btrfs_trans_handle *trans,
2985                             struct btrfs_root *root,
2986                             struct btrfs_path *path, u64 dir,
2987                             u64 objectid, const char *name, int name_len,
2988                             int mod);
2989 struct btrfs_dir_item *
2990 btrfs_search_dir_index_item(struct btrfs_root *root,
2991                             struct btrfs_path *path, u64 dirid,
2992                             const char *name, int name_len);
2993 int btrfs_delete_one_dir_name(struct btrfs_trans_handle *trans,
2994                               struct btrfs_root *root,
2995                               struct btrfs_path *path,
2996                               struct btrfs_dir_item *di);
2997 int btrfs_insert_xattr_item(struct btrfs_trans_handle *trans,
2998                             struct btrfs_root *root,
2999                             struct btrfs_path *path, u64 objectid,
3000                             const char *name, u16 name_len,
3001                             const void *data, u16 data_len);
3002 struct btrfs_dir_item *btrfs_lookup_xattr(struct btrfs_trans_handle *trans,
3003                                           struct btrfs_root *root,
3004                                           struct btrfs_path *path, u64 dir,
3005                                           const char *name, u16 name_len,
3006                                           int mod);
3007 struct btrfs_dir_item *btrfs_match_dir_item_name(struct btrfs_fs_info *fs_info,
3008                                                  struct btrfs_path *path,
3009                                                  const char *name,
3010                                                  int name_len);
3011
3012 /* orphan.c */
3013 int btrfs_insert_orphan_item(struct btrfs_trans_handle *trans,
3014                              struct btrfs_root *root, u64 offset);
3015 int btrfs_del_orphan_item(struct btrfs_trans_handle *trans,
3016                           struct btrfs_root *root, u64 offset);
3017 int btrfs_find_orphan_item(struct btrfs_root *root, u64 offset);
3018
3019 /* inode-item.c */
3020 int btrfs_insert_inode_ref(struct btrfs_trans_handle *trans,
3021                            struct btrfs_root *root,
3022                            const char *name, int name_len,
3023                            u64 inode_objectid, u64 ref_objectid, u64 index);
3024 int btrfs_del_inode_ref(struct btrfs_trans_handle *trans,
3025                            struct btrfs_root *root,
3026                            const char *name, int name_len,
3027                            u64 inode_objectid, u64 ref_objectid, u64 *index);
3028 int btrfs_insert_empty_inode(struct btrfs_trans_handle *trans,
3029                              struct btrfs_root *root,
3030                              struct btrfs_path *path, u64 objectid);
3031 int btrfs_lookup_inode(struct btrfs_trans_handle *trans, struct btrfs_root
3032                        *root, struct btrfs_path *path,
3033                        struct btrfs_key *location, int mod);
3034
3035 struct btrfs_inode_extref *
3036 btrfs_lookup_inode_extref(struct btrfs_trans_handle *trans,
3037                           struct btrfs_root *root,
3038                           struct btrfs_path *path,
3039                           const char *name, int name_len,
3040                           u64 inode_objectid, u64 ref_objectid, int ins_len,
3041                           int cow);
3042
3043 struct btrfs_inode_ref *btrfs_find_name_in_backref(struct extent_buffer *leaf,
3044                                                    int slot, const char *name,
3045                                                    int name_len);
3046 struct btrfs_inode_extref *btrfs_find_name_in_ext_backref(
3047                 struct extent_buffer *leaf, int slot, u64 ref_objectid,
3048                 const char *name, int name_len);
3049 /* file-item.c */
3050 struct btrfs_dio_private;
3051 int btrfs_del_csums(struct btrfs_trans_handle *trans,
3052                     struct btrfs_root *root, u64 bytenr, u64 len);
3053 blk_status_t btrfs_lookup_bio_sums(struct inode *inode, struct bio *bio, u8 *dst);
3054 int btrfs_insert_file_extent(struct btrfs_trans_handle *trans,
3055                              struct btrfs_root *root,
3056                              u64 objectid, u64 pos,
3057                              u64 disk_offset, u64 disk_num_bytes,
3058                              u64 num_bytes, u64 offset, u64 ram_bytes,
3059                              u8 compression, u8 encryption, u16 other_encoding);
3060 int btrfs_lookup_file_extent(struct btrfs_trans_handle *trans,
3061                              struct btrfs_root *root,
3062                              struct btrfs_path *path, u64 objectid,
3063                              u64 bytenr, int mod);
3064 int btrfs_csum_file_blocks(struct btrfs_trans_handle *trans,
3065                            struct btrfs_root *root,
3066                            struct btrfs_ordered_sum *sums);
3067 blk_status_t btrfs_csum_one_bio(struct btrfs_inode *inode, struct bio *bio,
3068                                 u64 file_start, int contig);
3069 int btrfs_lookup_csums_range(struct btrfs_root *root, u64 start, u64 end,
3070                              struct list_head *list, int search_commit);
3071 void btrfs_extent_item_to_extent_map(struct btrfs_inode *inode,
3072                                      const struct btrfs_path *path,
3073                                      struct btrfs_file_extent_item *fi,
3074                                      const bool new_inline,
3075                                      struct extent_map *em);
3076 int btrfs_inode_clear_file_extent_range(struct btrfs_inode *inode, u64 start,
3077                                         u64 len);
3078 int btrfs_inode_set_file_extent_range(struct btrfs_inode *inode, u64 start,
3079                                       u64 len);
3080 void btrfs_inode_safe_disk_i_size_write(struct btrfs_inode *inode, u64 new_i_size);
3081 u64 btrfs_file_extent_end(const struct btrfs_path *path);
3082
3083 /* inode.c */
3084 blk_status_t btrfs_submit_data_bio(struct inode *inode, struct bio *bio,
3085                                    int mirror_num, unsigned long bio_flags);
3086 int btrfs_verify_data_csum(struct btrfs_io_bio *io_bio, u32 bio_offset,
3087                            struct page *page, u64 start, u64 end, int mirror);
3088 struct extent_map *btrfs_get_extent_fiemap(struct btrfs_inode *inode,
3089                                            u64 start, u64 len);
3090 noinline int can_nocow_extent(struct inode *inode, u64 offset, u64 *len,
3091                               u64 *orig_start, u64 *orig_block_len,
3092                               u64 *ram_bytes, bool strict);
3093
3094 void __btrfs_del_delalloc_inode(struct btrfs_root *root,
3095                                 struct btrfs_inode *inode);
3096 struct inode *btrfs_lookup_dentry(struct inode *dir, struct dentry *dentry);
3097 int btrfs_set_inode_index(struct btrfs_inode *dir, u64 *index);
3098 int btrfs_unlink_inode(struct btrfs_trans_handle *trans,
3099                        struct btrfs_root *root,
3100                        struct btrfs_inode *dir, struct btrfs_inode *inode,
3101                        const char *name, int name_len);
3102 int btrfs_add_link(struct btrfs_trans_handle *trans,
3103                    struct btrfs_inode *parent_inode, struct btrfs_inode *inode,
3104                    const char *name, int name_len, int add_backref, u64 index);
3105 int btrfs_delete_subvolume(struct inode *dir, struct dentry *dentry);
3106 int btrfs_truncate_block(struct btrfs_inode *inode, loff_t from, loff_t len,
3107                          int front);
3108 int btrfs_truncate_inode_items(struct btrfs_trans_handle *trans,
3109                                struct btrfs_root *root,
3110                                struct btrfs_inode *inode, u64 new_size,
3111                                u32 min_type);
3112
3113 int btrfs_start_delalloc_snapshot(struct btrfs_root *root);
3114 int btrfs_start_delalloc_roots(struct btrfs_fs_info *fs_info, long nr,
3115                                bool in_reclaim_context);
3116 int btrfs_set_extent_delalloc(struct btrfs_inode *inode, u64 start, u64 end,
3117                               unsigned int extra_bits,
3118                               struct extent_state **cached_state);
3119 int btrfs_create_subvol_root(struct btrfs_trans_handle *trans,
3120                              struct btrfs_root *new_root,
3121                              struct btrfs_root *parent_root);
3122  void btrfs_set_delalloc_extent(struct inode *inode, struct extent_state *state,
3123                                unsigned *bits);
3124 void btrfs_clear_delalloc_extent(struct inode *inode,
3125                                  struct extent_state *state, unsigned *bits);
3126 void btrfs_merge_delalloc_extent(struct inode *inode, struct extent_state *new,
3127                                  struct extent_state *other);
3128 void btrfs_split_delalloc_extent(struct inode *inode,
3129                                  struct extent_state *orig, u64 split);
3130 int btrfs_bio_fits_in_stripe(struct page *page, size_t size, struct bio *bio,
3131                              unsigned long bio_flags);
3132 bool btrfs_bio_fits_in_ordered_extent(struct page *page, struct bio *bio,
3133                                       unsigned int size);
3134 void btrfs_set_range_writeback(struct extent_io_tree *tree, u64 start, u64 end);
3135 vm_fault_t btrfs_page_mkwrite(struct vm_fault *vmf);
3136 int btrfs_readpage(struct file *file, struct page *page);
3137 void btrfs_evict_inode(struct inode *inode);
3138 int btrfs_write_inode(struct inode *inode, struct writeback_control *wbc);
3139 struct inode *btrfs_alloc_inode(struct super_block *sb);
3140 void btrfs_destroy_inode(struct inode *inode);
3141 void btrfs_free_inode(struct inode *inode);
3142 int btrfs_drop_inode(struct inode *inode);
3143 int __init btrfs_init_cachep(void);
3144 void __cold btrfs_destroy_cachep(void);
3145 struct inode *btrfs_iget_path(struct super_block *s, u64 ino,
3146                               struct btrfs_root *root, struct btrfs_path *path);
3147 struct inode *btrfs_iget(struct super_block *s, u64 ino, struct btrfs_root *root);
3148 struct extent_map *btrfs_get_extent(struct btrfs_inode *inode,
3149                                     struct page *page, size_t pg_offset,
3150                                     u64 start, u64 end);
3151 int btrfs_update_inode(struct btrfs_trans_handle *trans,
3152                        struct btrfs_root *root, struct btrfs_inode *inode);
3153 int btrfs_update_inode_fallback(struct btrfs_trans_handle *trans,
3154                                 struct btrfs_root *root, struct btrfs_inode *inode);
3155 int btrfs_orphan_add(struct btrfs_trans_handle *trans,
3156                 struct btrfs_inode *inode);
3157 int btrfs_orphan_cleanup(struct btrfs_root *root);
3158 int btrfs_cont_expand(struct btrfs_inode *inode, loff_t oldsize, loff_t size);
3159 void btrfs_add_delayed_iput(struct inode *inode);
3160 void btrfs_run_delayed_iputs(struct btrfs_fs_info *fs_info);
3161 int btrfs_wait_on_delayed_iputs(struct btrfs_fs_info *fs_info);
3162 int btrfs_prealloc_file_range(struct inode *inode, int mode,
3163                               u64 start, u64 num_bytes, u64 min_size,
3164                               loff_t actual_len, u64 *alloc_hint);
3165 int btrfs_prealloc_file_range_trans(struct inode *inode,
3166                                     struct btrfs_trans_handle *trans, int mode,
3167                                     u64 start, u64 num_bytes, u64 min_size,
3168                                     loff_t actual_len, u64 *alloc_hint);
3169 int btrfs_run_delalloc_range(struct btrfs_inode *inode, struct page *locked_page,
3170                 u64 start, u64 end, int *page_started, unsigned long *nr_written,
3171                 struct writeback_control *wbc);
3172 int btrfs_writepage_cow_fixup(struct page *page, u64 start, u64 end);
3173 void btrfs_writepage_endio_finish_ordered(struct page *page, u64 start,
3174                                           u64 end, int uptodate);
3175 extern const struct dentry_operations btrfs_dentry_operations;
3176 extern const struct iomap_ops btrfs_dio_iomap_ops;
3177 extern const struct iomap_dio_ops btrfs_dio_ops;
3178
3179 /* Inode locking type flags, by default the exclusive lock is taken */
3180 #define BTRFS_ILOCK_SHARED      (1U << 0)
3181 #define BTRFS_ILOCK_TRY         (1U << 1)
3182
3183 int btrfs_inode_lock(struct inode *inode, unsigned int ilock_flags);
3184 void btrfs_inode_unlock(struct inode *inode, unsigned int ilock_flags);
3185 void btrfs_update_inode_bytes(struct btrfs_inode *inode,
3186                               const u64 add_bytes,
3187                               const u64 del_bytes);
3188
3189 /* ioctl.c */
3190 long btrfs_ioctl(struct file *file, unsigned int cmd, unsigned long arg);
3191 long btrfs_compat_ioctl(struct file *file, unsigned int cmd, unsigned long arg);
3192 int btrfs_ioctl_get_supported_features(void __user *arg);
3193 void btrfs_sync_inode_flags_to_i_flags(struct inode *inode);
3194 int __pure btrfs_is_empty_uuid(u8 *uuid);
3195 int btrfs_defrag_file(struct inode *inode, struct file *file,
3196                       struct btrfs_ioctl_defrag_range_args *range,
3197                       u64 newer_than, unsigned long max_pages);
3198 void btrfs_get_block_group_info(struct list_head *groups_list,
3199                                 struct btrfs_ioctl_space_info *space);
3200 void btrfs_update_ioctl_balance_args(struct btrfs_fs_info *fs_info,
3201                                struct btrfs_ioctl_balance_args *bargs);
3202 bool btrfs_exclop_start(struct btrfs_fs_info *fs_info,
3203                         enum btrfs_exclusive_operation type);
3204 void btrfs_exclop_finish(struct btrfs_fs_info *fs_info);
3205
3206 /* file.c */
3207 int __init btrfs_auto_defrag_init(void);
3208 void __cold btrfs_auto_defrag_exit(void);
3209 int btrfs_add_inode_defrag(struct btrfs_trans_handle *trans,
3210                            struct btrfs_inode *inode);
3211 int btrfs_run_defrag_inodes(struct btrfs_fs_info *fs_info);
3212 void btrfs_cleanup_defrag_inodes(struct btrfs_fs_info *fs_info);
3213 int btrfs_sync_file(struct file *file, loff_t start, loff_t end, int datasync);
3214 void btrfs_drop_extent_cache(struct btrfs_inode *inode, u64 start, u64 end,
3215                              int skip_pinned);
3216 extern const struct file_operations btrfs_file_operations;
3217 int btrfs_drop_extents(struct btrfs_trans_handle *trans,
3218                        struct btrfs_root *root, struct btrfs_inode *inode,
3219                        struct btrfs_drop_extents_args *args);
3220 int btrfs_replace_file_extents(struct inode *inode, struct btrfs_path *path,
3221                            const u64 start, const u64 end,
3222                            struct btrfs_replace_extent_info *extent_info,
3223                            struct btrfs_trans_handle **trans_out);
3224 int btrfs_mark_extent_written(struct btrfs_trans_handle *trans,
3225                               struct btrfs_inode *inode, u64 start, u64 end);
3226 int btrfs_release_file(struct inode *inode, struct file *file);
3227 int btrfs_dirty_pages(struct btrfs_inode *inode, struct page **pages,
3228                       size_t num_pages, loff_t pos, size_t write_bytes,
3229                       struct extent_state **cached, bool noreserve);
3230 int btrfs_fdatawrite_range(struct inode *inode, loff_t start, loff_t end);
3231 int btrfs_check_nocow_lock(struct btrfs_inode *inode, loff_t pos,
3232                            size_t *write_bytes);
3233 void btrfs_check_nocow_unlock(struct btrfs_inode *inode);
3234
3235 /* tree-defrag.c */
3236 int btrfs_defrag_leaves(struct btrfs_trans_handle *trans,
3237                         struct btrfs_root *root);
3238
3239 /* super.c */
3240 int btrfs_parse_options(struct btrfs_fs_info *info, char *options,
3241                         unsigned long new_flags);
3242 int btrfs_sync_fs(struct super_block *sb, int wait);
3243 char *btrfs_get_subvol_name_from_objectid(struct btrfs_fs_info *fs_info,
3244                                           u64 subvol_objectid);
3245
3246 static inline __printf(2, 3) __cold
3247 void btrfs_no_printk(const struct btrfs_fs_info *fs_info, const char *fmt, ...)
3248 {
3249 }
3250
3251 #ifdef CONFIG_PRINTK
3252 __printf(2, 3)
3253 __cold
3254 void btrfs_printk(const struct btrfs_fs_info *fs_info, const char *fmt, ...);
3255 #else
3256 #define btrfs_printk(fs_info, fmt, args...) \
3257         btrfs_no_printk(fs_info, fmt, ##args)
3258 #endif
3259
3260 #define btrfs_emerg(fs_info, fmt, args...) \
3261         btrfs_printk(fs_info, KERN_EMERG fmt, ##args)
3262 #define btrfs_alert(fs_info, fmt, args...) \
3263         btrfs_printk(fs_info, KERN_ALERT fmt, ##args)
3264 #define btrfs_crit(fs_info, fmt, args...) \
3265         btrfs_printk(fs_info, KERN_CRIT fmt, ##args)
3266 #define btrfs_err(fs_info, fmt, args...) \
3267         btrfs_printk(fs_info, KERN_ERR fmt, ##args)
3268 #define btrfs_warn(fs_info, fmt, args...) \
3269         btrfs_printk(fs_info, KERN_WARNING fmt, ##args)
3270 #define btrfs_notice(fs_info, fmt, args...) \
3271         btrfs_printk(fs_info, KERN_NOTICE fmt, ##args)
3272 #define btrfs_info(fs_info, fmt, args...) \
3273         btrfs_printk(fs_info, KERN_INFO fmt, ##args)
3274
3275 /*
3276  * Wrappers that use printk_in_rcu
3277  */
3278 #define btrfs_emerg_in_rcu(fs_info, fmt, args...) \
3279         btrfs_printk_in_rcu(fs_info, KERN_EMERG fmt, ##args)
3280 #define btrfs_alert_in_rcu(fs_info, fmt, args...) \
3281         btrfs_printk_in_rcu(fs_info, KERN_ALERT fmt, ##args)
3282 #define btrfs_crit_in_rcu(fs_info, fmt, args...) \
3283         btrfs_printk_in_rcu(fs_info, KERN_CRIT fmt, ##args)
3284 #define btrfs_err_in_rcu(fs_info, fmt, args...) \
3285         btrfs_printk_in_rcu(fs_info, KERN_ERR fmt, ##args)
3286 #define btrfs_warn_in_rcu(fs_info, fmt, args...) \
3287         btrfs_printk_in_rcu(fs_info, KERN_WARNING fmt, ##args)
3288 #define btrfs_notice_in_rcu(fs_info, fmt, args...) \
3289         btrfs_printk_in_rcu(fs_info, KERN_NOTICE fmt, ##args)
3290 #define btrfs_info_in_rcu(fs_info, fmt, args...) \
3291         btrfs_printk_in_rcu(fs_info, KERN_INFO fmt, ##args)
3292
3293 /*
3294  * Wrappers that use a ratelimited printk_in_rcu
3295  */
3296 #define btrfs_emerg_rl_in_rcu(fs_info, fmt, args...) \
3297         btrfs_printk_rl_in_rcu(fs_info, KERN_EMERG fmt, ##args)
3298 #define btrfs_alert_rl_in_rcu(fs_info, fmt, args...) \
3299         btrfs_printk_rl_in_rcu(fs_info, KERN_ALERT fmt, ##args)
3300 #define btrfs_crit_rl_in_rcu(fs_info, fmt, args...) \
3301         btrfs_printk_rl_in_rcu(fs_info, KERN_CRIT fmt, ##args)
3302 #define btrfs_err_rl_in_rcu(fs_info, fmt, args...) \
3303         btrfs_printk_rl_in_rcu(fs_info, KERN_ERR fmt, ##args)
3304 #define btrfs_warn_rl_in_rcu(fs_info, fmt, args...) \
3305         btrfs_printk_rl_in_rcu(fs_info, KERN_WARNING fmt, ##args)
3306 #define btrfs_notice_rl_in_rcu(fs_info, fmt, args...) \
3307         btrfs_printk_rl_in_rcu(fs_info, KERN_NOTICE fmt, ##args)
3308 #define btrfs_info_rl_in_rcu(fs_info, fmt, args...) \
3309         btrfs_printk_rl_in_rcu(fs_info, KERN_INFO fmt, ##args)
3310
3311 /*
3312  * Wrappers that use a ratelimited printk
3313  */
3314 #define btrfs_emerg_rl(fs_info, fmt, args...) \
3315         btrfs_printk_ratelimited(fs_info, KERN_EMERG fmt, ##args)
3316 #define btrfs_alert_rl(fs_info, fmt, args...) \
3317         btrfs_printk_ratelimited(fs_info, KERN_ALERT fmt, ##args)
3318 #define btrfs_crit_rl(fs_info, fmt, args...) \
3319         btrfs_printk_ratelimited(fs_info, KERN_CRIT fmt, ##args)
3320 #define btrfs_err_rl(fs_info, fmt, args...) \
3321         btrfs_printk_ratelimited(fs_info, KERN_ERR fmt, ##args)
3322 #define btrfs_warn_rl(fs_info, fmt, args...) \
3323         btrfs_printk_ratelimited(fs_info, KERN_WARNING fmt, ##args)
3324 #define btrfs_notice_rl(fs_info, fmt, args...) \
3325         btrfs_printk_ratelimited(fs_info, KERN_NOTICE fmt, ##args)
3326 #define btrfs_info_rl(fs_info, fmt, args...) \
3327         btrfs_printk_ratelimited(fs_info, KERN_INFO fmt, ##args)
3328
3329 #if defined(CONFIG_DYNAMIC_DEBUG)
3330 #define btrfs_debug(fs_info, fmt, args...)                              \
3331         _dynamic_func_call_no_desc(fmt, btrfs_printk,                   \
3332                                    fs_info, KERN_DEBUG fmt, ##args)
3333 #define btrfs_debug_in_rcu(fs_info, fmt, args...)                       \
3334         _dynamic_func_call_no_desc(fmt, btrfs_printk_in_rcu,            \
3335                                    fs_info, KERN_DEBUG fmt, ##args)
3336 #define btrfs_debug_rl_in_rcu(fs_info, fmt, args...)                    \
3337         _dynamic_func_call_no_desc(fmt, btrfs_printk_rl_in_rcu,         \
3338                                    fs_info, KERN_DEBUG fmt, ##args)
3339 #define btrfs_debug_rl(fs_info, fmt, args...)                           \
3340         _dynamic_func_call_no_desc(fmt, btrfs_printk_ratelimited,       \
3341                                    fs_info, KERN_DEBUG fmt, ##args)
3342 #elif defined(DEBUG)
3343 #define btrfs_debug(fs_info, fmt, args...) \
3344         btrfs_printk(fs_info, KERN_DEBUG fmt, ##args)
3345 #define btrfs_debug_in_rcu(fs_info, fmt, args...) \
3346         btrfs_printk_in_rcu(fs_info, KERN_DEBUG fmt, ##args)
3347 #define btrfs_debug_rl_in_rcu(fs_info, fmt, args...) \
3348         btrfs_printk_rl_in_rcu(fs_info, KERN_DEBUG fmt, ##args)
3349 #define btrfs_debug_rl(fs_info, fmt, args...) \
3350         btrfs_printk_ratelimited(fs_info, KERN_DEBUG fmt, ##args)
3351 #else
3352 #define btrfs_debug(fs_info, fmt, args...) \
3353         btrfs_no_printk(fs_info, KERN_DEBUG fmt, ##args)
3354 #define btrfs_debug_in_rcu(fs_info, fmt, args...) \
3355         btrfs_no_printk_in_rcu(fs_info, KERN_DEBUG fmt, ##args)
3356 #define btrfs_debug_rl_in_rcu(fs_info, fmt, args...) \
3357         btrfs_no_printk_in_rcu(fs_info, KERN_DEBUG fmt, ##args)
3358 #define btrfs_debug_rl(fs_info, fmt, args...) \
3359         btrfs_no_printk(fs_info, KERN_DEBUG fmt, ##args)
3360 #endif
3361
3362 #define btrfs_printk_in_rcu(fs_info, fmt, args...)      \
3363 do {                                                    \
3364         rcu_read_lock();                                \
3365         btrfs_printk(fs_info, fmt, ##args);             \
3366         rcu_read_unlock();                              \
3367 } while (0)
3368
3369 #define btrfs_no_printk_in_rcu(fs_info, fmt, args...)   \
3370 do {                                                    \
3371         rcu_read_lock();                                \
3372         btrfs_no_printk(fs_info, fmt, ##args);          \
3373         rcu_read_unlock();                              \
3374 } while (0)
3375
3376 #define btrfs_printk_ratelimited(fs_info, fmt, args...)         \
3377 do {                                                            \
3378         static DEFINE_RATELIMIT_STATE(_rs,                      \
3379                 DEFAULT_RATELIMIT_INTERVAL,                     \
3380                 DEFAULT_RATELIMIT_BURST);                       \
3381         if (__ratelimit(&_rs))                                  \
3382                 btrfs_printk(fs_info, fmt, ##args);             \
3383 } while (0)
3384
3385 #define btrfs_printk_rl_in_rcu(fs_info, fmt, args...)           \
3386 do {                                                            \
3387         rcu_read_lock();                                        \
3388         btrfs_printk_ratelimited(fs_info, fmt, ##args);         \
3389         rcu_read_unlock();                                      \
3390 } while (0)
3391
3392 #ifdef CONFIG_BTRFS_ASSERT
3393 __cold __noreturn
3394 static inline void assertfail(const char *expr, const char *file, int line)
3395 {
3396         pr_err("assertion failed: %s, in %s:%d\n", expr, file, line);
3397         BUG();
3398 }
3399
3400 #define ASSERT(expr)                                            \
3401         (likely(expr) ? (void)0 : assertfail(#expr, __FILE__, __LINE__))
3402
3403 #else
3404 static inline void assertfail(const char *expr, const char* file, int line) { }
3405 #define ASSERT(expr)    (void)(expr)
3406 #endif
3407
3408 /*
3409  * Get the correct offset inside the page of extent buffer.
3410  *
3411  * @eb:         target extent buffer
3412  * @start:      offset inside the extent buffer
3413  *
3414  * Will handle both sectorsize == PAGE_SIZE and sectorsize < PAGE_SIZE cases.
3415  */
3416 static inline size_t get_eb_offset_in_page(const struct extent_buffer *eb,
3417                                            unsigned long offset)
3418 {
3419         /*
3420          * For sectorsize == PAGE_SIZE case, eb->start will always be aligned
3421          * to PAGE_SIZE, thus adding it won't cause any difference.
3422          *
3423          * For sectorsize < PAGE_SIZE, we must only read the data that belongs
3424          * to the eb, thus we have to take the eb->start into consideration.
3425          */
3426         return offset_in_page(offset + eb->start);
3427 }
3428
3429 static inline unsigned long get_eb_page_index(unsigned long offset)
3430 {
3431         /*
3432          * For sectorsize == PAGE_SIZE case, plain >> PAGE_SHIFT is enough.
3433          *
3434          * For sectorsize < PAGE_SIZE case, we only support 64K PAGE_SIZE,
3435          * and have ensured that all tree blocks are contained in one page,
3436          * thus we always get index == 0.
3437          */
3438         return offset >> PAGE_SHIFT;
3439 }
3440
3441 /*
3442  * Use that for functions that are conditionally exported for sanity tests but
3443  * otherwise static
3444  */
3445 #ifndef CONFIG_BTRFS_FS_RUN_SANITY_TESTS
3446 #define EXPORT_FOR_TESTS static
3447 #else
3448 #define EXPORT_FOR_TESTS
3449 #endif
3450
3451 __cold
3452 static inline void btrfs_print_v0_err(struct btrfs_fs_info *fs_info)
3453 {
3454         btrfs_err(fs_info,
3455 "Unsupported V0 extent filesystem detected. Aborting. Please re-create your filesystem with a newer kernel");
3456 }
3457
3458 __printf(5, 6)
3459 __cold
3460 void __btrfs_handle_fs_error(struct btrfs_fs_info *fs_info, const char *function,
3461                      unsigned int line, int errno, const char *fmt, ...);
3462
3463 const char * __attribute_const__ btrfs_decode_error(int errno);
3464
3465 __cold
3466 void __btrfs_abort_transaction(struct btrfs_trans_handle *trans,
3467                                const char *function,
3468                                unsigned int line, int errno);
3469
3470 /*
3471  * Call btrfs_abort_transaction as early as possible when an error condition is
3472  * detected, that way the exact line number is reported.
3473  */
3474 #define btrfs_abort_transaction(trans, errno)           \
3475 do {                                                            \
3476         /* Report first abort since mount */                    \
3477         if (!test_and_set_bit(BTRFS_FS_STATE_TRANS_ABORTED,     \
3478                         &((trans)->fs_info->fs_state))) {       \
3479                 if ((errno) != -EIO && (errno) != -EROFS) {             \
3480                         WARN(1, KERN_DEBUG                              \
3481                         "BTRFS: Transaction aborted (error %d)\n",      \
3482                         (errno));                                       \
3483                 } else {                                                \
3484                         btrfs_debug((trans)->fs_info,                   \
3485                                     "Transaction aborted (error %d)", \
3486                                   (errno));                     \
3487                 }                                               \
3488         }                                                       \
3489         __btrfs_abort_transaction((trans), __func__,            \
3490                                   __LINE__, (errno));           \
3491 } while (0)
3492
3493 #define btrfs_handle_fs_error(fs_info, errno, fmt, args...)             \
3494 do {                                                            \
3495         __btrfs_handle_fs_error((fs_info), __func__, __LINE__,  \
3496                           (errno), fmt, ##args);                \
3497 } while (0)
3498
3499 __printf(5, 6)
3500 __cold
3501 void __btrfs_panic(struct btrfs_fs_info *fs_info, const char *function,
3502                    unsigned int line, int errno, const char *fmt, ...);
3503 /*
3504  * If BTRFS_MOUNT_PANIC_ON_FATAL_ERROR is in mount_opt, __btrfs_panic
3505  * will panic().  Otherwise we BUG() here.
3506  */
3507 #define btrfs_panic(fs_info, errno, fmt, args...)                       \
3508 do {                                                                    \
3509         __btrfs_panic(fs_info, __func__, __LINE__, errno, fmt, ##args); \
3510         BUG();                                                          \
3511 } while (0)
3512
3513
3514 /* compatibility and incompatibility defines */
3515
3516 #define btrfs_set_fs_incompat(__fs_info, opt) \
3517         __btrfs_set_fs_incompat((__fs_info), BTRFS_FEATURE_INCOMPAT_##opt, \
3518                                 #opt)
3519
3520 static inline void __btrfs_set_fs_incompat(struct btrfs_fs_info *fs_info,
3521                                            u64 flag, const char* name)
3522 {
3523         struct btrfs_super_block *disk_super;
3524         u64 features;
3525
3526         disk_super = fs_info->super_copy;
3527         features = btrfs_super_incompat_flags(disk_super);
3528         if (!(features & flag)) {
3529                 spin_lock(&fs_info->super_lock);
3530                 features = btrfs_super_incompat_flags(disk_super);
3531                 if (!(features & flag)) {
3532                         features |= flag;
3533                         btrfs_set_super_incompat_flags(disk_super, features);
3534                         btrfs_info(fs_info,
3535                                 "setting incompat feature flag for %s (0x%llx)",
3536                                 name, flag);
3537                 }
3538                 spin_unlock(&fs_info->super_lock);
3539         }
3540 }
3541
3542 #define btrfs_clear_fs_incompat(__fs_info, opt) \
3543         __btrfs_clear_fs_incompat((__fs_info), BTRFS_FEATURE_INCOMPAT_##opt, \
3544                                   #opt)
3545
3546 static inline void __btrfs_clear_fs_incompat(struct btrfs_fs_info *fs_info,
3547                                              u64 flag, const char* name)
3548 {
3549         struct btrfs_super_block *disk_super;
3550         u64 features;
3551
3552         disk_super = fs_info->super_copy;
3553         features = btrfs_super_incompat_flags(disk_super);
3554         if (features & flag) {
3555                 spin_lock(&fs_info->super_lock);
3556                 features = btrfs_super_incompat_flags(disk_super);
3557                 if (features & flag) {
3558                         features &= ~flag;
3559                         btrfs_set_super_incompat_flags(disk_super, features);
3560                         btrfs_info(fs_info,
3561                                 "clearing incompat feature flag for %s (0x%llx)",
3562                                 name, flag);
3563                 }
3564                 spin_unlock(&fs_info->super_lock);
3565         }
3566 }
3567
3568 #define btrfs_fs_incompat(fs_info, opt) \
3569         __btrfs_fs_incompat((fs_info), BTRFS_FEATURE_INCOMPAT_##opt)
3570
3571 static inline bool __btrfs_fs_incompat(struct btrfs_fs_info *fs_info, u64 flag)
3572 {
3573         struct btrfs_super_block *disk_super;
3574         disk_super = fs_info->super_copy;
3575         return !!(btrfs_super_incompat_flags(disk_super) & flag);
3576 }
3577
3578 #define btrfs_set_fs_compat_ro(__fs_info, opt) \
3579         __btrfs_set_fs_compat_ro((__fs_info), BTRFS_FEATURE_COMPAT_RO_##opt, \
3580                                  #opt)
3581
3582 static inline void __btrfs_set_fs_compat_ro(struct btrfs_fs_info *fs_info,
3583                                             u64 flag, const char *name)
3584 {
3585         struct btrfs_super_block *disk_super;
3586         u64 features;
3587
3588         disk_super = fs_info->super_copy;
3589         features = btrfs_super_compat_ro_flags(disk_super);
3590         if (!(features & flag)) {
3591                 spin_lock(&fs_info->super_lock);
3592                 features = btrfs_super_compat_ro_flags(disk_super);
3593                 if (!(features & flag)) {
3594                         features |= flag;
3595                         btrfs_set_super_compat_ro_flags(disk_super, features);
3596                         btrfs_info(fs_info,
3597                                 "setting compat-ro feature flag for %s (0x%llx)",
3598                                 name, flag);
3599                 }
3600                 spin_unlock(&fs_info->super_lock);
3601         }
3602 }
3603
3604 #define btrfs_clear_fs_compat_ro(__fs_info, opt) \
3605         __btrfs_clear_fs_compat_ro((__fs_info), BTRFS_FEATURE_COMPAT_RO_##opt, \
3606                                    #opt)
3607
3608 static inline void __btrfs_clear_fs_compat_ro(struct btrfs_fs_info *fs_info,
3609                                               u64 flag, const char *name)
3610 {
3611         struct btrfs_super_block *disk_super;
3612         u64 features;
3613
3614         disk_super = fs_info->super_copy;
3615         features = btrfs_super_compat_ro_flags(disk_super);
3616         if (features & flag) {
3617                 spin_lock(&fs_info->super_lock);
3618                 features = btrfs_super_compat_ro_flags(disk_super);
3619                 if (features & flag) {
3620                         features &= ~flag;
3621                         btrfs_set_super_compat_ro_flags(disk_super, features);
3622                         btrfs_info(fs_info,
3623                                 "clearing compat-ro feature flag for %s (0x%llx)",
3624                                 name, flag);
3625                 }
3626                 spin_unlock(&fs_info->super_lock);
3627         }
3628 }
3629
3630 #define btrfs_fs_compat_ro(fs_info, opt) \
3631         __btrfs_fs_compat_ro((fs_info), BTRFS_FEATURE_COMPAT_RO_##opt)
3632
3633 static inline int __btrfs_fs_compat_ro(struct btrfs_fs_info *fs_info, u64 flag)
3634 {
3635         struct btrfs_super_block *disk_super;
3636         disk_super = fs_info->super_copy;
3637         return !!(btrfs_super_compat_ro_flags(disk_super) & flag);
3638 }
3639
3640 /* acl.c */
3641 #ifdef CONFIG_BTRFS_FS_POSIX_ACL
3642 struct posix_acl *btrfs_get_acl(struct inode *inode, int type);
3643 int btrfs_set_acl(struct user_namespace *mnt_userns, struct inode *inode,
3644                   struct posix_acl *acl, int type);
3645 int btrfs_init_acl(struct btrfs_trans_handle *trans,
3646                    struct inode *inode, struct inode *dir);
3647 #else
3648 #define btrfs_get_acl NULL
3649 #define btrfs_set_acl NULL
3650 static inline int btrfs_init_acl(struct btrfs_trans_handle *trans,
3651                                  struct inode *inode, struct inode *dir)
3652 {
3653         return 0;
3654 }
3655 #endif
3656
3657 /* relocation.c */
3658 int btrfs_relocate_block_group(struct btrfs_fs_info *fs_info, u64 group_start);
3659 int btrfs_init_reloc_root(struct btrfs_trans_handle *trans,
3660                           struct btrfs_root *root);
3661 int btrfs_update_reloc_root(struct btrfs_trans_handle *trans,
3662                             struct btrfs_root *root);
3663 int btrfs_recover_relocation(struct btrfs_root *root);
3664 int btrfs_reloc_clone_csums(struct btrfs_inode *inode, u64 file_pos, u64 len);
3665 int btrfs_reloc_cow_block(struct btrfs_trans_handle *trans,
3666                           struct btrfs_root *root, struct extent_buffer *buf,
3667                           struct extent_buffer *cow);
3668 void btrfs_reloc_pre_snapshot(struct btrfs_pending_snapshot *pending,
3669                               u64 *bytes_to_reserve);
3670 int btrfs_reloc_post_snapshot(struct btrfs_trans_handle *trans,
3671                               struct btrfs_pending_snapshot *pending);
3672 int btrfs_should_cancel_balance(struct btrfs_fs_info *fs_info);
3673 struct btrfs_root *find_reloc_root(struct btrfs_fs_info *fs_info,
3674                                    u64 bytenr);
3675 int btrfs_should_ignore_reloc_root(struct btrfs_root *root);
3676
3677 /* scrub.c */
3678 int btrfs_scrub_dev(struct btrfs_fs_info *fs_info, u64 devid, u64 start,
3679                     u64 end, struct btrfs_scrub_progress *progress,
3680                     int readonly, int is_dev_replace);
3681 void btrfs_scrub_pause(struct btrfs_fs_info *fs_info);
3682 void btrfs_scrub_continue(struct btrfs_fs_info *fs_info);
3683 int btrfs_scrub_cancel(struct btrfs_fs_info *info);
3684 int btrfs_scrub_cancel_dev(struct btrfs_device *dev);
3685 int btrfs_scrub_progress(struct btrfs_fs_info *fs_info, u64 devid,
3686                          struct btrfs_scrub_progress *progress);
3687 static inline void btrfs_init_full_stripe_locks_tree(
3688                         struct btrfs_full_stripe_locks_tree *locks_root)
3689 {
3690         locks_root->root = RB_ROOT;
3691         mutex_init(&locks_root->lock);
3692 }
3693
3694 /* dev-replace.c */
3695 void btrfs_bio_counter_inc_blocked(struct btrfs_fs_info *fs_info);
3696 void btrfs_bio_counter_inc_noblocked(struct btrfs_fs_info *fs_info);
3697 void btrfs_bio_counter_sub(struct btrfs_fs_info *fs_info, s64 amount);
3698
3699 static inline void btrfs_bio_counter_dec(struct btrfs_fs_info *fs_info)
3700 {
3701         btrfs_bio_counter_sub(fs_info, 1);
3702 }
3703
3704 /* reada.c */
3705 struct reada_control {
3706         struct btrfs_fs_info    *fs_info;               /* tree to prefetch */
3707         struct btrfs_key        key_start;
3708         struct btrfs_key        key_end;        /* exclusive */
3709         atomic_t                elems;
3710         struct kref             refcnt;
3711         wait_queue_head_t       wait;
3712 };
3713 struct reada_control *btrfs_reada_add(struct btrfs_root *root,
3714                               struct btrfs_key *start, struct btrfs_key *end);
3715 int btrfs_reada_wait(void *handle);
3716 void btrfs_reada_detach(void *handle);
3717 int btree_readahead_hook(struct extent_buffer *eb, int err);
3718 void btrfs_reada_remove_dev(struct btrfs_device *dev);
3719 void btrfs_reada_undo_remove_dev(struct btrfs_device *dev);
3720
3721 static inline int is_fstree(u64 rootid)
3722 {
3723         if (rootid == BTRFS_FS_TREE_OBJECTID ||
3724             ((s64)rootid >= (s64)BTRFS_FIRST_FREE_OBJECTID &&
3725               !btrfs_qgroup_level(rootid)))
3726                 return 1;
3727         return 0;
3728 }
3729
3730 static inline int btrfs_defrag_cancelled(struct btrfs_fs_info *fs_info)
3731 {
3732         return signal_pending(current);
3733 }
3734
3735 #define in_range(b, first, len) ((b) >= (first) && (b) < (first) + (len))
3736
3737 /* Sanity test specific functions */
3738 #ifdef CONFIG_BTRFS_FS_RUN_SANITY_TESTS
3739 void btrfs_test_destroy_inode(struct inode *inode);
3740 static inline int btrfs_is_testing(struct btrfs_fs_info *fs_info)
3741 {
3742         return test_bit(BTRFS_FS_STATE_DUMMY_FS_INFO, &fs_info->fs_state);
3743 }
3744 #else
3745 static inline int btrfs_is_testing(struct btrfs_fs_info *fs_info)
3746 {
3747         return 0;
3748 }
3749 #endif
3750
3751 static inline bool btrfs_is_zoned(const struct btrfs_fs_info *fs_info)
3752 {
3753         return fs_info->zoned != 0;
3754 }
3755
3756 #endif