Looking to confirm issue and seek advice on fix for inode btree fragmentation

[Pippin Wallace <nippip@xxxxxxxxx>]

Â

I am writing to confirm the issue I think I have and get advice on the best short term and long term âfixesâ.

Â

In reading the following threads and others I am pretty sure I have inode btree fragmentation and I have includedÂdetailedÂoutputÂbelow to help confirm this.Â

Â

Is XFS suitable for 350 million files on 20TB storage?

http://oss.sgi.com/archives/xfs/2014-09/msg00046.html

Â

Bad performance on touch/cp file on XFS system

http://oss.sgi.com/archives/xfs/2014-08/msg00348.html

Â

Extremely slow file creation/deletion after xfs ran full

http://oss.sgi.com/archives/xfs/2015-01/msg00203.html

Â

Â

In addition to diagnosis I want to insure I take the right steps to improve performance in the short term and fix it correctly and thoroughly for the long term.

Â

Our workload is heavy write/delete and light reads. Most files are smallish and we cannot mount xfs with inode64 as our primary app is 32 bit. Our hosts are running as VMâs on a KVM hypervisor.

Â

Suggestion from Dave in post Âhttp://oss.sgi.com/archives/xfs/2014-08/msg00349.html

If this is still the best short term fix would you please direct me to the âHow Toâ for doing this?

âfilling in all the holes (by creating a bunch of zero length files in the

appropriate AGs) might take some time, but it should make the

problem go away until you remove more filesystem and create random

free inode holes again...â

Â

Is this also a possible short term fix? http://osvault.blogspot.com/2011/03/fixing-1tbyte-inode-problem-in-xfs-file.html

Â

Â

Long term fix is upgrade kernel to >= 3.16, xfsprogs >=3.2.1 and rebuild fs with new finobt structure.

ÂÂÂÂÂÂÂ # mkfs.xfs -m crc=1,finobt=1 <dev>

Â

Â

Â

Here is info others have asked for in previous threads and further below that is data collected based on âWhat information should I include when reporting a problem?â from your FAQ.

Â

If a command line in bold below starts with a VM then this command was run on the Virtual Machine or guest OS and if it starts with a HV then it was run on the physical HyperVisor machine that is hosting the guest OS.

Â

Â

VM# perf top

Samples: 378K of event 'cpu-clock', Event count (approx.): 188377

14.10%Â [kernel]ÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂ [k] xfs_inobt_get_rec

 9.58% [kernel] [k] xfs_btree_increment

 9.08% [kernel] [k] xfs_btree_get_rec

 8.83% [kernel] ÂÂÂÂÂ[k] _xfs_buf_find

 5.84% [kernel] [k] xfs_btree_get_block

 3.91% [kernel] [k] xfs_btree_rec_offset

 3.85% [kernel] [k] xfs_dialloc_ag

 3.64% [kernel] [k] xfs_btree_readahead

 3.15% [kernel] [k] _raw_spin_unlock_irqrestore

 2.97% [kernel] [k] xfs_btree_rec_addr

 2.31% [kernel] [k] xfs_trans_buf_item_match

 1.67% [kernel] [k] xfs_btree_setbuf

Â

Â

VM# time xfs_db -r -c "frag" /dev/vdc1ÂÂ

actual 80103457, ideal 79500897, fragmentation factor 0.75%

realÂÂÂ 53m19.167s

userÂÂÂ 0m35.050s

sysÂÂÂÂ 3m35.390s

Â

Â

VM# xfs_db -r -c "frag -d" /dev/vdc1

actual 8947229, ideal 8406330, fragmentation factor 6.05%

Â

Â

VM# df -i /dev/vdc1

FilesystemÂÂÂÂÂÂÂÂ InodesÂÂÂÂ IUsedÂÂÂÂÂ IFree IUse% Mounted on

/dev/vdc1ÂÂÂÂÂ 6,442,426,368 152,347,297 6,290,079,071ÂÂÂ 3% /exports

Â

Â

VM# for i in `seq 0 $((16-1))`; do echo "freespace in ag$i"; xfs_db -r -c "freesp -s -a $i" /dev/vdc1 | grep "total free" | sed 's/^/ /g'; done

freespace in ag0

total free extents 611688

total free blocks 45590165

freespace in ag1

total free extents 606085

total free blocks 45576240

freespace in ag2

total free extents 606482

total free blocks 45571903

freespace in ag3

total free extents 604576

total free blocks 45572111

freespace in ag4

total free extents 74367

total free blocks 15129234

freespace in ag5

total free extents 172955

total free blocks 17015698

freespace in ag6

total free extents 176759

total free blocks 14716774

freespace in ag7

total free extents 170481

total free blocks 15031152

freespace in ag8

total free extents 173346

total free blocks 15677354

freespace in ag9

total free extents 177170

total free blocks 14914037

freespace in ag10

total free extents 169536

total free blocks 16267638

freespace in ag11

total free extents 173325

total free blocks 14618827

freespace in ag12

total free extents 174743

total free blocks 14634872

freespace in ag13

total free extents 173378

total free blocks 16412626

freespace in ag14

total free extents 171388

total free blocks 15198251

freespace in ag15

total free extents 170986

total free blocks 13790690

Â

Â

âWhat information should I include when reporting a problem?â

Â

Â

VM# uname -aÂ

Linux 3.8.13-55.1.2.el6uek.x86_64 #2 SMP Thu Dec 18 00:15:51 PST 2014 x86_64 x86_64 x86_64 GNU/Linux

Â

HV# uname -a

Linux 2.6.32-431.el6.x86_64 #1 SMP Wed Nov 20 23:56:07 PST 2013 x86_64 x86_64 x86_64 GNU/Linux

Â

Â

VM# xfs_repair -V

xfs_repair version 3.1.11

Â

Â

VM# dmidecode |grep -A3 Product

ÂÂÂÂÂÂÂ Product Name: KVM

ÂÂÂÂÂÂÂ Version: RHEL 6.5.0 PC

Â

Â

HV# dmidecode |egrep -A4 "Product|Processor"

ÂÂÂÂÂÂÂ Product Name: SUN SERVER X4-2LÂÂÂÂÂ

Processor Information

ÂÂÂÂÂÂÂ Socket Designation: P0

ÂÂÂÂÂÂÂ Family: Xeon

ÂÂÂÂÂÂÂ Signature: Type 0, Family 6, Model 62, Stepping 4

Processor Information

ÂÂÂÂÂÂÂ Socket Designation: P1

ÂÂÂÂÂÂÂ Family: Xeon

ÂÂÂÂÂÂÂ Signature: Type 0, Family 6, Model 62, Stepping 4

Â

Â

VM# cat /proc/cpuinfo (Total of 16 virtual cpuâs all with the same settings as cpu 0 below.)

processorÂÂÂÂÂÂ : 0

vendor_idÂÂÂÂÂÂ : GenuineIntel

cpu familyÂÂÂÂÂ : 6

modelÂÂÂÂÂÂÂÂÂÂ : 13

model nameÂÂÂÂÂ : QEMU Virtual CPU version (cpu64-rhel6)

steppingÂÂÂÂÂÂÂ : 3

microcodeÂÂÂÂÂÂ : 0x1

cpu MHzÂÂÂÂÂÂÂÂ : 2693.508

cache sizeÂÂÂÂÂ : 4096 KB

fpuÂÂÂÂÂÂÂÂÂÂÂÂ : yes

fpu_exceptionÂÂ : yes

cpuid levelÂÂÂÂ : 4

wpÂÂÂÂÂÂÂÂÂÂÂÂÂ : yes

flagsÂÂÂÂÂÂÂÂÂÂ : fpu de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pse36 clflush mmx fxsr sse sse2 syscall nx lm nopl pni cx16 hypervisor lahf_lm

bogomipsÂÂÂÂÂÂÂ : 5387.01

clflush sizeÂÂÂ : 64

cache_alignment : 64

address sizesÂÂ : 46 bits physical, 48 bits virtual

power management:

Â

Â

VM# cat /proc/meminfo

MemTotal:ÂÂÂÂÂÂ 49463428 kB

MemFree:ÂÂÂÂÂÂÂÂÂ 931832 kB

Buffers:ÂÂÂÂÂÂÂÂÂÂ 81504 kB

Cached:ÂÂÂÂÂÂÂÂ 16499856 kB

SwapCached:ÂÂÂÂÂÂÂÂÂÂÂ 0 kB

Active:ÂÂÂÂÂÂÂÂ 21534272 kB

Inactive:ÂÂÂÂÂÂ 10518940 kB

Active(anon):ÂÂ 13615056 kB

Inactive(anon):Â 1859060 kB

Active(file):ÂÂÂ 7919216 kB

Inactive(file):Â 8659880 kB

Unevictable:ÂÂÂÂÂÂÂÂÂÂ 0 kB

Mlocked:ÂÂÂÂÂÂÂÂÂÂÂÂÂÂ 0 kB

SwapTotal:ÂÂÂÂÂÂ 2096124 kB

SwapFree:ÂÂÂÂÂÂÂ 2096124 kB

Dirty:ÂÂÂÂÂÂÂÂÂÂÂ 117192 kB

Writeback:ÂÂÂÂÂÂÂÂÂÂÂÂ 0 kB

AnonPages:ÂÂÂÂÂ 15468324 kB

Mapped:ÂÂÂÂÂÂÂÂÂÂÂ 39484 kB

Shmem:ÂÂÂÂÂÂÂÂÂÂÂÂÂ 3888 kB

Slab:ÂÂÂÂÂÂÂÂÂÂÂ 7883016 kB

SReclaimable:ÂÂÂ 6149288 kB

SUnreclaim:ÂÂÂÂÂ 1733728 kB

KernelStack:ÂÂÂÂÂÂ 11000 kB

PageTables:ÂÂÂÂÂÂ 180756 kB

NFS_Unstable:ÂÂÂÂÂÂÂÂÂ 0 kB

Bounce:ÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂ 0 kB

WritebackTmp:ÂÂÂÂÂÂÂÂÂ 0 kB

CommitLimit:ÂÂÂ 26827836 kB

Committed_AS:ÂÂ 21133332 kB

VmallocTotal:ÂÂ 34359738367 kB

VmallocUsed:ÂÂÂÂÂ 112668 kB

VmallocChunk:ÂÂ 34359623568 kB

HardwareCorrupted:ÂÂÂÂ 0 kB

HugePages_Total:ÂÂÂÂÂÂ 0

HugePages_Free:ÂÂÂÂÂÂÂ 0

HugePages_Rsvd:ÂÂÂÂÂÂÂ 0

HugePages_Surp:ÂÂÂÂÂÂÂ 0

Hugepagesize:ÂÂÂÂÂÂ 2048 kB

DirectMap4k:ÂÂÂÂÂÂ 10224 kB

DirectMap2M:ÂÂÂ 50321408 kB

Â

Â

VM# cat /proc/mounts

rootfs / rootfs rw 0 0

proc /proc proc rw,relatime 0 0

sysfs /sys sysfs rw,relatime 0 0

devtmpfs /dev devtmpfs rw,relatime,size=24719668k,nr_inodes=6179917,mode=755 0 0

devpts /dev/pts devpts rw,relatime,gid=5,mode=620,ptmxmode=000 0 0

tmpfs /dev/shm tmpfs rw,relatime 0 0

/dev/vda3 / ext3 rw,relatime,errors=continue,user_xattr,acl,barrier=1,data="" 0 0

proc /rhel3/proc proc rw,relatime 0 0

/dev/vda5 /tmp ext3 rw,relatime,errors=continue,user_xattr,acl,barrier=1,data="" 0 0

/dev/vda1 /boot ext3 rw,relatime,errors=continue,user_xattr,acl,barrier=1,data="" 0 0

/dev/vdc1 /exports xfs rw,noatime,attr2,inode32,nobarrier,logbsize=256k,sunit=512,swidth=11264,noquota 0 0

/dev/vdb1 /mnt xfs rw,noatime,attr2,inode32,nobarrier,logbsize=256k,sunit=512,swidth=11264,noquota 0 0

/dev/vdc1 /www xfs rw,noatime,attr2,inode32,nobarrier,logbsize=256k,sunit=512,swidth=11264,noquota 0 0

/dev/vdc1 /rhel3/www xfs rw,noatime,attr2,inode32,nobarrier,logbsize=256k,sunit=512,swidth=11264,noquota 0 0

/dev/vdc1 /chroot xfs rw,noatime,attr2,inode32,nobarrier,logbsize=256k,sunit=512,swidth=11264,noquota 0 0

/dev/vdc1 /home xfs rw,noatime,attr2,inode32,nobarrier,logbsize=256k,sunit=512,swidth=11264,noquota 0 0

/dev/vdc1 /nfscommon xfs rw,noatime,attr2,inode32,nobarrier,logbsize=256k,sunit=512,swidth=11264,noquota 0 0

/dev/vdc1 /opt xfs rw,noatime,attr2,inode32,nobarrier,logbsize=256k,sunit=512,swidth=11264,noquota 0 0

/dev/vdc1 /scratch xfs rw,noatime,attr2,inode32,nobarrier,logbsize=256k,sunit=512,swidth=11264,noquota 0 0

none /proc/sys/fs/binfmt_misc binfmt_misc rw,relatime 0 0

sunrpc /var/lib/nfs/rpc_pipefs rpc_pipefs rw,relatime 0 0

nfsd /proc/fs/nfsd nfsd rw,relatime 0 0

10.140.110.106:/export/nfs/qa /nfs/qa nfs rw,noatime,nodiratime,vers=3,rsize=32768,wsize=32768,namlen=255,hard,nocto,noacl,proto=tcp,timeo=600,retrans=2,sec=sys,mountaddr=10.140.110.106,mountvers=3,mountport=36653,mountproto=udp,local_lock=none,addr=10.140.110.106 0 0

10.140.110.106:/export/nfs/install /nfs/install nfs rw,noatime,nodiratime,vers=3,rsize=32768,wsize=32768,namlen=255,hard,nocto,noacl,proto=tcp,timeo=600,retrans=2,sec=sys,mountaddr=10.140.110.106,mountvers=3,mountport=36653,mountproto=udp,local_lock=none,addr=10.140.110.106 0 0

10.140.110.105:/export/home /nfs/users nfs rw,noatime,nodiratime,vers=3,rsize=32768,wsize=32768,namlen=255,hard,nocto,noacl,proto=tcp,timeo=600,retrans=2,sec=sys,mountaddr=10.140.110.105,mountvers=3,mountport=37692,mountproto=udp,local_lock=none,addr=10.140.110.105 0 0

10.140.110.105:/export/nfs/project /nfs/project nfs rw,noatime,nodiratime,vers=3,rsize=32768,wsize=32768,namlen=255,hard,nocto,noacl,proto=tcp,timeo=600,retrans=2,sec=sys,mountaddr=10.140.110.105,mountvers=3,mountport=37692,mountproto=udp,local_lock=none,addr=10.140.110.105 0 0

10.140.110.105:/export/nfs/data /nfs/data nfs rw,noatime,nodiratime,vers=3,rsize=32768,wsize=32768,namlen=255,hard,nocto,noacl,proto=tcp,timeo=600,retrans=2,sec=sys,mountaddr=10.140.110.105,mountvers=3,mountport=37692,mountproto=udp,local_lock=none,addr=10.140.110.105 0 0

none /sys/kernel/debug debugfs rw,relatime 0 0

Â

Â

VM# cat /proc/partitions

major minor #blocks name

Â

251ÂÂÂÂÂÂÂ 0Â 104857600 vda

251ÂÂÂÂÂÂÂ 1ÂÂÂÂ 204800 vda1

251ÂÂÂÂ ÂÂÂ2ÂÂÂ 2096128 vda2

251ÂÂÂÂÂÂÂ 3ÂÂ 16595968 vda3

251ÂÂÂÂÂÂÂ 4ÂÂÂÂÂÂÂÂÂ 1 vda4

251ÂÂÂÂÂÂÂ 5ÂÂ 85958656 vda5

251ÂÂÂÂÂÂ 16 6442450944 vdb

251ÂÂÂÂÂÂ 17 6442434560 vdb1

251ÂÂÂÂÂÂ 32 6442450944 vdc

251ÂÂÂÂÂÂ 33 6442426368 vdc1

Â

Â

VM# xfs_info /dev/vdc1

meta-data="" isize=256ÂÂÂ agcount=32, agsize=50331456 blks

ÂÂÂÂÂÂÂÂ =ÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂ sectsz=512ÂÂ attr=2, projid32bit=1

ÂÂÂÂÂÂÂÂ =ÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂ crc=0

dataÂÂÂÂ =ÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂ bsize=4096ÂÂ blocks=1610606592, imaxpct=25

ÂÂÂÂ ÂÂÂÂ=ÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂ sunit=64ÂÂÂÂ swidth=1408 blks

namingÂÂ =version 2ÂÂÂÂÂÂÂÂÂÂÂÂÂ bsize=4096ÂÂ ascii-ci=0

logÂÂÂÂÂ =internalÂÂÂÂÂÂÂÂÂÂÂÂÂÂ bsize=4096ÂÂ blocks=521728, version=2

ÂÂÂÂÂÂÂÂ =ÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂ sectsz=512ÂÂ sunit=64 blks, lazy-count=1

realtime =noneÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂ extsz=4096ÂÂ blocks=0, rtextents=0

Â

Â

VM# iostat -x -d -m 5

Linux 3.8.13-55.1.2.el6uek.x86_64 (hmswebdv01.int.dv.lan)ÂÂÂÂÂÂ 08/13/2015ÂÂÂÂÂ _x86_64_

Â

Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util

vdaÂÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.13ÂÂÂ 23.96ÂÂÂ 4.69ÂÂÂ 9.77ÂÂÂÂ 0.08ÂÂÂÂ 0.13ÂÂÂ 29.83ÂÂÂÂ 0.17ÂÂ 11.64ÂÂ 2.64ÂÂ 3.81

vda1ÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 0.01ÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 86.76ÂÂÂÂ 0.00ÂÂÂ 7.73ÂÂ 4.22ÂÂ 0.00

vda2ÂÂÂÂÂ ÂÂÂÂÂÂÂÂ0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 14.68ÂÂÂÂ 0.00ÂÂÂ 2.08ÂÂ 1.81ÂÂ 0.00

vda3ÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.13ÂÂÂ 19.58ÂÂÂ 4.65ÂÂÂ 8.29ÂÂÂÂ 0.08ÂÂÂÂ 0.11ÂÂÂ 29.68ÂÂÂÂ 0.15ÂÂ 11.36ÂÂ 2.79ÂÂ 3.60

vda4ÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 7.67ÂÂÂÂ 0.00ÂÂ 29.50Â 29.50ÂÂ 0.00

vda5ÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.01ÂÂÂÂ 4.37ÂÂÂ 0.04ÂÂÂ 1.44ÂÂÂÂ 0.00ÂÂÂÂ 0.02ÂÂÂ 32.06ÂÂÂÂ 0.02ÂÂ 14.22ÂÂ 2.41ÂÂ 0.35

vdbÂÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂ 36.47ÂÂÂ 0.13ÂÂÂÂ 0.28ÂÂÂÂ 0.04ÂÂÂ 17.96ÂÂÂÂ 0.11ÂÂÂ 3.09ÂÂ 2.87Â 10.50

vdb1ÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂ 36.47ÂÂÂ 0.13ÂÂÂÂ 0.28ÂÂÂÂ 0.04ÂÂÂ 17.96ÂÂÂÂ 0.11ÂÂÂ 3.09ÂÂ 2.87Â 10.50

vdcÂÂÂÂÂÂÂÂÂÂÂÂÂ 56.10ÂÂÂ 85.36Â 447.04Â 461.48ÂÂÂÂ 9.21ÂÂÂ 10.85ÂÂÂ 45.20ÂÂÂÂ 1.29ÂÂÂ 1.42ÂÂ 0.99Â 89.77

vdc1ÂÂÂÂÂÂÂÂÂÂÂÂ 56.10ÂÂÂ 85.36Â 447.04Â 461.48ÂÂÂÂ 9.21ÂÂÂ 10.85ÂÂÂ 45.20ÂÂÂÂ 1.28ÂÂÂ 1.42ÂÂ 0.99Â 89.77

Â

Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util

vdaÂÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂ 13.20ÂÂÂ 1.40ÂÂÂ 3.00ÂÂÂÂ 0.01ÂÂÂÂ 0.06ÂÂÂ 33.45ÂÂÂÂ 0.01ÂÂÂ 2.91ÂÂ 2.32ÂÂ 1.02

vda1ÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂ 0.00ÂÂ 0.00

vda2ÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂ 0.00ÂÂ 0.00

vda3ÂÂÂÂÂÂÂÂÂÂÂÂ Â0.00ÂÂÂ 10.00ÂÂÂ 1.40ÂÂÂ 2.60ÂÂÂÂ 0.01ÂÂÂÂ 0.05ÂÂÂ 29.60ÂÂÂÂ 0.01ÂÂÂ 3.20ÂÂ 2.55ÂÂ 1.02

vda4ÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂ 0.00ÂÂ 0.00

vda5ÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 3.20ÂÂÂ 0.00ÂÂÂ 0.40ÂÂÂÂ 0.00ÂÂÂÂ 0.01ÂÂÂ 72.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂ 0.00ÂÂ 0.00

vdbÂÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂ 0.00ÂÂ 0.00

vdb1ÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂ 0.00ÂÂ 0.00

vdcÂÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 0.00 1222.80ÂÂ 60.60ÂÂÂ 45.01ÂÂÂÂ 5.81ÂÂÂ 81.10ÂÂÂÂ 7.49ÂÂÂ 5.79ÂÂ 0.78 100.00

vdc1ÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 0.00 1222.80ÂÂ 60.60ÂÂÂ 45.01ÂÂÂÂ 5.81ÂÂÂ 81.10ÂÂÂÂ 7.49ÂÂÂ 5.79ÂÂ 0.78 100.00

Â

Device: rrqm/s wrqm/s r/s ÂÂw/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util

vdaÂÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂ 10.20ÂÂÂ 1.20ÂÂ 17.60ÂÂÂÂ 0.04ÂÂÂÂ 0.11ÂÂÂ 16.51ÂÂÂÂ 0.06ÂÂÂ 2.96ÂÂ 0.66ÂÂ 1.24

vda1ÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂ Â0.00ÂÂ 0.00ÂÂ 0.00

vda2ÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂ 0.00ÂÂ 0.00

vda3ÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 9.40ÂÂÂ 1.20ÂÂ 13.20ÂÂÂÂ 0.04ÂÂÂÂ 0.09ÂÂÂ 18.78ÂÂÂÂ 0.05ÂÂÂ 3.57ÂÂ 0.86ÂÂ 1.24

vda4ÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00Â ÂÂÂ0.00ÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂ 0.00ÂÂ 0.00

vda5ÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 0.80ÂÂÂ 0.00ÂÂÂ 4.20ÂÂÂÂ 0.00ÂÂÂÂ 0.02ÂÂÂÂ 9.52ÂÂÂÂ 0.00ÂÂÂ 1.00ÂÂ 0.05ÂÂ 0.02

vdbÂÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂ ÂÂ0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂ 0.00ÂÂ 0.00

vdb1ÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂ 0.00ÂÂ 0.00

vdcÂÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 0.40Â 928.00Â 432.40ÂÂÂ 23.05ÂÂÂ 13.05ÂÂÂ 54.35ÂÂÂÂ 9.65ÂÂÂ 7.14ÂÂ 0.74 100.00

vdc1Â ÂÂÂÂÂÂÂÂÂÂÂÂ0.00ÂÂÂÂ 0.40Â 928.00Â 432.40ÂÂÂ 23.05ÂÂÂ 13.05ÂÂÂ 54.35ÂÂÂÂ 9.65ÂÂÂ 7.14ÂÂ 0.74 100.00

Â

Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util

vdaÂÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 7.60ÂÂÂ 0.00ÂÂÂ 2.40Â ÂÂÂ0.00ÂÂÂÂ 0.04ÂÂÂ 32.00ÂÂÂÂ 0.10ÂÂ 41.67Â 16.33ÂÂ 3.92

vda1ÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂ 0.00ÂÂ 0.00

vda2ÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00Â Â0.00ÂÂ 0.00

vda3ÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 7.60ÂÂÂ 0.00ÂÂÂ 2.00ÂÂÂÂ 0.00ÂÂÂÂ 0.04ÂÂÂ 38.40ÂÂÂÂ 0.09ÂÂ 46.60Â 16.20ÂÂ 3.24

vda4ÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂ 0.00ÂÂ 0.00

vda5ÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂ 0.00ÂÂ 0.00

vdbÂÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂ 0.00ÂÂ 0.00

vdb1ÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00 ÂÂÂÂ0.00ÂÂÂ 0.00ÂÂ 0.00ÂÂ 0.00

vdcÂÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂ 293.20Â 352.20 1753.00ÂÂÂÂ 8.38ÂÂÂ 43.34ÂÂÂ 50.32ÂÂÂ 71.98ÂÂ 33.91ÂÂ 0.48 100.00

vdc1ÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂ 293.20Â 352.20 1753.00ÂÂÂÂ 8.38ÂÂÂ 43.34ÂÂÂ 50.32ÂÂÂ 71.98ÂÂ 33.91ÂÂ 0.48 100.00

Â

Device: ÂÂÂÂrrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util

vdaÂÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂ 15.00ÂÂÂ 1.20ÂÂÂ 6.40ÂÂÂÂ 0.04ÂÂÂÂ 0.08ÂÂÂ 32.00ÂÂÂÂ 0.42ÂÂ 55.29Â 23.24Â 17.66

vda1ÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂ 0.00ÂÂ 0.00

vda2ÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂ 0.00ÂÂ 0.00

vda3ÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂ 14.40ÂÂÂ 1.20ÂÂÂ 5.80ÂÂÂÂ 0.04ÂÂÂÂ 0.08ÂÂÂ 33.60ÂÂÂÂ 0.39ÂÂ 55.77Â 20.97Â 14.68

vda4ÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂ 0.00ÂÂ 0.00

vda5ÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 0.60ÂÂÂ 0.00ÂÂÂ 0.40ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 20.00ÂÂÂÂ 0.02ÂÂ 60.50Â 60.50ÂÂ 2.42

vdbÂÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂ 0.00ÂÂ 0.00

vdb1ÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂ 0.00ÂÂ 0.00

vdcÂÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.20ÂÂ 676.20ÂÂ 20.40 3131.60ÂÂÂÂ 0.20ÂÂÂ 26.83ÂÂÂ 17.56ÂÂ 144.45ÂÂ 45.74ÂÂ 0.32 100.00

vdc1ÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.20ÂÂ 676.20ÂÂ 20.40 3131.60ÂÂÂÂ 0.20ÂÂÂ 26.83ÂÂÂ 17.56ÂÂ 144.45ÂÂ 45.74ÂÂ 0.32 100.00

Â

Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util

vdaÂÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 3.60ÂÂÂ 2.80ÂÂÂ 2.60ÂÂÂÂ 0.02ÂÂÂÂ 0.02ÂÂÂ 17.78ÂÂÂÂ 0.48ÂÂ 89.63Â 52.41Â 28.30

vda1ÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂ 0.00ÂÂ 0.00

vda2ÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂ 0.00ÂÂ 0.00

vda3ÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 3.60ÂÂÂ 2.80ÂÂÂ 2.60ÂÂÂÂ 0.02ÂÂÂÂ 0.02ÂÂÂ 17.78ÂÂÂÂ 0.48ÂÂ 89.63Â 52.41Â 28.30

vda4ÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂ 0.00ÂÂ 0.00

vda5ÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂ 0.00ÂÂ 0.00

vdbÂÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂ 0.00ÂÂ 0.00

vdb1ÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂ 0.00ÂÂ 0.00

vdcÂÂÂÂÂÂÂÂÂÂÂÂÂÂ 1.40ÂÂ 518.00ÂÂ 51.80 3012.00ÂÂÂÂ 0.62ÂÂÂ 25.65ÂÂÂ 17.56ÂÂ 149.01ÂÂ 48.58ÂÂ 0.33 100.00

vdc1ÂÂÂÂÂÂÂÂÂÂÂÂÂ 1.40ÂÂ 518.00ÂÂ 51.80 3012.00ÂÂÂÂ 0.62ÂÂÂ 25.65ÂÂÂ 17.56ÂÂ 149.01ÂÂ 48.58ÂÂ 0.33 100.00

Â

Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util

vdaÂÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 2.60ÂÂÂ 0.00ÂÂÂ 2.20ÂÂÂÂ 0.00ÂÂÂÂ 0.02ÂÂÂ 16.73ÂÂÂÂ 0.05ÂÂ 22.73Â 19.91ÂÂ 4.38

vda1ÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂ Â0.00ÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂ 0.00ÂÂ 0.00

vda2ÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂ 0.00ÂÂ 0.00

vda3ÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 2.60ÂÂÂ 0.00ÂÂÂ 2.00ÂÂÂÂ 0.00ÂÂÂÂ 0.02ÂÂÂ 18.40ÂÂÂÂ 0.02ÂÂÂ 9.60ÂÂ 6.50ÂÂ 1.30

vda4ÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂ 0.00ÂÂ 0.00

vda5ÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂ 0.00ÂÂ 0.00

vdbÂÂÂ ÂÂÂÂÂÂÂÂÂÂÂ0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂ 0.00ÂÂ 0.00

vdb1ÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂ 0.00ÂÂ 0.00

vdcÂÂÂÂÂÂÂÂÂÂÂÂÂÂ 3.40ÂÂÂ 62.00ÂÂ 65.40 1936.20ÂÂÂ Â1.84ÂÂÂÂ 9.35ÂÂÂ 11.45ÂÂ 153.92ÂÂ 76.42ÂÂ 0.50 100.00

vdc1ÂÂÂÂÂÂÂÂÂÂÂÂÂ 3.40ÂÂÂ 62.00ÂÂ 65.40 1936.20ÂÂÂÂ 1.84ÂÂÂÂ 9.35ÂÂÂ 11.45ÂÂ 153.92ÂÂ 76.42ÂÂ 0.50 100.00

Â

Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util

vdaÂÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 3.80ÂÂÂ 0.20ÂÂÂ 2.80ÂÂÂÂ 0.00ÂÂÂÂ 0.02ÂÂÂ 17.07ÂÂÂÂ 0.17ÂÂ 55.47Â 30.87ÂÂ 9.26

vda1ÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂ 0.00ÂÂ 0.00

vda2ÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 0.00 ÂÂÂ0.00ÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂ 0.00ÂÂ 0.00

vda3ÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 3.80ÂÂÂ 0.20ÂÂÂ 2.40ÂÂÂÂ 0.00ÂÂÂÂ 0.02ÂÂÂ 19.69ÂÂÂÂ 0.15ÂÂ 58.69Â 30.31ÂÂ 7.88

vda4ÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00Â ÂÂÂ0.00ÂÂÂ 0.00ÂÂ 0.00ÂÂ 0.00

vda5ÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂ 0.00ÂÂ 0.00

vdbÂÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂ 0.00ÂÂ 0.00

vdb1ÂÂÂÂÂÂÂÂÂ ÂÂÂÂ0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂ 0.00ÂÂ 0.00

vdcÂÂÂÂÂÂÂÂÂÂÂÂÂÂ 1.00ÂÂ 224.20Â 379.20 1752.60ÂÂÂÂ 5.32ÂÂÂ 14.94ÂÂÂ 19.46ÂÂ 100.70ÂÂ 47.71ÂÂ 0.47 100.00

vdc1ÂÂÂÂÂÂÂÂÂÂÂÂÂ 1.00ÂÂ 224.20Â 379.20 1752.60ÂÂÂÂ 5.32Â ÂÂ14.94ÂÂÂ 19.46ÂÂ 100.70ÂÂ 47.71ÂÂ 0.47 100.00

Â

Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util

vdaÂÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂ 15.00ÂÂÂ 3.20ÂÂÂ 7.00ÂÂÂÂ 0.04ÂÂÂÂ 0.09ÂÂÂ 25.25ÂÂÂÂ 0.04ÂÂÂ 4.29ÂÂ 2.49ÂÂ 2.54

vda1ÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂ 0.00ÂÂ 0.00

vda2ÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂ 0.00ÂÂ 0.00

vda3ÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂ 15.00ÂÂÂ 3.20ÂÂÂ 6.80ÂÂÂÂ 0.04ÂÂÂÂ 0.09ÂÂÂ 25.76ÂÂÂÂ 0.04ÂÂÂ 4.38ÂÂ 2.54ÂÂ 2.54

vda4ÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂ 0.00ÂÂ 0.00

vda5ÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂ 0.00ÂÂ 0.00

vdbÂÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂ 0.00ÂÂ 0.00

vdb1ÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂ 0.00ÂÂ 0.00

vdcÂÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.40ÂÂÂ 45.00Â 390.60 1060.60ÂÂÂÂ 8.16ÂÂÂÂ 8.61ÂÂÂ 23.66ÂÂÂ 80.59ÂÂ 56.24ÂÂ 0.68Â 99.20

vdc1ÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.40ÂÂÂ 45.00Â 390.60 1060.60ÂÂÂÂ 8.16ÂÂÂÂ 8.61ÂÂÂ 23.66ÂÂÂ 80.59ÂÂ 56.24ÂÂ 0.68Â 99.20

Â

Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util

vdaÂÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂ 91.40ÂÂÂ 3.00ÂÂ 48.20ÂÂÂÂ 0.03ÂÂÂÂ 0.55ÂÂÂ 23.00ÂÂÂÂ 0.11ÂÂÂ 2.20ÂÂ 0.33ÂÂ 1.70

vda1ÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂ 0.00ÂÂ 0.00

vda2ÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂ 0.00ÂÂ 0.00

vda3ÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂ 66.00ÂÂÂ 3.00ÂÂ 38.40ÂÂÂÂ 0.03ÂÂÂÂ 0.41ÂÂÂ 21.64ÂÂÂÂ 0.10ÂÂÂ 2.34ÂÂ 0.41ÂÂ 1.68

vda4ÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂ 0.00ÂÂ 0.00

vda5ÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂ 25.40ÂÂÂ 0.00ÂÂÂ 9.80ÂÂÂÂ 0.00ÂÂÂÂ 0.14ÂÂÂ 28.73ÂÂÂÂ 0.02ÂÂÂ 1.61ÂÂ 0.08ÂÂ 0.08

vdbÂÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂ 0.00ÂÂ 0.00

vdb1ÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂ 0.00ÂÂ 0.00

vdcÂÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 0.20Â 863.60Â 191.60ÂÂÂ 30.72ÂÂÂ 13.77ÂÂÂ 86.35ÂÂÂÂ 6.17ÂÂÂ 5.85ÂÂ 0.95Â 99.86

vdc1ÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂ ÂÂ0.20Â 863.60Â 191.60ÂÂÂ 30.72ÂÂÂ 13.77ÂÂÂ 86.35ÂÂÂÂ 6.17ÂÂÂ 5.85ÂÂ 0.95Â 99.86

Â

Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util

vdaÂÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂ 32.20ÂÂÂ 0.00ÂÂ 13.80ÂÂÂÂ 0.00ÂÂÂÂ 0.18ÂÂ Â26.55ÂÂÂÂ 1.20ÂÂ 86.84ÂÂ 6.93ÂÂ 9.56

vda1ÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂ 0.00ÂÂ 0.00

vda2ÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂ 0.00ÂÂ 0.00

vda3Â ÂÂÂÂÂÂÂÂÂÂÂÂ0.00ÂÂÂ 32.20ÂÂÂ 0.00ÂÂ 13.60ÂÂÂÂ 0.00ÂÂÂÂ 0.18ÂÂÂ 26.94ÂÂÂÂ 1.20ÂÂ 88.10ÂÂ 7.01ÂÂ 9.54

vda4ÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂ 0.00ÂÂ 0.00

vda5ÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂ 0.00ÂÂ ÂÂ0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂ 0.00ÂÂ 0.00

vdbÂÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂ 0.00ÂÂ 0.00

vdb1ÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂ 0.00ÂÂ 0.00

vdcÂÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 0.60Â 791.00Â 359.00ÂÂÂ 16.53ÂÂÂ 36.44ÂÂÂ 94.34ÂÂÂ 25.17ÂÂ 21.87ÂÂ 0.87 100.00

vdc1ÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 0.60Â 791.00Â 359.00ÂÂÂ 16.53ÂÂÂ 36.44ÂÂÂ 94.34ÂÂÂ 25.17ÂÂ 21.87ÂÂ 0.87 100.00

Â

Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util

vdaÂÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂ 16.80ÂÂÂ 0.80ÂÂ 23.00ÂÂÂÂ 0.00ÂÂÂÂ 0.15ÂÂÂ 13.58ÂÂÂÂ 0.03ÂÂÂ 1.08ÂÂ 0.24ÂÂ 0.58

vda1ÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00 ÂÂÂÂ0.00ÂÂÂ 0.00ÂÂ 0.00ÂÂ 0.00

vda2ÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂ 0.00ÂÂ 0.00

vda3ÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂ 11.00ÂÂÂ 0.80ÂÂ 17.20ÂÂÂÂ 0.00ÂÂÂÂ 0.11ÂÂÂ 12.98ÂÂÂÂ 0.02ÂÂÂ 1.26ÂÂ 0.31ÂÂ 0.56

vda4ÂÂÂÂÂÂÂÂ ÂÂÂÂÂ0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂ 0.00ÂÂ 0.00

vda5ÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 5.80ÂÂÂ 0.00ÂÂÂ 5.40ÂÂÂÂ 0.00ÂÂÂÂ 0.04ÂÂÂ 16.59ÂÂÂÂ 0.00ÂÂÂ 0.59ÂÂ 0.07ÂÂ 0.04

vdbÂÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂÂ 0.00 ÂÂÂÂ0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂ 0.00ÂÂ 0.00

vdb1ÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂÂ 0.00ÂÂÂ 0.00ÂÂ 0.00ÂÂ 0.00

vdcÂÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 0.00 1143.40ÂÂ 12.40ÂÂÂ 40.78ÂÂÂÂ 3.05ÂÂÂ 77.67ÂÂÂÂ 6.23ÂÂÂ 5.39ÂÂ 0.87 100.02

vdc1ÂÂÂÂÂÂÂÂÂÂÂÂÂ 0.00ÂÂÂÂ 0.00 1143.40ÂÂ 12.40ÂÂÂ 40.78ÂÂÂÂ 3.05ÂÂÂ 77.67ÂÂÂÂ 6.23ÂÂÂ 5.39ÂÂ 0.87 100.02

Â

Â

VM# vmstat 5 12

procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu-----

r b swpd free buff cache si so bi bo in cs us sy id wa st

6Â 3ÂÂÂÂÂ 0 1022148Â 77808 16266636ÂÂÂ 0ÂÂÂ 0ÂÂ 618ÂÂ 712ÂÂÂ 0ÂÂÂ 0Â 4 10 80Â 6Â 0

4Â 1ÂÂÂÂÂ 0 1086272Â 77384 16232348ÂÂÂ 0ÂÂÂ 0 24294 39514 19557 15659Â 2 24 54 20Â 0

0Â 4ÂÂÂÂÂ 0 1079320Â 77324 16239100ÂÂÂ 0ÂÂÂ 0Â 4667 25202 8772 11317Â 1Â 5 74 20Â 0

3Â 3ÂÂÂÂÂ 0 1094136Â 77308 16234064ÂÂÂ 0ÂÂÂ 0Â 1102 27323 8101 12963Â 3Â 4 79 14Â 0

5 10ÂÂÂÂÂ 0 1178908Â 77296 16156332ÂÂÂ 0ÂÂÂ 0Â 1370 18625 9776 11009Â 1Â 8 64 27Â 0

4Â 5ÂÂÂÂÂ 0 1387024Â 77020 15991676ÂÂÂ 0ÂÂÂ 0 10094Â 3260 19037 14185Â 1 23 61 14Â 0

4Â 3ÂÂÂÂÂ 0 1300224Â 77028 15920712ÂÂÂ 0ÂÂÂ 0Â 3219 20062 17265 14902Â 7 18 63 12Â 0

1 11ÂÂÂÂÂ 0 1522772Â 77064 15796712ÂÂÂ 0ÂÂÂ 0Â 1095 23720 13740 15666Â 7 11 50 32Â 0

6Â 1ÂÂÂÂÂ 0 1557288Â 77172 15810492ÂÂÂ 0ÂÂÂ 0Â 4626 31199 16900 14040Â 6 18 53 23Â 0

5Â 2ÂÂÂÂÂ 0 1529284Â 77204 15850112ÂÂÂ 0ÂÂÂ 0Â 9396Â 6547 17183 13949Â 2 21 57 20Â 0

3Â 1ÂÂÂÂÂ 0 1480028Â 77212 15881516ÂÂÂ 0ÂÂÂ 0 10033Â 3002 20339 14766Â 1 26 64Â 9Â 0

6Â 2ÂÂÂÂÂ 0 1447844Â 77228 15915300ÂÂÂ 0ÂÂÂ 0 10855Â 4226 19170 14180Â 3 23 65Â 9Â 0

Â

Â

HV# /opt/MegaRAID/MegaCli/MegaCli64Â -LdPdInfo -a0

ÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂ

Adapter #0

Â

Number of Virtual Disks: 2

Virtual Drive: 0 (Target Id: 0)

NameÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂ :

RAID LevelÂÂÂÂÂÂÂÂÂ : Primary-6, Secondary-0, RAID Level Qualifier-3

SizeÂÂÂÂÂÂÂÂÂÂÂÂÂÂÂ : 45.998 GB

Parity SizeÂÂÂÂÂÂÂÂ : 4.181 GB

StateÂÂÂÂÂÂÂÂÂÂÂÂÂÂ : Optimal

Strip SizeÂÂÂÂÂÂÂÂÂ : 256 KB

Number Of DrivesÂÂÂ : 24

Span DepthÂÂÂÂÂÂÂÂÂ : 1

Default Cache Policy: WriteBack, ReadAhead, Direct, No Write Cache if Bad BBU

Current Cache Policy: WriteBack, ReadAhead, Direct, No Write Cache if Bad BBU

Default Access Policy: Read/Write

Current Access Policy: Read/Write

Disk Cache PolicyÂÂ : Disabled

Encryption TypeÂÂÂÂ : None

Is VD Cached: No

Number of Spans: 1

Span: 0 - Number of PDs: 24

Â

PD: 0 Information

Enclosure Device ID: 34

Slot Number: 0

Drive's postion: DiskGroup: 0, Span: 0, Arm: 0

Enclosure position: 0

Device Id: 35

WWN: 5000CCA01D350CC3

Sequence Number: 2

Media Error Count: 0

Other Error Count: 0

Predictive Failure Count: 0

Last Predictive Failure Event Seq Number: 0

PD Type: SAS

Raw Size: 1.090 TB [0x8bba0cb0 Sectors]

Non Coerced Size: 1.090 TB [0x8baa0cb0 Sectors]

Coerced Size: 1.089 TB [0x8b94f800 Sectors]

Firmware state: Online, Spun Up

Is Commissioned Spare : NO

Device Firmware Level: A600

Shield Counter: 0

Successful diagnostics completion on :Â N/A

SAS Address(0): 0x5000cca01d350cc1

SAS Address(1): 0x0

Connected Port Number: 0(path0)

Inquiry Data: HGSTÂÂÂ H101212SESUN1.2TA6001404DY5EPEÂÂÂÂÂÂÂÂÂ

FDE Enable: Disable

Secured: Unsecured

Locked: Unlocked

Needs EKM Attention: No

Foreign State: None

Device Speed: 6.0Gb/s

Link Speed: 6.0Gb/s

Media Type: Hard Disk Device

Drive Temperature :26C (78.80 F)

PI Eligibility:Â No

Drive is formatted for PI information:Â No

PI: No PI

Drive's write cache : Disabled

Port-0 :

Port status: Active

Port's Linkspeed: 6.0Gb/s

Port-1 :

Port status: Active

Port's Linkspeed: Unknown

Drive has flagged a S.M.A.R.T alert : No

Â

Â

KERNEL OPTIONS: Which of these kernels should I choose for the best XFS support for this issue?

Â

ÂÂÂÂ kernel-3.16.7-3.16.y.20141114.ol6.x86_64.rpmÂÂÂÂ 14-Nov-2014 17:55 27.7 M

ÂÂÂÂ kernel-3.17.3-3.17.y.20141114.ol6.x86_64.rpmÂÂÂÂ 14-Nov-2014 23:55 26.6 M

ÂÂÂÂ kernel-3.17.3-3.17.y.20141118.ol6.x86_64.rpmÂÂÂÂ 18-Nov-2014 09:13 26.6 M

ÂÂÂÂ kernel-3.17.8-3.17.y.20150113.ol6.x86_64.rpmÂÂÂÂ 14-Jan-2015 06:50 27.9 M

ÂÂÂÂ kernel-3.18.6-3.18.y.20150210.ol6.x86_64.rpmÂÂÂÂ 10-Feb-2015 09:52 30.9 M

ÂÂÂÂ kernel-3.18.7-3.18.y.20150217.ol6.x86_64.rpmÂÂÂÂ 17-Feb-2015 09:53 30.9 M

ÂÂÂÂ kernel-3.18.8-3.18.y.20150303.ol6.x86_64.rpmÂÂÂÂ 03-Mar-2015 09:55 30.9 M

ÂÂÂÂ kernel-3.19.5-3.19.y.20150421.ol6.x86_64.rpmÂÂÂÂ 22-Apr-2015 05:42 31.1 M

ÂÂÂÂ kernel-3.19.6-3.19.y.20150505.ol6.x86_64.rpmÂÂÂÂ 06-May-2015 05:41 29.8 M

ÂÂÂÂ kernel-3.19.8-3.19.y.20150512.ol6.x86_64.rpmÂÂÂÂ 13-May-2015 05:42 29.8 M

Â

Thank you for your time and comments.

Regards,

Pippin Wallace

Bozeman Montana

Â

Â

Â