<div dir="ltr">Hi,<div><br></div><div style>We are building a solution with a web front end for our users to store large files.</div><div style>Large files starting from the size of 500GB and above and can grow up to 1-2TB's per file.</div>
<div style>This is the reason we are trying out XFS to see if we can get a test system running.</div><div style><br></div><div style>We plan to use a 6+2 RAID6 to start off with. Then when it gets filled up to maybe 60-70% we will</div>
<div style>expand by adding another 6+2 RAID6 to the array.</div><div style>The max we can grow this configuration is up to 252TB usable which should be enough for a year.</div><div style>Our requirements might grow up to 2PB in 2 years time if all goes well.</div>
<div style><br></div><div style>So I have been testing all of this out on a VM running 3 vmdk's and using LVM to create a single logical volume of the 3 disks.</div><div style>I noticed that out of sdb, sdc and sdd, files keep getting written to sdc.</div>
<div style>This is probably due to our web app creating a single folder and all files are written under that folder.</div><div style>This is the nature of the Allocation Group of XFS? Is there a way to avoid this? As we will have files keep writing to the same disk thus creating a hot spot.</div>
<div style>Although it might not hurt us that much if we fill up a single RAID6 to 60-70% then adding another RAID6 to the mix. We could go up to a total of 14 RAID6 sets.</div><div style><br></div><div style>Is LVM a good choice of doing this configuration? Or do you have a better recommendation?</div>
<div style>The reason we thought LVM would be good was so that we could easily grow XFS.</div><div style><br></div><div style>Here is some info:</div><div style><br></div><div style><div># xfs_info /xfs</div><div>meta-data=/dev/mapper/vg_xfs-lv_xfs isize=256    agcount=4, agsize=32768000 blks</div>
<div>         =                       sectsz=512   attr=2</div><div>data     =                       bsize=4096   blocks=131072000, imaxpct=25</div><div>         =                       sunit=0      swidth=0 blks</div><div>
naming   =version 2              bsize=4096   ascii-ci=0</div><div>log      =external               bsize=4096   blocks=65536, version=2</div><div>         =                       sectsz=512   sunit=0 blks, lazy-count=1</div>
<div>realtime =none                   extsz=4096   blocks=0, rtextents=0</div><div><br></div><div><br></div><div style>Mount options:</div><div style><div>/dev/mapper/vg_xfs-lv_xfs on /xfs type xfs (rw,noatime,nodiratime,logdev=/dev/vg_xfs/lv_log_xfs,nobarrier,inode64,logbsize=262144,allocsize=512m)</div>
<div><br></div><div style>Is I was to use the 8-disk RAID6 array with a 256kB stripe size will have a sunit of 512 and a swidth of (8-2)*512=3072. </div><div># mkfs.xfs -d sunit=512,swidth=3072 /dev/mapper/vg_xfs-lv_xfs</div>
<div># mount -o remount,sunit=512,swidth=3072</div></div></div><div style>Correct?</div><div style><br></div><div style>What about the logdev option? What is the optimal size to create for it?</div><div style><br></div><div style>
Hope to get some guidance from you guru's please.</div><div style><br></div><div style>Thank you.</div><div style>Alvin</div><div style><br></div><div style><br></div><div style><br></div></div>