<div dir="ltr">Hi,<div><br></div><div>Friend of mine asked me about evaluation of XFS for their purposes. Currently I don't have physical access to their system, but here are the info I've got so far:</div><div><br></div><div>SAN:</div><div>- physical storage is from FSC array, thin provisioned raid 6 volume, </div><div>- volumes are 100TB+ in size<br></div><div>- there are SSD disks in the array, which potentially can be used for journal</div><div>- storage is connected to the host via 10GbE iSCSI</div><div><br></div><div>Host:</div><div>- They are using CentOS 6.5, with stock kernel 2.6.32-*</div><div>- System uses all default values, no optimization has beed done</div><div>- OS installed on SSD</div><div>- Don't know exact details of CPU, but I assume some recent multicore CPU</div><div>- Don't know amount of RAM installed, I assume 32GB+</div><div><br></div><div>NFS:</div><div>- they are exporting filesystem via NFS to 10-20 clients (services), some VMs, some bare metal</div><div>- clients are connected via 1GbE or 10GbE links</div><div><br></div><div>Workload:</div><div>- they are storing tens or hundreds of millions of small files</div><div>- files are not in single directory</div><div>- files are undek 1K, usually 200 - 500 bytes</div><div>- I assume, that some NFS clients constantly write files</div><div>- some NFS clients initiates massive reads, millions of random files</div><div>- those reads are on demand, but during peak hours there can be many of such requests</div><div><br></div><div>So far they were using Ext4, after some basic test they observed 40% improvement in application counters. But I'm afraid that those tests were done in environment not even close to the production (not so big size of filesystem, not so much files).</div><div><br></div><div>I want to ask you what would be best mkfs.xfs settings for such setup.<br></div><div><br></div><div>I assume, that they should use inode64 mount option for such large filesystem with that amount of files, but I'm a bit worried about compatibility with NFS (default shipped with CentOS 6.5). I think inode32 is totally out of scope here.</div><div><br></div><div>Any other hints for setting this stuff up?</div><div>Probably some recent OS/kernel would also help a lot, right?<br></div><div><br></div><div>Also, do you know any benchmark which can be used to simulate such workload? I've googled a lot, but there is quite short list of multi-threaded, small files oriented benchmarks. To be honest, I've found only <a href="https://github.com/bengland2/smallfile">https://github.com/bengland2/smallfile</a> to be close to what I need. Any other alternatives?</div><div><br></div><div>BR</div><div>Marcin</div><div><br></div><div><br></div><div><br></div><div><br></div></div>