<div dir="ltr">Thanks Ben, Dave and Eric. <div><br></div><div style>Eric, </div><div style>>><span style="font-family:arial,sans-serif;font-size:13px">but I am wondering if there might be more information before this which is not in your trimmed logs.</span></div>

No, this was the first entry every time we have it in /var/log/messages. dmesg also holds the same. After reboot, it simply fixes without anyone doing anything.<div><br></div><div style>The Linux we are running is definitely amazon baked one, looks like this - </div>

<div style><div style="font-family:arial,sans-serif;font-size:13px"><font color="#000000"><span style="white-space:pre-wrap"><font face="courier new, monospace">$~: <span class="">uname</span> -a
Linux ip-100-0-100-1 3.2.34-55.46.amzn1.x86_64 #1 SMP Tue Nov 20 10:06:15 UTC 2012 x86_64 x86_64 x86_64 GNU/Linux</font></span></font></div><div style="font-family:arial,sans-serif;font-size:13px"><font color="#000000"><span style="white-space:pre-wrap"><font face="courier new, monospace"><br>

</font></span></font></div><div style="font-family:arial,sans-serif;font-size:13px"><span style="font-family:arial;font-size:small"> - dmesg shows something like this after repairing/rebooting - </span></div><div style="font-family:arial,sans-serif;font-size:13px">

<span style="font-family:arial;font-size:small"><br></span></div><div><div>[    8.414176] SGI XFS with ACLs, security attributes, realtime, large block/inode numbers, no debug enabled</div><div>[    8.415342] SGI XFS Quota Management subsystem</div>

<div>[    8.417664] XFS (md0): Mounting Filesystem</div><div>[    8.771553] XFS (md0): Starting recovery (logdev: internal)</div><div>[    9.977325] XFS (md0): Ending recovery (logdev: internal)</div><div style="font-family:arial;font-size:small">

<br></div></div><div style="font-family:arial,sans-serif;font-size:13px"><span style="font-family:arial;font-size:small">Check the first line there, it says no debug enabled. How good/bad is this debug mode in production environments? We are not getting any corruption in our local/test environments, in production, we are getting it once on every third day.</span></div>

<div style="font-family:arial,sans-serif;font-size:13px"><span style="font-family:arial;font-size:small"><br></span></div><div style="font-family:arial,sans-serif;font-size:13px"><span style="font-family:arial;font-size:small">Dave, </span></div>

<div style="font-family:arial,sans-serif;font-size:13px"><span style="font-family:arial;font-size:small">You say unlinked inode list, but if that, it should have an entry in /var/log/messages, right?</span></div><div style="font-family:arial,sans-serif;font-size:13px">

<span style="font-family:arial;font-size:small">Anyway, how can we create this situation? By forcing multiple processes to write/delete files from small disk? Since we are still unaware of what is causing this issue, reproducing it in local/production environment is just shooting in dark... :(</span><br>

</div><div style="font-family:arial,sans-serif;font-size:13px"><span style="font-family:arial;font-size:small"><br></span></div><div style>Does turning up the error level affect the data in any way? Or is it *just* detailed good logging while being sensitive to all small errors?</div>

<div style><br></div><div style><br></div><div style>Really appreciate the support that you devs are giving which really is the job of AWS support... I so wish they had some helpful and knowledgeable people in support.</div>

<div style><br></div><div style><br></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Thu, Mar 14, 2013 at 5:12 AM, Dave Chinner <span dir="ltr"><<a href="mailto:david@fromorbit.com" target="_blank">david@fromorbit.com</a>></span> wrote:<br>

<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div class="im">On Wed, Mar 13, 2013 at 01:56:35PM -0500, Eric Sandeen wrote:<br>
> XFS (md0): xfs_iunlink_remove: xfs_itobp() returned error 117.<br>
<br>
</div>Corrupted unlinked inode list. You need to run xfs_repair to fix<br>
this.<br>
<br>
Chers,<br>
<br>
Dave.<br>
<span class="HOEnZb"><font color="#888888">--<br>
Dave Chinner<br>
<a href="mailto:david@fromorbit.com">david@fromorbit.com</a><br>
</font></span></blockquote></div><br><br clear="all"><div><br></div>-- <br><font face="'courier new', monospace" color="#666666">Regards</font><div><b><font face="'courier new', monospace" color="#666666">Shrinath.M</font></b></div>

<div><br></div>
</div></div>