<div dir="ltr">Sorry I didn't dump the meta right after unmounting post-failure, I have dumped meta after a mount/umount, I'll share the meta to you soon.<br></div><div class="gmail_extra"><br><br><div class="gmail_quote">
2013/4/12 Eric Sandeen <span dir="ltr"><<a href="mailto:sandeen@sandeen.net" target="_blank">sandeen@sandeen.net</a>></span><br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div class="im">On 4/11/13 6:26 PM, Brian Foster wrote:<br>
> On 04/11/2013 03:11 PM, ·ûÓÀÌΠwrote:<br>
>> It happens tonight again on one of our servers, how to debug the root<br>
>> cause? Thank you.<br>
>><br>
><br>
> Hi,<br>
><br>
> I've attached a system tap script (stap -v xfs.stp) that should<br>
> hopefully print out a bit more data should the issue happen again. Do<br>
> you have a small enough number of nodes (or predictable enough pattern)<br>
> that you could run this on the nodes that tend to fail and collect the<br>
> output?<br>
><br>
> Also, could you collect an xfs_metadump of the filesystem in question<br>
> and make it available for download and analysis somewhere? I believe the<br>
> ideal approach is to mount/umount the filesystem first to replay the log<br>
> before collecting a metadump, but somebody could correct me on that (to<br>
> be safe, you could collect multiple dumps: pre-mount and post-mount).<br>
<br>
</div>Dave suggested yesterday that this would be best: metadump right<br>
after unmounting post-failure, then mount/umount & generate another metadump.<br>
<span class="HOEnZb"><font color="#888888"><br>
-Eric<br>
</font></span><div class="HOEnZb"><div class="h5"><br>
> Could you also describe your workload a little bit? Thanks.<br>
><br>
> Brian<br>
><br>
>> Apr 12 02:32:10 cqdx kernel: XFS (sdb): xfs_iunlink_remove:<br>
>> xfs_inotobp() returned error 22.<br>
>> Apr 12 02:32:10 cqdx kernel: XFS (sdb): xfs_inactive: xfs_ifree returned<br>
>> error 22<br>
>> Apr 12 02:32:10 cqdx kernel: XFS (sdb): xfs_do_force_shutdown(0x1)<br>
>> called from line 1184 of file fs/xfs/xfs_vnodeops.c.  Return address =<br>
>> 0xffffffffa02ee20a<br>
>> Apr 12 02:32:10 cqdx kernel: XFS (sdb): I/O Error Detected. Shutting<br>
>> down filesystem<br>
>> Apr 12 02:32:10 cqdx kernel: XFS (sdb): Please umount the filesystem and<br>
>> rectify the problem(s)<br>
>> Apr 12 02:32:19 cqdx kernel: XFS (sdb): xfs_log_force: error 5 returned.<br>
>> Apr 12 02:32:49 cqdx kernel: XFS (sdb): xfs_log_force: error 5 returned.<br>
>> Apr 12 02:33:19 cqdx kernel: XFS (sdb): xfs_log_force: error 5 returned.<br>
>> Apr 12 02:33:49 cqdx kernel: XFS (sdb): xfs_log_force: error 5 returned.<br>
>><br>
<br>
</div></div></blockquote></div><br><br clear="all"><br>-- <br>·ûÓÀÌÎ
</div>