<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
</head>
<body>
<p dir="ltr">Hi Marc,</p>
<p dir="ltr">Thanks for the suggestion.</p>
<p dir="ltr">Snapshots were my first suspect but there are none anywhere on the filesystem.</p>
<p dir="ltr">Cheers,<br>
Luke.</p>
<div class="gmail_quote">On 1 Jul 2016 5:30 pm, Marc A Kaplan &lt;makaplan@us.ibm.com&gt; wrote:<br type="attribution">
<blockquote class="quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div><font size="2" face="sans-serif">Question and Suggestion: &nbsp;Do you have any snapshots that might include files that were in the fileset you are attempting to delete? &nbsp;Deleting those snapshots will allow the fileset deletion to complete. &nbsp;The snapshots are
 kinda intertwined with what was the &quot;live&quot; copy of the inodes. In the GPFS &quot;ditto&quot; implementation of snapshotting, &nbsp;for a file that has not changed since the snapshot operation, the snapshot copy is not really a copy but just a pointer to the &quot;live&quot; file.
 &nbsp; So even after you have logically deleted the &quot;live&quot; files, the snapshot still points to those inodes you thought you deleted. &nbsp;Rather than invalidate the snapshot, (you wouldn't want that, would you?!) GPFS holds onto the inodes, until they are no longer
 referenced by any snapshot.<br>
</font><br>
<font size="2" face="sans-serif">--marc </font><br>
<br>
<br>
<br>
<font size="1" color="#5f5f5f" face="sans-serif">From: &nbsp; &nbsp; &nbsp; &nbsp;</font><font size="1" face="sans-serif">Luke Raimbach &lt;Luke.Raimbach@crick.ac.uk&gt;</font><br>
<font size="1" color="#5f5f5f" face="sans-serif">To: &nbsp; &nbsp; &nbsp; &nbsp;</font><font size="1" face="sans-serif">gpfsug main discussion list &lt;gpfsug-discuss@spectrumscale.org&gt;</font><br>
<font size="1" color="#5f5f5f" face="sans-serif">Date: &nbsp; &nbsp; &nbsp; &nbsp;</font><font size="1" face="sans-serif">07/01/2016 06:32 AM</font><br>
<font size="1" color="#5f5f5f" face="sans-serif">Subject: &nbsp; &nbsp; &nbsp; &nbsp;</font><font size="1" face="sans-serif">[gpfsug-discuss] Trapped Inodes</font><br>
<font size="1" color="#5f5f5f" face="sans-serif">Sent by: &nbsp; &nbsp; &nbsp; &nbsp;</font><font size="1" face="sans-serif">gpfsug-discuss-bounces@spectrumscale.org</font><br>
<hr noshade="">
<br>
<br>
<br>
<tt><font size="2">Hi All,<br>
<br>
I've run out of inodes on a relatively small filesystem. The total metadata capacity allows for a maximum of 188,743,680 inodes.<br>
<br>
A fileset containing 158,000,000 inodes was force deleted and has gone into a bad state, where it is reported as (NULL) and has state &quot;deleted&quot;:<br>
<br>
Attributes for fileset (NULL):<br>
===============================<br>
Status &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Deleted<br>
Path &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;--<br>
Id &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;15<br>
Root inode &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;latest:<br>
Parent Id &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &lt;none&gt;<br>
Created &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; Wed Jun 15 14:07:51 2016<br>
Comment<br>
Inode space &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 8<br>
Maximum number of inodes &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;158000000<br>
Allocated inodes &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;158000000<br>
Permission change flag &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;chmodAndSetacl<br>
afm-associated &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;No<br>
<br>
Offline mmfsck fixed a few problems, but didn't free these poor, trapped inodes. Now I've run out and mmdf is telling me crazy things like this:<br>
<br>
Inode Information<br>
-----------------<br>
Total number of used inodes in all Inode spaces: &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;0<br>
Total number of free inodes in all Inode spaces: &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 27895680<br>
Total number of allocated inodes in all Inode spaces: &nbsp; &nbsp; &nbsp;27895680<br>
Total of Maximum number of inodes in all Inode spaces: &nbsp; &nbsp; 34100000<br>
<br>
<br>
Current GPFS build: &quot;4.2.0.3&quot;.<br>
<br>
Who will help me rescue these inodes?<br>
<br>
Cheers,<br>
Luke.<br>
<br>
Luke Raimbach\u200b<br>
Senior HPC Data and Storage Systems Engineer,<br>
The Francis Crick Institute,<br>
Gibbs Building,<br>
215 Euston Road,<br>
London NW1 2BE.<br>
<br>
E: luke.raimbach@crick.ac.uk<br>
W: </font></tt><a href="  "><tt><font size="2">www.crick.ac.uk</font></tt></a><tt><font size="2"><br>
<br>
The Francis Crick Institute Limited is a registered charity in England and Wales no. 1140062 and a company registered in England and Wales no. 06885462, with its registered office at 215 Euston Road, London NW1 2BE.<br>
_______________________________________________<br>
gpfsug-discuss mailing list<br>
gpfsug-discuss at spectrumscale.org<br>
</font></tt><a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss"><tt><font size="2">http://gpfsug.org/mailman/listinfo/gpfsug-discuss</font></tt></a><tt><font size="2"><br>
</font></tt><br>
<br>
</div>
</blockquote>
</div>
<p style="color:rgb(112,113,115);font-family: 'Trebuchet MS', 'Lucida Grande'; font-style: italic; font-size: 10pt;">
The Francis Crick Institute Limited is a registered charity in England and Wales no. 1140062 and a company registered in England and Wales no. 06885462, with its registered office at 215 Euston Road, London NW1 2BE.
</p>
</body>
</html>