<font size=2 face="sans-serif">Question and Suggestion: &nbsp;Do you have
any snapshots that might include files that were in the fileset you are
attempting to delete? &nbsp;Deleting those snapshots will allow the fileset
deletion to complete. &nbsp;The snapshots are kinda intertwined with what
was the &quot;live&quot; copy of the inodes. In the GPFS &quot;ditto&quot;
implementation of snapshotting, &nbsp;for a file that has not changed since
the snapshot operation, the snapshot copy is not really a copy but just
a pointer to the &quot;live&quot; file. &nbsp; So even after you have logically
deleted the &quot;live&quot; files, the snapshot still points to those
inodes you thought you deleted. &nbsp;Rather than invalidate the snapshot,
(you wouldn't want that, would you?!) GPFS holds onto the inodes, until
they are no longer referenced by any snapshot.<br></font><br><font size=2 face="sans-serif">--marc </font><br><br><br><br><font size=1 color=#5f5f5f face="sans-serif">From: &nbsp; &nbsp; &nbsp;
&nbsp;</font><font size=1 face="sans-serif">Luke Raimbach &lt;Luke.Raimbach@crick.ac.uk&gt;</font><br><font size=1 color=#5f5f5f face="sans-serif">To: &nbsp; &nbsp; &nbsp;
&nbsp;</font><font size=1 face="sans-serif">gpfsug main discussion
list &lt;gpfsug-discuss@spectrumscale.org&gt;</font><br><font size=1 color=#5f5f5f face="sans-serif">Date: &nbsp; &nbsp; &nbsp;
&nbsp;</font><font size=1 face="sans-serif">07/01/2016 06:32 AM</font><br><font size=1 color=#5f5f5f face="sans-serif">Subject: &nbsp; &nbsp;
&nbsp; &nbsp;</font><font size=1 face="sans-serif">[gpfsug-discuss]
Trapped Inodes</font><br><font size=1 color=#5f5f5f face="sans-serif">Sent by: &nbsp; &nbsp;
&nbsp; &nbsp;</font><font size=1 face="sans-serif">gpfsug-discuss-bounces@spectrumscale.org</font><br><hr noshade><br><br><br><tt><font size=2>Hi All,<br><br>I've run out of inodes on a relatively small filesystem. The total metadata
capacity allows for a maximum of 188,743,680 inodes.<br><br>A fileset containing 158,000,000 inodes was force deleted and has gone
into a bad state, where it is reported as (NULL) and has state &quot;deleted&quot;:<br><br>Attributes for fileset (NULL):<br>===============================<br>Status &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Deleted<br>Path &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;--<br>Id &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;15<br>Root inode &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;latest:<br>Parent Id &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &lt;none&gt;<br>Created &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; Wed Jun 15 14:07:51 2016<br>Comment<br>Inode space &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 8<br>Maximum number of inodes &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp;158000000<br>Allocated inodes &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp;158000000<br>Permission change flag &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp;chmodAndSetacl<br>afm-associated &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;No<br><br>Offline mmfsck fixed a few problems, but didn't free these poor, trapped
inodes. Now I've run out and mmdf is telling me crazy things like this:<br><br>Inode Information<br>-----------------<br>Total number of used inodes in all Inode spaces: &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;0<br>Total number of free inodes in all Inode spaces: &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; 27895680<br>Total number of allocated inodes in all Inode spaces: &nbsp; &nbsp; &nbsp;27895680<br>Total of Maximum number of inodes in all Inode spaces: &nbsp; &nbsp; 34100000<br><br><br>Current GPFS build: &quot;4.2.0.3&quot;.<br><br>Who will help me rescue these inodes?<br><br>Cheers,<br>Luke.<br><br>Luke Raimbach\u200b<br>Senior HPC Data and Storage Systems Engineer,<br>The Francis Crick Institute,<br>Gibbs Building,<br>215 Euston Road,<br>London NW1 2BE.<br><br>E: luke.raimbach@crick.ac.uk<br>W: </font></tt><a href=www.crick.ac.uk><tt><font size=2>www.crick.ac.uk</font></tt></a><tt><font size=2><br><br>The Francis Crick Institute Limited is a registered charity in England
and Wales no. 1140062 and a company registered in England and Wales no.
06885462, with its registered office at 215 Euston Road, London NW1 2BE.<br>_______________________________________________<br>gpfsug-discuss mailing list<br>gpfsug-discuss at spectrumscale.org<br></font></tt><a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss"><tt><font size=2>http://gpfsug.org/mailman/listinfo/gpfsug-discuss</font></tt></a><tt><font size=2><br></font></tt><br><BR>