<html><body><p>What version of Scale/ GPFS code is this cluster on ? <br><br>------------------------------------------<br>Sven Oehme <br>Scalable Storage Research <br>email: oehmes@us.ibm.com <br>Phone: +1 (408) 824-8904 <br>IBM Almaden Research Lab <br>------------------------------------------<br><br><img width="16" height="16" src="cid:1__=0FBB0A22DF848FAB8f9e8a93df938690918c0FB@" border="0" alt="Inactive hide details for Aaron Knister ---01/23/2017 01:31:29 AM---I was afraid someone would ask :) One possible use would be"><font color="#424282">Aaron Knister ---01/23/2017 01:31:29 AM---I was afraid someone would ask :) One possible use would be testing how monitoring reacts to and/or</font><br><br><font size="2" color="#5F5F5F">From:        </font><font size="2">Aaron Knister &lt;aaron.s.knister@nasa.gov&gt;</font><br><font size="2" color="#5F5F5F">To:        </font><font size="2">&lt;gpfsug-discuss@spectrumscale.org&gt;</font><br><font size="2" color="#5F5F5F">Date:        </font><font size="2">01/23/2017 01:31 AM</font><br><font size="2" color="#5F5F5F">Subject:        </font><font size="2">Re: [gpfsug-discuss] forcibly panic stripegroup everywhere?</font><br><font size="2" color="#5F5F5F">Sent by:        </font><font size="2">gpfsug-discuss-bounces@spectrumscale.org</font><br><hr width="100%" size="2" align="left" noshade style="color:#8091A5; "><br><br><br><tt>I was afraid someone would ask :)<br><br>One possible use would be testing how monitoring reacts to and/or <br>corrects stale filesystems.<br><br>The use in my case is there's an issue we see quite often where a <br>filesystem won't unmount when trying to shut down gpfs. Linux insists <br>its still busy despite every process being killed on the node just about <br>except init. It's a real pain because it complicates maintenance, <br>requiring a reboot of some nodes prior to patching for example.<br><br>I dug into it and it appears as though when this happens the <br>filesystem's mnt_count is ridiculously high (300,000+ in one case). I'm <br>trying to debug it further but I need to actually be able to make the <br>condition happen a few more times to debug it. A stripegroup panic isn't <br>a surefire way but it's the only way I've found so far to trigger this <br>behavior somewhat on demand.<br><br>One way I've found to trigger a mass stripegroup panic is to induce what <br>I call a &nbsp;&quot;301 error&quot;:<br><br>loremds07: Sun Jan 22 00:30:03.367 2017: [X] File System ttest unmounted <br>by the system with return code 301 reason code 0<br>loremds07: Sun Jan 22 00:30:03.368 2017: Invalid argument<br><br>and tickle a known race condition between nodes being expelled from the <br>cluster and a manager node joining the cluster. When this happens it <br>seems to cause a mass stripe group panic that's over in a few minutes. <br>The trick there is that it doesn't happen every time I go through the <br>exercise and when it does there's no guarantee the filesystem that <br>panics is the one in use. If it's not an fs in use then it doesn't help <br>me reproduce the error condition. I was trying to use the &quot;mmfsadm test <br>panic&quot; command to try a more direct approach.<br><br>Hope that helps shed some light.<br><br>-Aaron<br><br>On 1/22/17 8:16 PM, Andrew Beattie wrote:<br>&gt; Out of curiosity -- why would you want to?<br>&gt; Andrew Beattie<br>&gt; Software Defined Storage &nbsp;- IT Specialist<br>&gt; Phone: 614-2133-7927<br>&gt; E-mail: abeattie@au1.ibm.com &lt;</tt><tt><a href="mailto:abeattie@au1.ibm.com">mailto:abeattie@au1.ibm.com</a></tt><tt>&gt;<br>&gt;<br>&gt;<br>&gt;<br>&gt; &nbsp; &nbsp; ----- Original message -----<br>&gt; &nbsp; &nbsp; From: Aaron Knister &lt;aaron.s.knister@nasa.gov&gt;<br>&gt; &nbsp; &nbsp; Sent by: gpfsug-discuss-bounces@spectrumscale.org<br>&gt; &nbsp; &nbsp; To: gpfsug main discussion list &lt;gpfsug-discuss@spectrumscale.org&gt;<br>&gt; &nbsp; &nbsp; Cc:<br>&gt; &nbsp; &nbsp; Subject: [gpfsug-discuss] forcibly panic stripegroup everywhere?<br>&gt; &nbsp; &nbsp; Date: Mon, Jan 23, 2017 11:11 AM<br>&gt;<br>&gt; &nbsp; &nbsp; This is going to sound like a ridiculous request, but, is there a way to<br>&gt; &nbsp; &nbsp; cause a filesystem to panic everywhere in one &quot;swell foop&quot;? I'm assuming<br>&gt; &nbsp; &nbsp; the answer will come with an appropriate disclaimer of &quot;don't ever do<br>&gt; &nbsp; &nbsp; this, we don't support it, it might eat your data, summon cthulu, etc.&quot;.<br>&gt; &nbsp; &nbsp; I swear I've seen the fs manager initiate this type of operation before.<br>&gt;<br>&gt; &nbsp; &nbsp; I can seem to do it on a per-node basis with &quot;mmfsadm test panic &lt;fs&gt;<br>&gt; &nbsp; &nbsp; &lt;error code&gt;&quot; but if I do that over all 1k nodes in my test cluster at<br>&gt; &nbsp; &nbsp; once it results in about 45 minutes of almost total deadlock while each<br>&gt; &nbsp; &nbsp; panic is processed by the fs manager.<br>&gt;<br>&gt; &nbsp; &nbsp; -Aaron<br>&gt;<br>&gt; &nbsp; &nbsp; --<br>&gt; &nbsp; &nbsp; Aaron Knister<br>&gt; &nbsp; &nbsp; NASA Center for Climate Simulation (Code 606.2)<br>&gt; &nbsp; &nbsp; Goddard Space Flight Center<br>&gt; &nbsp; &nbsp; (301) 286-2776<br>&gt; &nbsp; &nbsp; _______________________________________________<br>&gt; &nbsp; &nbsp; gpfsug-discuss mailing list<br>&gt; &nbsp; &nbsp; gpfsug-discuss at spectrumscale.org<br>&gt; &nbsp; &nbsp; </tt><tt><a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss">http://gpfsug.org/mailman/listinfo/gpfsug-discuss</a></tt><tt><br>&gt;<br>&gt;<br>&gt;<br>&gt;<br>&gt;<br>&gt;<br>&gt; _______________________________________________<br>&gt; gpfsug-discuss mailing list<br>&gt; gpfsug-discuss at spectrumscale.org<br>&gt; </tt><tt><a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss">http://gpfsug.org/mailman/listinfo/gpfsug-discuss</a></tt><tt><br>&gt;<br><br>-- <br>Aaron Knister<br>NASA Center for Climate Simulation (Code 606.2)<br>Goddard Space Flight Center<br>(301) 286-2776<br>_______________________________________________<br>gpfsug-discuss mailing list<br>gpfsug-discuss at spectrumscale.org<br></tt><tt><a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss">http://gpfsug.org/mailman/listinfo/gpfsug-discuss</a></tt><tt><br><br></tt><br><br><BR>
</body></html>