<html xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<meta name="Generator" content="Microsoft Word 15 (filtered medium)">
<style><!--
/* Font Definitions */
@font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
        {font-family:Verdana;
        panose-1:2 11 6 4 3 5 4 4 2 4;}
@font-face
        {font-family:Aptos;
        panose-1:2 11 0 4 2 2 2 2 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0in;
        font-size:12.0pt;
        font-family:"Aptos",sans-serif;}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:blue;
        text-decoration:underline;}
span.EmailStyle18
        {mso-style-type:personal-reply;
        font-family:"Aptos",sans-serif;
        color:windowtext;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-size:10.0pt;
        mso-ligatures:none;}
@page WordSection1
        {size:8.5in 11.0in;
        margin:1.0in 1.0in 1.0in 1.0in;}
div.WordSection1
        {page:WordSection1;}
--></style>
</head>
<body lang="EN-US" link="blue" vlink="purple" style="word-wrap:break-word">
<div class="WordSection1">
<p class="MsoNormal"><span style="font-size:11.0pt">Yeah; you\u2019ll want to bump that up on the home fileset, something like:<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">mmchfileset cluster home --inode-limit 25000000<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">(that\u2019d give you a buffer of ~4.9 million inodes)<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">For the ones that show 0, those are dependent filesets (not independent) the inode allocations are tracked in the parent independent inode fileset.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">Best,<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p>&nbsp;</o:p></span></p>
<div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:&quot;Calibri&quot;,sans-serif;color:black">J.D. Maloney</span><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,sans-serif;color:black"><o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,sans-serif;color:black">Lead</span><span style="font-size:10.5pt;font-family:&quot;Calibri&quot;,sans-serif;color:black"> HPC Storage Engineer | Storage Enabling Technologies Group</span><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,sans-serif;color:black"><o:p></o:p></span></p>
</div>
</div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:&quot;Calibri&quot;,sans-serif;color:black">National Center for Supercomputing Applications (NCSA)</span><span style="font-size:11.0pt"><o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p>&nbsp;</o:p></span></p>
<div id="mail-editor-reference-message-container">
<div>
<div style="border:none;border-top:solid #B5C4DF 1.0pt;padding:3.0pt 0in 0in 0in">
<p class="MsoNormal" style="margin-bottom:12.0pt"><b><span style="color:black">From:
</span></b><span style="color:black">gpfsug-discuss &lt;gpfsug-discuss-bounces@gpfsug.org&gt; on behalf of Rob Kudyba &lt;rk3199@columbia.edu&gt;<br>
<b>Date: </b>Thursday, June 6, 2024 at 5:51</span><span style="font-family:&quot;Arial&quot;,sans-serif;color:black">\u202f</span><span style="color:black">PM<br>
<b>To: </b>gpfsug main discussion list &lt;gpfsug-discuss@gpfsug.org&gt;<br>
<b>Subject: </b>Re: [gpfsug-discuss] No space left on device, but plenty of quota space for inodes and blocks<o:p></o:p></span></p>
</div>
<div>
<div>
<div>
<p class="MsoNormal">I guess I have my answer:<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
</div>
<p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;">/usr/lpp/mmfs/bin/mmlsfileset cluster home -L<br>
Filesets in file system 'cluster':<br>
Name &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Id &nbsp; &nbsp; &nbsp;RootInode &nbsp;ParentId Created &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;InodeSpace &nbsp; &nbsp; &nbsp;MaxInodes &nbsp; &nbsp;AllocInodes Comment<br>
home &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 1 &nbsp; &nbsp; &nbsp; &nbsp;1048579 &nbsp; &nbsp; &nbsp; &nbsp; 0 Thu Nov 29 15:21:52 2018 &nbsp; &nbsp; &nbsp; &nbsp;1 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 20971520 &nbsp; &nbsp; &nbsp; 20971520&nbsp;</span><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
</div>
<div>
<p class="MsoNormal">However on some of the other filesets the AllocInodes is 0?<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;">/usr/lpp/mmfs/bin/mmlsfileset cluster groupa -L -i<br>
Collecting fileset usage information ...<br>
Filesets in file system 'moto':<br>
Name &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Id &nbsp; &nbsp; &nbsp;RootInode &nbsp;ParentId Created &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;InodeSpace &nbsp; &nbsp; &nbsp;MaxInodes &nbsp; &nbsp;AllocInodes &nbsp; &nbsp; UsedInodes Comment<br>
stats &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;8 &nbsp; &nbsp; &nbsp; &nbsp; 181207 &nbsp; &nbsp; &nbsp; &nbsp; 0 Fri Nov 30 12:27:25 2018 &nbsp; &nbsp; &nbsp; &nbsp;0 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;0 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;0 &nbsp; &nbsp; &nbsp; &nbsp;7628733&nbsp;</span><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
</div>
<div>
<p class="MsoNormal">Yes we realize it's old and it'll be retired at the end of 2024.<o:p></o:p></p>
</div>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<div>
<div>
<p class="MsoNormal">On Thu, Jun 6, 2024 at 6:15<span style="font-family:&quot;Arial&quot;,sans-serif">\u202f</span>PM Fred Stock &lt;<a href="mailto:stockf@us.ibm.com">stockf@us.ibm.com</a>&gt; wrote:<o:p></o:p></p>
</div>
<blockquote style="border:none;border-left:solid #CCCCCC 1.0pt;padding:0in 0in 0in 6.0pt;margin-left:4.8pt;margin-right:0in">
<div>
<div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span style="font-size:14.0pt;font-family:&quot;Arial&quot;,sans-serif">You should check the inode counts for each of the filesets using the mmlsfileset command.&nbsp; You should check the local
 disk space on all the nodes.</span><o:p></o:p></p>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span style="font-size:14.0pt;font-family:&quot;Arial&quot;,sans-serif">&nbsp;</span><o:p></o:p></p>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span style="font-size:14.0pt;font-family:&quot;Arial&quot;,sans-serif">I presume you are aware that Scale 4.2.3 has been out of support for 4 years.</span><o:p></o:p></p>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span style="font-size:14.0pt;font-family:&quot;Arial&quot;,sans-serif">&nbsp;</span><o:p></o:p></p>
<div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span style="font-family:&quot;Arial&quot;,sans-serif">Fred</span><o:p></o:p></p>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span style="font-family:&quot;Arial&quot;,sans-serif">&nbsp;</span><o:p></o:p></p>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span style="font-size:11.0pt;font-family:&quot;Verdana&quot;,sans-serif;color:#121212;background:white">Fred Stock, Spectrum Scale Development Advocacy</span><o:p></o:p></p>
<p class="MsoNormal" style="mso-margin-top-alt:auto;margin-bottom:12.0pt"><span style="font-size:11.0pt;font-family:&quot;Verdana&quot;,sans-serif;color:#121212;background:white"><a href="mailto:stockf@us.ibm.com" target="_blank"><span style="color:#0563C1">stockf@us.ibm.com</span></a>
 | 720-430-8821</span><o:p></o:p></p>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,sans-serif">&nbsp;</span><o:p></o:p></p>
</div>
</div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span style="font-size:14.0pt;font-family:&quot;Arial&quot;,sans-serif">&nbsp;</span><o:p></o:p></p>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span style="font-size:14.0pt;font-family:&quot;Arial&quot;,sans-serif">&nbsp;</span><o:p></o:p></p>
<div id="m_1864070822950688999mail-editor-reference-message-container">
<div>
<div style="border:none;border-top:solid windowtext 1.0pt;padding:3.0pt 0in 0in 0in;border-color:currentcolor currentcolor">
<p class="MsoNormal" style="mso-margin-top-alt:auto;margin-bottom:12.0pt"><b><span style="color:black">From:
</span></b><span style="color:black">gpfsug-discuss &lt;<a href="mailto:gpfsug-discuss-bounces@gpfsug.org" target="_blank">gpfsug-discuss-bounces@gpfsug.org</a>&gt; on behalf of Rob Kudyba &lt;<a href="mailto:rk3199@columbia.edu" target="_blank">rk3199@columbia.edu</a>&gt;<br>
<b>Date: </b>Thursday, June 6, 2024 at 5:39</span><span style="font-family:&quot;Arial&quot;,sans-serif;color:black">\u202f</span><span style="color:black">PM<br>
<b>To: </b>gpfsug main discussion list &lt;<a href="mailto:gpfsug-discuss@gpfsug.org" target="_blank">gpfsug-discuss@gpfsug.org</a>&gt;<br>
<b>Subject: </b>[EXTERNAL] Re: [gpfsug-discuss] No space left on device, but plenty of quota space for inodes and blocks</span><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span style="font-size:1.0pt;color:white">Are you seeing the issues across the whole file system or in certain areas? Only with accounts in GPFS, local accounts and root do not
 gt this. That sounds like inode exhaustion to me (and based on it not being block exhaustion as you\u2019ve demonstrated).</span><span style="font-size:1.0pt;font-family:&quot;Arial&quot;,sans-serif;color:white">\u200a</span><span style="font-size:1.0pt;color:white">
</span><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span style="font-size:1.0pt;color:white">ZjQcmQRYFpfptBannerStart</span><o:p></o:p></p>
</div>
<div id="m_1864070822950688999pfptBanner8op7xry">
<div id="m_1864070822950688999pfptBanner8op7xry">
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto;line-height:13.5pt;background:#D0D8DC">
<b><span lang="EN" style="font-family:&quot;Arial&quot;,sans-serif;color:black">This Message Is From an Untrusted Sender
</span></b><o:p></o:p></p>
</div>
<div id="m_1864070822950688999pfptBanner8op7xry">
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto;line-height:13.5pt;background:#D0D8DC">
<span lang="EN" style="font-family:&quot;Arial&quot;,sans-serif;color:black">You have not previously corresponded with this sender.
</span><o:p></o:p></p>
</div>
</div>
<div id="m_1864070822950688999pfptBanner8op7xry">
<div style="border:solid #666666 1.0pt;padding:12.0pt 12.0pt 12.0pt 12.0pt;margin-left:12.0pt;margin-top:12.0pt;margin-right:12.0pt;margin-bottom:12.0pt;display:inline-block;opacity:1;border-radius:2px;width:fit-content">
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto;background:#D0D8DC">
<span lang="EN" style="font-size:10.5pt;font-family:&quot;Arial&quot;,sans-serif;color:black"><a href="https://us-phishalarm-ewt.proofpoint.com/EWT/v1/AdhS1Rd-!-XFVHHiymkdb2PX5Ys9u3xcIH6Vd3Ap1CobKrLSv4AEKLaxWTmX-SIXo5pwXtsG8GuxP6yYyms8BE2p0j0YYMsauSua4xvEzG7v8C4nNZ8q-8rr50pPoh5DWHA$" target="_blank"><span style="color:black;text-decoration:none">Report&nbsp;Suspicious</span></a></span><span style="font-size:10.5pt;color:black"><o:p></o:p></span></p>
</div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto;background:#D0D8DC">
<span lang="EN" style="color:black">&nbsp;</span><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto;background:#D0D8DC">
<span lang="EN" style="color:black">&nbsp;</span><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span style="font-size:1.0pt;color:white">ZjQcmQRYFpfptBannerEnd</span><o:p></o:p></p>
</div>
<div>
<div>
<blockquote style="border:none;border-left:solid windowtext 1.0pt;padding:0in 0in 0in 6.0pt;margin-left:4.8pt;margin-top:5.0pt;margin-right:0in;margin-bottom:5.0pt;border-color:currentcolor currentcolor currentcolor rgb(204,204,204)">
<div>
<div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span style="font-size:11.0pt">Are you seeing the issues across the whole file system or in certain areas?&nbsp;
</span><o:p></o:p></p>
</div>
</div>
</div>
</blockquote>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto">&nbsp;<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto">Only with accounts in GPFS, local accounts and root do not gt this.<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto">&nbsp;<o:p></o:p></p>
</div>
<blockquote style="border:none;border-left:solid windowtext 1.0pt;padding:0in 0in 0in 6.0pt;margin-left:4.8pt;margin-top:5.0pt;margin-right:0in;margin-bottom:5.0pt;border-color:currentcolor currentcolor currentcolor rgb(204,204,204)">
<div>
<div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span style="font-size:11.0pt">That sounds like inode exhaustion to me (and based on it not being block exhaustion as you\u2019ve demonstrated).&nbsp;
</span><o:p></o:p></p>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span style="font-size:11.0pt">&nbsp;</span><o:p></o:p></p>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span style="font-size:11.0pt">What does a \u201cdf -i /cluster\u201d show you?&nbsp;
</span><o:p></o:p></p>
</div>
</div>
</div>
</blockquote>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto">&nbsp;<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto">We bumped it up a few weeks ago:<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span style="font-family:&quot;Courier New&quot;">df -i /cluster<br>
Filesystem &nbsp; &nbsp; &nbsp; &nbsp;Inodes &nbsp; &nbsp; IUsed &nbsp; &nbsp; IFree IUse% Mounted on<br>
cluster &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 276971520 154807697 122163823 &nbsp; 56% /cluster</span><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto">&nbsp;<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto">&nbsp;<o:p></o:p></p>
</div>
<blockquote style="border:none;border-left:solid windowtext 1.0pt;padding:0in 0in 0in 6.0pt;margin-left:4.8pt;margin-top:5.0pt;margin-right:0in;margin-bottom:5.0pt;border-color:currentcolor currentcolor currentcolor rgb(204,204,204)">
<div>
<div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span style="font-size:11.0pt">Or if this is only in a certain area you can \u201ccd\u201d into that directory and run a \u201cdf -i .\u201d</span><o:p></o:p></p>
</div>
</div>
</div>
</blockquote>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto">&nbsp;<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto">As root on a login node;<o:p></o:p></p>
</div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span style="font-family:&quot;Courier New&quot;">df -i<br>
Filesystem &nbsp; &nbsp; &nbsp; &nbsp;Inodes &nbsp; &nbsp; IUsed &nbsp; &nbsp; IFree IUse% Mounted on<br>
/dev/sda2 &nbsp; &nbsp; &nbsp; 20971520 &nbsp; &nbsp;169536 &nbsp;20801984 &nbsp; &nbsp;1% /<br>
devtmpfs &nbsp; &nbsp; &nbsp; &nbsp;12169978 &nbsp; &nbsp; &nbsp; 528 &nbsp;12169450 &nbsp; &nbsp;1% /dev<br>
tmpfs &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 12174353 &nbsp; &nbsp; &nbsp;1832 &nbsp;12172521 &nbsp; &nbsp;1% /run<br>
tmpfs &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 12174353 &nbsp; &nbsp; &nbsp; &nbsp;77 &nbsp;12174276 &nbsp; &nbsp;1% /dev/shm<br>
tmpfs &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 12174353 &nbsp; &nbsp; &nbsp; &nbsp;15 &nbsp;12174338 &nbsp; &nbsp;1% /sys/fs/cgroup<br>
/dev/sda1 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;0 &nbsp; &nbsp; &nbsp; &nbsp; 0 &nbsp; &nbsp; &nbsp; &nbsp; 0 &nbsp; &nbsp; - /boot/efi<br>
/dev/sda3 &nbsp; &nbsp; &nbsp; 52428800 &nbsp; &nbsp; &nbsp;2887 &nbsp;52425913 &nbsp; &nbsp;1% /var<br>
/dev/sda7 &nbsp; &nbsp; &nbsp;277368832 &nbsp; &nbsp; 35913 277332919 &nbsp; &nbsp;1% /local<br>
/dev/sda5 &nbsp; &nbsp; &nbsp;104857600 &nbsp; &nbsp; &nbsp; 398 104857202 &nbsp; &nbsp;1% /tmp<br>
tmpfs &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 12174353 &nbsp; &nbsp; &nbsp; &nbsp; 1 &nbsp;12174352 &nbsp; &nbsp;1% /run/user/551336<br>
tmpfs &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 12174353 &nbsp; &nbsp; &nbsp; &nbsp; 1 &nbsp;12174352 &nbsp; &nbsp;1% /run/user/0<br>
moto &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 276971520 154807697 122163823 &nbsp; 56% /cluster<br>
tmpfs &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 12174353 &nbsp; &nbsp; &nbsp; &nbsp; 3 &nbsp;12174350 &nbsp; &nbsp;1% /run/user/441245<br>
tmpfs &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 12174353 &nbsp; &nbsp; &nbsp; &nbsp;12 &nbsp;12174341 &nbsp; &nbsp;1% /run/user/553562<br>
tmpfs &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 12174353 &nbsp; &nbsp; &nbsp; &nbsp; 1 &nbsp;12174352 &nbsp; &nbsp;1% /run/user/525583<br>
tmpfs &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 12174353 &nbsp; &nbsp; &nbsp; &nbsp; 1 &nbsp;12174352 &nbsp; &nbsp;1% /run/user/476374<br>
tmpfs &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 12174353 &nbsp; &nbsp; &nbsp; &nbsp; 1 &nbsp;12174352 &nbsp; &nbsp;1% /run/user/468934<br>
tmpfs &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 12174353 &nbsp; &nbsp; &nbsp; &nbsp; 5 &nbsp;12174348 &nbsp; &nbsp;1% /run/user/551200<br>
tmpfs &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 12174353 &nbsp; &nbsp; &nbsp; &nbsp; 1 &nbsp;12174352 &nbsp; &nbsp;1% /run/user/539143<br>
tmpfs &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 12174353 &nbsp; &nbsp; &nbsp; &nbsp; 1 &nbsp;12174352 &nbsp; &nbsp;1% /run/user/488676<br>
tmpfs &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 12174353 &nbsp; &nbsp; &nbsp; &nbsp; 1 &nbsp;12174352 &nbsp; &nbsp;1% /run/user/493713<br>
tmpfs &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 12174353 &nbsp; &nbsp; &nbsp; &nbsp; 1 &nbsp;12174352 &nbsp; &nbsp;1% /run/user/507831<br>
tmpfs &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 12174353 &nbsp; &nbsp; &nbsp; &nbsp; 1 &nbsp;12174352 &nbsp; &nbsp;1% /run/user/549822<br>
tmpfs &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 12174353 &nbsp; &nbsp; &nbsp; &nbsp; 1 &nbsp;12174352 &nbsp; &nbsp;1% /run/user/500569<br>
tmpfs &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 12174353 &nbsp; &nbsp; &nbsp; &nbsp; 1 &nbsp;12174352 &nbsp; &nbsp;1% /run/user/443748<br>
tmpfs &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 12174353 &nbsp; &nbsp; &nbsp; &nbsp; 1 &nbsp;12174352 &nbsp; &nbsp;1% /run/user/543676<br>
tmpfs &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 12174353 &nbsp; &nbsp; &nbsp; &nbsp; 1 &nbsp;12174352 &nbsp; &nbsp;1% /run/user/451446<br>
tmpfs &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 12174353 &nbsp; &nbsp; &nbsp; &nbsp; 1 &nbsp;12174352 &nbsp; &nbsp;1% /run/user/497945<br>
tmpfs &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 12174353 &nbsp; &nbsp; &nbsp; &nbsp; 6 &nbsp;12174347 &nbsp; &nbsp;1% /run/user/554672<br>
tmpfs &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 12174353 &nbsp; &nbsp; &nbsp; &nbsp;32 &nbsp;12174321 &nbsp; &nbsp;1% /run/user/554653<br>
tmpfs &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 12174353 &nbsp; &nbsp; &nbsp; &nbsp; 1 &nbsp;12174352 &nbsp; &nbsp;1% /run/user/30094<br>
tmpfs &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 12174353 &nbsp; &nbsp; &nbsp; &nbsp; 1 &nbsp;12174352 &nbsp; &nbsp;1% /run/user/470790<br>
tmpfs &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 12174353 &nbsp; &nbsp; &nbsp; &nbsp;59 &nbsp;12174294 &nbsp; &nbsp;1% /run/user/553037<br>
tmpfs &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 12174353 &nbsp; &nbsp; &nbsp; &nbsp; 1 &nbsp;12174352 &nbsp; &nbsp;1% /run/user/554670<br>
tmpfs &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 12174353 &nbsp; &nbsp; &nbsp; &nbsp; 1 &nbsp;12174352 &nbsp; &nbsp;1% /run/user/548236<br>
tmpfs &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 12174353 &nbsp; &nbsp; &nbsp; &nbsp; 1 &nbsp;12174352 &nbsp; &nbsp;1% /run/user/547288</span><o:p></o:p></p>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span style="font-family:&quot;Courier New&quot;">tmpfs &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 12174353 &nbsp; &nbsp; &nbsp; &nbsp; 1 &nbsp;12174352 &nbsp; &nbsp;1% /run/user/547289&nbsp;</span><o:p></o:p></p>
</div>
<blockquote style="border:none;border-left:solid windowtext 1.0pt;padding:0in 0in 0in 6.0pt;margin-left:4.8pt;margin-top:5.0pt;margin-right:0in;margin-bottom:5.0pt;border-color:currentcolor currentcolor currentcolor rgb(204,204,204)">
<div>
<div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span style="font-size:11.0pt">&nbsp;</span><o:p></o:p></p>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span style="font-size:11.0pt">You may need to allocate more inodes to an independent inode fileset somewhere.&nbsp; Especially with something as old as 4.2.3 you won\u2019t have auto-inode
 expansion for the filesets.</span><o:p></o:p></p>
</div>
</div>
</div>
</blockquote>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto">&nbsp;<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto">Do we have to restart any service after upping the inode count?<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto">&nbsp;<o:p></o:p></p>
</div>
<blockquote style="border:none;border-left:solid windowtext 1.0pt;padding:0in 0in 0in 6.0pt;margin-left:4.8pt;margin-top:5.0pt;margin-right:0in;margin-bottom:5.0pt;border-color:currentcolor currentcolor currentcolor rgb(204,204,204)">
<div>
<div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto">&nbsp;<o:p></o:p></p>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span style="font-size:11.0pt">Best,</span><o:p></o:p></p>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span style="font-size:11.0pt">&nbsp;</span><o:p></o:p></p>
<div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span style="font-size:10.5pt;font-family:&quot;Calibri&quot;,sans-serif;color:black">J.D. Maloney</span><o:p></o:p></p>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,sans-serif;color:black">Lead</span><span style="font-size:10.5pt;font-family:&quot;Calibri&quot;,sans-serif;color:black"> HPC Storage Engineer
 | Storage Enabling Technologies Group</span><o:p></o:p></p>
</div>
</div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span style="font-size:10.5pt;font-family:&quot;Calibri&quot;,sans-serif;color:black">National Center for Supercomputing Applications (NCSA)</span><o:p></o:p></p>
</div>
</div>
</div>
</blockquote>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto">&nbsp;<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto">Ho JD I took an intermediate LCI workshop&nbsp;with you at Univ of Cincinnati!<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto">&nbsp;<o:p></o:p></p>
</div>
<blockquote style="border:none;border-left:solid windowtext 1.0pt;padding:0in 0in 0in 6.0pt;margin-left:4.8pt;margin-top:5.0pt;margin-right:0in;margin-bottom:5.0pt;border-color:currentcolor currentcolor currentcolor rgb(204,204,204)">
<div>
<div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span style="font-size:11.0pt">&nbsp;</span><o:p></o:p></p>
<div id="m_1864070822950688999m_2465296025784317369mail-editor-reference-message-container">
<div>
<div style="border:none;border-top:solid windowtext 1.0pt;padding:3.0pt 0in 0in 0in;border-color:currentcolor">
<p class="MsoNormal" style="mso-margin-top-alt:auto;margin-bottom:12.0pt"><b><span style="color:black">From:
</span></b><span style="color:black">gpfsug-discuss &lt;<a href="mailto:gpfsug-discuss-bounces@gpfsug.org" target="_blank">gpfsug-discuss-bounces@gpfsug.org</a>&gt; on behalf of Rob Kudyba &lt;<a href="mailto:rk3199@columbia.edu" target="_blank">rk3199@columbia.edu</a>&gt;<br>
<b>Date: </b>Thursday, June 6, 2024 at 3:50</span><span style="font-family:&quot;Arial&quot;,sans-serif;color:black">\u202f</span><span style="color:black">PM<br>
<b>To: </b><a href="mailto:gpfsug-discuss@gpfsug.org" target="_blank">gpfsug-discuss@gpfsug.org</a> &lt;<a href="mailto:gpfsug-discuss@gpfsug.org" target="_blank">gpfsug-discuss@gpfsug.org</a>&gt;<br>
<b>Subject: </b>[gpfsug-discuss] No space left on device, but plenty of quota space for inodes and blocks</span><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto">Running GPFS 4.2.3 on a DDN GridScaler and users are getting the&nbsp;<span style="font-family:&quot;Courier New&quot;">No space left on device</span> message when trying to write to a file. In&nbsp;<span style="font-family:&quot;Courier New&quot;">/var/adm/ras/mmfs.log
</span>the&nbsp;only&nbsp;recent&nbsp;errors are this:<o:p></o:p></p>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto">&nbsp;<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span style="font-family:&quot;Courier New&quot;">2024-06-06_15:51:22.311-0400: mmcommon getContactNodes cluster failed. Return code -1.<br>
2024-06-06_15:51:22.311-0400: The previous error was detected on node x.x.x.x (headnode).<br>
2024-06-06_15:53:25.088-0400: mmcommon getContactNodes cluster failed. Return code -1.<br>
2024-06-06_15:53:25.088-0400: The previous error was detected on node x.x.x.x (headnode).</span><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto">&nbsp;<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto">according to
<a href="https://urldefense.com/v3/__https:/www.ibm.com/docs/en/storage-scale/5.1.9?topic=messages-6027-615__;!!DZ3fjg!6G98Oo44gOmToQaQbotCPR6nxP_ox0xaRc9U6-ZjcWg8XMrwGvtt72VimFO6hSNnNkySuxawIVoA3_uEDKIgjW0$" target="_blank">
https://www.ibm.com/docs/en/storage-scale/5.1.9?topic=messages-6027-615</a>&nbsp;<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto">&nbsp;<o:p></o:p></p>
</div>
<blockquote style="border:none;border-left:solid windowtext 1.0pt;padding:0in 0in 0in 6.0pt;margin-left:4.8pt;margin-top:5.0pt;margin-right:0in;margin-bottom:5.0pt;border-color:currentcolor currentcolor currentcolor rgb(204,204,204)">
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto">Check the preceding messages, and consult the earlier chapters of this document. A frequent cause for such errors is lack of space in
<span style="font-family:&quot;Courier New&quot;">/var</span>.<o:p></o:p></p>
</blockquote>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto">&nbsp;<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto">We have plenty of space left.<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto">&nbsp;<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span style="font-family:&quot;Courier New&quot;">&nbsp;/usr/lpp/mmfs/bin/mmlsdisk cluster<br>
disk &nbsp; &nbsp; &nbsp; &nbsp; driver &nbsp; sector &nbsp; &nbsp; failure holds &nbsp; &nbsp;holds &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;storage<br>
name &nbsp; &nbsp; &nbsp; &nbsp; type &nbsp; &nbsp; &nbsp; size &nbsp; &nbsp; &nbsp; group metadata data &nbsp;status &nbsp; &nbsp; &nbsp; &nbsp;availability pool<br>
------------ -------- ------ ----------- -------- ----- ------------- ------------ ------------<br>
S01_MDT200_1 nsd &nbsp; &nbsp; &nbsp; &nbsp;4096 &nbsp; &nbsp; &nbsp; &nbsp; 200 Yes &nbsp; &nbsp; &nbsp;No &nbsp; &nbsp;ready &nbsp; &nbsp; &nbsp; &nbsp; up &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; system &nbsp; &nbsp; &nbsp;
<br>
S01_MDT201_1 nsd &nbsp; &nbsp; &nbsp; &nbsp;4096 &nbsp; &nbsp; &nbsp; &nbsp; 201 Yes &nbsp; &nbsp; &nbsp;No &nbsp; &nbsp;ready &nbsp; &nbsp; &nbsp; &nbsp; up &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; system &nbsp; &nbsp; &nbsp;
<br>
S01_DAT0001_1 nsd &nbsp; &nbsp; &nbsp; &nbsp;4096 &nbsp; &nbsp; &nbsp; &nbsp; 100 No &nbsp; &nbsp; &nbsp; Yes &nbsp; ready &nbsp; &nbsp; &nbsp; &nbsp; up &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; data1 &nbsp; &nbsp; &nbsp; &nbsp;<br>
S01_DAT0002_1 nsd &nbsp; &nbsp; &nbsp; &nbsp;4096 &nbsp; &nbsp; &nbsp; &nbsp; 101 No &nbsp; &nbsp; &nbsp; Yes &nbsp; ready &nbsp; &nbsp; &nbsp; &nbsp; up &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; data1 &nbsp; &nbsp; &nbsp; &nbsp;<br>
S01_DAT0003_1 nsd &nbsp; &nbsp; &nbsp; &nbsp;4096 &nbsp; &nbsp; &nbsp; &nbsp; 100 No &nbsp; &nbsp; &nbsp; Yes &nbsp; ready &nbsp; &nbsp; &nbsp; &nbsp; up &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; data1 &nbsp; &nbsp; &nbsp; &nbsp;<br>
S01_DAT0004_1 nsd &nbsp; &nbsp; &nbsp; &nbsp;4096 &nbsp; &nbsp; &nbsp; &nbsp; 101 No &nbsp; &nbsp; &nbsp; Yes &nbsp; ready &nbsp; &nbsp; &nbsp; &nbsp; up &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; data1 &nbsp; &nbsp; &nbsp; &nbsp;<br>
S01_DAT0005_1 nsd &nbsp; &nbsp; &nbsp; &nbsp;4096 &nbsp; &nbsp; &nbsp; &nbsp; 100 No &nbsp; &nbsp; &nbsp; Yes &nbsp; ready &nbsp; &nbsp; &nbsp; &nbsp; up &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; data1 &nbsp; &nbsp; &nbsp; &nbsp;<br>
S01_DAT0006_1 nsd &nbsp; &nbsp; &nbsp; &nbsp;4096 &nbsp; &nbsp; &nbsp; &nbsp; 101 No &nbsp; &nbsp; &nbsp; Yes &nbsp; ready &nbsp; &nbsp; &nbsp; &nbsp; up &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; data1 &nbsp; &nbsp; &nbsp; &nbsp;<br>
S01_DAT0007_1 nsd &nbsp; &nbsp; &nbsp; &nbsp;4096 &nbsp; &nbsp; &nbsp; &nbsp; 100 No &nbsp; &nbsp; &nbsp; Yes &nbsp; ready &nbsp; &nbsp; &nbsp; &nbsp; up &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; data1 &nbsp;</span><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto">&nbsp;<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span style="font-family:&quot;Courier New&quot;">&nbsp;/usr/lpp/mmfs/bin/mmdf headnode&nbsp;<br>
disk &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;disk size &nbsp;failure holds &nbsp; &nbsp;holds &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;free KB &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; free KB<br>
name &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;in KB &nbsp; &nbsp;group metadata data &nbsp; &nbsp; &nbsp; &nbsp;in full blocks &nbsp; &nbsp; &nbsp; &nbsp;in fragments<br>
--------------- ------------- -------- -------- ----- -------------------- -------------------<br>
Disks in storage pool: system (Maximum disk size allowed is 14 TB)<br>
S01_MDT200_1 &nbsp; &nbsp; &nbsp; 1862270976 &nbsp; &nbsp; &nbsp;200 Yes &nbsp; &nbsp; &nbsp;No &nbsp; &nbsp; &nbsp; &nbsp;969134848 ( 52%) &nbsp; &nbsp; &nbsp; 2948720 ( 0%)
<br>
S01_MDT201_1 &nbsp; &nbsp; &nbsp; 1862270976 &nbsp; &nbsp; &nbsp;201 Yes &nbsp; &nbsp; &nbsp;No &nbsp; &nbsp; &nbsp; &nbsp;969126144 ( 52%) &nbsp; &nbsp; &nbsp; 2957424 ( 0%)
<br>
&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; ------------- &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; -------------------- -------------------<br>
(pool total) &nbsp; &nbsp; &nbsp; 3724541952 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;1938260992 ( 52%) &nbsp; &nbsp; &nbsp; 5906144 ( 0%)<br>
<br>
Disks in storage pool: data1 (Maximum disk size allowed is 578 TB)<br>
S01_DAT0007_1 &nbsp; &nbsp; 77510737920 &nbsp; &nbsp; &nbsp;100 No &nbsp; &nbsp; &nbsp; Yes &nbsp; &nbsp; 21080752128 ( 27%) &nbsp; &nbsp; 897723392 ( 1%)
<br>
S01_DAT0005_1 &nbsp; &nbsp; 77510737920 &nbsp; &nbsp; &nbsp;100 No &nbsp; &nbsp; &nbsp; Yes &nbsp; &nbsp; 14507212800 ( 19%) &nbsp; &nbsp; 949412160 ( 1%)
<br>
S01_DAT0001_1 &nbsp; &nbsp; 77510737920 &nbsp; &nbsp; &nbsp;100 No &nbsp; &nbsp; &nbsp; Yes &nbsp; &nbsp; 14503620608 ( 19%) &nbsp; &nbsp; 951327680 ( 1%)
<br>
S01_DAT0003_1 &nbsp; &nbsp; 77510737920 &nbsp; &nbsp; &nbsp;100 No &nbsp; &nbsp; &nbsp; Yes &nbsp; &nbsp; 14509205504 ( 19%) &nbsp; &nbsp; 949340544 ( 1%)
<br>
S01_DAT0002_1 &nbsp; &nbsp; 77510737920 &nbsp; &nbsp; &nbsp;101 No &nbsp; &nbsp; &nbsp; Yes &nbsp; &nbsp; 14504585216 ( 19%) &nbsp; &nbsp; 948377536 ( 1%)
<br>
S01_DAT0004_1 &nbsp; &nbsp; 77510737920 &nbsp; &nbsp; &nbsp;101 No &nbsp; &nbsp; &nbsp; Yes &nbsp; &nbsp; 14503647232 ( 19%) &nbsp; &nbsp; 952892480 ( 1%)
<br>
S01_DAT0006_1 &nbsp; &nbsp; 77510737920 &nbsp; &nbsp; &nbsp;101 No &nbsp; &nbsp; &nbsp; Yes &nbsp; &nbsp; 14504486912 ( 19%) &nbsp; &nbsp; 949072512 ( 1%)
<br>
&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; ------------- &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; -------------------- -------------------<br>
(pool total) &nbsp; &nbsp; 542575165440 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;108113510400 ( 20%) &nbsp; &nbsp;6598146304 ( 1%)<br>
<br>
&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; ============= &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; ==================== ===================<br>
(data) &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 542575165440 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;108113510400 ( 20%) &nbsp; &nbsp;6598146304 ( 1%)<br>
(metadata) &nbsp; &nbsp; &nbsp; &nbsp; 3724541952 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;1938260992 ( 52%) &nbsp; &nbsp; &nbsp; 5906144 ( 0%)<br>
&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; ============= &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; ==================== ===================<br>
(total) &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;546299707392 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;110051771392 ( 22%) &nbsp; &nbsp;6604052448 ( 1%)<br>
<br>
Inode Information<br>
-----------------<br>
Total number of used inodes in all Inode spaces: &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;154807668<br>
Total number of free inodes in all Inode spaces: &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 12964492<br>
Total number of allocated inodes in all Inode spaces: &nbsp; &nbsp; 167772160<br>
Total of Maximum number of inodes in all Inode spaces: &nbsp; &nbsp;276971520</span><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto">&nbsp;<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span style="font-family:&quot;Arial&quot;,sans-serif">On the head node:</span><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto">&nbsp;<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span style="font-family:&quot;Courier New&quot;">df -h<br>
Filesystem &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Size &nbsp;Used Avail Use% Mounted on<br>
/dev/sda4 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 430G &nbsp;216G &nbsp;215G &nbsp;51% /<br>
devtmpfs &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 47G &nbsp; &nbsp; 0 &nbsp; 47G &nbsp; 0% /dev<br>
tmpfs &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;47G &nbsp; &nbsp; 0 &nbsp; 47G &nbsp; 0% /dev/shm<br>
tmpfs &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;47G &nbsp;4.1G &nbsp; 43G &nbsp; 9% /run<br>
tmpfs &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;47G &nbsp; &nbsp; 0 &nbsp; 47G &nbsp; 0% /sys/fs/cgroup<br>
/dev/sda1 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 504M &nbsp;114M &nbsp;365M &nbsp;24% /boot<br>
/dev/sda2 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 100M &nbsp;9.9M &nbsp; 90M &nbsp;10% /boot/efi<br>
x.x.x.:/nfs-share &nbsp;430G &nbsp;326G &nbsp;105G &nbsp;76% /nfs-share<br>
cluster &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;506T &nbsp;405T &nbsp;101T &nbsp;81% /cluster<br>
tmpfs &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 9.3G &nbsp; &nbsp; 0 &nbsp;9.3G &nbsp; 0% /run/user/443748<br>
tmpfs &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 9.3G &nbsp; &nbsp; 0 &nbsp;9.3G &nbsp; 0% /run/user/547288<br>
tmpfs &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 9.3G &nbsp; &nbsp; 0 &nbsp;9.3G &nbsp; 0% /run/user/551336<br>
tmpfs &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 9.3G &nbsp; &nbsp; 0 &nbsp;9.3G &nbsp; 0% /run/user/547289</span><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto">&nbsp;<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span style="font-family:&quot;Arial&quot;,sans-serif">The login nodes have plenty of space in
</span><span style="font-family:&quot;Courier New&quot;">/var:</span><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span style="font-family:&quot;Courier New&quot;">/dev/sda3 &nbsp; &nbsp; &nbsp; &nbsp;50G &nbsp;8.7G &nbsp; 42G &nbsp;18% /var</span><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto">&nbsp;<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span style="font-family:&quot;Arial&quot;,sans-serif">What else should we check? We are just at 81% on the GPFS mounted file system but that should be enough for more space without these
 errors. Any recommended service(s) that we can restart?</span><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto">&nbsp;<o:p></o:p></p>
</div>
</div>
</div>
</div>
</div>
</div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto">_______________________________________________<br>
gpfsug-discuss mailing list<br>
gpfsug-discuss at <a href="https://urldefense.com/v3/__http:/gpfsug.org__;!!DZ3fjg!6G98Oo44gOmToQaQbotCPR6nxP_ox0xaRc9U6-ZjcWg8XMrwGvtt72VimFO6hSNnNkySuxawIVoA3_uEpMAUCh8$" target="_blank">
gpfsug.org</a><br>
<a href="https://urldefense.com/v3/__http:/gpfsug.org/mailman/listinfo/gpfsug-discuss_gpfsug.org__;!!DZ3fjg!6G98Oo44gOmToQaQbotCPR6nxP_ox0xaRc9U6-ZjcWg8XMrwGvtt72VimFO6hSNnNkySuxawIVoA3_uEFX20ez8$" target="_blank">http://gpfsug.org/mailman/listinfo/gpfsug-discuss_gpfsug.org</a><o:p></o:p></p>
</div>
</blockquote>
</div>
</div>
</div>
</div>
</div>
</div>
<p class="MsoNormal">_______________________________________________<br>
gpfsug-discuss mailing list<br>
gpfsug-discuss at <a href="https://urldefense.com/v3/__http:/gpfsug.org__;!!DZ3fjg!6G98Oo44gOmToQaQbotCPR6nxP_ox0xaRc9U6-ZjcWg8XMrwGvtt72VimFO6hSNnNkySuxawIVoA3_uEpMAUCh8$" target="_blank">
gpfsug.org</a><br>
<a href="https://urldefense.com/v3/__http:/gpfsug.org/mailman/listinfo/gpfsug-discuss_gpfsug.org__;!!DZ3fjg!6G98Oo44gOmToQaQbotCPR6nxP_ox0xaRc9U6-ZjcWg8XMrwGvtt72VimFO6hSNnNkySuxawIVoA3_uEFX20ez8$" target="_blank">http://gpfsug.org/mailman/listinfo/gpfsug-discuss_gpfsug.org</a><o:p></o:p></p>
</div>
</blockquote>
</div>
</div>
</div>
</div>
</div>
</body>
</html>