<html xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<meta name="Generator" content="Microsoft Word 15 (filtered medium)">
<style><!--
/* Font Definitions */
@font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
        {font-family:Aptos;
        panose-1:2 11 0 4 2 2 2 2 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0in;
        font-size:12.0pt;
        font-family:"Aptos",sans-serif;}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:blue;
        text-decoration:underline;}
span.EmailStyle18
        {mso-style-type:personal-reply;
        font-family:"Aptos",sans-serif;
        color:windowtext;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-size:10.0pt;
        mso-ligatures:none;}
@page WordSection1
        {size:8.5in 11.0in;
        margin:1.0in 1.0in 1.0in 1.0in;}
div.WordSection1
        {page:WordSection1;}
--></style>
</head>
<body lang="EN-US" link="blue" vlink="purple" style="word-wrap:break-word">
<div class="WordSection1">
<p class="MsoNormal"><span style="font-size:11.0pt">Are you seeing the issues across the whole file system or in certain areas?&nbsp; That sounds like inode exhaustion to me (and based on it not being block exhaustion as you\u2019ve demonstrated).&nbsp;
<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">What does a \u201cdf -i /cluster\u201d show you?&nbsp; Or if this is only in a certain area you can \u201ccd\u201d into that directory and run a \u201cdf -i .\u201d<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">You may need to allocate more inodes to an independent inode fileset somewhere.&nbsp; Especially with something as old as 4.2.3 you won\u2019t have auto-inode expansion for the filesets.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">Best,<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p>&nbsp;</o:p></span></p>
<div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:&quot;Calibri&quot;,sans-serif;color:black">J.D. Maloney</span><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,sans-serif;color:black"><o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,sans-serif;color:black">Lead</span><span style="font-size:10.5pt;font-family:&quot;Calibri&quot;,sans-serif;color:black"> HPC Storage Engineer | Storage Enabling Technologies Group</span><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,sans-serif;color:black"><o:p></o:p></span></p>
</div>
</div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:&quot;Calibri&quot;,sans-serif;color:black">National Center for Supercomputing Applications (NCSA)</span><span style="font-size:11.0pt"><o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p>&nbsp;</o:p></span></p>
<div id="mail-editor-reference-message-container">
<div>
<div style="border:none;border-top:solid #B5C4DF 1.0pt;padding:3.0pt 0in 0in 0in">
<p class="MsoNormal" style="margin-bottom:12.0pt"><b><span style="color:black">From:
</span></b><span style="color:black">gpfsug-discuss &lt;gpfsug-discuss-bounces@gpfsug.org&gt; on behalf of Rob Kudyba &lt;rk3199@columbia.edu&gt;<br>
<b>Date: </b>Thursday, June 6, 2024 at 3:50</span><span style="font-family:&quot;Arial&quot;,sans-serif;color:black">\u202f</span><span style="color:black">PM<br>
<b>To: </b>gpfsug-discuss@gpfsug.org &lt;gpfsug-discuss@gpfsug.org&gt;<br>
<b>Subject: </b>[gpfsug-discuss] No space left on device, but plenty of quota space for inodes and blocks<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal">Running GPFS 4.2.3 on a DDN GridScaler and users are getting the&nbsp;<span style="font-family:&quot;Courier New&quot;">No space left on device</span> message when trying to write to a file. In&nbsp;<span style="font-family:&quot;Courier New&quot;">/var/adm/ras/mmfs.log
</span>the&nbsp;only&nbsp;recent&nbsp;errors are this:<o:p></o:p></p>
<div>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
</div>
<div>
<p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;">2024-06-06_15:51:22.311-0400: mmcommon getContactNodes cluster failed. Return code -1.<br>
2024-06-06_15:51:22.311-0400: The previous error was detected on node x.x.x.x (headnode).<br>
2024-06-06_15:53:25.088-0400: mmcommon getContactNodes cluster failed. Return code -1.<br>
2024-06-06_15:53:25.088-0400: The previous error was detected on node x.x.x.x (headnode).</span><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
</div>
<div>
<p class="MsoNormal">according to <a href="https://urldefense.com/v3/__https:/www.ibm.com/docs/en/storage-scale/5.1.9?topic=messages-6027-615__;!!DZ3fjg!4ZyUNmTiGNp6C3Yls1wqW-RdRGa8n-ZmfZ0y0i-y6pce_ZIFSaefpOWvKIYIXspKjfREPtf3BRuO5VqAS6Y9UXQ$">
https://www.ibm.com/docs/en/storage-scale/5.1.9?topic=messages-6027-615</a>&nbsp;<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
</div>
<blockquote style="border:none;border-left:solid #CCCCCC 1.0pt;padding:0in 0in 0in 6.0pt;margin-left:4.8pt;margin-right:0in">
<p class="MsoNormal">Check the preceding messages, and consult the earlier chapters of this document. A frequent cause for such errors is lack of space in
<span style="font-family:&quot;Courier New&quot;">/var</span>.<o:p></o:p></p>
</blockquote>
<div>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
</div>
<div>
<p class="MsoNormal">We have plenty of space left.<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
</div>
<div>
<p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;">&nbsp;/usr/lpp/mmfs/bin/mmlsdisk cluster<br>
disk &nbsp; &nbsp; &nbsp; &nbsp; driver &nbsp; sector &nbsp; &nbsp; failure holds &nbsp; &nbsp;holds &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;storage<br>
name &nbsp; &nbsp; &nbsp; &nbsp; type &nbsp; &nbsp; &nbsp; size &nbsp; &nbsp; &nbsp; group metadata data &nbsp;status &nbsp; &nbsp; &nbsp; &nbsp;availability pool<br>
------------ -------- ------ ----------- -------- ----- ------------- ------------ ------------<br>
S01_MDT200_1 nsd &nbsp; &nbsp; &nbsp; &nbsp;4096 &nbsp; &nbsp; &nbsp; &nbsp; 200 Yes &nbsp; &nbsp; &nbsp;No &nbsp; &nbsp;ready &nbsp; &nbsp; &nbsp; &nbsp; up &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; system &nbsp; &nbsp; &nbsp;
<br>
S01_MDT201_1 nsd &nbsp; &nbsp; &nbsp; &nbsp;4096 &nbsp; &nbsp; &nbsp; &nbsp; 201 Yes &nbsp; &nbsp; &nbsp;No &nbsp; &nbsp;ready &nbsp; &nbsp; &nbsp; &nbsp; up &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; system &nbsp; &nbsp; &nbsp;
<br>
S01_DAT0001_1 nsd &nbsp; &nbsp; &nbsp; &nbsp;4096 &nbsp; &nbsp; &nbsp; &nbsp; 100 No &nbsp; &nbsp; &nbsp; Yes &nbsp; ready &nbsp; &nbsp; &nbsp; &nbsp; up &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; data1 &nbsp; &nbsp; &nbsp; &nbsp;<br>
S01_DAT0002_1 nsd &nbsp; &nbsp; &nbsp; &nbsp;4096 &nbsp; &nbsp; &nbsp; &nbsp; 101 No &nbsp; &nbsp; &nbsp; Yes &nbsp; ready &nbsp; &nbsp; &nbsp; &nbsp; up &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; data1 &nbsp; &nbsp; &nbsp; &nbsp;<br>
S01_DAT0003_1 nsd &nbsp; &nbsp; &nbsp; &nbsp;4096 &nbsp; &nbsp; &nbsp; &nbsp; 100 No &nbsp; &nbsp; &nbsp; Yes &nbsp; ready &nbsp; &nbsp; &nbsp; &nbsp; up &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; data1 &nbsp; &nbsp; &nbsp; &nbsp;<br>
S01_DAT0004_1 nsd &nbsp; &nbsp; &nbsp; &nbsp;4096 &nbsp; &nbsp; &nbsp; &nbsp; 101 No &nbsp; &nbsp; &nbsp; Yes &nbsp; ready &nbsp; &nbsp; &nbsp; &nbsp; up &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; data1 &nbsp; &nbsp; &nbsp; &nbsp;<br>
S01_DAT0005_1 nsd &nbsp; &nbsp; &nbsp; &nbsp;4096 &nbsp; &nbsp; &nbsp; &nbsp; 100 No &nbsp; &nbsp; &nbsp; Yes &nbsp; ready &nbsp; &nbsp; &nbsp; &nbsp; up &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; data1 &nbsp; &nbsp; &nbsp; &nbsp;<br>
S01_DAT0006_1 nsd &nbsp; &nbsp; &nbsp; &nbsp;4096 &nbsp; &nbsp; &nbsp; &nbsp; 101 No &nbsp; &nbsp; &nbsp; Yes &nbsp; ready &nbsp; &nbsp; &nbsp; &nbsp; up &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; data1 &nbsp; &nbsp; &nbsp; &nbsp;<br>
S01_DAT0007_1 nsd &nbsp; &nbsp; &nbsp; &nbsp;4096 &nbsp; &nbsp; &nbsp; &nbsp; 100 No &nbsp; &nbsp; &nbsp; Yes &nbsp; ready &nbsp; &nbsp; &nbsp; &nbsp; up &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; data1 &nbsp;</span><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
</div>
<div>
<p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;">&nbsp;/usr/lpp/mmfs/bin/mmdf headnode&nbsp;<br>
disk &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;disk size &nbsp;failure holds &nbsp; &nbsp;holds &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;free KB &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; free KB<br>
name &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;in KB &nbsp; &nbsp;group metadata data &nbsp; &nbsp; &nbsp; &nbsp;in full blocks &nbsp; &nbsp; &nbsp; &nbsp;in fragments<br>
--------------- ------------- -------- -------- ----- -------------------- -------------------<br>
Disks in storage pool: system (Maximum disk size allowed is 14 TB)<br>
S01_MDT200_1 &nbsp; &nbsp; &nbsp; 1862270976 &nbsp; &nbsp; &nbsp;200 Yes &nbsp; &nbsp; &nbsp;No &nbsp; &nbsp; &nbsp; &nbsp;969134848 ( 52%) &nbsp; &nbsp; &nbsp; 2948720 ( 0%)
<br>
S01_MDT201_1 &nbsp; &nbsp; &nbsp; 1862270976 &nbsp; &nbsp; &nbsp;201 Yes &nbsp; &nbsp; &nbsp;No &nbsp; &nbsp; &nbsp; &nbsp;969126144 ( 52%) &nbsp; &nbsp; &nbsp; 2957424 ( 0%)
<br>
&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; ------------- &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; -------------------- -------------------<br>
(pool total) &nbsp; &nbsp; &nbsp; 3724541952 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;1938260992 ( 52%) &nbsp; &nbsp; &nbsp; 5906144 ( 0%)<br>
<br>
Disks in storage pool: data1 (Maximum disk size allowed is 578 TB)<br>
S01_DAT0007_1 &nbsp; &nbsp; 77510737920 &nbsp; &nbsp; &nbsp;100 No &nbsp; &nbsp; &nbsp; Yes &nbsp; &nbsp; 21080752128 ( 27%) &nbsp; &nbsp; 897723392 ( 1%)
<br>
S01_DAT0005_1 &nbsp; &nbsp; 77510737920 &nbsp; &nbsp; &nbsp;100 No &nbsp; &nbsp; &nbsp; Yes &nbsp; &nbsp; 14507212800 ( 19%) &nbsp; &nbsp; 949412160 ( 1%)
<br>
S01_DAT0001_1 &nbsp; &nbsp; 77510737920 &nbsp; &nbsp; &nbsp;100 No &nbsp; &nbsp; &nbsp; Yes &nbsp; &nbsp; 14503620608 ( 19%) &nbsp; &nbsp; 951327680 ( 1%)
<br>
S01_DAT0003_1 &nbsp; &nbsp; 77510737920 &nbsp; &nbsp; &nbsp;100 No &nbsp; &nbsp; &nbsp; Yes &nbsp; &nbsp; 14509205504 ( 19%) &nbsp; &nbsp; 949340544 ( 1%)
<br>
S01_DAT0002_1 &nbsp; &nbsp; 77510737920 &nbsp; &nbsp; &nbsp;101 No &nbsp; &nbsp; &nbsp; Yes &nbsp; &nbsp; 14504585216 ( 19%) &nbsp; &nbsp; 948377536 ( 1%)
<br>
S01_DAT0004_1 &nbsp; &nbsp; 77510737920 &nbsp; &nbsp; &nbsp;101 No &nbsp; &nbsp; &nbsp; Yes &nbsp; &nbsp; 14503647232 ( 19%) &nbsp; &nbsp; 952892480 ( 1%)
<br>
S01_DAT0006_1 &nbsp; &nbsp; 77510737920 &nbsp; &nbsp; &nbsp;101 No &nbsp; &nbsp; &nbsp; Yes &nbsp; &nbsp; 14504486912 ( 19%) &nbsp; &nbsp; 949072512 ( 1%)
<br>
&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; ------------- &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; -------------------- -------------------<br>
(pool total) &nbsp; &nbsp; 542575165440 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;108113510400 ( 20%) &nbsp; &nbsp;6598146304 ( 1%)<br>
<br>
&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; ============= &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; ==================== ===================<br>
(data) &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 542575165440 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;108113510400 ( 20%) &nbsp; &nbsp;6598146304 ( 1%)<br>
(metadata) &nbsp; &nbsp; &nbsp; &nbsp; 3724541952 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;1938260992 ( 52%) &nbsp; &nbsp; &nbsp; 5906144 ( 0%)<br>
&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; ============= &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; ==================== ===================<br>
(total) &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;546299707392 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;110051771392 ( 22%) &nbsp; &nbsp;6604052448 ( 1%)<br>
<br>
Inode Information<br>
-----------------<br>
Total number of used inodes in all Inode spaces: &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;154807668<br>
Total number of free inodes in all Inode spaces: &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 12964492<br>
Total number of allocated inodes in all Inode spaces: &nbsp; &nbsp; 167772160<br>
Total of Maximum number of inodes in all Inode spaces: &nbsp; &nbsp;276971520</span><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
</div>
<div>
<p class="MsoNormal"><span style="font-family:&quot;Arial&quot;,sans-serif">On the head node:</span><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
</div>
<div>
<p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;">df -h<br>
Filesystem &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Size &nbsp;Used Avail Use% Mounted on<br>
/dev/sda4 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 430G &nbsp;216G &nbsp;215G &nbsp;51% /<br>
devtmpfs &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 47G &nbsp; &nbsp; 0 &nbsp; 47G &nbsp; 0% /dev<br>
tmpfs &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;47G &nbsp; &nbsp; 0 &nbsp; 47G &nbsp; 0% /dev/shm<br>
tmpfs &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;47G &nbsp;4.1G &nbsp; 43G &nbsp; 9% /run<br>
tmpfs &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;47G &nbsp; &nbsp; 0 &nbsp; 47G &nbsp; 0% /sys/fs/cgroup<br>
/dev/sda1 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 504M &nbsp;114M &nbsp;365M &nbsp;24% /boot<br>
/dev/sda2 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 100M &nbsp;9.9M &nbsp; 90M &nbsp;10% /boot/efi<br>
x.x.x.:/nfs-share &nbsp;430G &nbsp;326G &nbsp;105G &nbsp;76% /nfs-share<br>
cluster &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;506T &nbsp;405T &nbsp;101T &nbsp;81% /cluster<br>
tmpfs &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 9.3G &nbsp; &nbsp; 0 &nbsp;9.3G &nbsp; 0% /run/user/443748<br>
tmpfs &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 9.3G &nbsp; &nbsp; 0 &nbsp;9.3G &nbsp; 0% /run/user/547288<br>
tmpfs &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 9.3G &nbsp; &nbsp; 0 &nbsp;9.3G &nbsp; 0% /run/user/551336<br>
tmpfs &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 9.3G &nbsp; &nbsp; 0 &nbsp;9.3G &nbsp; 0% /run/user/547289</span><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
</div>
<div>
<p class="MsoNormal"><span style="font-family:&quot;Arial&quot;,sans-serif">The login nodes have plenty of space in
</span><span style="font-family:&quot;Courier New&quot;">/var:</span><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><span style="font-family:&quot;Courier New&quot;">/dev/sda3 &nbsp; &nbsp; &nbsp; &nbsp;50G &nbsp;8.7G &nbsp; 42G &nbsp;18% /var</span><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
</div>
<div>
<p class="MsoNormal"><span style="font-family:&quot;Arial&quot;,sans-serif">What else should we check? We are just at 81% on the GPFS mounted file system but that should be enough for more space without these errors. Any recommended service(s) that we can restart?</span><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
</div>
</div>
</div>
</div>
</div>
</body>
</html>