<div class="socmaildefaultfont" dir="ltr" style="font-family:Arial, Helvetica, sans-serif;font-size:12pt" ><div dir="ltr" >The information you provided is useful but we would need more information to understand what is happening.&nbsp; Specifically the mapping of filesets to GPFS storage pools, and the source and destination of the data that is to be moved.&nbsp; If the data to be moved is in storage pool A and is being moved to storage pool B then there is copying that must be done, and that would explain the additional IO.&nbsp; You can determine the storage pool of a file by using the mmlsattr command.</div>
<div dir="ltr" ><div class="socmaildefaultfont" dir="ltr" style="font-family:Arial, Helvetica, sans-serif;font-size:10.5pt" ><div dir="ltr" ><br><font size="2" face="Default Sans Serif,Verdana,Arial,Helvetica,sans-serif" ><span style="font-size:1.143em;" >Fred<br>__________________________________________________<br>Fred Stock | IBM Pittsburgh Lab | 720-430-8821<br>stockf@us.ibm.com</span></font></div></div></div>
<div dir="ltr" >&nbsp;</div>
<div dir="ltr" >&nbsp;</div>
<blockquote data-history-content-modified="1" dir="ltr" style="border-left:solid #aaaaaa 2px; margin-left:5px; padding-left:5px; direction:ltr; margin-right:0px" >----- Original message -----<br>From: "J. Eric Wonderley" &lt;eric.wonderley@vt.edu&gt;<br>Sent by: gpfsug-discuss-bounces@spectrumscale.org<br>To: gpfsug main discussion list &lt;gpfsug-discuss@spectrumscale.org&gt;<br>Cc:<br>Subject: [EXTERNAL] Re: [gpfsug-discuss] gpfs filesets question<br>Date: Thu, Apr 16, 2020 1:37 PM<br>&nbsp;
<div dir="ltr" >Hi Fred:
<div>&nbsp;</div>
<div>I do.&nbsp; I have 3 pools.&nbsp; system, ssd data pool(fc_ssd400G) and a spinning disk pool(fc_8T).</div>
<div>&nbsp;</div>
<div>I want to think the ssd_data_pool is empty at the moment and the system pool is ssd and only contains metadata.</div>
<div>[root@cl005 ~]# mmdf home -P fc_ssd400G<br>disk &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;disk size &nbsp;failure holds &nbsp; &nbsp;holds &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;free KB &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; free KB<br>name &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;in KB &nbsp; &nbsp;group metadata data &nbsp; &nbsp; &nbsp; &nbsp;in full blocks &nbsp; &nbsp; &nbsp; &nbsp;in fragments<br>--------------- ------------- -------- -------- ----- -------------------- -------------------<br>Disks in storage pool: fc_ssd400G (Maximum disk size allowed is 97 TB)<br>r10f1e8 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;1924720640 &nbsp; &nbsp; 1001 No &nbsp; &nbsp; &nbsp; Yes &nbsp; &nbsp; &nbsp;1924644864 (100%) &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;9728 ( 0%)<br>r10f1e7 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;1924720640 &nbsp; &nbsp; 1001 No &nbsp; &nbsp; &nbsp; Yes &nbsp; &nbsp; &nbsp;1924636672 (100%) &nbsp; &nbsp; &nbsp; &nbsp; 17408 ( 0%)<br>r10f1e6 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;1924720640 &nbsp; &nbsp; 1001 No &nbsp; &nbsp; &nbsp; Yes &nbsp; &nbsp; &nbsp;1924636672 (100%) &nbsp; &nbsp; &nbsp; &nbsp; 17664 ( 0%)<br>r10f1e5 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;1924720640 &nbsp; &nbsp; 1001 No &nbsp; &nbsp; &nbsp; Yes &nbsp; &nbsp; &nbsp;1924644864 (100%) &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;9728 ( 0%)<br>r10f6e8 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;1924720640 &nbsp; &nbsp; 1001 No &nbsp; &nbsp; &nbsp; Yes &nbsp; &nbsp; &nbsp;1924644864 (100%) &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;9728 ( 0%)<br>r10f1e9 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;1924720640 &nbsp; &nbsp; 1001 No &nbsp; &nbsp; &nbsp; Yes &nbsp; &nbsp; &nbsp;1924644864 (100%) &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;9728 ( 0%)<br>r10f6e9 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;1924720640 &nbsp; &nbsp; 1001 No &nbsp; &nbsp; &nbsp; Yes &nbsp; &nbsp; &nbsp;1924644864 (100%) &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;9728 ( 0%)<br>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; ------------- &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; -------------------- -------------------<br>(pool total) &nbsp; &nbsp; &nbsp;13473044480 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 13472497664 (100%) &nbsp; &nbsp; &nbsp; &nbsp; 83712 ( 0%)</div>
<div>&nbsp;</div>
<div>More or less empty.</div>
<div>&nbsp;</div>
<div>Interesting...</div>
<div>&nbsp;</div></div>&nbsp;

<div><div dir="ltr" >On Thu, Apr 16, 2020 at 1:11 PM Frederick Stock &lt;<a href="mailto:stockf@us.ibm.com" target="_blank">stockf@us.ibm.com</a>&gt; wrote:</div>
<blockquote style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex" ><div dir="ltr" style="font-family:Arial,Helvetica,sans-serif;font-size:12pt" ><div dir="ltr" >Do you have more than one GPFS storage pool in the system?&nbsp; If you do and they align with the filesets then that might explain why moving data from one fileset to another is causing increased IO operations.</div>
<div dir="ltr" ><div dir="ltr" style="font-family:Arial,Helvetica,sans-serif;font-size:10.5pt" ><div dir="ltr" ><br><font size="2" face="Default Sans Serif,Verdana,Arial,Helvetica,sans-serif" ><span style="font-size:1.143em" >Fred<br>__________________________________________________<br>Fred Stock | IBM Pittsburgh Lab | 720-430-8821<br><a href="mailto:stockf@us.ibm.com" target="_blank">stockf@us.ibm.com</a></span></font></div></div></div>
<div dir="ltr" >&nbsp;</div>
<div dir="ltr" >&nbsp;</div>
<blockquote dir="ltr" style="border-left:2px solid rgb(170,170,170);margin-left:5px;padding-left:5px;direction:ltr;margin-right:0px" >----- Original message -----<br>From: "J. Eric Wonderley" &lt;<a href="mailto:eric.wonderley@vt.edu" target="_blank">eric.wonderley@vt.edu</a>&gt;<br>Sent by: <a href="mailto:gpfsug-discuss-bounces@spectrumscale.org" target="_blank">gpfsug-discuss-bounces@spectrumscale.org</a><br>To: gpfsug main discussion list &lt;<a href="mailto:gpfsug-discuss@spectrumscale.org" target="_blank">gpfsug-discuss@spectrumscale.org</a>&gt;<br>Cc:<br>Subject: [EXTERNAL] [gpfsug-discuss] gpfs filesets question<br>Date: Thu, Apr 16, 2020 12:32 PM<br>&nbsp;
<div dir="ltr" >I have filesets setup in a filesystem...looks like:
<div><div><div dir="ltr" ><div dir="ltr" ><div dir="ltr" >[root@cl005 ~]# mmlsfileset home -L<br>Filesets in file system 'home':<br>Name &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Id &nbsp; &nbsp; &nbsp;RootInode &nbsp;ParentId Created &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;InodeSpace &nbsp; &nbsp; &nbsp;MaxInodes &nbsp; &nbsp;AllocInodes Comment<br>root &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 0 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;3 &nbsp; &nbsp; &nbsp; &nbsp;-- Tue Jun 30 07:54:09 2015 &nbsp; &nbsp; &nbsp; &nbsp;0 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;402653184 &nbsp; &nbsp; &nbsp;320946176 root fileset<br>hess &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 1 &nbsp; &nbsp; &nbsp;543733376 &nbsp; &nbsp; &nbsp; &nbsp; 0 Tue Jun 13 14:56:13 2017 &nbsp; &nbsp; &nbsp; &nbsp;0 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;0 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;0<br>predictHPC &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 2 &nbsp; &nbsp; &nbsp; &nbsp;1171116 &nbsp; &nbsp; &nbsp; &nbsp; 0 Thu Jan &nbsp;5 15:16:56 2017 &nbsp; &nbsp; &nbsp; &nbsp;0 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;0 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;0<br>HYCCSIM &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;3 &nbsp; &nbsp; &nbsp;544258049 &nbsp; &nbsp; &nbsp; &nbsp; 0 Wed Jun 14 10:00:41 2017 &nbsp; &nbsp; &nbsp; &nbsp;0 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;0 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;0<br>socialdet &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;4 &nbsp; &nbsp; &nbsp;544258050 &nbsp; &nbsp; &nbsp; &nbsp; 0 Wed Jun 14 10:01:02 2017 &nbsp; &nbsp; &nbsp; &nbsp;0 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;0 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;0<br>arc &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;5 &nbsp; &nbsp; &nbsp; &nbsp;1171073 &nbsp; &nbsp; &nbsp; &nbsp; 0 Thu Jan &nbsp;5 15:07:09 2017 &nbsp; &nbsp; &nbsp; &nbsp;0 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;0 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;0<br>arcadm &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 6 &nbsp; &nbsp; &nbsp; &nbsp;1171074 &nbsp; &nbsp; &nbsp; &nbsp; 0 Thu Jan &nbsp;5 15:07:10 2017 &nbsp; &nbsp; &nbsp; &nbsp;0 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;0 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;0&nbsp;</div>
<div dir="ltr" >&nbsp;</div>
<div>I beleive these are dependent filesets.&nbsp; Dependent on the root fileset.&nbsp; &nbsp;Anyhow a user wants to move a large amount of data from one fileset to another.&nbsp; &nbsp;Would this be a metadata only operation?&nbsp; He has attempted to small amount of data and has noticed some thrasing.</div></div></div></div></div></div>
<div><font size="2" face="Default Monospace,Courier New,Courier,monospace" >_______________________________________________<br>gpfsug-discuss mailing list<br>gpfsug-discuss at <a href="http://spectrumscale.org" target="_blank">spectrumscale.org</a><br><a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss" target="_blank">http://gpfsug.org/mailman/listinfo/gpfsug-discuss</a>&nbsp;</font></div></blockquote>
<div dir="ltr" >&nbsp;</div></div><br>_______________________________________________<br>gpfsug-discuss mailing list<br>gpfsug-discuss at <a href="http://spectrumscale.org" rel="noreferrer" target="_blank">spectrumscale.org</a><br><a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss" rel="noreferrer" target="_blank">http://gpfsug.org/mailman/listinfo/gpfsug-discuss</a></blockquote></div>
<div><font size="2" face="Default Monospace,Courier New,Courier,monospace" >_______________________________________________<br>gpfsug-discuss mailing list<br>gpfsug-discuss at spectrumscale.org<br><a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss" target="_blank">http://gpfsug.org/mailman/listinfo/gpfsug-discuss</a>&nbsp;</font></div></blockquote>
<div dir="ltr" >&nbsp;</div></div><BR>