<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
</head>
<body>
<div>We are doing something very similar using 4.2.3-4 and GPFS 4.2.1-1 on the nfs backend. Did you have any success?</div>
<div><br>
</div>
<div>The plan is to load the new cache from the old GPFS then dump once the cache is full.</div>
<div><br>
</div>
<div>We've already increase numThreashThreads from 4 to 8 and seen only marginal improvements, we could attempt to increase this further.</div>
<div><br>
</div>
<div>I'm also wondering if its worth increasing the Refresh Intervals to speed up read of already cache files. At this stage we want to fill the cache and don't care about write back until we switch the target to the new NFS/GPFS from our old GPFS storage to
 a new box back at our off-site location, (otherwise known as the office)</div>
<div><br>
</div>
<div>[<a href="mailto:root@afmgateway1">root@afmgateway1</a> scratch]# mmlsfileset home home -L --afm</div>
<div>Filesets in file system 'home':</div>
<div><br>
</div>
<div>Attributes for fileset home:</div>
<div>=============================</div>
<div>Status&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Linked</div>
<div>Path&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;/data2/home</div>
<div>Id&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;42</div>
<div>Root inode&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;1343225859</div>
<div>Parent Id&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;0</div>
<div>Created&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Wed Jan&nbsp;&nbsp;3 12:32:33 2018</div>
<div>Comment&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</div>
<div>Inode space&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;41&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</div>
<div>Maximum number of inodes&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;100000000</div>
<div>Allocated inodes&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;15468544</div>
<div>Permission change flag&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;chmodAndSetacl</div>
<div>afm-associated&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Yes</div>
<div>Target&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;nfs://afm1/gpfs/data1/afm/home</div>
<div>Mode&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;single-writer</div>
<div>File Lookup Refresh Interval&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;30 (default)</div>
<div>File Open Refresh Interval&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;30 (default)</div>
<div>Dir Lookup Refresh Interval&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;60 (default)</div>
<div>Dir Open Refresh Interval&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;60 (default)</div>
<div>Async Delay&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;15 (default)</div>
<div>Last pSnapId&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;0</div>
<div>Display Home Snapshots&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;no</div>
<div>Number of Gateway Flush Threads&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;8</div>
<div>Prefetch Threshold&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;0 (default)</div>
<div>Eviction Enabled&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;no</div>
<div><br>
</div>
<div>Thanks in advance.</div>
<div><br>
</div>
<div>Peter Childs</div>
<div><br>
</div>
<div></div>
<div><br>
</div>
<div><br>
</div>
<div>On Tue, 2017-09-05 at 19:57 &#43;0530, Venkateswara R Puvvada wrote:</div>
<blockquote type="cite"><tt><font size="2">Which version of Spectrum Scale ? What is the fileset mode ?</font></tt><br>
<br>
<tt><font size="2">&gt;We use AFM prefetch to migrate data between two clusters (using NFS). This works fine with large files, say 1&#43;GB. But we have millions of smaller files, &nbsp;about 1MB each. Here &gt;I see just ~150MB/s \u2013 compare this to the 1000&#43;MB/s we get for
 larger files.<br>
<br>
How was the performance measured ? If parallel IO is enabled, AFM uses multiple gateway nodes to prefetch the large files (if file size if more than 1GB). Performance difference between small and lager file is huge (1000MB - 150MB = 850MB) here, and generally
 it is not the case. How many files were present in list file for prefetch ? Could you also share full internaldump from the gateway node ?
<br>
<br>
&gt;I assume that we would need more parallelism, does prefetch pull just one file at a time? So each file needs &nbsp;some or many metadata operations plus a single &nbsp;or just a few &gt;read and writes. Doing this sequentially adds up all the latencies of NFS&#43;GPFS. This
 is my explanation. With larger files gpfs prefetch on home will help.<br>
</font></tt><br>
<tt><font size="2">AFM prefetches the files on multiple threads. Default flush threads for prefetch are 36 (fileset.afmNumFlushThreads (default 4) &#43; afmNumIOFlushThreads (default 32)).
<br>
<br>
&gt;Please can anybody comment: Is this right, does AFM prefetch handle one file at a time in a sequential manner? And is there any way to change this behavior? Or am I wrong and &gt;I need to look elsewhere to get better performance for prefetch of many smaller
 files?<br>
</font></tt><br>
<font size="2" face="sans-serif">See above, AFM reads files on multiple threads parallelly. &nbsp;Try increasing the afmNumFlushThreads on fileset and verify if it improves the performance.</font><br>
<br>
<font size="2" face="sans-serif">~Venkat (vpuvvada@in.ibm.com)</font><br>
<br>
<br>
<br>
<font size="1" color="#5f5f5f" face="sans-serif">From: &nbsp; &nbsp; &nbsp; &nbsp;</font><font size="1" face="sans-serif">&quot;Billich Heinrich Rainer (PSI)&quot; &lt;heiner.billich@psi.ch&gt;</font><br>
<font size="1" color="#5f5f5f" face="sans-serif">To: &nbsp; &nbsp; &nbsp; &nbsp;</font><font size="1" face="sans-serif">&quot;gpfsug-discuss@spectrumscale.org&quot; &lt;gpfsug-discuss@spectrumscale.org&gt;</font><br>
<font size="1" color="#5f5f5f" face="sans-serif">Date: &nbsp; &nbsp; &nbsp; &nbsp;</font><font size="1" face="sans-serif">09/04/2017 10:18 PM</font><br>
<font size="1" color="#5f5f5f" face="sans-serif">Subject: &nbsp; &nbsp; &nbsp; &nbsp;</font><font size="1" face="sans-serif">[gpfsug-discuss] Use AFM for migration of many small files</font><br>
<font size="1" color="#5f5f5f" face="sans-serif">Sent by: &nbsp; &nbsp; &nbsp; &nbsp;</font><font size="1" face="sans-serif">gpfsug-discuss-bounces@spectrumscale.org</font><br>
<br>
<br>
<br>
<tt><font size="2">Hello,<br>
<br>
<br>
<br>
We use AFM prefetch to migrate data between two clusters (using NFS). This works fine with large files, say 1&#43;GB. But we have millions of smaller files, &nbsp;about 1MB each. Here I see just ~150MB/s \u2013 compare this to the 1000&#43;MB/s we get for larger files.<br>
<br>
<br>
<br>
I assume that we would need more parallelism, does prefetch pull just one file at a time? So each file needs &nbsp;some or many metadata operations plus a single &nbsp;or just a few read and writes. Doing this sequentially adds up all the latencies of NFS&#43;GPFS. This
 is my explanation. With larger files gpfs prefetch on home will help.<br>
<br>
<br>
<br>
Please can anybody comment: Is this right, does AFM prefetch handle one file at a time in a sequential manner? And is there any way to change this behavior? Or am I wrong and I need to look elsewhere to get better performance for prefetch of many smaller files?<br>
<br>
<br>
<br>
We will migrate several filesets in parallel, but still with individual filesets up to 350TB in size 150MB/s isn\u2019t fun. Also just about 150 files/s seconds looks poor.<br>
<br>
<br>
<br>
The setup is quite new, hence there may be other places to look at. <br>
<br>
It\u2019s all RHEL7 an spectrum scale 4.2.2-3 on the afm cache.<br>
<br>
<br>
<br>
Thank you,<br>
<br>
<br>
<br>
Heiner<br>
<br>
--,<br>
<br>
Paul Scherrer Institut<br>
<br>
Science IT<br>
<br>
Heiner Billich<br>
<br>
WHGA 106<br>
<br>
CH 5232 &nbsp;Villigen PSI<br>
<br>
056 310 36 02<br>
<br>
</font></tt><a href="https://urldefense.proofpoint.com/v2/url?u=https-3A__www.psi.ch&amp;d=DwIGaQ&amp;c=jf_iaSHvJObTbx-siA1ZOg&amp;r=92LOlNh2yLzrrGTDA7HnfF8LFr55zGxghLZtvZcZD7A&amp;m=4y79Y-3M5sHV1Fm6aUFPEDIl8W5jxVP64XSlBsAYBb4&amp;s=eHcVdovN10-m-Qk0Ln2qvol3pkKNFwrzz2wgf1zXVXE&amp;e="><tt><font size="2">https://urldefense.proofpoint.com/v2/url?u=https-3A__www.psi.ch&amp;d=DwIGaQ&amp;c=jf_iaSHvJObTbx-siA1ZOg&amp;r=92LOlNh2yLzrrGTDA7HnfF8LFr55zGxghLZtvZcZD7A&amp;m=4y79Y-3M5sHV1Fm6aUFPEDIl8W5jxVP64XSlBsAYBb4&amp;s=eHcVdovN10-m-Qk0Ln2qvol3pkKNFwrzz2wgf1zXVXE&amp;e=</font></tt></a><tt><font size="2"><br>
<br>
<br>
<br>
&nbsp; &nbsp;<br>
<br>
<br>
<br>
_______________________________________________<br>
gpfsug-discuss mailing list<br>
gpfsug-discuss at spectrumscale.org<br>
</font></tt><a href="https://urldefense.proofpoint.com/v2/url?u=http-3A__gpfsug.org_mailman_listinfo_gpfsug-2Ddiscuss&amp;d=DwIGaQ&amp;c=jf_iaSHvJObTbx-siA1ZOg&amp;r=92LOlNh2yLzrrGTDA7HnfF8LFr55zGxghLZtvZcZD7A&amp;m=4y79Y-3M5sHV1Fm6aUFPEDIl8W5jxVP64XSlBsAYBb4&amp;s=LbRyuSM_djs0FDXr27hPottQHAn3OGcivpyRcIDBN3U&amp;e="><tt><font size="2">https://urldefense.proofpoint.com/v2/url?u=http-3A__gpfsug.org_mailman_listinfo_gpfsug-2Ddiscuss&amp;d=DwIGaQ&amp;c=jf_iaSHvJObTbx-siA1ZOg&amp;r=92LOlNh2yLzrrGTDA7HnfF8LFr55zGxghLZtvZcZD7A&amp;m=4y79Y-3M5sHV1Fm6aUFPEDIl8W5jxVP64XSlBsAYBb4&amp;s=LbRyuSM_djs0FDXr27hPottQHAn3OGcivpyRcIDBN3U&amp;e=</font></tt></a><tt><font size="2"><br>
<br>
</font></tt><br>
<br>
<br>
<pre>_______________________________________________
gpfsug-discuss mailing list
gpfsug-discuss at spectrumscale.org
<a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss">http://gpfsug.org/mailman/listinfo/gpfsug-discuss</a>
</pre>
</blockquote>
<div><span>
<pre>-- <br></pre>
<div style="width: 71ch;">Peter Childs</div>
<div style="width: 71ch;">ITS Research Storage</div>
<div style="width: 71ch;">Queen Mary, University of London</div>
<div style="width: 71ch;"><br>
</div>
</span></div>
</body>
</html>