<div class="socmaildefaultfont" dir="ltr" style="font-family:Arial, Helvetica, sans-serif;font-size:12pt" ><div dir="ltr" >Kevin you are correct, it is one "system" storage pool per file system not cluster.</div>
<div dir="ltr" ><div class="socmaildefaultfont" dir="ltr" style="font-family:Arial, Helvetica, sans-serif;font-size:10.5pt" ><div dir="ltr" ><br><span style="font-size:1.143em;" >Fred<br>__________________________________________________<br>Fred Stock | IBM Pittsburgh Lab | 720-430-8821<br>stockf@us.ibm.com</span></div></div></div>
<div dir="ltr" >&nbsp;</div>
<div dir="ltr" >&nbsp;</div>
<blockquote data-history-content-modified="1" dir="ltr" style="border-left:solid #aaaaaa 2px; margin-left:5px; padding-left:5px; direction:ltr; margin-right:0px" >----- Original message -----<br>From: "Buterbaugh, Kevin L" &lt;Kevin.Buterbaugh@Vanderbilt.Edu&gt;<br>Sent by: gpfsug-discuss-bounces@spectrumscale.org<br>To: gpfsug main discussion list &lt;gpfsug-discuss@spectrumscale.org&gt;<br>Cc:<br>Subject: Re: [gpfsug-discuss] GPFS v5: Blocksizes and subblocks<br>Date: Wed, Mar 27, 2019 10:33 AM<br>&nbsp;<br><!--Notes ACF
<meta http-equiv="Content-Type" content="text/html; charset=utf8" >--> Hi All,
<div>&nbsp;</div>
<div>So I was looking at the presentation referenced below and it states - on multiple slides - that there is one system storage pool per cluster. &nbsp;Really? &nbsp;Shouldn\u2019t that be one system storage pool per filesystem?!? &nbsp;If not, please explain how in my GPFS cluster with two (local) filesystems I see two different system pools with two different sets of NSDs, two different capacities, and two different percentages full???</div>
<div>&nbsp;</div>
<div>Thanks\u2026</div>
<div>&nbsp;</div>
<div>Kevin</div>
<div>&nbsp;
<div><div><div>\u2014</div>
<div>Kevin Buterbaugh - Senior System Administrator</div>
<div>Vanderbilt University - Advanced Computing Center for Research and Education</div>
<div><a href="mailto:Kevin.Buterbaugh@vanderbilt.edu" target="_blank">Kevin.Buterbaugh@vanderbilt.edu</a>&nbsp;- (615)875-9633</div></div></div>
<div>&nbsp;
<blockquote type="cite" ><div>On Mar 26, 2019, at 11:27 AM, Dorigo Alvise (PSI) &lt;<a href="mailto:alvise.dorigo@psi.ch" target="_blank">alvise.dorigo@psi.ch</a>&gt; wrote:</div>&nbsp;

<div><div><div>Hi Marc,</div>
<div>"Indirect block size" is well explained in this presentation:<span>&nbsp;</span></div>
<div>&nbsp;</div>
<div><a href="https://nam04.safelinks.protection.outlook.com/?url=http%3A%2F%2Ffiles.gpfsug.org%2Fpresentations%2F2016%2Fsouth-bank%2FD2_P2_A_spectrum_scale_metadata_dark_V2a.pdf&data=02%7C01%7CKevin.Buterbaugh%40vanderbilt.edu%7C5b28a9a0d39a47fd3f0608d6b208186a%7Cba5a7f39e3be4ab3b45067fa80faecad%7C0%7C1%7C636892145179816620&sdata=SDAw4EXR1jNDYZRdIPtNVuhR1ZfBiUFcF7%2FCrprNwag%3D&reserved=0" originalsrc="http://files.gpfsug.org/presentations/2016/south-bank/D2_P2_A_spectrum_scale_metadata_dark_V2a.pdf" shash="cTgclma2BYLWO8+U2OSNl3mbJ5gHwSxskH4XL3Lqw8okCCRbJRsIrI5w53SGaJlxdkanrAi4R1qxnF9aBK4wdjpGYHlyNuxUVXQomC6uQFY0wjEbeX/WlaShhvNApZMyNeiCd9IVdFvOdm7PuYcQfnQNLksrS1XVpXwlAIAZl1U=" target="_blank">http://files.gpfsug.org/presentations/2016/south-bank/D2_P2_A_spectrum_scale_metadata_dark_V2a.pdf</a></div>
<div>&nbsp;</div>
<div>pages 37-41</div>
<div>&nbsp;</div>
<div>Cheers,</div>
<div>&nbsp;</div>
<div>&nbsp;&nbsp; Alvise</div>
<div>&nbsp;</div>
<div style="font-family: &quot;Times New Roman&quot;; font-size: 16px;" ><hr tabindex="-1" ><div id="divRpF933280" style="direction: ltr;" ><font size="2" face="Tahoma" ><b>From:</b><span>&nbsp;</span><a href="mailto:gpfsug-discuss-bounces@spectrumscale.org" target="_blank">gpfsug-discuss-bounces@spectrumscale.org</a><span>&nbsp;</span>[<a href="mailto:gpfsug-discuss-bounces@spectrumscale.org" target="_blank">gpfsug-discuss-bounces@spectrumscale.org</a>] on behalf of Caubet Serrabou Marc (PSI) [<a href="mailto:marc.caubet@psi.ch" target="_blank">marc.caubet@psi.ch</a>]<br><b>Sent:</b><span>&nbsp;</span>Tuesday, March 26, 2019 4:39 PM<br><b>To:</b><span>&nbsp;</span>gpfsug main discussion list<br><b>Subject:</b><span>&nbsp;</span>[gpfsug-discuss] GPFS v5: Blocksizes and subblocks</font><br>&nbsp;</div>
<div>&nbsp;</div>
<div><div style="direction: ltr; font-family: Tahoma; font-size: 10pt;" ><div>Hi all,</div>
<div>&nbsp;</div>
<div>according to several GPFS presentations as well as according to the man pages:</div>
<div>&nbsp;</div>
<div><font face="Courier New" >&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Table 1. Block sizes and subblock sizes<br><br>+-------------------------------+-------------------------------+<br>| Block size&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; | Subblock size&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; |<br>+-------------------------------+-------------------------------+<br>| 64 KiB&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; | 2 KiB&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; |<br>+-------------------------------+-------------------------------+<br>| 128 KiB&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; | 4 KiB&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; |<br>+-------------------------------+-------------------------------+<br>| 256 KiB, 512 KiB, 1 MiB, 2&nbsp;&nbsp;&nbsp; | 8 KiB&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; |<br>| MiB, 4 MiB&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; |&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; |<br>+-------------------------------+-------------------------------+<br>| 8 MiB, 16 MiB&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; | 16 KiB&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; |<br>+-------------------------------+-------------------------------+</font><br>&nbsp;</div>
<div>A block size of 8MiB or 16MiB should contain subblocks of 16KiB.</div>
<div>&nbsp;</div>
<div>However, when creating a new filesystem with 16MiB blocksize, looks like is using 128KiB subblocks:</div>
<div>&nbsp;</div>
<div><font face="Courier New" >[root@merlindssio01 ~]# mmlsfs merlin<br>flag&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; value&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; description<br>------------------- ------------------------ -----------------------------------<br>&nbsp;-f&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 8192&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Minimum fragment (subblock) size in bytes (system pool)<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 131072&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Minimum fragment (subblock) size in bytes (other pools)<br>&nbsp;-i&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 4096&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Inode size in bytes<br>&nbsp;-I&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 32768&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Indirect block size in bytes<br>.</font></div>
<div><font face="Courier New" >.</font></div>
<div><font face="Courier New" >.</font></div>
<div><font face="Courier New" >&nbsp;-n&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 128&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Estimated number of nodes that will mount file system<br>&nbsp;-B&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1048576&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Block size (system pool)<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 16777216&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Block size (other pools)<br>.</font></div>
<div><font face="Courier New" >.</font></div>
<div><font face="Courier New" >.</font></div>
<div>&nbsp;</div>
<div>What am I missing? According to documentation, I expect this to be a fixed value, or it isn't at all?</div>
<div>&nbsp;</div>
<div>On the other hand, I don't really understand the concept 'Indirect block size in bytes', can somebody clarify or provide some details about this setting?</div>
<div>&nbsp;</div>
<div>Thanks a lot and best regards,</div>
<div>Marc&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<span>&nbsp;</span>
<div style="font-family: Tahoma; font-size: 13px;" ><div style="font-family: Tahoma; font-size: 13px;" ><div><div><font size="2" ><span style="font-size: 10pt;" >_________________________________________<br>Paul Scherrer Institut<span>&nbsp;</span><br>High Performance Computing<br>Marc Caubet Serrabou<br>Building/Room: WHGA/019A</span></font></div>
<div><font size="2" ><span style="font-size: 10pt;" ><font size="2" ><span style="font-size: 10pt;" >Forschungsstrasse, 111</span></font></span></font></div>
<div><font size="2" ><span style="font-size: 10pt;" >5232 Villigen PSI<br>Switzerland<br><br>Telephone: +41 56 310 46 67<br>E-Mail:<span>&nbsp;</span><a href="mailto:marc.caubet@psi.ch" target="_blank">marc.caubet@psi.ch</a></span></font></div></div></div></div></div></div></div></div></div><span>_______________________________________________</span><br><span>gpfsug-discuss mailing list</span><br><span>gpfsug-discuss at<span>&nbsp;</span></span><a href="http://spectrumscale.org/" target="_blank">spectrumscale.org</a><br><a href="https://nam04.safelinks.protection.outlook.com/?url=http%3A%2F%2Fgpfsug.org%2Fmailman%2Flistinfo%2Fgpfsug-discuss&amp;data=02%7C01%7CKevin.Buterbaugh%40vanderbilt.edu%7C5b28a9a0d39a47fd3f0608d6b208186a%7Cba5a7f39e3be4ab3b45067fa80faecad%7C0%7C1%7C636892145179836634&amp;sdata=23F22sUiyCYEg0H3AdbkBAnhPpLVBVTh39zRr%2FLYCmc%3D&amp;reserved=0" target="_blank">https://nam04.safelinks.protection.outlook.com/?url=http%3A%2F%2Fgpfsug.org%2Fmailman%2Flistinfo%2Fgpfsug-discuss&amp;amp;data=02%7C01%7CKevin.Buterbaugh%40vanderbilt.edu%7C5b28a9a0d39a47fd3f0608d6b208186a%7Cba5a7f39e3be4ab3b45067fa80faecad%7C0%7C1%7C636892145179836634&amp;amp;sdata=23F22sUiyCYEg0H3AdbkBAnhPpLVBVTh39zRr%2FLYCmc%3D&amp;amp;reserved=0</a></div></blockquote></div></div>
<div><font size="2" face="Default Monospace,Courier New,Courier,monospace" >_______________________________________________<br>gpfsug-discuss mailing list<br>gpfsug-discuss at spectrumscale.org<br><a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss" target="_blank">http://gpfsug.org/mailman/listinfo/gpfsug-discuss</a></font></div></blockquote>
<div dir="ltr" >&nbsp;</div></div><BR>