<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
</head>
<body style="word-wrap: break-word; -webkit-nbsp-mode: space; line-break: after-white-space;" class="">
Hi Marc,
<div class=""><br class="">
</div>
<div class="">Thanks for the response \u2026 I understand what you\u2019re saying, but since I\u2019m asking for a 1 MB block size for metadata and a 4 MB block size for data and according to the chart in the mmcrfs man page both result in an 8 KB sub block size I\u2019m still
 confused as to why I\u2019ve got a 32 KB sub block size for my non-system (i.e. data) pools? &nbsp;Especially when you consider that 32 KB isn\u2019t the default even if I had chosen an 8 or 16 MB block size!</div>
<div class=""><br class="">
</div>
<div class="">Kevin</div>
<div class=""><br class="">
<div class="">
<div class="">\u2014</div>
<div class="">Kevin Buterbaugh - Senior System Administrator</div>
<div class="">Vanderbilt University - Advanced Computing Center for Research and Education</div>
<div class=""><a href="mailto:Kevin.Buterbaugh@vanderbilt.edu" class="">Kevin.Buterbaugh@vanderbilt.edu</a>&nbsp;- (615)875-9633</div>
<div class=""><br class="">
</div>
</div>
<div>
<blockquote type="cite" class="">
<div class="">On Aug 1, 2018, at 12:21 PM, Marc A Kaplan &lt;<a href="mailto:makaplan@us.ibm.com" class="">makaplan@us.ibm.com</a>&gt; wrote:</div>
<br class="Apple-interchange-newline">
<div class=""><span style=" font-size:10pt;font-family:sans-serif" class="">I haven't looked into all the details but here's a clue -- notice there is only one &quot;subblocks-per-full-block&quot; parameter. &nbsp;</span><br class="">
<br class="">
<span style=" font-size:10pt;font-family:sans-serif" class="">And it is the same for both metadata blocks and datadata blocks.</span><br class="">
<span style=" font-size:10pt;font-family:sans-serif" class=""><br class="">
So maybe (MAYBE) that is a constraint somewhere...</span><br class="">
<br class="">
<span style=" font-size:10pt;font-family:sans-serif" class="">Certainly, in the currently supported code, that's what you get.<br class="">
</span><br class="">
<span style=" font-size:9pt;color:#5f5f5f;font-family:sans-serif" class="">From: &nbsp; &nbsp; &nbsp; &nbsp;</span><span style=" font-size:9pt;font-family:sans-serif" class="">&quot;Buterbaugh, Kevin L&quot; &lt;<a href="mailto:Kevin.Buterbaugh@Vanderbilt.Edu" class="">Kevin.Buterbaugh@Vanderbilt.Edu</a>&gt;</span><br class="">
<span style=" font-size:9pt;color:#5f5f5f;font-family:sans-serif" class="">To: &nbsp; &nbsp; &nbsp; &nbsp;</span><span style=" font-size:9pt;font-family:sans-serif" class="">gpfsug main discussion list &lt;<a href="mailto:gpfsug-discuss@spectrumscale.org" class="">gpfsug-discuss@spectrumscale.org</a>&gt;</span><br class="">
<span style=" font-size:9pt;color:#5f5f5f;font-family:sans-serif" class="">Date: &nbsp; &nbsp; &nbsp; &nbsp;</span><span style=" font-size:9pt;font-family:sans-serif" class="">08/01/2018 12:55 PM</span><br class="">
<span style=" font-size:9pt;color:#5f5f5f;font-family:sans-serif" class="">Subject: &nbsp; &nbsp; &nbsp; &nbsp;</span><span style=" font-size:9pt;font-family:sans-serif" class="">[gpfsug-discuss] Sub-block size wrong on GPFS 5 filesystem?</span><br class="">
<span style=" font-size:9pt;color:#5f5f5f;font-family:sans-serif" class="">Sent by: &nbsp; &nbsp; &nbsp; &nbsp;</span><span style=" font-size:9pt;font-family:sans-serif" class=""><a href="mailto:gpfsug-discuss-bounces@spectrumscale.org" class="">gpfsug-discuss-bounces@spectrumscale.org</a></span><br class="">
<hr noshade="" class="">
<br class="">
<br class="">
<br class="">
<span style=" font-size:12pt" class="">Hi All, </span><br class="">
<br class="">
<span style=" font-size:12pt" class="">Our production cluster is still on GPFS 4.2.3.x, but in preparation for moving to GPFS 5 I have upgraded our small (7 node) test cluster to GPFS 5.0.1-1. &nbsp;I am setting up a new filesystem there using hardware that we recently
 life-cycled out of our production environment.</span><br class="">
<br class="">
<span style=" font-size:12pt" class="">I \u201csuccessfully\u201d created a filesystem but I believe the sub-block size is wrong. &nbsp;I\u2019m using a 4 MB filesystem block size, so according to the mmcrfs man page the sub-block size should be 8K:</span><br class="">
<br class="">
<span style=" font-size:12pt" class="">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Table 1. Block sizes and subblock sizes</span><br class="">
<br class="">
<span style=" font-size:12pt" class="">&#43;\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010&#43;\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010&#43;</span><br class="">
<span style=" font-size:12pt" class="">| Block size &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;| Subblock size &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; |</span><br class="">
<span style=" font-size:12pt" class="">&#43;\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010&#43;\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010&#43;</span><br class="">
<span style=" font-size:12pt" class="">| 64 KiB &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;| 2 KiB &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; |</span><br class="">
<span style=" font-size:12pt" class="">&#43;\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010&#43;\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010&#43;</span><br class="">
<span style=" font-size:12pt" class="">| 128 KiB &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; | 4 KiB &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; |</span><br class="">
<span style=" font-size:12pt" class="">&#43;\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010&#43;\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010&#43;</span><br class="">
<span style=" font-size:12pt" class="">| 256 KiB, 512 KiB, 1 MiB, 2 &nbsp; &nbsp;| 8 KiB &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; |</span><br class="">
<span style=" font-size:12pt" class="">| MiB, 4 MiB &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;| &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; |</span><br class="">
<span style=" font-size:12pt" class="">&#43;\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010&#43;\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010&#43;</span><br class="">
<span style=" font-size:12pt" class="">| 8 MiB, 16 MiB &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; | 16 KiB &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;|</span><br class="">
<span style=" font-size:12pt" class="">&#43;\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010&#43;\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010&#43;</span><br class="">
<br class="">
<span style=" font-size:12pt" class="">However, it appears that it\u2019s 8K for the system pool but 32K for the other pools:</span><br class="">
<br class="">
<span style=" font-size:12pt" class="">flag &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;value &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;description</span><br class="">
<span style=" font-size:12pt" class="">------------------- ------------------------ -----------------------------------</span><br class="">
<span style=" font-size:12pt" class="">&nbsp;-f &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 8192 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; Minimum fragment (subblock) size in bytes (system pool)</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 32768 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Minimum fragment (subblock) size in bytes (other pools)</span><br class="">
<span style=" font-size:12pt" class="">&nbsp;-i &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 4096 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; Inode size in bytes</span><br class="">
<span style=" font-size:12pt" class="">&nbsp;-I &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 32768 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Indirect block size in bytes</span><br class="">
<span style=" font-size:12pt" class="">&nbsp;-m &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 2 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Default number of metadata replicas</span><br class="">
<span style=" font-size:12pt" class="">&nbsp;-M &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 3 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Maximum number of metadata replicas</span><br class="">
<span style=" font-size:12pt" class="">&nbsp;-r &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 1 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Default number of data replicas</span><br class="">
<span style=" font-size:12pt" class="">&nbsp;-R &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 3 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Maximum number of data replicas</span><br class="">
<span style=" font-size:12pt" class="">&nbsp;-j &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; scatter &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Block allocation type</span><br class="">
<span style=" font-size:12pt" class="">&nbsp;-D &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; nfs4 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; File locking semantics in effect</span><br class="">
<span style=" font-size:12pt" class="">&nbsp;-k &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; all &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;ACL semantics in effect</span><br class="">
<span style=" font-size:12pt" class="">&nbsp;-n &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 32 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; Estimated number of nodes that will mount file system</span><br class="">
<span style=" font-size:12pt" class="">&nbsp;-B &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 1048576 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Block size (system pool)</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 4194304 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Block size (other pools)</span><br class="">
<span style=" font-size:12pt" class="">&nbsp;-Q &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; user;group;fileset &nbsp; &nbsp; &nbsp; Quotas accounting enabled</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; user;group;fileset &nbsp; &nbsp; &nbsp; Quotas enforced</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; none &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; Default quotas enabled</span><br class="">
<span style=" font-size:12pt" class="">&nbsp;--perfileset-quota No &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; Per-fileset quota enforcement</span><br class="">
<span style=" font-size:12pt" class="">&nbsp;--filesetdf &nbsp; &nbsp; &nbsp; &nbsp;No &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; Fileset df enabled?</span><br class="">
<span style=" font-size:12pt" class="">&nbsp;-V &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 19.01 (5.0.1.0) &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;File system version</span><br class="">
<span style=" font-size:12pt" class="">&nbsp;--create-time &nbsp; &nbsp; &nbsp;Wed Aug &nbsp;1 11:39:39 2018 File system creation time</span><br class="">
<span style=" font-size:12pt" class="">&nbsp;-z &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; No &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; Is DMAPI enabled?</span><br class="">
<span style=" font-size:12pt" class="">&nbsp;-L &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 33554432 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; Logfile size</span><br class="">
<span style=" font-size:12pt" class="">&nbsp;-E &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; Yes &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Exact mtime mount option</span><br class="">
<span style=" font-size:12pt" class="">&nbsp;-S &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; relatime &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; Suppress atime mount option</span><br class="">
<span style=" font-size:12pt" class="">&nbsp;-K &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; whenpossible &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; Strict replica allocation option</span><br class="">
<span style=" font-size:12pt" class="">&nbsp;--fastea &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; Yes &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Fast external attributes enabled?</span><br class="">
<span style=" font-size:12pt" class="">&nbsp;--encryption &nbsp; &nbsp; &nbsp; No &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; Encryption enabled?</span><br class="">
<span style=" font-size:12pt" class="">&nbsp;--inode-limit &nbsp; &nbsp; &nbsp;101095424 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Maximum number of inodes</span><br class="">
<span style=" font-size:12pt" class="">&nbsp;--log-replicas &nbsp; &nbsp; 0 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Number of log replicas</span><br class="">
<span style=" font-size:12pt" class="">&nbsp;--is4KAligned &nbsp; &nbsp; &nbsp;Yes &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;is4KAligned?</span><br class="">
<span style=" font-size:12pt" class="">&nbsp;--rapid-repair &nbsp; &nbsp; Yes &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;rapidRepair enabled?</span><br class="">
<span style=" font-size:12pt" class="">&nbsp;--write-cache-threshold 0 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; HAWC Threshold (max 65536)</span><br class="">
<span style=" font-size:12pt" class="">&nbsp;--subblocks-per-full-block 128 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Number of subblocks per full block</span><br class="">
<span style=" font-size:12pt" class="">&nbsp;-P &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; system;raid1;raid6 &nbsp; &nbsp; &nbsp; Disk storage pools in file system</span><br class="">
<span style=" font-size:12pt" class="">&nbsp;--file-audit-log &nbsp; No &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; File Audit Logging enabled?</span><br class="">
<span style=" font-size:12pt" class="">&nbsp;--maintenance-mode No &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; Maintenance Mode enabled?</span><br class="">
<span style=" font-size:12pt" class="">&nbsp;-d &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; test21A3nsd;test21A4nsd;test21B3nsd;test21B4nsd;test23Ansd;test23Bnsd;test23Cnsd;test24Ansd;test24Bnsd;test24Cnsd;test25Ansd;test25Bnsd;test25Cnsd &nbsp;Disks in file system</span><br class="">
<span style=" font-size:12pt" class="">&nbsp;-A &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; yes &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Automatic mount option</span><br class="">
<span style=" font-size:12pt" class="">&nbsp;-o &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; none &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; Additional mount options</span><br class="">
<span style=" font-size:12pt" class="">&nbsp;-T &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; /gpfs5 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; Default mount point</span><br class="">
<span style=" font-size:12pt" class="">&nbsp;--mount-priority &nbsp; 0 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Mount priority</span><br class="">
<br class="">
<span style=" font-size:12pt" class="">Output of mmcrfs:</span><br class="">
<br class="">
<span style=" font-size:12pt" class="">mmcrfs gpfs5 -F ~/gpfs/gpfs5.stanza -A yes -B 4M -E yes -i 4096 -j scatter -k all -K whenpossible -m 2 -M 3 -n 32 -Q yes -r 1 -R 3 -T /gpfs5 -v yes --nofilesetdf --metadata-block-size 1M</span><br class="">
<br class="">
<span style=" font-size:12pt" class="">The following disks of gpfs5 will be formatted on node testnsd3:</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; &nbsp; test21A3nsd: size 953609 MB</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; &nbsp; test21A4nsd: size 953609 MB</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; &nbsp; test21B3nsd: size 953609 MB</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; &nbsp; test21B4nsd: size 953609 MB</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; &nbsp; test23Ansd: size 15259744 MB</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; &nbsp; test23Bnsd: size 15259744 MB</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; &nbsp; test23Cnsd: size 1907468 MB</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; &nbsp; test24Ansd: size 15259744 MB</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; &nbsp; test24Bnsd: size 15259744 MB</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; &nbsp; test24Cnsd: size 1907468 MB</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; &nbsp; test25Ansd: size 15259744 MB</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; &nbsp; test25Bnsd: size 15259744 MB</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; &nbsp; test25Cnsd: size 1907468 MB</span><br class="">
<span style=" font-size:12pt" class="">Formatting file system ...</span><br class="">
<span style=" font-size:12pt" class="">Disks up to size 8.29 TB can be added to storage pool system.</span><br class="">
<span style=" font-size:12pt" class="">Disks up to size 16.60 TB can be added to storage pool raid1.</span><br class="">
<span style=" font-size:12pt" class="">Disks up to size 132.62 TB can be added to storage pool raid6.</span><br class="">
<span style=" font-size:12pt" class="">Creating Inode File</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; &nbsp;8 % complete on Wed Aug &nbsp;1 11:39:19 2018</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; 18 % complete on Wed Aug &nbsp;1 11:39:24 2018</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; 27 % complete on Wed Aug &nbsp;1 11:39:29 2018</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; 37 % complete on Wed Aug &nbsp;1 11:39:34 2018</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; 48 % complete on Wed Aug &nbsp;1 11:39:39 2018</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; 60 % complete on Wed Aug &nbsp;1 11:39:44 2018</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; 72 % complete on Wed Aug &nbsp;1 11:39:49 2018</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; 83 % complete on Wed Aug &nbsp;1 11:39:54 2018</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; 95 % complete on Wed Aug &nbsp;1 11:39:59 2018</span><br class="">
<span style=" font-size:12pt" class="">&nbsp;100 % complete on Wed Aug &nbsp;1 11:40:01 2018</span><br class="">
<span style=" font-size:12pt" class="">Creating Allocation Maps</span><br class="">
<span style=" font-size:12pt" class="">Creating Log Files</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; &nbsp;3 % complete on Wed Aug &nbsp;1 11:40:07 2018</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; 28 % complete on Wed Aug &nbsp;1 11:40:14 2018</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; 53 % complete on Wed Aug &nbsp;1 11:40:19 2018</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; 78 % complete on Wed Aug &nbsp;1 11:40:24 2018</span><br class="">
<span style=" font-size:12pt" class="">&nbsp;100 % complete on Wed Aug &nbsp;1 11:40:25 2018</span><br class="">
<span style=" font-size:12pt" class="">Clearing Inode Allocation Map</span><br class="">
<span style=" font-size:12pt" class="">Clearing Block Allocation Map</span><br class="">
<span style=" font-size:12pt" class="">Formatting Allocation Map for storage pool system</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; 85 % complete on Wed Aug &nbsp;1 11:40:32 2018</span><br class="">
<span style=" font-size:12pt" class="">&nbsp;100 % complete on Wed Aug &nbsp;1 11:40:33 2018</span><br class="">
<span style=" font-size:12pt" class="">Formatting Allocation Map for storage pool raid1</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; 53 % complete on Wed Aug &nbsp;1 11:40:38 2018</span><br class="">
<span style=" font-size:12pt" class="">&nbsp;100 % complete on Wed Aug &nbsp;1 11:40:42 2018</span><br class="">
<span style=" font-size:12pt" class="">Formatting Allocation Map for storage pool raid6</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; 20 % complete on Wed Aug &nbsp;1 11:40:47 2018</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; 39 % complete on Wed Aug &nbsp;1 11:40:52 2018</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; 60 % complete on Wed Aug &nbsp;1 11:40:57 2018</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; 79 % complete on Wed Aug &nbsp;1 11:41:02 2018</span><br class="">
<span style=" font-size:12pt" class="">&nbsp;100 % complete on Wed Aug &nbsp;1 11:41:08 2018</span><br class="">
<span style=" font-size:12pt" class="">Completed creation of file system /dev/gpfs5.</span><br class="">
<span style=" font-size:12pt" class="">mmcrfs: Propagating the cluster configuration data to all</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; affected nodes. &nbsp;This is an asynchronous process.</span><br class="">
<br class="">
<span style=" font-size:12pt" class="">And contents of stanza file:</span><br class="">
<br class="">
<span style=" font-size:12pt" class="">%nsd:</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; nsd=test21A3nsd</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; usage=metadataOnly</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; failureGroup=210</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; pool=system</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; servers=testnsd3,testnsd1,testnsd2</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; device=dm-15</span><br class="">
<br class="">
<span style=" font-size:12pt" class="">%nsd:</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; nsd=test21A4nsd</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; usage=metadataOnly</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; failureGroup=210</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; pool=system</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; servers=testnsd1,testnsd2,testnsd3</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; device=dm-14</span><br class="">
<br class="">
<span style=" font-size:12pt" class="">%nsd:</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; nsd=test21B3nsd</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; usage=metadataOnly</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; failureGroup=211</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; pool=system</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; servers=testnsd1,testnsd2,testnsd3</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; device=dm-17</span><br class="">
<br class="">
<span style=" font-size:12pt" class="">%nsd:</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; nsd=test21B4nsd</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; usage=metadataOnly</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; failureGroup=211</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; pool=system</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; servers=testnsd2,testnsd3,testnsd1</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; device=dm-16</span><br class="">
<br class="">
<span style=" font-size:12pt" class="">%nsd:</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; nsd=test23Ansd</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; usage=dataOnly</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; failureGroup=23</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; pool=raid6</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; servers=testnsd2,testnsd3,testnsd1</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; device=dm-10</span><br class="">
<br class="">
<span style=" font-size:12pt" class="">%nsd:</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; nsd=test23Bnsd</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; usage=dataOnly</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; failureGroup=23</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; pool=raid6</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; servers=testnsd3,testnsd1,testnsd2</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; device=dm-9</span><br class="">
<br class="">
<span style=" font-size:12pt" class="">%nsd:</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; nsd=test23Cnsd</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; usage=dataOnly</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; failureGroup=23</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; pool=raid1</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; servers=testnsd1,testnsd2,testnsd3</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; device=dm-5</span><br class="">
<br class="">
<span style=" font-size:12pt" class="">%nsd:</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; nsd=test24Ansd</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; usage=dataOnly</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; failureGroup=24</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; pool=raid6</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; servers=testnsd3,testnsd1,testnsd2</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; device=dm-6</span><br class="">
<br class="">
<span style=" font-size:12pt" class="">%nsd:</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; nsd=test24Bnsd</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; usage=dataOnly</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; failureGroup=24</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; pool=raid6</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; servers=testnsd1,testnsd2,testnsd3</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; device=dm-0</span><br class="">
<br class="">
<span style=" font-size:12pt" class="">%nsd:</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; nsd=test24Cnsd</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; usage=dataOnly</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; failureGroup=24</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; pool=raid1</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; servers=testnsd2,testnsd3,testnsd1</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; device=dm-2</span><br class="">
<br class="">
<span style=" font-size:12pt" class="">%nsd:</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; nsd=test25Ansd</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; usage=dataOnly</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; failureGroup=25</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; pool=raid6</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; servers=testnsd1,testnsd2,testnsd3</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; device=dm-6</span><br class="">
<br class="">
<span style=" font-size:12pt" class="">%nsd:</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; nsd=test25Bnsd</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; usage=dataOnly</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; failureGroup=25</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; pool=raid6</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; servers=testnsd2,testnsd3,testnsd1</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; device=dm-6</span><br class="">
<br class="">
<span style=" font-size:12pt" class="">%nsd:</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; nsd=test25Cnsd</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; usage=dataOnly</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; failureGroup=25</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; pool=raid1</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; servers=testnsd3,testnsd1,testnsd2</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; device=dm-3</span><br class="">
<br class="">
<span style=" font-size:12pt" class="">%pool:</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; pool=system</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; blockSize=1M</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; usage=metadataOnly</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; layoutMap=scatter</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; allowWriteAffinity=no</span><br class="">
<br class="">
<span style=" font-size:12pt" class="">%pool:</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; pool=raid6</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; blockSize=4M</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; usage=dataOnly</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; layoutMap=scatter</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; allowWriteAffinity=no</span><br class="">
<br class="">
<span style=" font-size:12pt" class="">%pool:</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; pool=raid1</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; blockSize=4M</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; usage=dataOnly</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; layoutMap=scatter</span><br class="">
<span style=" font-size:12pt" class="">&nbsp; allowWriteAffinity=no</span><br class="">
<br class="">
<span style=" font-size:12pt" class="">What am I missing or what have I done wrong? &nbsp;Thanks\u2026</span><br class="">
<br class="">
<span style=" font-size:12pt" class="">Kevin</span><br class="">
<span style=" font-size:12pt" class="">\u2014</span><br class="">
<span style=" font-size:12pt" class="">Kevin Buterbaugh - Senior System Administrator</span><br class="">
<span style=" font-size:12pt" class="">Vanderbilt University - Advanced Computing Center for Research and Education</span><br class="">
<a href="mailto:Kevin.Buterbaugh@vanderbilt.edu" class=""><span style=" font-size:12pt;color:blue" class=""><u class="">Kevin.Buterbaugh@vanderbilt.edu</u></span></a><span style=" font-size:12pt" class="">- (615)875-9633</span><br class="">
<br class="">
<br class="">
<tt class=""><span style=" font-size:10pt" class="">_______________________________________________<br class="">
gpfsug-discuss mailing list<br class="">
gpfsug-discuss at <a href="http://spectrumscale.org" class="">spectrumscale.org</a><br class="">
</span></tt><a href="https://na01.safelinks.protection.outlook.com/?url=http%3A%2F%2Fgpfsug.org%2Fmailman%2Flistinfo%2Fgpfsug-discuss&amp;data=02%7C01%7CKevin.Buterbaugh%40vanderbilt.edu%7Cd84fdde05c65406d4d9008d5f7d32f0f%7Cba5a7f39e3be4ab3b45067fa80faecad%7C0%7C0%7C636687408760525035&amp;sdata=YIa8UdCmnzKTXU4cWYHxn8Sn%2Fhmnkcb8e0sCnPXD8C4%3D&amp;reserved=0" originalsrc="http://gpfsug.org/mailman/listinfo/gpfsug-discuss" shash="qqk62KHnCHYOSs8I/2&#43;qpHWw3SAWavCXay0m7S6&#43;SEmx1cqpTUxs4MBxzcyHZknIaHVivxruIKOS6sgugKZAhawlvwxP/ZGZ5W3UCGiE1ZXCB6r93pAi8JVnQygtEqJxqzBn9xoF1SXQv846o8ZayyaKOdHQcvosWkjj3h0MZLg=" class=""><tt class=""><span style=" font-size:10pt" class="">http://gpfsug.org/mailman/listinfo/gpfsug-discuss</span></tt></a><tt class=""><span style=" font-size:10pt" class=""><br class="">
</span></tt><br class="">
<br class="">
<br class="">
_______________________________________________<br class="">
gpfsug-discuss mailing list<br class="">
gpfsug-discuss at <a href="http://spectrumscale.org" class="">spectrumscale.org</a><br class="">
<a href="https://na01.safelinks.protection.outlook.com/?url=http%3A%2F%2Fgpfsug.org%2Fmailman%2Flistinfo%2Fgpfsug-discuss&amp;amp;data=02%7C01%7CKevin.Buterbaugh%40vanderbilt.edu%7Cd84fdde05c65406d4d9008d5f7d32f0f%7Cba5a7f39e3be4ab3b45067fa80faecad%7C0%7C0%7C636687408760535040&amp;amp;sdata=hqVZVIQLbxakARTspzbSkMZBHi2b6%2BIcrPLU1atNbus%3D&amp;amp;reserved=0" class="">https://na01.safelinks.protection.outlook.com/?url=http%3A%2F%2Fgpfsug.org%2Fmailman%2Flistinfo%2Fgpfsug-discuss&amp;amp;data=02%7C01%7CKevin.Buterbaugh%40vanderbilt.edu%7Cd84fdde05c65406d4d9008d5f7d32f0f%7Cba5a7f39e3be4ab3b45067fa80faecad%7C0%7C0%7C636687408760535040&amp;amp;sdata=hqVZVIQLbxakARTspzbSkMZBHi2b6%2BIcrPLU1atNbus%3D&amp;amp;reserved=0</a><br class="">
</div>
</blockquote>
</div>
<br class="">
</div>
</body>
</html>