<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
</head>
<body style="word-wrap: break-word; -webkit-nbsp-mode: space; line-break: after-white-space;" class="">
Hi All,
<div class=""><br class="">
</div>
<div class="">Our production cluster is still on GPFS 4.2.3.x, but in preparation for moving to GPFS 5 I have upgraded our small (7 node) test cluster to GPFS 5.0.1-1. &nbsp;I am setting up a new filesystem there using hardware that we recently life-cycled out of
 our production environment.</div>
<div class=""><br class="">
</div>
<div class="">I \u201csuccessfully\u201d created a filesystem but I believe the sub-block size is wrong. &nbsp;I\u2019m using a 4 MB filesystem block size, so according to the mmcrfs man page the sub-block size should be 8K:</div>
<div class=""><br class="">
</div>
<div class="">
<div class="">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Table 1. Block sizes and subblock sizes</div>
<div class=""><br class="">
</div>
<div class="">&#43;\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010&#43;\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010&#43;</div>
<div class="">| Block size &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;| Subblock size &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; |</div>
<div class="">&#43;\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010&#43;\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010&#43;</div>
<div class="">| 64 KiB &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;| 2 KiB &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; |</div>
<div class="">&#43;\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010&#43;\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010&#43;</div>
<div class="">| 128 KiB &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; | 4 KiB &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; |</div>
<div class="">&#43;\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010&#43;\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010&#43;</div>
<div class="">| 256 KiB, 512 KiB, 1 MiB, 2 &nbsp; &nbsp;| 8 KiB &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; |</div>
<div class="">| MiB, 4 MiB &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;| &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; |</div>
<div class="">&#43;\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010&#43;\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010&#43;</div>
<div class="">| 8 MiB, 16 MiB &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; | 16 KiB &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;|</div>
<div class="">&#43;\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010&#43;\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010\u2010&#43;</div>
<div class=""><br class="">
</div>
<div class="">However, it appears that it\u2019s 8K for the system pool but 32K for the other pools:</div>
<div class=""><br class="">
</div>
<div class="">
<div class="">flag &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;value &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;description</div>
<div class="">------------------- ------------------------ -----------------------------------</div>
<div class="">&nbsp;-f &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 8192 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; Minimum fragment (subblock) size in bytes (system pool)</div>
<div class="">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 32768 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Minimum fragment (subblock) size in bytes (other pools)</div>
<div class="">&nbsp;-i &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 4096 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; Inode size in bytes</div>
<div class="">&nbsp;-I &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 32768 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Indirect block size in bytes</div>
<div class="">&nbsp;-m &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 2 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Default number of metadata replicas</div>
<div class="">&nbsp;-M &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 3 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Maximum number of metadata replicas</div>
<div class="">&nbsp;-r &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 1 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Default number of data replicas</div>
<div class="">&nbsp;-R &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 3 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Maximum number of data replicas</div>
<div class="">&nbsp;-j &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; scatter &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Block allocation type</div>
<div class="">&nbsp;-D &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; nfs4 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; File locking semantics in effect</div>
<div class="">&nbsp;-k &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; all &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;ACL semantics in effect</div>
<div class="">&nbsp;-n &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 32 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; Estimated number of nodes that will mount file system</div>
<div class="">&nbsp;-B &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 1048576 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Block size (system pool)</div>
<div class="">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 4194304 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Block size (other pools)</div>
<div class="">&nbsp;-Q &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; user;group;fileset &nbsp; &nbsp; &nbsp; Quotas accounting enabled</div>
<div class="">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; user;group;fileset &nbsp; &nbsp; &nbsp; Quotas enforced</div>
<div class="">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; none &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; Default quotas enabled</div>
<div class="">&nbsp;--perfileset-quota No &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; Per-fileset quota enforcement</div>
<div class="">&nbsp;--filesetdf &nbsp; &nbsp; &nbsp; &nbsp;No &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; Fileset df enabled?</div>
<div class="">&nbsp;-V &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 19.01 (5.0.1.0) &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;File system version</div>
<div class="">&nbsp;--create-time &nbsp; &nbsp; &nbsp;Wed Aug &nbsp;1 11:39:39 2018 File system creation time</div>
<div class="">&nbsp;-z &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; No &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; Is DMAPI enabled?</div>
<div class="">&nbsp;-L &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 33554432 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; Logfile size</div>
<div class="">&nbsp;-E &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; Yes &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Exact mtime mount option</div>
<div class="">&nbsp;-S &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; relatime &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; Suppress atime mount option</div>
<div class="">&nbsp;-K &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; whenpossible &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; Strict replica allocation option</div>
<div class="">&nbsp;--fastea &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; Yes &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Fast external attributes enabled?</div>
<div class="">&nbsp;--encryption &nbsp; &nbsp; &nbsp; No &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; Encryption enabled?</div>
<div class="">&nbsp;--inode-limit &nbsp; &nbsp; &nbsp;101095424 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Maximum number of inodes</div>
<div class="">&nbsp;--log-replicas &nbsp; &nbsp; 0 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Number of log replicas</div>
<div class="">&nbsp;--is4KAligned &nbsp; &nbsp; &nbsp;Yes &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;is4KAligned?</div>
<div class="">&nbsp;--rapid-repair &nbsp; &nbsp; Yes &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;rapidRepair enabled?</div>
<div class="">&nbsp;--write-cache-threshold 0 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; HAWC Threshold (max 65536)</div>
<div class="">&nbsp;--subblocks-per-full-block 128 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Number of subblocks per full block</div>
<div class="">&nbsp;-P &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; system;raid1;raid6 &nbsp; &nbsp; &nbsp; Disk storage pools in file system</div>
<div class="">&nbsp;--file-audit-log &nbsp; No &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; File Audit Logging enabled?</div>
<div class="">&nbsp;--maintenance-mode No &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; Maintenance Mode enabled?</div>
<div class="">&nbsp;-d &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; test21A3nsd;test21A4nsd;test21B3nsd;test21B4nsd;test23Ansd;test23Bnsd;test23Cnsd;test24Ansd;test24Bnsd;test24Cnsd;test25Ansd;test25Bnsd;test25Cnsd &nbsp;Disks in file system</div>
<div class="">&nbsp;-A &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; yes &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Automatic mount option</div>
<div class="">&nbsp;-o &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; none &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; Additional mount options</div>
<div class="">&nbsp;-T &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; /gpfs5 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; Default mount point</div>
<div class="">&nbsp;--mount-priority &nbsp; 0 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Mount priority</div>
</div>
<div class=""><br class="">
</div>
<div class="">Output of mmcrfs:</div>
<div class=""><br class="">
</div>
<div class="">
<div class="">mmcrfs gpfs5 -F ~/gpfs/gpfs5.stanza -A yes -B 4M -E yes -i 4096 -j scatter -k all -K whenpossible -m 2 -M 3 -n 32 -Q yes -r 1 -R 3 -T /gpfs5 -v yes --nofilesetdf --metadata-block-size 1M</div>
<div class=""><br class="">
</div>
<div class="">The following disks of gpfs5 will be formatted on node testnsd3:</div>
<div class="">&nbsp; &nbsp; test21A3nsd: size 953609 MB</div>
<div class="">&nbsp; &nbsp; test21A4nsd: size 953609 MB</div>
<div class="">&nbsp; &nbsp; test21B3nsd: size 953609 MB</div>
<div class="">&nbsp; &nbsp; test21B4nsd: size 953609 MB</div>
<div class="">&nbsp; &nbsp; test23Ansd: size 15259744 MB</div>
<div class="">&nbsp; &nbsp; test23Bnsd: size 15259744 MB</div>
<div class="">&nbsp; &nbsp; test23Cnsd: size 1907468 MB</div>
<div class="">&nbsp; &nbsp; test24Ansd: size 15259744 MB</div>
<div class="">&nbsp; &nbsp; test24Bnsd: size 15259744 MB</div>
<div class="">&nbsp; &nbsp; test24Cnsd: size 1907468 MB</div>
<div class="">&nbsp; &nbsp; test25Ansd: size 15259744 MB</div>
<div class="">&nbsp; &nbsp; test25Bnsd: size 15259744 MB</div>
<div class="">&nbsp; &nbsp; test25Cnsd: size 1907468 MB</div>
<div class="">Formatting file system ...</div>
<div class="">Disks up to size 8.29 TB can be added to storage pool system.</div>
<div class="">Disks up to size 16.60 TB can be added to storage pool raid1.</div>
<div class="">Disks up to size 132.62 TB can be added to storage pool raid6.</div>
<div class="">Creating Inode File</div>
<div class="">&nbsp; &nbsp;8 % complete on Wed Aug &nbsp;1 11:39:19 2018</div>
<div class="">&nbsp; 18 % complete on Wed Aug &nbsp;1 11:39:24 2018</div>
<div class="">&nbsp; 27 % complete on Wed Aug &nbsp;1 11:39:29 2018</div>
<div class="">&nbsp; 37 % complete on Wed Aug &nbsp;1 11:39:34 2018</div>
<div class="">&nbsp; 48 % complete on Wed Aug &nbsp;1 11:39:39 2018</div>
<div class="">&nbsp; 60 % complete on Wed Aug &nbsp;1 11:39:44 2018</div>
<div class="">&nbsp; 72 % complete on Wed Aug &nbsp;1 11:39:49 2018</div>
<div class="">&nbsp; 83 % complete on Wed Aug &nbsp;1 11:39:54 2018</div>
<div class="">&nbsp; 95 % complete on Wed Aug &nbsp;1 11:39:59 2018</div>
<div class="">&nbsp;100 % complete on Wed Aug &nbsp;1 11:40:01 2018</div>
<div class="">Creating Allocation Maps</div>
<div class="">Creating Log Files</div>
<div class="">&nbsp; &nbsp;3 % complete on Wed Aug &nbsp;1 11:40:07 2018</div>
<div class="">&nbsp; 28 % complete on Wed Aug &nbsp;1 11:40:14 2018</div>
<div class="">&nbsp; 53 % complete on Wed Aug &nbsp;1 11:40:19 2018</div>
<div class="">&nbsp; 78 % complete on Wed Aug &nbsp;1 11:40:24 2018</div>
<div class="">&nbsp;100 % complete on Wed Aug &nbsp;1 11:40:25 2018</div>
<div class="">Clearing Inode Allocation Map</div>
<div class="">Clearing Block Allocation Map</div>
<div class="">Formatting Allocation Map for storage pool system</div>
<div class="">&nbsp; 85 % complete on Wed Aug &nbsp;1 11:40:32 2018</div>
<div class="">&nbsp;100 % complete on Wed Aug &nbsp;1 11:40:33 2018</div>
<div class="">Formatting Allocation Map for storage pool raid1</div>
<div class="">&nbsp; 53 % complete on Wed Aug &nbsp;1 11:40:38 2018</div>
<div class="">&nbsp;100 % complete on Wed Aug &nbsp;1 11:40:42 2018</div>
<div class="">Formatting Allocation Map for storage pool raid6</div>
<div class="">&nbsp; 20 % complete on Wed Aug &nbsp;1 11:40:47 2018</div>
<div class="">&nbsp; 39 % complete on Wed Aug &nbsp;1 11:40:52 2018</div>
<div class="">&nbsp; 60 % complete on Wed Aug &nbsp;1 11:40:57 2018</div>
<div class="">&nbsp; 79 % complete on Wed Aug &nbsp;1 11:41:02 2018</div>
<div class="">&nbsp;100 % complete on Wed Aug &nbsp;1 11:41:08 2018</div>
<div class="">Completed creation of file system /dev/gpfs5.</div>
<div class="">mmcrfs: Propagating the cluster configuration data to all</div>
<div class="">&nbsp; affected nodes. &nbsp;This is an asynchronous process.</div>
</div>
<div class=""><br class="">
</div>
<div class="">And contents of stanza file:</div>
<div class=""><br class="">
</div>
<div class="">
<div class="">%nsd:</div>
<div class="">&nbsp; nsd=test21A3nsd</div>
<div class="">&nbsp; usage=metadataOnly</div>
<div class="">&nbsp; failureGroup=210</div>
<div class="">&nbsp; pool=system</div>
<div class="">&nbsp; servers=testnsd3,testnsd1,testnsd2</div>
<div class="">&nbsp; device=dm-15</div>
<div class=""><br class="">
</div>
<div class="">%nsd:</div>
<div class="">&nbsp; nsd=test21A4nsd</div>
<div class="">&nbsp; usage=metadataOnly</div>
<div class="">&nbsp; failureGroup=210</div>
<div class="">&nbsp; pool=system</div>
<div class="">&nbsp; servers=testnsd1,testnsd2,testnsd3</div>
<div class="">&nbsp; device=dm-14</div>
<div class=""><br class="">
</div>
<div class="">%nsd:</div>
<div class="">&nbsp; nsd=test21B3nsd</div>
<div class="">&nbsp; usage=metadataOnly</div>
<div class="">&nbsp; failureGroup=211</div>
<div class="">&nbsp; pool=system</div>
<div class="">&nbsp; servers=testnsd1,testnsd2,testnsd3</div>
<div class="">&nbsp; device=dm-17</div>
<div class=""><br class="">
</div>
<div class="">%nsd:</div>
<div class="">&nbsp; nsd=test21B4nsd</div>
<div class="">&nbsp; usage=metadataOnly</div>
<div class="">&nbsp; failureGroup=211</div>
<div class="">&nbsp; pool=system</div>
<div class="">&nbsp; servers=testnsd2,testnsd3,testnsd1</div>
<div class="">&nbsp; device=dm-16</div>
<div class=""><br class="">
</div>
<div class="">%nsd:</div>
<div class="">&nbsp; nsd=test23Ansd</div>
<div class="">&nbsp; usage=dataOnly</div>
<div class="">&nbsp; failureGroup=23</div>
<div class="">&nbsp; pool=raid6</div>
<div class="">&nbsp; servers=testnsd2,testnsd3,testnsd1</div>
<div class="">&nbsp; device=dm-10</div>
<div class=""><br class="">
</div>
<div class="">%nsd:</div>
<div class="">&nbsp; nsd=test23Bnsd</div>
<div class="">&nbsp; usage=dataOnly</div>
<div class="">&nbsp; failureGroup=23</div>
<div class="">&nbsp; pool=raid6</div>
<div class="">&nbsp; servers=testnsd3,testnsd1,testnsd2</div>
<div class="">&nbsp; device=dm-9</div>
<div class=""><br class="">
</div>
<div class="">%nsd:</div>
<div class="">&nbsp; nsd=test23Cnsd</div>
<div class="">&nbsp; usage=dataOnly</div>
<div class="">&nbsp; failureGroup=23</div>
<div class="">&nbsp; pool=raid1</div>
<div class="">&nbsp; servers=testnsd1,testnsd2,testnsd3</div>
<div class="">&nbsp; device=dm-5</div>
<div class=""><br class="">
</div>
<div class="">%nsd:</div>
<div class="">&nbsp; nsd=test24Ansd</div>
<div class="">&nbsp; usage=dataOnly</div>
<div class="">&nbsp; failureGroup=24</div>
<div class="">&nbsp; pool=raid6</div>
<div class="">&nbsp; servers=testnsd3,testnsd1,testnsd2</div>
<div class="">&nbsp; device=dm-6</div>
<div class=""><br class="">
</div>
<div class="">%nsd:</div>
<div class="">&nbsp; nsd=test24Bnsd</div>
<div class="">&nbsp; usage=dataOnly</div>
<div class="">&nbsp; failureGroup=24</div>
<div class="">&nbsp; pool=raid6</div>
<div class="">&nbsp; servers=testnsd1,testnsd2,testnsd3</div>
<div class="">&nbsp; device=dm-0</div>
<div class=""><br class="">
</div>
<div class="">%nsd:</div>
<div class="">&nbsp; nsd=test24Cnsd</div>
<div class="">&nbsp; usage=dataOnly</div>
<div class="">&nbsp; failureGroup=24</div>
<div class="">&nbsp; pool=raid1</div>
<div class="">&nbsp; servers=testnsd2,testnsd3,testnsd1</div>
<div class="">&nbsp; device=dm-2</div>
<div class=""><br class="">
</div>
<div class="">%nsd:</div>
<div class="">&nbsp; nsd=test25Ansd</div>
<div class="">&nbsp; usage=dataOnly</div>
<div class="">&nbsp; failureGroup=25</div>
<div class="">&nbsp; pool=raid6</div>
<div class="">&nbsp; servers=testnsd1,testnsd2,testnsd3</div>
<div class="">&nbsp; device=dm-6</div>
<div class=""><br class="">
</div>
<div class="">%nsd:</div>
<div class="">&nbsp; nsd=test25Bnsd</div>
<div class="">&nbsp; usage=dataOnly</div>
<div class="">&nbsp; failureGroup=25</div>
<div class="">&nbsp; pool=raid6</div>
<div class="">&nbsp; servers=testnsd2,testnsd3,testnsd1</div>
<div class="">&nbsp; device=dm-6</div>
<div class=""><br class="">
</div>
<div class="">%nsd:</div>
<div class="">&nbsp; nsd=test25Cnsd</div>
<div class="">&nbsp; usage=dataOnly</div>
<div class="">&nbsp; failureGroup=25</div>
<div class="">&nbsp; pool=raid1</div>
<div class="">&nbsp; servers=testnsd3,testnsd1,testnsd2</div>
<div class="">&nbsp; device=dm-3</div>
<div class=""><br class="">
</div>
<div class="">%pool:</div>
<div class="">&nbsp; pool=system</div>
<div class="">&nbsp; blockSize=1M</div>
<div class="">&nbsp; usage=metadataOnly</div>
<div class="">&nbsp; layoutMap=scatter</div>
<div class="">&nbsp; allowWriteAffinity=no</div>
<div class=""><br class="">
</div>
<div class="">%pool:</div>
<div class="">&nbsp; pool=raid6</div>
<div class="">&nbsp; blockSize=4M</div>
<div class="">&nbsp; usage=dataOnly</div>
<div class="">&nbsp; layoutMap=scatter</div>
<div class="">&nbsp; allowWriteAffinity=no</div>
<div class=""><br class="">
</div>
<div class="">%pool:</div>
<div class="">&nbsp; pool=raid1</div>
<div class="">&nbsp; blockSize=4M</div>
<div class="">&nbsp; usage=dataOnly</div>
<div class="">&nbsp; layoutMap=scatter</div>
<div class="">&nbsp; allowWriteAffinity=no</div>
</div>
<div class=""><br class="">
</div>
<div class="">What am I missing or what have I done wrong? &nbsp;Thanks\u2026</div>
<div class=""><br class="">
</div>
<div class="">Kevin</div>
<div class="">
<div class="">\u2014</div>
<div class="">Kevin Buterbaugh - Senior System Administrator</div>
<div class="">Vanderbilt University - Advanced Computing Center for Research and Education</div>
<div class=""><a href="mailto:Kevin.Buterbaugh@vanderbilt.edu" class="">Kevin.Buterbaugh@vanderbilt.edu</a>&nbsp;- (615)875-9633</div>
<div class=""><br class="">
</div>
<br class="Apple-interchange-newline">
</div>
<br class="">
</div>
</body>
</html>