<span style=" font-size:10pt;font-family:sans-serif">I haven't looked
into all the details but here's a clue -- notice there is only one &quot;subblocks-per-full-block&quot;
parameter. &nbsp;</span><br><br><span style=" font-size:10pt;font-family:sans-serif">And it is the
same for both metadata blocks and datadata blocks.</span><br><span style=" font-size:10pt;font-family:sans-serif"><br>So maybe (MAYBE) that is a constraint somewhere...</span><br><br><span style=" font-size:10pt;font-family:sans-serif">Certainly, in
the currently supported code, that's what you get.<br></span><br><br><br><br><span style=" font-size:9pt;color:#5f5f5f;font-family:sans-serif">From:
&nbsp; &nbsp; &nbsp; &nbsp;</span><span style=" font-size:9pt;font-family:sans-serif">&quot;Buterbaugh,
Kevin L&quot; &lt;Kevin.Buterbaugh@Vanderbilt.Edu&gt;</span><br><span style=" font-size:9pt;color:#5f5f5f;font-family:sans-serif">To:
&nbsp; &nbsp; &nbsp; &nbsp;</span><span style=" font-size:9pt;font-family:sans-serif">gpfsug
main discussion list &lt;gpfsug-discuss@spectrumscale.org&gt;</span><br><span style=" font-size:9pt;color:#5f5f5f;font-family:sans-serif">Date:
&nbsp; &nbsp; &nbsp; &nbsp;</span><span style=" font-size:9pt;font-family:sans-serif">08/01/2018
12:55 PM</span><br><span style=" font-size:9pt;color:#5f5f5f;font-family:sans-serif">Subject:
&nbsp; &nbsp; &nbsp; &nbsp;</span><span style=" font-size:9pt;font-family:sans-serif">[gpfsug-discuss]
Sub-block size wrong on GPFS 5 filesystem?</span><br><span style=" font-size:9pt;color:#5f5f5f;font-family:sans-serif">Sent
by: &nbsp; &nbsp; &nbsp; &nbsp;</span><span style=" font-size:9pt;font-family:sans-serif">gpfsug-discuss-bounces@spectrumscale.org</span><br><hr noshade><br><br><br><span style=" font-size:12pt">Hi All, </span><br><br><span style=" font-size:12pt">Our production cluster is still on GPFS
4.2.3.x, but in preparation for moving to GPFS 5 I have upgraded our small
(7 node) test cluster to GPFS 5.0.1-1. &nbsp;I am setting up a new filesystem
there using hardware that we recently life-cycled out of our production
environment.</span><br><br><span style=" font-size:12pt">I $B!H(Bsuccessfully$B!I(B created a filesystem
but I believe the sub-block size is wrong. &nbsp;I$B!G(Bm using a 4 MB filesystem
block size, so according to the mmcrfs man page the sub-block size should
be 8K:</span><br><br><span style=" font-size:12pt">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Table
1. Block sizes and subblock sizes</span><br><br><span style=" font-size:12pt">+$B!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>(B+$B!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>(B+</span><br><span style=" font-size:12pt">| Block size &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;| Subblock size &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; |</span><br><span style=" font-size:12pt">+$B!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>(B+$B!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>(B+</span><br><span style=" font-size:12pt">| 64 KiB &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;| 2 KiB &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; |</span><br><span style=" font-size:12pt">+$B!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>(B+$B!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>(B+</span><br><span style=" font-size:12pt">| 128 KiB &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; | 4 KiB &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; |</span><br><span style=" font-size:12pt">+$B!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>(B+$B!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>(B+</span><br><span style=" font-size:12pt">| 256 KiB, 512 KiB, 1 MiB, 2 &nbsp; &nbsp;|
8 KiB &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; |</span><br><span style=" font-size:12pt">| MiB, 4 MiB &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;| &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
|</span><br><span style=" font-size:12pt">+$B!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>(B+$B!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>(B+</span><br><span style=" font-size:12pt">| 8 MiB, 16 MiB &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; | 16 KiB &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;|</span><br><span style=" font-size:12pt">+$B!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>(B+$B!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>!>(B+</span><br><br><span style=" font-size:12pt">However, it appears that it$B!G(Bs 8K for
the system pool but 32K for the other pools:</span><br><br><span style=" font-size:12pt">flag &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp;value &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp;description</span><br><span style=" font-size:12pt">------------------- ------------------------
-----------------------------------</span><br><span style=" font-size:12pt">&nbsp;-f &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp; 8192 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp; Minimum fragment (subblock) size in bytes (system
pool)</span><br><span style=" font-size:12pt">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp; 32768 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp;Minimum fragment (subblock) size in bytes (other
pools)</span><br><span style=" font-size:12pt">&nbsp;-i &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp; 4096 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp; Inode size in bytes</span><br><span style=" font-size:12pt">&nbsp;-I &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp; 32768 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp;Indirect block size in bytes</span><br><span style=" font-size:12pt">&nbsp;-m &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp; 2 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Default number of metadata replicas</span><br><span style=" font-size:12pt">&nbsp;-M &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp; 3 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Maximum number of metadata replicas</span><br><span style=" font-size:12pt">&nbsp;-r &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp; 1 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Default number of data replicas</span><br><span style=" font-size:12pt">&nbsp;-R &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp; 3 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Maximum number of data replicas</span><br><span style=" font-size:12pt">&nbsp;-j &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp; scatter &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp;Block allocation type</span><br><span style=" font-size:12pt">&nbsp;-D &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp; nfs4 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp; File locking semantics in effect</span><br><span style=" font-size:12pt">&nbsp;-k &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp; all &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;ACL semantics in effect</span><br><span style=" font-size:12pt">&nbsp;-n &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp; 32 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; Estimated number of nodes that will
mount file system</span><br><span style=" font-size:12pt">&nbsp;-B &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp; 1048576 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp;Block size (system pool)</span><br><span style=" font-size:12pt">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp; 4194304 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp;Block size (other pools)</span><br><span style=" font-size:12pt">&nbsp;-Q &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp; user;group;fileset &nbsp; &nbsp; &nbsp; Quotas
accounting enabled</span><br><span style=" font-size:12pt">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp; user;group;fileset &nbsp; &nbsp; &nbsp; Quotas
enforced</span><br><span style=" font-size:12pt">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp; none &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp; Default quotas enabled</span><br><span style=" font-size:12pt">&nbsp;--perfileset-quota No &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; Per-fileset
quota enforcement</span><br><span style=" font-size:12pt">&nbsp;--filesetdf &nbsp; &nbsp; &nbsp;
&nbsp;No &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; Fileset df enabled?</span><br><span style=" font-size:12pt">&nbsp;-V &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp; 19.01 (5.0.1.0) &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp;File system version</span><br><span style=" font-size:12pt">&nbsp;--create-time &nbsp; &nbsp; &nbsp;Wed
Aug &nbsp;1 11:39:39 2018 File system creation time</span><br><span style=" font-size:12pt">&nbsp;-z &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp; No &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; Is DMAPI enabled?</span><br><span style=" font-size:12pt">&nbsp;-L &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp; 33554432 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; Logfile size</span><br><span style=" font-size:12pt">&nbsp;-E &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp; Yes &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Exact mtime mount option</span><br><span style=" font-size:12pt">&nbsp;-S &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp; relatime &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; Suppress atime mount option</span><br><span style=" font-size:12pt">&nbsp;-K &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp; whenpossible &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; Strict replica allocation option</span><br><span style=" font-size:12pt">&nbsp;--fastea &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; Yes &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp;Fast external attributes enabled?</span><br><span style=" font-size:12pt">&nbsp;--encryption &nbsp; &nbsp; &nbsp;
No &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; Encryption enabled?</span><br><span style=" font-size:12pt">&nbsp;--inode-limit &nbsp; &nbsp; &nbsp;101095424
&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Maximum number of
inodes</span><br><span style=" font-size:12pt">&nbsp;--log-replicas &nbsp; &nbsp; 0
&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp;Number of log replicas</span><br><span style=" font-size:12pt">&nbsp;--is4KAligned &nbsp; &nbsp; &nbsp;Yes
&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;is4KAligned?</span><br><span style=" font-size:12pt">&nbsp;--rapid-repair &nbsp; &nbsp; Yes
&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;rapidRepair
enabled?</span><br><span style=" font-size:12pt">&nbsp;--write-cache-threshold 0 &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; HAWC Threshold
(max 65536)</span><br><span style=" font-size:12pt">&nbsp;--subblocks-per-full-block 128
&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Number of subblocks per
full block</span><br><span style=" font-size:12pt">&nbsp;-P &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp; system;raid1;raid6 &nbsp; &nbsp; &nbsp; Disk
storage pools in file system</span><br><span style=" font-size:12pt">&nbsp;--file-audit-log &nbsp; No &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; File
Audit Logging enabled?</span><br><span style=" font-size:12pt">&nbsp;--maintenance-mode No &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; Maintenance
Mode enabled?</span><br><span style=" font-size:12pt">&nbsp;-d &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp; test21A3nsd;test21A4nsd;test21B3nsd;test21B4nsd;test23Ansd;test23Bnsd;test23Cnsd;test24Ansd;test24Bnsd;test24Cnsd;test25Ansd;test25Bnsd;test25Cnsd
&nbsp;Disks in file system</span><br><span style=" font-size:12pt">&nbsp;-A &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp; yes &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Automatic mount option</span><br><span style=" font-size:12pt">&nbsp;-o &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp; none &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp; Additional mount options</span><br><span style=" font-size:12pt">&nbsp;-T &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp; /gpfs5 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; Default mount point</span><br><span style=" font-size:12pt">&nbsp;--mount-priority &nbsp; 0 &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Mount
priority</span><br><br><span style=" font-size:12pt">Output of mmcrfs:</span><br><br><span style=" font-size:12pt">mmcrfs gpfs5 -F ~/gpfs/gpfs5.stanza -A
yes -B 4M -E yes -i 4096 -j scatter -k all -K whenpossible -m 2 -M 3 -n
32 -Q yes -r 1 -R 3 -T /gpfs5 -v yes --nofilesetdf --metadata-block-size
1M</span><br><br><span style=" font-size:12pt">The following disks of gpfs5 will be
formatted on node testnsd3:</span><br><span style=" font-size:12pt">&nbsp; &nbsp; test21A3nsd: size 953609
MB</span><br><span style=" font-size:12pt">&nbsp; &nbsp; test21A4nsd: size 953609
MB</span><br><span style=" font-size:12pt">&nbsp; &nbsp; test21B3nsd: size 953609
MB</span><br><span style=" font-size:12pt">&nbsp; &nbsp; test21B4nsd: size 953609
MB</span><br><span style=" font-size:12pt">&nbsp; &nbsp; test23Ansd: size 15259744
MB</span><br><span style=" font-size:12pt">&nbsp; &nbsp; test23Bnsd: size 15259744
MB</span><br><span style=" font-size:12pt">&nbsp; &nbsp; test23Cnsd: size 1907468
MB</span><br><span style=" font-size:12pt">&nbsp; &nbsp; test24Ansd: size 15259744
MB</span><br><span style=" font-size:12pt">&nbsp; &nbsp; test24Bnsd: size 15259744
MB</span><br><span style=" font-size:12pt">&nbsp; &nbsp; test24Cnsd: size 1907468
MB</span><br><span style=" font-size:12pt">&nbsp; &nbsp; test25Ansd: size 15259744
MB</span><br><span style=" font-size:12pt">&nbsp; &nbsp; test25Bnsd: size 15259744
MB</span><br><span style=" font-size:12pt">&nbsp; &nbsp; test25Cnsd: size 1907468
MB</span><br><span style=" font-size:12pt">Formatting file system ...</span><br><span style=" font-size:12pt">Disks up to size 8.29 TB can be added
to storage pool system.</span><br><span style=" font-size:12pt">Disks up to size 16.60 TB can be added
to storage pool raid1.</span><br><span style=" font-size:12pt">Disks up to size 132.62 TB can be added
to storage pool raid6.</span><br><span style=" font-size:12pt">Creating Inode File</span><br><span style=" font-size:12pt">&nbsp; &nbsp;8 % complete on Wed Aug
&nbsp;1 11:39:19 2018</span><br><span style=" font-size:12pt">&nbsp; 18 % complete on Wed Aug &nbsp;1
11:39:24 2018</span><br><span style=" font-size:12pt">&nbsp; 27 % complete on Wed Aug &nbsp;1
11:39:29 2018</span><br><span style=" font-size:12pt">&nbsp; 37 % complete on Wed Aug &nbsp;1
11:39:34 2018</span><br><span style=" font-size:12pt">&nbsp; 48 % complete on Wed Aug &nbsp;1
11:39:39 2018</span><br><span style=" font-size:12pt">&nbsp; 60 % complete on Wed Aug &nbsp;1
11:39:44 2018</span><br><span style=" font-size:12pt">&nbsp; 72 % complete on Wed Aug &nbsp;1
11:39:49 2018</span><br><span style=" font-size:12pt">&nbsp; 83 % complete on Wed Aug &nbsp;1
11:39:54 2018</span><br><span style=" font-size:12pt">&nbsp; 95 % complete on Wed Aug &nbsp;1
11:39:59 2018</span><br><span style=" font-size:12pt">&nbsp;100 % complete on Wed Aug &nbsp;1
11:40:01 2018</span><br><span style=" font-size:12pt">Creating Allocation Maps</span><br><span style=" font-size:12pt">Creating Log Files</span><br><span style=" font-size:12pt">&nbsp; &nbsp;3 % complete on Wed Aug
&nbsp;1 11:40:07 2018</span><br><span style=" font-size:12pt">&nbsp; 28 % complete on Wed Aug &nbsp;1
11:40:14 2018</span><br><span style=" font-size:12pt">&nbsp; 53 % complete on Wed Aug &nbsp;1
11:40:19 2018</span><br><span style=" font-size:12pt">&nbsp; 78 % complete on Wed Aug &nbsp;1
11:40:24 2018</span><br><span style=" font-size:12pt">&nbsp;100 % complete on Wed Aug &nbsp;1
11:40:25 2018</span><br><span style=" font-size:12pt">Clearing Inode Allocation Map</span><br><span style=" font-size:12pt">Clearing Block Allocation Map</span><br><span style=" font-size:12pt">Formatting Allocation Map for storage
pool system</span><br><span style=" font-size:12pt">&nbsp; 85 % complete on Wed Aug &nbsp;1
11:40:32 2018</span><br><span style=" font-size:12pt">&nbsp;100 % complete on Wed Aug &nbsp;1
11:40:33 2018</span><br><span style=" font-size:12pt">Formatting Allocation Map for storage
pool raid1</span><br><span style=" font-size:12pt">&nbsp; 53 % complete on Wed Aug &nbsp;1
11:40:38 2018</span><br><span style=" font-size:12pt">&nbsp;100 % complete on Wed Aug &nbsp;1
11:40:42 2018</span><br><span style=" font-size:12pt">Formatting Allocation Map for storage
pool raid6</span><br><span style=" font-size:12pt">&nbsp; 20 % complete on Wed Aug &nbsp;1
11:40:47 2018</span><br><span style=" font-size:12pt">&nbsp; 39 % complete on Wed Aug &nbsp;1
11:40:52 2018</span><br><span style=" font-size:12pt">&nbsp; 60 % complete on Wed Aug &nbsp;1
11:40:57 2018</span><br><span style=" font-size:12pt">&nbsp; 79 % complete on Wed Aug &nbsp;1
11:41:02 2018</span><br><span style=" font-size:12pt">&nbsp;100 % complete on Wed Aug &nbsp;1
11:41:08 2018</span><br><span style=" font-size:12pt">Completed creation of file system /dev/gpfs5.</span><br><span style=" font-size:12pt">mmcrfs: Propagating the cluster configuration
data to all</span><br><span style=" font-size:12pt">&nbsp; affected nodes. &nbsp;This is
an asynchronous process.</span><br><br><span style=" font-size:12pt">And contents of stanza file:</span><br><br><span style=" font-size:12pt">%nsd:</span><br><span style=" font-size:12pt">&nbsp; nsd=test21A3nsd</span><br><span style=" font-size:12pt">&nbsp; usage=metadataOnly</span><br><span style=" font-size:12pt">&nbsp; failureGroup=210</span><br><span style=" font-size:12pt">&nbsp; pool=system</span><br><span style=" font-size:12pt">&nbsp; servers=testnsd3,testnsd1,testnsd2</span><br><span style=" font-size:12pt">&nbsp; device=dm-15</span><br><br><span style=" font-size:12pt">%nsd:</span><br><span style=" font-size:12pt">&nbsp; nsd=test21A4nsd</span><br><span style=" font-size:12pt">&nbsp; usage=metadataOnly</span><br><span style=" font-size:12pt">&nbsp; failureGroup=210</span><br><span style=" font-size:12pt">&nbsp; pool=system</span><br><span style=" font-size:12pt">&nbsp; servers=testnsd1,testnsd2,testnsd3</span><br><span style=" font-size:12pt">&nbsp; device=dm-14</span><br><br><span style=" font-size:12pt">%nsd:</span><br><span style=" font-size:12pt">&nbsp; nsd=test21B3nsd</span><br><span style=" font-size:12pt">&nbsp; usage=metadataOnly</span><br><span style=" font-size:12pt">&nbsp; failureGroup=211</span><br><span style=" font-size:12pt">&nbsp; pool=system</span><br><span style=" font-size:12pt">&nbsp; servers=testnsd1,testnsd2,testnsd3</span><br><span style=" font-size:12pt">&nbsp; device=dm-17</span><br><br><span style=" font-size:12pt">%nsd:</span><br><span style=" font-size:12pt">&nbsp; nsd=test21B4nsd</span><br><span style=" font-size:12pt">&nbsp; usage=metadataOnly</span><br><span style=" font-size:12pt">&nbsp; failureGroup=211</span><br><span style=" font-size:12pt">&nbsp; pool=system</span><br><span style=" font-size:12pt">&nbsp; servers=testnsd2,testnsd3,testnsd1</span><br><span style=" font-size:12pt">&nbsp; device=dm-16</span><br><br><span style=" font-size:12pt">%nsd:</span><br><span style=" font-size:12pt">&nbsp; nsd=test23Ansd</span><br><span style=" font-size:12pt">&nbsp; usage=dataOnly</span><br><span style=" font-size:12pt">&nbsp; failureGroup=23</span><br><span style=" font-size:12pt">&nbsp; pool=raid6</span><br><span style=" font-size:12pt">&nbsp; servers=testnsd2,testnsd3,testnsd1</span><br><span style=" font-size:12pt">&nbsp; device=dm-10</span><br><br><span style=" font-size:12pt">%nsd:</span><br><span style=" font-size:12pt">&nbsp; nsd=test23Bnsd</span><br><span style=" font-size:12pt">&nbsp; usage=dataOnly</span><br><span style=" font-size:12pt">&nbsp; failureGroup=23</span><br><span style=" font-size:12pt">&nbsp; pool=raid6</span><br><span style=" font-size:12pt">&nbsp; servers=testnsd3,testnsd1,testnsd2</span><br><span style=" font-size:12pt">&nbsp; device=dm-9</span><br><br><span style=" font-size:12pt">%nsd:</span><br><span style=" font-size:12pt">&nbsp; nsd=test23Cnsd</span><br><span style=" font-size:12pt">&nbsp; usage=dataOnly</span><br><span style=" font-size:12pt">&nbsp; failureGroup=23</span><br><span style=" font-size:12pt">&nbsp; pool=raid1</span><br><span style=" font-size:12pt">&nbsp; servers=testnsd1,testnsd2,testnsd3</span><br><span style=" font-size:12pt">&nbsp; device=dm-5</span><br><br><span style=" font-size:12pt">%nsd:</span><br><span style=" font-size:12pt">&nbsp; nsd=test24Ansd</span><br><span style=" font-size:12pt">&nbsp; usage=dataOnly</span><br><span style=" font-size:12pt">&nbsp; failureGroup=24</span><br><span style=" font-size:12pt">&nbsp; pool=raid6</span><br><span style=" font-size:12pt">&nbsp; servers=testnsd3,testnsd1,testnsd2</span><br><span style=" font-size:12pt">&nbsp; device=dm-6</span><br><br><span style=" font-size:12pt">%nsd:</span><br><span style=" font-size:12pt">&nbsp; nsd=test24Bnsd</span><br><span style=" font-size:12pt">&nbsp; usage=dataOnly</span><br><span style=" font-size:12pt">&nbsp; failureGroup=24</span><br><span style=" font-size:12pt">&nbsp; pool=raid6</span><br><span style=" font-size:12pt">&nbsp; servers=testnsd1,testnsd2,testnsd3</span><br><span style=" font-size:12pt">&nbsp; device=dm-0</span><br><br><span style=" font-size:12pt">%nsd:</span><br><span style=" font-size:12pt">&nbsp; nsd=test24Cnsd</span><br><span style=" font-size:12pt">&nbsp; usage=dataOnly</span><br><span style=" font-size:12pt">&nbsp; failureGroup=24</span><br><span style=" font-size:12pt">&nbsp; pool=raid1</span><br><span style=" font-size:12pt">&nbsp; servers=testnsd2,testnsd3,testnsd1</span><br><span style=" font-size:12pt">&nbsp; device=dm-2</span><br><br><span style=" font-size:12pt">%nsd:</span><br><span style=" font-size:12pt">&nbsp; nsd=test25Ansd</span><br><span style=" font-size:12pt">&nbsp; usage=dataOnly</span><br><span style=" font-size:12pt">&nbsp; failureGroup=25</span><br><span style=" font-size:12pt">&nbsp; pool=raid6</span><br><span style=" font-size:12pt">&nbsp; servers=testnsd1,testnsd2,testnsd3</span><br><span style=" font-size:12pt">&nbsp; device=dm-6</span><br><br><span style=" font-size:12pt">%nsd:</span><br><span style=" font-size:12pt">&nbsp; nsd=test25Bnsd</span><br><span style=" font-size:12pt">&nbsp; usage=dataOnly</span><br><span style=" font-size:12pt">&nbsp; failureGroup=25</span><br><span style=" font-size:12pt">&nbsp; pool=raid6</span><br><span style=" font-size:12pt">&nbsp; servers=testnsd2,testnsd3,testnsd1</span><br><span style=" font-size:12pt">&nbsp; device=dm-6</span><br><br><span style=" font-size:12pt">%nsd:</span><br><span style=" font-size:12pt">&nbsp; nsd=test25Cnsd</span><br><span style=" font-size:12pt">&nbsp; usage=dataOnly</span><br><span style=" font-size:12pt">&nbsp; failureGroup=25</span><br><span style=" font-size:12pt">&nbsp; pool=raid1</span><br><span style=" font-size:12pt">&nbsp; servers=testnsd3,testnsd1,testnsd2</span><br><span style=" font-size:12pt">&nbsp; device=dm-3</span><br><br><span style=" font-size:12pt">%pool:</span><br><span style=" font-size:12pt">&nbsp; pool=system</span><br><span style=" font-size:12pt">&nbsp; blockSize=1M</span><br><span style=" font-size:12pt">&nbsp; usage=metadataOnly</span><br><span style=" font-size:12pt">&nbsp; layoutMap=scatter</span><br><span style=" font-size:12pt">&nbsp; allowWriteAffinity=no</span><br><br><span style=" font-size:12pt">%pool:</span><br><span style=" font-size:12pt">&nbsp; pool=raid6</span><br><span style=" font-size:12pt">&nbsp; blockSize=4M</span><br><span style=" font-size:12pt">&nbsp; usage=dataOnly</span><br><span style=" font-size:12pt">&nbsp; layoutMap=scatter</span><br><span style=" font-size:12pt">&nbsp; allowWriteAffinity=no</span><br><br><span style=" font-size:12pt">%pool:</span><br><span style=" font-size:12pt">&nbsp; pool=raid1</span><br><span style=" font-size:12pt">&nbsp; blockSize=4M</span><br><span style=" font-size:12pt">&nbsp; usage=dataOnly</span><br><span style=" font-size:12pt">&nbsp; layoutMap=scatter</span><br><span style=" font-size:12pt">&nbsp; allowWriteAffinity=no</span><br><br><span style=" font-size:12pt">What am I missing or what have I done
wrong? &nbsp;Thanks$B!D(B</span><br><br><span style=" font-size:12pt">Kevin</span><br><span style=" font-size:12pt">&#8212;</span><br><span style=" font-size:12pt">Kevin Buterbaugh - Senior System Administrator</span><br><span style=" font-size:12pt">Vanderbilt University - Advanced Computing
Center for Research and Education</span><br><a href="mailto:Kevin.Buterbaugh@vanderbilt.edu"><span style=" font-size:12pt;color:blue"><u>Kevin.Buterbaugh@vanderbilt.edu</u></span></a><span style=" font-size:12pt">- (615)875-9633</span><br><br><br><tt><span style=" font-size:10pt">_______________________________________________<br>gpfsug-discuss mailing list<br>gpfsug-discuss at spectrumscale.org<br></span></tt><a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss"><tt><span style=" font-size:10pt">http://gpfsug.org/mailman/listinfo/gpfsug-discuss</span></tt></a><tt><span style=" font-size:10pt"><br></span></tt><br><br><BR>