<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
</head>
<body style="word-wrap: break-word; -webkit-nbsp-mode: space; line-break: after-white-space;" class="">
Hi All,
<div class=""><br class="">
</div>
<div class="">As those of you who suffered thru my talk at SC18 already know, we\u2019re really short on space on one of our GPFS filesystems as the output of mmdf piped to grep pool shows:</div>
<div class=""><br class="">
</div>
<div class="">
<div class="">Disks in storage pool: system (Maximum disk size allowed is 24 TB)</div>
<div class="">(pool total) &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 4.318T &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;1.078T ( 25%) &nbsp; &nbsp; &nbsp; &nbsp;79.47G ( 2%)</div>
<div class="">Disks in storage pool: data (Maximum disk size allowed is 262 TB)</div>
<div class="">(pool total) &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 494.7T &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;38.15T ( &nbsp;8%) &nbsp; &nbsp; &nbsp; &nbsp;4.136T ( 1%)</div>
<div class="">Disks in storage pool: capacity (Maximum disk size allowed is 519 TB)</div>
<div class="">(pool total) &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 640.2T &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;14.56T ( &nbsp;2%) &nbsp; &nbsp; &nbsp; &nbsp;716.4G ( 0%)</div>
<div class=""><br class="">
</div>
The system pool is metadata only. &nbsp;The data pool is the default pool. &nbsp;The capacity pool is where files with an atime (yes, atime) &gt; 90 days get migrated. &nbsp;The capacity pool is comprised of NSDs that are 8&#43;2P RAID 6 LUNs of 8 TB drives, so roughly 58.2 TB usable
 space per NSD.</div>
<div class=""><br class="">
</div>
<div class="">We have the new storage we purchased, but that\u2019s still being tested and held in reserve for after the first of the year when we create a new GPFS 5 formatted filesystem and start migrating everything to the new filesystem.</div>
<div class=""><br class="">
</div>
<div class="">In the meantime, we have also purchased a 60-bay JBOD and 30 x 12 TB drives and will be hooking it up to one of our existing storage arrays on Wednesday. &nbsp;My plan is to create another 3 8&#43;2P RAID 6 LUNs and present those to GPFS as NSDs. &nbsp;They
 will be about 88 TB usable space each (because \u2026 beginning rant \u2026 a 12 TB drive is &lt; 11 TB is size \u2026 and don\u2019t get me started on so-called \u201c4K\u201d TV\u2019s \u2026 end rant).</div>
<div class=""><br class="">
</div>
<div class="">A very wise man who used to work at IBM but now hangs out with people in red polos (&lt;grin&gt;) once told me that it\u2019s OK to mix NSDs of slightly different sizes in the same pool, but you don\u2019t want to put NSDs of vastly different sizes in the same
 pool because the smaller ones will fill first and then the larger ones will have to take all the I/O. &nbsp;I consider 58 TB and 88 TB to be pretty significantly different and am therefore planning on creating yet another pool called \u201coc\u201d (over capacity if a user
 asks, old crap internally!) and migrating files with an atime greater than, say, 1 year to that pool. &nbsp;But since ALL of the files in the capacity pool haven\u2019t even been looked at in at least 90 days already, does it really matter? &nbsp;I.e. should I just add the
 NSDs to the capacity pool and be done with it?</div>
<div class=""><br class="">
</div>
<div class="">If it\u2019s a good idea to create another pool, then I have a question about mmapplypolicy and migrations. &nbsp;I believe I understand how things work, but after spending over an hour looking at the documentation I cannot find anything that explicitly
 confirms my understanding \u2026 so if I have another pool called oc that\u2019s ~264 TB in size and I write a policy file that looks like:</div>
<div class=""><br class="">
</div>
<div class="">
<div class="">define(access_age,(DAYS(CURRENT_TIMESTAMP) - DAYS(ACCESS_TIME)))</div>
<div class=""><br class="">
</div>
<div class="">RULE 'ReallyOldStuff'</div>
<div class="">&nbsp; MIGRATE FROM POOL 'capacity'</div>
<div class="">&nbsp; TO POOL 'oc'</div>
<div class="">&nbsp; LIMIT(98)</div>
<div class="">&nbsp; SIZE(KB_ALLOCATED/NLINK)</div>
<div class="">&nbsp; WHERE ((access_age &gt; 365) AND (KB_ALLOCATED &gt; 3584))</div>
<div class=""><br class="">
</div>
<div class="">RULE 'OldStuff'</div>
<div class="">&nbsp; MIGRATE FROM POOL 'data'</div>
<div class="">&nbsp; TO POOL 'capacity'</div>
<div class="">&nbsp; LIMIT(98)</div>
<div class="">&nbsp; SIZE(KB_ALLOCATED/NLINK)</div>
<div class="">&nbsp; WHERE ((access_age &gt; 90) AND (KB_ALLOCATED &gt; 3584))</div>
</div>
<div class=""><br class="">
</div>
<div class="">Keeping in mind that my capacity pool is already 98% full, is mmapplypolicy smart enough to calculate how much space it\u2019s going to free up in the capacity pool by the \u201cReallyOldStuff\u201d rule and therefore be able to potentially also move a ton of
 stuff from the data pool to the capacity pool via the 2nd rule with just one invocation of mmapplypolicy? &nbsp;That\u2019s what I expect that it will do. &nbsp;I\u2019m hoping I don\u2019t have to run the mmapplypolicy twice \u2026 the first to move stuff from capacity to oc and then
 a second time for it to realize, oh, I\u2019ve got a much of space free in the capacity pool now.</div>
<div class=""><br class="">
</div>
<div class="">Thanks in advance...</div>
<div class=""><br class="">
</div>
<div class="">Kevin</div>
<div class=""><br class="">
</div>
<div class="">P.S. &nbsp;In case you\u2019re scratching your head over the fact that we have files that people haven\u2019t even looked at for months and months (more than a year in some cases) sitting out there \u2026 we sell quota in 1 TB increments \u2026 once they\u2019ve bought the
 quota, it\u2019s theirs. &nbsp;As long as they\u2019re paying us the monthly fee if they want to keep files relating to research they did during the George Bush Presidency out there \u2026 and I mean Bush 41, not Bush 43 \u2026.then that\u2019s their choice. &nbsp;We do not purge files.</div>
<div class=""><br class="">
<div class="">
<div class="">\u2014</div>
<div class="">Kevin Buterbaugh - Senior System Administrator</div>
<div class="">Vanderbilt University - Advanced Computing Center for Research and Education</div>
<div class=""><a href="mailto:Kevin.Buterbaugh@vanderbilt.edu" class="">Kevin.Buterbaugh@vanderbilt.edu</a>&nbsp;- (615)875-9633</div>
<div class=""><br class="">
</div>
<br class="Apple-interchange-newline">
</div>
<br class="">
</div>
</body>
</html>