<font size=2 face="sans-serif">Regarding mmbackup and TSM INCLUDE/EXCLUDE,
&nbsp;I found this doc by googling...</font><br><a href="http://www-01.ibm.com/support/docview.wss?uid=swg21699569"><font size=2 color=blue face="sans-serif">http://www-01.ibm.com/support/docview.wss?uid=swg21699569</font></a><br><br><font size=2 face="sans-serif">Which says, among other things and includes
many ifs,and,buts : &nbsp;</font><font size=2 color=#2f2f2f face="Helvetica Neue">&quot;...
include and exclude options are interpreted differently by the IBM Spectrum
Scale mmbackup command and by the IBM Spectrum Protect backup-archive client...&quot;
&nbsp; </font><br><br><font size=2 face="sans-serif">I think mmbackup tries to handle usual,
sensible, variants of the TSM directives that can be directly &quot;translated&quot;
to more logical SQL, so you don't have to follow all the twists, but if
it isn't working as you expected... RTFM... </font><br><br><font size=2 face="sans-serif">OTOH... &nbsp;If you are like or can
work with the customize-the-policy-rules approach -- that is good too and
makes possible finer grain controls.</font><br><br><br><br><font size=1 color=#5f5f5f face="sans-serif">From: &nbsp; &nbsp; &nbsp;
&nbsp;</font><font size=1 face="sans-serif">&quot;Jaime Pinto&quot;
&lt;pinto@scinet.utoronto.ca&gt;</font><br><font size=1 color=#5f5f5f face="sans-serif">To: &nbsp; &nbsp; &nbsp;
&nbsp;</font><font size=1 face="sans-serif">&quot;gpfsug main discussion
list&quot; &lt;gpfsug-discuss@spectrumscale.org&gt;, &quot;Marc &nbsp;
&nbsp; &nbsp; &nbsp;A Kaplan&quot; &lt;makaplan@us.ibm.com&gt;</font><br><font size=1 color=#5f5f5f face="sans-serif">Date: &nbsp; &nbsp; &nbsp;
&nbsp;</font><font size=1 face="sans-serif">05/29/2017 04:01 PM</font><br><font size=1 color=#5f5f5f face="sans-serif">Subject: &nbsp; &nbsp;
&nbsp; &nbsp;</font><font size=1 face="sans-serif">Re: [gpfsug-discuss]
mmbackup with TSM INCLUDE/EXCLUDE was Re: &nbsp; &nbsp; &nbsp; &nbsp;What
is an independent fileset? was: mmbackup with fileset : scope errors</font><br><hr noshade><br><br><br><tt><font size=2>Quoting &quot;Marc A Kaplan&quot; &lt;makaplan@us.ibm.com&gt;:<br><br>&gt; Easier than hacking mmbackup or writing/editing &nbsp;policy rules,<br>&gt;<br>&gt; &nbsp;mmbackup interprets<br>&gt; &nbsp;your TSM INCLUDE/EXCLUDE configuration statements -- so that
is a<br>&gt; supported and recommended way of doing business...<br><br>Finally got some time to resume testing on this<br><br>Here is the syntax used (In this test I want to backup /wosgpfs/backmeup
only)<br>mmbackup /wosgpfs -N wos-gateway02-ib0 -s /dev/shm --tsm-errorlog &nbsp;<br>$logfile -L 4<br><br>As far as I can tell, the EXCLUDE statements in the TSM configuration &nbsp;<br>(dsm.opt) are being *ignored*. I tried a couple of formats:<br><br>1) cat dsm.opt<br>SERVERNAME TAPENODE3<br>DOMAIN &quot;/wosgpfs/backmeup&quot;<br>INCLExcl &quot;/sysadmin/BA/ba-wos/bin/inclexcl&quot;<br><br>1a) cat /sysadmin/BA/ba-wos/bin/inclexcl<br>exclude.dir /wosgpfs/ignore /wosgpfs/junk /wosgpfs/project<br><br>1b) cat /sysadmin/BA/ba-wos/bin/inclexcl<br>exclude.dir /wosgpfs/ignore<br>exclude.dir /wosgpfs/junk<br>exclude.dir /wosgpfs/project<br><br>2) cat dsm.opt<br>SERVERNAME TAPENODE3<br>DOMAIN &quot;/wosgpfs/backmeup&quot;<br>exclude.dir /wosgpfs/ignore<br>exclude.dir /wosgpfs/junk<br>exclude.dir /wosgpfs/project<br><br>3) cat dsm.opt<br>SERVERNAME TAPENODE3<br>DOMAIN &quot;/wosgpfs/backmeup -/wosgpfs/ignore -/wosgpfs/junk -/wosgpfs/project&quot;<br><br><br>In another words, all the contents under /wosgpfs are being traversed &nbsp;<br>and going to the TSM backup. Furthermore, even with &quot;-L 4&quot; mmbackup
is &nbsp;<br>not logging the list of files being sent to the TSM backup anywhere on
&nbsp;<br>the client side. I only get that information from the TSM server side &nbsp;<br>(get filespace). I know that all contents of /wosgpfs are being &nbsp;<br>traversed because I have a tail on &nbsp;<br>/wosgpfs/.mmbackupShadow.1.TAPENODE3.filesys.update<br><br><br><br>&gt;<br>&gt; If that doesn't do it for your purposes... You're into some light<br>&gt; hacking... So look inside the mmbackup and tsbackup33 scripts and
you'll<br>&gt; find some DEBUG variables that should allow for keeping work and temp<br>&gt; files around ... including the generated policy rules.<br>&gt; I'm calling this hacking &quot;light&quot;, because I don't think
you'll &nbsp;need to<br>&gt; change the scripts, but just look around and see how you can use what's<br>&gt; there to achieve your legitimate purposes. &nbsp;Even so, you will
have crossed<br>&gt; a line where IBM support is &quot;informal&quot; at best.<br><br>On the other hand I am having better luck with the customer rules &nbsp;<br>file. The modified template below will traverse only the &nbsp;<br>/wosgpfs/backmeup, as intended, and only backup files modified under &nbsp;<br>that path. I guess I have a working solution that I will try at scale &nbsp;<br>now.<br><br>[root@wos-gateway02 bin]# cat dsm.opt<br>SERVERNAME TAPENODE3<br>ARCHSYMLINKASFILE NO<br>DOMAIN &quot;/wosgpfs/backmeup&quot;<br><br>__________________________________________________________<br>/* Auto-generated GPFS policy rules file<br> &nbsp;* Generated on Wed May 24 12:12:51 2017<br> &nbsp;*/<br><br>/* &nbsp; Server rules for backup server 1<br> &nbsp;*** &nbsp; TAPENODE3 &nbsp; ***<br> &nbsp;*/<br>RULE EXTERNAL LIST 'mmbackup.1.TAPENODE3' EXEC &nbsp;<br>'/wosgpfs/.mmbackupCfg/BAexecScript.wosgpfs' OPTS &nbsp;<br>'&quot;/wosgpfs/.mmbackupShadow.1.TAPENODE3.filesys.update&quot; &nbsp;<br>&quot;-servername=TAPENODE3&quot; &nbsp; <br>&quot;-auditlogname=/wosgpfs/mmbackup.audit.wosgpfs.TAPENODE3&quot; &quot;NONE&quot;'<br>RULE 'BackupRule' LIST 'mmbackup.1.TAPENODE3' DIRECTORIES_PLUS<br> &nbsp; &nbsp; &nbsp;SHOW(VARCHAR(MODIFICATION_TIME) || ' ' || VARCHAR(CHANGE_TIME)
|| ' ' ||<br> &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; VARCHAR(FILE_SIZE) &nbsp; &nbsp; &nbsp;
&nbsp; || ' ' || VARCHAR(FILESET_NAME) ||<br> &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; ' ' || (CASE WHEN XATTR('dmapi.IBMObj')
IS NOT NULL THEN 'migrat'<br> &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp;WHEN XATTR('dmapi.IBMPMig') IS NOT NULL THEN 'premig'<br> &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp;ELSE 'resdnt' END ))<br> &nbsp; &nbsp; &nbsp;WHERE<br> &nbsp; &nbsp; &nbsp; (<br> &nbsp; &nbsp; &nbsp; &nbsp; NOT<br> &nbsp; &nbsp; &nbsp; &nbsp; ( (PATH_NAME LIKE '/%/.mmbackup%') OR<br> &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; (PATH_NAME LIKE '/%/.mmLockDir' AND
MODE LIKE 'd%') OR<br> &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; (PATH_NAME LIKE '/%/.mmLockDir/%')
OR<br> &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; (PATH_NAME LIKE '/%/.g2w/%') OR &nbsp;
&nbsp; &nbsp;/* DO NOT TRAVERSE OR BACKUP */<br> &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; (PATH_NAME LIKE '/%/ignore/%') OR &nbsp;
&nbsp;/* DO NOT TRAVERSE OR BACKUP */<br> &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; (PATH_NAME LIKE '/%/junk/%') OR &nbsp;
&nbsp; &nbsp;/* DO NOT TRAVERSE OR BACKUP */<br> &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; (PATH_NAME LIKE '/%/project/%') OR
&nbsp; /* DO NOT TRAVERSE OR BACKUP */<br> &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; (MODE LIKE 's%')<br> &nbsp; &nbsp; &nbsp; &nbsp; )<br> &nbsp; &nbsp; &nbsp; )<br> &nbsp; &nbsp; &nbsp; AND<br> &nbsp; &nbsp; &nbsp; &nbsp; (PATH_NAME LIKE '/%/backmeup/%') &nbsp; &nbsp;
&nbsp; /* TRAVERSE AND BACKUP */<br> &nbsp; &nbsp; &nbsp; AND<br> &nbsp; &nbsp; &nbsp; &nbsp; (MISC_ATTRIBUTES LIKE '%u%')<br> &nbsp; &nbsp; &nbsp; AND<br> &nbsp; &nbsp; &nbsp; (<br> &nbsp; &nbsp; &nbsp; &nbsp; NOT<br> &nbsp; &nbsp; &nbsp; &nbsp; ( (PATH_NAME LIKE '/%/.SpaceMan' AND MODE
LIKE 'd%') OR<br> &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; (PATH_NAME LIKE '/%/.SpaceMan/%')<br> &nbsp; &nbsp; &nbsp; &nbsp; )<br> &nbsp; &nbsp; &nbsp; )<br> &nbsp; &nbsp; &nbsp;AND (NOT (PATH_NAME LIKE '/%/.TsmCacheDir' AND MODE
LIKE 'd%') &nbsp;<br>AND NOT (PATH_NAME LIKE '/%/.TsmCacheDir/%'))<br>_________________________________________________________<br><br>[root@wos-gateway02 bin]# time ./mmbackup-wos.sh<br>--------------------------------------------------------<br>mmbackup: Backup of /wosgpfs begins at Mon May 29 15:54:47 EDT 2017.<br>--------------------------------------------------------<br>Mon May 29 15:54:49 2017 mmbackup:using user supplied policy rules: &nbsp;<br>/sysadmin/BA/ba-wos/bin/mmbackupRules.wosgpfs<br>Mon May 29 15:54:49 2017 mmbackup:Scanning file system wosgpfs<br>Mon May 29 15:54:52 2017 mmbackup:Determining file system changes for &nbsp;<br>wosgpfs [TAPENODE3].<br>Mon May 29 15:54:52 2017 mmbackup:changed=3, expired=0, unsupported=0 &nbsp;<br>for server [TAPENODE3]<br>Mon May 29 15:54:52 2017 mmbackup:Sending files to the TSM server [3 &nbsp;<br>changed, 0 expired].<br>mmbackup: TSM Summary Information:<br> &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
Total number of objects inspected: &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp;3<br> &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
Total number of objects backed up: &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp;3<br> &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
Total number of objects updated: &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp;0<br> &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
Total number of objects rebound: &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp;0<br> &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
Total number of objects deleted: &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp;0<br> &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
Total number of objects expired: &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp;0<br> &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
Total number of objects failed: &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp;0<br> &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
Total number of objects encrypted: &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp;0<br> &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
Total number of bytes inspected: &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp;4096<br> &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
Total number of bytes transferred: &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp;512<br>----------------------------------------------------------<br>mmbackup: Backup of /wosgpfs completed successfully at Mon May 29 &nbsp;<br>15:54:56 EDT 2017.<br>----------------------------------------------------------<br><br>real &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
0m9.276s<br>user &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
0m2.906s<br>sys &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
0m3.212s<br><br>_________________________________________________________<br><br><br>Thanks for all the help<br>Jaime<br><br><br><br>&gt;<br>&gt;<br>&gt;<br>&gt;<br>&gt; From: &nbsp; Jez Tucker &lt;jtucker@pixitmedia.com&gt;<br>&gt; To: &nbsp; &nbsp; gpfsug-discuss@spectrumscale.org<br>&gt; Date: &nbsp; 05/18/2017 03:33 PM<br>&gt; Subject: &nbsp; &nbsp; &nbsp; &nbsp;Re: [gpfsug-discuss] What is an
independent fileset? was:<br>&gt; mmbackup with fileset : scope errors<br>&gt; Sent by: &nbsp; &nbsp; &nbsp; &nbsp;gpfsug-discuss-bounces@spectrumscale.org<br>&gt;<br>&gt;<br>&gt;<br>&gt; Hi<br>&gt;<br>&gt; &nbsp; When mmbackup has passed the preflight stage (pretty quickly)
you'll<br>&gt; find the autogenerated ruleset as /var/mmfs/mmbackup/.mmbackupRules*<br>&gt;<br>&gt; Best,<br>&gt;<br>&gt; Jez<br>&gt;<br>&gt;<br>&gt; On 18/05/17 20:02, Jaime Pinto wrote:<br>&gt; Ok Mark<br>&gt;<br>&gt; I'll follow your option 2) suggestion, and capture what mmbackup is
using<br>&gt; as a rule first, then modify it.<br>&gt;<br>&gt; I imagine by 'capture' you are referring to the -L n level I use?<br>&gt;<br>&gt; -L n<br>&gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Controls the level of information
displayed by the<br>&gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;mmbackup command. Larger values
indicate the<br>&gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;display of more detailed information.
n should be one of<br>&gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;the following values:<br>&gt;<br>&gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;3<br>&gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; Displays
the same information as 2, plus each<br>&gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; candidate
file and the applicable rule.<br>&gt;<br>&gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;4<br>&gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; Displays
the same information as 3, plus each<br>&gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; explicitly
EXCLUDEed or LISTed<br>&gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; file,
and the applicable rule.<br>&gt;<br>&gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;5<br>&gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; Displays
the same information as 4, plus the<br>&gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; attributes
of candidate and EXCLUDEed or<br>&gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; LISTed
files.<br>&gt;<br>&gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;6<br>&gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; Displays
the same information as 5, plus<br>&gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; non-candidate
files and their attributes.<br>&gt;<br>&gt; Thanks<br>&gt; Jaime<br>&gt;<br>&gt;<br>&gt;<br>&gt;<br>&gt; Quoting &quot;Marc A Kaplan&quot; &lt;makaplan@us.ibm.com&gt;:<br>&gt;<br>&gt; 1. As I surmised, and I now have verification from Mr. mmbackup, mmbackup<br>&gt; wants to support incremental backups (using what it calls its shadow<br>&gt; database) and keep both your sanity and its sanity -- so mmbackup
limits<br>&gt; you to either full filesystem or full inode-space (independent fileset.)<br>&gt; If you want to do something else, okay, but you have to be careful
and be<br>&gt; sure of yourself. IBM will not be able to jump in and help you if
and when<br>&gt;<br>&gt; it comes time to restore and you discover that your backup(s) were
not<br>&gt; complete.<br>&gt;<br>&gt; 2. If you decide you're a big boy (or woman or XXX) and want to do
some<br>&gt; hacking ... &nbsp;Fine... But even then, I suggest you do the smallest
hack<br>&gt; that will mostly achieve your goal...<br>&gt; DO NOT think you can create a custom policy rules list for mmbackup
out of<br>&gt;<br>&gt; thin air.... &nbsp;Capture the rules mmbackup creates and make small
changes to<br>&gt;<br>&gt; that --<br>&gt; And as with any disaster recovery plan..... &nbsp; Plan your Test
and Test your<br>&gt;<br>&gt; Plan.... &nbsp;Then do some dry run recoveries before you really &quot;need&quot;
to do a<br>&gt;<br>&gt; real recovery.<br>&gt;<br>&gt; I only even sugest this because Jaime says he has a huge filesystem
with<br>&gt; several dependent filesets and he really, really wants to do a partial<br>&gt; backup, without first copying or re-organizing the filesets.<br>&gt;<br>&gt; HMMM.... otoh... if you have one or more dependent filesets that are<br>&gt; smallish, and/or you don't need the backups -- create independent<br>&gt; filesets, copy/move/delete the data, rename, voila.<br>&gt;<br>&gt;<br>&gt;<br>&gt; From: &nbsp; &quot;Jaime Pinto&quot; &lt;pinto@scinet.utoronto.ca&gt;<br>&gt; To: &nbsp; &nbsp; &quot;Marc A Kaplan&quot; &lt;makaplan@us.ibm.com&gt;<br>&gt; Cc: &nbsp; &nbsp; &quot;gpfsug main discussion list&quot; &lt;gpfsug-discuss@spectrumscale.org&gt;<br>&gt; Date: &nbsp; 05/18/2017 12:36 PM<br>&gt; Subject: &nbsp; &nbsp; &nbsp; &nbsp;Re: [gpfsug-discuss] What is an
independent fileset? was:<br>&gt; mmbackup &nbsp; &nbsp; &nbsp; &nbsp;with fileset : scope errors<br>&gt;<br>&gt;<br>&gt;<br>&gt; Marc<br>&gt;<br>&gt; The -P option may be a very good workaround, but I still have to test
it.<br>&gt;<br>&gt; I'm currently trying to craft the mm rule, as minimalist as possible,<br>&gt; however I'm not sure about what attributes mmbackup expects to see.<br>&gt;<br>&gt; Below is my first attempt. It would be nice to get comments from<br>&gt; somebody familiar with the inner works of mmbackup.<br>&gt;<br>&gt; Thanks<br>&gt; Jaime<br>&gt;<br>&gt;<br>&gt; /* A macro to abbreviate VARCHAR */<br>&gt; define([vc],[VARCHAR($1)])<br>&gt;<br>&gt; /* Define three external lists */<br>&gt; RULE EXTERNAL LIST 'allfiles' EXEC<br>&gt; '/scratch/r/root/mmpolicyRules/mmpolicyExec-list'<br>&gt;<br>&gt; /* Generate a list of all files, directories, plus all other file<br>&gt; system objects,<br>&gt; &nbsp; &nbsp; like symlinks, named pipes, etc. Include the owner's
id with each<br>&gt; object and<br>&gt; &nbsp; &nbsp; sort them by the owner's id */<br>&gt;<br>&gt; RULE 'r1' LIST 'allfiles'<br>&gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;DIRECTORIES_PLUS<br>&gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;SHOW('-u' vc(USER_ID) || ' -a' ||
vc(ACCESS_TIME) || ' -m' ||<br>&gt; vc(MODIFICATION_TIME) || ' -s ' || vc(FILE_SIZE))<br>&gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;FROM POOL 'system'<br>&gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;FOR FILESET('sysadmin3')<br>&gt;<br>&gt; /* Files in special filesets, such as those excluded, are never traversed<br>&gt; */<br>&gt; RULE 'ExcSpecialFile' EXCLUDE<br>&gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;FOR FILESET('scratch3','project3')<br>&gt;<br>&gt;<br>&gt;<br>&gt;<br>&gt;<br>&gt; Quoting &quot;Marc A Kaplan&quot; &lt;makaplan@us.ibm.com&gt;:<br>&gt;<br>&gt; Jaime,<br>&gt;<br>&gt; &nbsp; While we're waiting for the mmbackup expert to weigh in, notice
that<br>&gt; the<br>&gt; mmbackup command does have a -P option that allows you to provide
a<br>&gt; customized policy rules file.<br>&gt;<br>&gt; So... a fairly safe hack is to do a trial mmbackup run, capture the<br>&gt; automatically generated policy file, and then augment it with FOR<br>&gt; FILESET('fileset-I-want-to-backup') clauses.... Then run the mmbackup<br>&gt; for<br>&gt; real with your customized policy file.<br>&gt;<br>&gt; mmbackup uses mmapplypolicy which by itself is happy to limit its<br>&gt; directory scan to a particular fileset by using<br>&gt;<br>&gt; mmapplypolicy /path-to-any-directory-within-a-gpfs-filesystem --scope<br>&gt; fileset ....<br>&gt;<br>&gt; However, mmbackup probably has other worries and for simpliciity and<br>&gt; helping make sure you get complete, sensible backups, apparently has<br>&gt; imposed some restrictions to preserve sanity (yours and our support<br>&gt; team!<br>&gt; ;-) ) &nbsp;... &nbsp; (For example, suppose you were doing incremental
backups,<br>&gt; starting at different paths each time? -- happy to do so, but when<br>&gt; disaster strikes and you want to restore -- you'll end up confused<br>&gt; and/or<br>&gt; unhappy!)<br>&gt;<br>&gt; &quot;converting from one fileset to another&quot; --- sorry there
is no such<br>&gt; thing.<br>&gt; &nbsp;Filesets are kinda like little filesystems within filesystems.
&nbsp;Moving<br>&gt; a<br>&gt; file from one fileset to another requires a copy operation. &nbsp;
There is<br>&gt; no<br>&gt; fast move nor hardlinking.<br>&gt;<br>&gt; --marc<br>&gt;<br>&gt;<br>&gt;<br>&gt; From: &nbsp; &quot;Jaime Pinto&quot; &lt;pinto@scinet.utoronto.ca&gt;<br>&gt; To: &nbsp; &nbsp; &quot;gpfsug main discussion list&quot;<br>&gt; &lt;gpfsug-discuss@spectrumscale.org&gt;,<br>&gt; &quot;Marc &nbsp; A Kaplan&quot; &lt;makaplan@us.ibm.com&gt;<br>&gt; Date: &nbsp; 05/18/2017 09:58 AM<br>&gt; Subject: &nbsp; &nbsp; &nbsp; &nbsp;Re: [gpfsug-discuss] What is an
independent fileset?<br>&gt; was:<br>&gt; mmbackup &nbsp; &nbsp; &nbsp; &nbsp;with fileset : scope errors<br>&gt;<br>&gt;<br>&gt;<br>&gt; Thanks for the explanation Mark and Luis,<br>&gt;<br>&gt; It begs the question: why filesets are created as dependent by<br>&gt; default, if the adverse repercussions can be so great afterward? Even<br>&gt; in my case, where I manage GPFS and TSM deployments (and I have been<br>&gt; around for a while), didn't realize at all that not adding and extra<br>&gt; option at fileset creation time would cause me huge trouble with<br>&gt; scaling later on as I try to use mmbackup.<br>&gt;<br>&gt; When you have different groups to manage file systems and backups
that<br>&gt; don't read each-other's manuals ahead of time then we have a really<br>&gt; bad recipe.<br>&gt;<br>&gt; I'm looking forward to your explanation as to why mmbackup cares one<br>&gt; way or another.<br>&gt;<br>&gt; I'm also hoping for a hint as to how to configure backup exclusion<br>&gt; rules on the TSM side to exclude fileset traversing on the GPFS side.<br>&gt; Is mmbackup smart enough (actually smarter than TSM client itself)
to<br>&gt; read the exclusion rules on the TSM configuration and apply them<br>&gt; before traversing?<br>&gt;<br>&gt; Thanks<br>&gt; Jaime<br>&gt;<br>&gt; Quoting &quot;Marc A Kaplan&quot; &lt;makaplan@us.ibm.com&gt;:<br>&gt;<br>&gt; When I see &quot;independent fileset&quot; (in Spectrum/GPFS/Scale)
&nbsp;I always<br>&gt; think<br>&gt; and try to read that as &quot;inode space&quot;.<br>&gt;<br>&gt; An &quot;independent fileset&quot; has all the attributes of an (older-fashioned)<br>&gt; dependent fileset PLUS all of its files are represented by inodes
that<br>&gt; are<br>&gt; in a separable range of inode numbers - this allows GPFS to efficiently<br>&gt; do<br>&gt; snapshots of just that inode-space (uh... independent fileset)...<br>&gt;<br>&gt; And... of course the files of dependent filesets must also be<br>&gt; represented<br>&gt; by inodes -- those inode numbers are within the inode-space of whatever<br>&gt; the containing independent fileset is... as was chosen when you created<br>&gt; the fileset.... &nbsp; If you didn't say otherwise, inodes come from
the<br>&gt; default &quot;root&quot; fileset....<br>&gt;<br>&gt; Clear as your bath-water, no?<br>&gt;<br>&gt; So why does mmbackup care one way or another ??? &nbsp; Stay tuned....<br>&gt;<br>&gt; BTW - if you look at the bits of the inode numbers carefully --- you<br>&gt; may<br>&gt; not immediately discern what I mean by a &quot;separable range of
inode<br>&gt; numbers&quot; -- (very technical hint) you may need to permute the
bit order<br>&gt; before you discern a simple pattern...<br>&gt;<br>&gt;<br>&gt;<br>&gt; From: &nbsp; &quot;Luis Bolinches&quot; &lt;luis.bolinches@fi.ibm.com&gt;<br>&gt; To: &nbsp; &nbsp; gpfsug-discuss@spectrumscale.org<br>&gt; Cc: &nbsp; &nbsp; gpfsug-discuss@spectrumscale.org<br>&gt; Date: &nbsp; 05/18/2017 02:10 AM<br>&gt; Subject: &nbsp; &nbsp; &nbsp; &nbsp;Re: [gpfsug-discuss] mmbackup
with fileset : scope<br>&gt; errors<br>&gt; Sent by: &nbsp; &nbsp; &nbsp; &nbsp;gpfsug-discuss-bounces@spectrumscale.org<br>&gt;<br>&gt;<br>&gt;<br>&gt; Hi<br>&gt;<br>&gt; There is no direct way to convert the one fileset that is dependent
to<br>&gt; independent or viceversa.<br>&gt;<br>&gt; I would suggest to take a look to chapter 5 of the 2014 redbook, lots<br>&gt; of<br>&gt; definitions about GPFS ILM including filesets<br>&gt; </font></tt><a href=http://www.redbooks.ibm.com/abstracts/sg248254.html?Open><tt><font size=2>http://www.redbooks.ibm.com/abstracts/sg248254.html?Open</font></tt></a><tt><font size=2>Is not the<br>&gt; only<br>&gt; place that is explained but I honestly believe is a good single start<br>&gt; point. It also needs an update as does nto have anything on CES nor<br>&gt; ESS,<br>&gt; so anyone in this list feel free to give feedback on that page people<br>&gt; with<br>&gt; funding decisions listen there.<br>&gt;<br>&gt; So you are limited to either migrate the data from that fileset to
a<br>&gt; new<br>&gt; independent fileset (multiple ways to do that) or use the TSM client<br>&gt; config.<br>&gt;<br>&gt; ----- Original message -----<br>&gt; From: &quot;Jaime Pinto&quot; &lt;pinto@scinet.utoronto.ca&gt;<br>&gt; Sent by: gpfsug-discuss-bounces@spectrumscale.org<br>&gt; To: &quot;gpfsug main discussion list&quot; &lt;gpfsug-discuss@spectrumscale.org&gt;,<br>&gt; &quot;Jaime Pinto&quot; &lt;pinto@scinet.utoronto.ca&gt;<br>&gt; Cc:<br>&gt; Subject: Re: [gpfsug-discuss] mmbackup with fileset : scope errors<br>&gt; Date: Thu, May 18, 2017 4:43 AM<br>&gt;<br>&gt; There is hope. See reference link below:<br>&gt;<br>&gt;<br>&gt; </font></tt><a href=https://www.ibm.com/support/knowledgecenter/en/STXKQY_4.1.1/com.ibm.spectrum.scale.v4r11.ins.doc/bl1ins_tsm_fsvsfset.htm><tt><font size=2>https://www.ibm.com/support/knowledgecenter/en/STXKQY_4.1.1/com.ibm.spectrum.scale.v4r11.ins.doc/bl1ins_tsm_fsvsfset.htm</font></tt></a><tt><font size=2><br>&gt;<br>&gt;<br>&gt;<br>&gt;<br>&gt;<br>&gt; The issue has to do with dependent vs. independent filesets, something<br>&gt; I didn't even realize existed until now. Our filesets are dependent<br>&gt; (for no particular reason), so I have to find a way to turn them into<br>&gt; independent.<br>&gt;<br>&gt; The proper option syntax is &quot;--scope inodespace&quot;, and the
error<br>&gt; message actually flagged that out, however I didn't know how to<br>&gt; interpret what I saw:<br>&gt;<br>&gt;<br>&gt; # mmbackup /gpfs/sgfs1/sysadmin3 -N tsm-helper1-ib0 -s /dev/shm<br>&gt; --scope inodespace --tsm-errorlog $logfile -L 2<br>&gt; --------------------------------------------------------<br>&gt; mmbackup: Backup of /gpfs/sgfs1/sysadmin3 begins at Wed May 17<br>&gt; 21:27:43 EDT 2017.<br>&gt; --------------------------------------------------------<br>&gt; Wed May 17 21:27:45 2017 mmbackup:mmbackup: Backing up *dependent*<br>&gt; fileset sysadmin3 is not supported<br>&gt; Wed May 17 21:27:45 2017 mmbackup:This fileset is not suitable for<br>&gt; fileset level backup. &nbsp;exit 1<br>&gt; --------------------------------------------------------<br>&gt;<br>&gt; Will post the outcome.<br>&gt; Jaime<br>&gt;<br>&gt;<br>&gt;<br>&gt; Quoting &quot;Jaime Pinto&quot; &lt;pinto@scinet.utoronto.ca&gt;:<br>&gt;<br>&gt; Quoting &quot;Luis Bolinches&quot; &lt;luis.bolinches@fi.ibm.com&gt;:<br>&gt;<br>&gt; Hi<br>&gt;<br>&gt; have you tried to add exceptions on the TSM client config file?<br>&gt;<br>&gt; Hey Luis,<br>&gt;<br>&gt; That would work as well (mechanically), however it's not elegant or<br>&gt; efficient. When you have over 1PB and 200M files on scratch it will<br>&gt; take many hours and several helper nodes to traverse that fileset
just<br>&gt; to be negated by TSM. In fact exclusion on TSM are just as<br>&gt; inefficient.<br>&gt; Considering that I want to keep project and sysadmin on different<br>&gt; domains then it's much worst, since we have to traverse and exclude<br>&gt; scratch &amp; (project|sysadmin) twice, once to capture sysadmin and
again<br>&gt; to capture project.<br>&gt;<br>&gt; If I have to use exclusion rules it has to rely sole on gpfs rules,<br>&gt; and<br>&gt; somehow not traverse scratch at all.<br>&gt;<br>&gt; I suspect there is a way to do this properly, however the examples
on<br>&gt; the gpfs guide and other references are not exhaustive. They only
show<br>&gt; a couple of trivial cases.<br>&gt;<br>&gt; However my situation is not unique. I suspect there are may facilities<br>&gt; having to deal with backup of HUGE filesets.<br>&gt;<br>&gt; So the search is on.<br>&gt;<br>&gt; Thanks<br>&gt; Jaime<br>&gt;<br>&gt;<br>&gt;<br>&gt;<br>&gt;<br>&gt; Assuming your GPFS dir is /IBM/GPFS and your fileset to exclude is<br>&gt; linked<br>&gt; on /IBM/GPFS/FSET1<br>&gt;<br>&gt; dsm.sys<br>&gt; ...<br>&gt;<br>&gt; DOMAIN /IBM/GPFS<br>&gt; EXCLUDE.DIR /IBM/GPFS/FSET1<br>&gt;<br>&gt;<br>&gt; From: &nbsp; &quot;Jaime Pinto&quot; &lt;pinto@scinet.utoronto.ca&gt;<br>&gt; To: &nbsp; &nbsp; &quot;gpfsug main discussion list&quot;<br>&gt; &lt;gpfsug-discuss@spectrumscale.org&gt;<br>&gt; Date: &nbsp; 17-05-17 23:44<br>&gt; Subject: &nbsp; &nbsp; &nbsp; &nbsp;[gpfsug-discuss] mmbackup with
fileset : scope errors<br>&gt; Sent by: &nbsp; &nbsp; &nbsp; &nbsp;gpfsug-discuss-bounces@spectrumscale.org<br>&gt;<br>&gt;<br>&gt;<br>&gt; I have a g200 /gpfs/sgfs1 filesystem with 3 filesets:<br>&gt; * project3<br>&gt; * scratch3<br>&gt; * sysadmin3<br>&gt;<br>&gt; I have no problems mmbacking up /gpfs/sgfs1 (or sgfs1), however we<br>&gt; have no need or space to include *scratch3* on TSM.<br>&gt;<br>&gt; Question: how to craft the mmbackup command to backup<br>&gt; /gpfs/sgfs1/project3 and/or /gpfs/sgfs1/sysadmin3 only?<br>&gt;<br>&gt; Below are 3 types of errors:<br>&gt;<br>&gt; 1) mmbackup /gpfs/sgfs1/sysadmin3 -N tsm-helper1-ib0 -s /dev/shm<br>&gt; --tsm-errorlog $logfile -L 2<br>&gt;<br>&gt; ERROR: mmbackup: Options /gpfs/sgfs1/sysadmin3 and --scope filesystem<br>&gt; cannot be specified at the same time.<br>&gt;<br>&gt; 2) mmbackup /gpfs/sgfs1/sysadmin3 -N tsm-helper1-ib0 -s /dev/shm<br>&gt; --scope inodespace --tsm-errorlog $logfile -L 2<br>&gt;<br>&gt; ERROR: Wed May 17 16:27:11 2017 mmbackup:mmbackup: Backing up<br>&gt; dependent fileset sysadmin3 is not supported<br>&gt; Wed May 17 16:27:11 2017 mmbackup:This fileset is not suitable for<br>&gt; fileset level backup. &nbsp;exit 1<br>&gt;<br>&gt; 3) mmbackup /gpfs/sgfs1/sysadmin3 -N tsm-helper1-ib0 -s /dev/shm<br>&gt; --scope filesystem --tsm-errorlog $logfile -L 2<br>&gt;<br>&gt; ERROR: mmbackup: Options /gpfs/sgfs1/sysadmin3 and --scope filesystem<br>&gt; cannot be specified at the same time.<br>&gt;<br>&gt; These examples don't really cover my case:<br>&gt;<br>&gt;<br>&gt;<br>&gt; </font></tt><a href=https://www.ibm.com/support/knowledgecenter/en/STXKQY_4.2.3/com.ibm.spectrum.scale.v4r23.doc/bl1adm_mmbackup.htm#mmbackup__mmbackup_examples><tt><font size=2>https://www.ibm.com/support/knowledgecenter/en/STXKQY_4.2.3/com.ibm.spectrum.scale.v4r23.doc/bl1adm_mmbackup.htm#mmbackup__mmbackup_examples</font></tt></a><tt><font size=2><br>&gt;<br>&gt;<br>&gt;<br>&gt;</font></tt><br><tt><font size=2>&gt;<br>&gt;<br>&gt; Thanks<br>&gt; Jaime<br>&gt;<br>&gt;<br>&gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;************************************<br>&gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; TELL US ABOUT YOUR SUCCESS STORIES<br>&gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;</font></tt><a href=http://www.scinethpc.ca/testimonials><tt><font size=2>http://www.scinethpc.ca/testimonials</font></tt></a><tt><font size=2><br>&gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;************************************<br>&gt; ---<br>&gt; Jaime Pinto<br>&gt; SciNet HPC Consortium - Compute/Calcul Canada<br>&gt; </font></tt><a href=www.scinet.utoronto.ca><tt><font size=2>www.scinet.utoronto.ca</font></tt></a><tt><font size=2>- </font></tt><a href=www.computecanada.ca><tt><font size=2>www.computecanada.ca</font></tt></a><tt><font size=2><br>&gt; University of Toronto<br>&gt; 661 University Ave. (MaRS), Suite 1140<br>&gt; Toronto, ON, M5G1M1<br>&gt; P: 416-978-2755<br>&gt; C: 416-505-1477<br>&gt;<br>&gt; ----------------------------------------------------------------<br>&gt; This message was sent using IMP at SciNet Consortium, University of<br>&gt; Toronto.<br>&gt;<br>&gt; _______________________________________________<br>&gt; gpfsug-discuss mailing list<br>&gt; gpfsug-discuss at spectrumscale.org<br>&gt; </font></tt><a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss"><tt><font size=2>http://gpfsug.org/mailman/listinfo/gpfsug-discuss</font></tt></a><tt><font size=2><br>&gt;<br>&gt;<br>&gt;<br>&gt;<br>&gt;<br>&gt; Ellei edell ole toisin mainittu: / Unless stated otherwise above:<br>&gt; Oy IBM Finland Ab<br>&gt; PL 265, 00101 Helsinki, Finland<br>&gt; Business ID, Y-tunnus: 0195876-3<br>&gt; Registered in Finland<br>&gt;<br>&gt;<br>&gt;<br>&gt;<br>&gt;<br>&gt;<br>&gt;<br>&gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;************************************<br>&gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; TELL US ABOUT YOUR SUCCESS STORIES<br>&gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;</font></tt><a href=http://www.scinethpc.ca/testimonials><tt><font size=2>http://www.scinethpc.ca/testimonials</font></tt></a><tt><font size=2><br>&gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;************************************<br>&gt; ---<br>&gt; Jaime Pinto<br>&gt; SciNet HPC Consortium - Compute/Calcul Canada<br>&gt; </font></tt><a href=www.scinet.utoronto.ca><tt><font size=2>www.scinet.utoronto.ca</font></tt></a><tt><font size=2>- </font></tt><a href=www.computecanada.ca><tt><font size=2>www.computecanada.ca</font></tt></a><tt><font size=2><br>&gt; University of Toronto<br>&gt; 661 University Ave. (MaRS), Suite 1140<br>&gt; Toronto, ON, M5G1M1<br>&gt; P: 416-978-2755<br>&gt; C: 416-505-1477<br>&gt;<br>&gt; ----------------------------------------------------------------<br>&gt; This message was sent using IMP at SciNet Consortium, University of<br>&gt; Toronto.<br>&gt;<br>&gt; _______________________________________________<br>&gt; gpfsug-discuss mailing list<br>&gt; gpfsug-discuss at spectrumscale.org<br>&gt; </font></tt><a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss"><tt><font size=2>http://gpfsug.org/mailman/listinfo/gpfsug-discuss</font></tt></a><tt><font size=2><br>&gt;<br>&gt;<br>&gt;<br>&gt;<br>&gt;<br>&gt;<br>&gt;<br>&gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; ************************************<br>&gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;TELL US ABOUT YOUR SUCCESS
STORIES<br>&gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; </font></tt><a href=http://www.scinethpc.ca/testimonials><tt><font size=2>http://www.scinethpc.ca/testimonials</font></tt></a><tt><font size=2><br>&gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; ************************************<br>&gt; ---<br>&gt; Jaime Pinto<br>&gt; SciNet HPC Consortium - Compute/Calcul Canada<br>&gt; </font></tt><a href=www.scinet.utoronto.ca><tt><font size=2>www.scinet.utoronto.ca</font></tt></a><tt><font size=2>- </font></tt><a href=www.computecanada.ca><tt><font size=2>www.computecanada.ca</font></tt></a><tt><font size=2><br>&gt; University of Toronto<br>&gt; 661 University Ave. (MaRS), Suite 1140<br>&gt; Toronto, ON, M5G1M1<br>&gt; P: 416-978-2755<br>&gt; C: 416-505-1477<br>&gt;<br>&gt; ----------------------------------------------------------------<br>&gt; This message was sent using IMP at SciNet Consortium, University of<br>&gt; Toronto.<br>&gt;<br>&gt; _______________________________________________<br>&gt; gpfsug-discuss mailing list<br>&gt; gpfsug-discuss at spectrumscale.org<br>&gt; </font></tt><a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss"><tt><font size=2>http://gpfsug.org/mailman/listinfo/gpfsug-discuss</font></tt></a><tt><font size=2><br>&gt;<br>&gt;<br>&gt;<br>&gt; Ellei edell ole toisin mainittu: / Unless stated otherwise above:<br>&gt; Oy IBM Finland Ab<br>&gt; PL 265, 00101 Helsinki, Finland<br>&gt; Business ID, Y-tunnus: 0195876-3<br>&gt; Registered in Finland<br>&gt; _______________________________________________<br>&gt; gpfsug-discuss mailing list<br>&gt; gpfsug-discuss at spectrumscale.org<br>&gt; </font></tt><a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss"><tt><font size=2>http://gpfsug.org/mailman/listinfo/gpfsug-discuss</font></tt></a><tt><font size=2><br>&gt;<br>&gt;<br>&gt;<br>&gt;<br>&gt;<br>&gt;<br>&gt;<br>&gt;<br>&gt;<br>&gt;<br>&gt;<br>&gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; ************************************<br>&gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;TELL US ABOUT YOUR SUCCESS
STORIES<br>&gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; </font></tt><a href=http://www.scinethpc.ca/testimonials><tt><font size=2>http://www.scinethpc.ca/testimonials</font></tt></a><tt><font size=2><br>&gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; ************************************<br>&gt; ---<br>&gt; Jaime Pinto<br>&gt; SciNet HPC Consortium - Compute/Calcul Canada<br>&gt; </font></tt><a href=www.scinet.utoronto.ca><tt><font size=2>www.scinet.utoronto.ca</font></tt></a><tt><font size=2>- </font></tt><a href=www.computecanada.ca><tt><font size=2>www.computecanada.ca</font></tt></a><tt><font size=2><br>&gt; University of Toronto<br>&gt; 661 University Ave. (MaRS), Suite 1140<br>&gt; Toronto, ON, M5G1M1<br>&gt; P: 416-978-2755<br>&gt; C: 416-505-1477<br>&gt;<br>&gt; ----------------------------------------------------------------<br>&gt; This message was sent using IMP at SciNet Consortium, University of<br>&gt; Toronto.<br>&gt;<br>&gt;<br>&gt;<br>&gt;<br>&gt;<br>&gt;<br>&gt;<br>&gt;<br>&gt;<br>&gt;<br>&gt;<br>&gt;<br>&gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; ************************************<br>&gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;TELL US ABOUT YOUR SUCCESS
STORIES<br>&gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; </font></tt><a href=http://www.scinethpc.ca/testimonials><tt><font size=2>http://www.scinethpc.ca/testimonials</font></tt></a><tt><font size=2><br>&gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; ************************************<br>&gt; ---<br>&gt; Jaime Pinto<br>&gt; SciNet HPC Consortium - Compute/Calcul Canada<br>&gt; </font></tt><a href=www.scinet.utoronto.ca><tt><font size=2>www.scinet.utoronto.ca</font></tt></a><tt><font size=2>- </font></tt><a href=www.computecanada.ca><tt><font size=2>www.computecanada.ca</font></tt></a><tt><font size=2><br>&gt; University of Toronto<br>&gt; 661 University Ave. (MaRS), Suite 1140<br>&gt; Toronto, ON, M5G1M1<br>&gt; P: 416-978-2755<br>&gt; C: 416-505-1477<br>&gt;<br>&gt; ----------------------------------------------------------------<br>&gt; This message was sent using IMP at SciNet Consortium, University of<br>&gt; Toronto.<br>&gt;<br>&gt;<br>&gt;<br>&gt;<br>&gt;<br>&gt;<br>&gt;<br>&gt;<br>&gt;<br>&gt;<br>&gt;<br>&gt;<br>&gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;************************************<br>&gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; TELL US ABOUT YOUR SUCCESS STORIES<br>&gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;</font></tt><a href=http://www.scinethpc.ca/testimonials><tt><font size=2>http://www.scinethpc.ca/testimonials</font></tt></a><tt><font size=2><br>&gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;************************************<br>&gt; ---<br>&gt; Jaime Pinto<br>&gt; SciNet HPC Consortium - Compute/Calcul Canada<br>&gt; </font></tt><a href=www.scinet.utoronto.ca><tt><font size=2>www.scinet.utoronto.ca</font></tt></a><tt><font size=2>- </font></tt><a href=www.computecanada.ca><tt><font size=2>www.computecanada.ca</font></tt></a><tt><font size=2><br>&gt; University of Toronto<br>&gt; 661 University Ave. (MaRS), Suite 1140<br>&gt; Toronto, ON, M5G1M1<br>&gt; P: 416-978-2755<br>&gt; C: 416-505-1477<br>&gt;<br>&gt; ----------------------------------------------------------------<br>&gt; This message was sent using IMP at SciNet Consortium, University of<br>&gt; Toronto.<br>&gt;<br>&gt; _______________________________________________<br>&gt; gpfsug-discuss mailing list<br>&gt; gpfsug-discuss at spectrumscale.org<br>&gt; </font></tt><a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss"><tt><font size=2>http://gpfsug.org/mailman/listinfo/gpfsug-discuss</font></tt></a><tt><font size=2><br>&gt;<br>&gt; --<br>&gt; Jez Tucker<br>&gt; Head of Research and Development, Pixit Media<br>&gt; 07764193820 | jtucker@pixitmedia.com<br>&gt; </font></tt><a href=www.pixitmedia.com><tt><font size=2>www.pixitmedia.com</font></tt></a><tt><font size=2>| Tw:@pixitmedia.com<br>&gt;<br>&gt;<br>&gt; This email is confidential in that it is intended for the exclusive<br>&gt; attention of the addressee(s) indicated. If you are not the intended<br>&gt; recipient, this email should not be read or disclosed to any other
person.<br>&gt; Please notify the sender immediately and delete this email from your<br>&gt; computer system. Any opinions expressed are not necessarily those
of the<br>&gt; company from which this email was sent and, whilst to the best of
our<br>&gt; knowledge no viruses or defects exist, no responsibility can be accepted<br>&gt; for any loss or damage arising from its receipt or subsequent use
of this<br>&gt; email._______________________________________________<br>&gt; gpfsug-discuss mailing list<br>&gt; gpfsug-discuss at spectrumscale.org<br>&gt; </font></tt><a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss"><tt><font size=2>http://gpfsug.org/mailman/listinfo/gpfsug-discuss</font></tt></a><tt><font size=2><br>&gt;<br>&gt;<br>&gt;<br>&gt;<br>&gt;<br><br><br><br><br><br><br> &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;************************************<br> &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; TELL US ABOUT YOUR SUCCESS STORIES<br> &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;</font></tt><a href=http://www.scinethpc.ca/testimonials><tt><font size=2>http://www.scinethpc.ca/testimonials</font></tt></a><tt><font size=2><br> &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;************************************<br>---<br>Jaime Pinto<br>SciNet HPC Consortium - Compute/Calcul Canada<br></font></tt><a href=www.scinet.utoronto.ca><tt><font size=2>www.scinet.utoronto.ca</font></tt></a><tt><font size=2>- </font></tt><a href=www.computecanada.ca><tt><font size=2>www.computecanada.ca</font></tt></a><tt><font size=2><br>University of Toronto<br>661 University Ave. (MaRS), Suite 1140<br>Toronto, ON, M5G1M1<br>P: 416-978-2755<br>C: 416-505-1477<br><br>----------------------------------------------------------------<br>This message was sent using IMP at SciNet Consortium, University of Toronto.<br><br></font></tt><br><br><BR>