<HTML><BODY><FONT style='white-space:pre-wrap;font-family: Helvetica Neue, Helvetica, Arial, sans-serif;margin: 1em 0;'>Pmr opened... send the # directly to u <br><br>Gesendet von IBM Verse</FONT><br><br><div class="domino-section" dir="ltr"><div class="domino-section-head"><span class="domino-section-title"><font color="#424282">Mathias Dietz --- Re: [gpfsug-discuss] CES doesn&#39;t assign addresses to nodes --- </font></span></div><div class="domino-section-body"><br><table width="100%" border="0" cellspacing="0" cellpadding="0"><tr valign="top"><td width="1%" style="width: 96px;"><font size="2" color="#5F5F5F">Von:</font></td><td width="100%" style="width: auto;"><font size="2">&quot;Mathias Dietz&quot; &lt;MDIETZ@de.ibm.com&gt;</font></td></tr><tr valign="top"><td width="1%" style="width: 96px;"><font size="2" color="#5F5F5F">An:</font></td><td width="100%" style="width: auto;"><font size="2">&quot;gpfsug main discussion list&quot; &lt;gpfsug-discuss@spectrumscale.org&gt;</font></td></tr><tr valign="top"><td width="1%" style="width: 96px;"><font size="2" color="#5F5F5F">Datum:</font></td><td width="100%" style="width: auto;"><font size="2">Mi. 01.02.2017 10:05</font></td></tr><tr valign="top"><td width="1%" style="width: 96px;"><font size="2" color="#5F5F5F">Betreff:</font></td><td width="100%" style="width: auto;"><font size="2">Re: [gpfsug-discuss] CES doesn&#39;t assign addresses to nodes</font></td></tr></table><hr width="100%" size="2" align="left" noshade style="color:#8091A5; "><br></div><tt><font size=3>&gt;I ll open a pmr here for my env ... the issue may
hurt you inralf a ces env. only... but needs to be fixed in core gpfs.base
&nbsp;i think</font></tt><br><br><font size=2 face="sans-serif">Thanks for opening the PMR.</font><br><font size=2 face="sans-serif">The problem is inside the gpfs base
code and we are working on a fix right now.</font><br><font size=2 face="sans-serif">In the meantime until the fix is available
we will use the PMR to propose/discuss potential work arounds.</font><br><br><br><font size=2 face="sans-serif">Mit freundlichen Grüßen / Kind regards<br><br>Mathias Dietz<br></font><br><font size=2 face="sans-serif">Spectrum Scale - Release Lead Architect
(4.2.X Release)</font><br><font size=2 face="sans-serif">System Health and Problem Determination
Architect <br>IBM Certified Software Engineer<br><br>----------------------------------------------------------------------------------------------------------<br>IBM Deutschland<br>Hechtsheimer Str. 2<br>55131 Mainz<br>Phone: +49-6131-84-2027<br>Mobile: +49-15152801035<br>E-Mail: mdietz@de.ibm.com<br>----------------------------------------------------------------------------------------------------------<br>IBM Deutschland Research &amp; Development GmbH<br>Vorsitzender des Aufsichtsrats: Martina Koederitz, Geschäftsführung: Dirk
Wittkopp<br>Sitz der Gesellschaft: Böblingen / Registergericht: Amtsgericht Stuttgart,
HRB 243294<br> <br></font><br><br><br><br><font size=1 color=#5f5f5f face="sans-serif">From: &nbsp; &nbsp; &nbsp;
&nbsp;</font><font size=1 face="sans-serif">Olaf Weiser/Germany/IBM@IBMDE</font><br><font size=1 color=#5f5f5f face="sans-serif">To: &nbsp; &nbsp; &nbsp;
&nbsp;</font><font size=1 face="sans-serif">&quot;gpfsug main discussion
list&quot; &lt;gpfsug-discuss@spectrumscale.org&gt;</font><br><font size=1 color=#5f5f5f face="sans-serif">Cc: &nbsp; &nbsp; &nbsp;
&nbsp;</font><font size=1 face="sans-serif">&quot;gpfsug main discussion
list&quot; &lt;gpfsug-discuss@spectrumscale.org&gt;</font><br><font size=1 color=#5f5f5f face="sans-serif">Date: &nbsp; &nbsp; &nbsp;
&nbsp;</font><font size=1 face="sans-serif">01/31/2017 11:47 PM</font><br><font size=1 color=#5f5f5f face="sans-serif">Subject: &nbsp; &nbsp;
&nbsp; &nbsp;</font><font size=1 face="sans-serif">Re: [gpfsug-discuss]
CES doesn't assign addresses to nodes</font><br><font size=1 color=#5f5f5f face="sans-serif">Sent by: &nbsp; &nbsp;
&nbsp; &nbsp;</font><font size=1 face="sans-serif">gpfsug-discuss-bounces@spectrumscale.org</font><br><hr noshade><br><br><br><font size=3 face="Helvetica">Yeah... depending on the #nodes you 're
affected or not. .....<br>So if your remote ces &nbsp;cluster is small enough in terms of the #nodes
... you'll neuer hit into this issue &nbsp;<br><br>Gesendet von IBM Verse</font><font size=3><br></font><br><font size=3 color=#424282>Simon Thompson (Research Computing - IT
Services) --- Re: [gpfsug-discuss] CES doesn't assign addresses to nodes
--- </font><br><table width=100% style="border-collapse:collapse;"><tr valign=top height=8><td width=8% style="border-style:none none none none;border-color:#000000;border-width:0px 0px 0px 0px;padding:0px 0px;"><font size=2 color=#5f5f5f>Von:</font><td width=91% style="border-style:none none none none;border-color:#000000;border-width:0px 0px 0px 0px;padding:0px 0px;"><font size=2>&quot;Simon
Thompson (Research Computing - IT Services)&quot; &lt;S.J.Thompson@bham.ac.uk&gt;</font><tr valign=top height=8><td style="border-style:none none none none;border-color:#000000;border-width:0px 0px 0px 0px;padding:0px 0px;"><font size=2 color=#5f5f5f>An:</font><td style="border-style:none none none none;border-color:#000000;border-width:0px 0px 0px 0px;padding:0px 0px;"><font size=2>&quot;gpfsug
main discussion list&quot; &lt;gpfsug-discuss@spectrumscale.org&gt;</font><tr valign=top height=8><td style="border-style:none none none none;border-color:#000000;border-width:0px 0px 0px 0px;padding:0px 0px;"><font size=2 color=#5f5f5f>Datum:</font><td style="border-style:none none none none;border-color:#000000;border-width:0px 0px 0px 0px;padding:0px 0px;"><font size=2>Di.
31.01.2017 21:07</font><tr valign=top height=8><td style="border-style:none none none none;border-color:#000000;border-width:0px 0px 0px 0px;padding:0px 0px;"><font size=2 color=#5f5f5f>Betreff:</font><td style="border-style:none none none none;border-color:#000000;border-width:0px 0px 0px 0px;padding:0px 0px;"><font size=2>Re:
[gpfsug-discuss] CES doesn't assign addresses to nodes</font></table><br><hr noshade><br><tt><font size=3>We use multicluster for our environment, storage systems
in a separate cluster to hpc nodes on a separate cluster from protocol
nodes.<br><br>According to the docs, this isn't supported, but we haven't seen any issues.
Note unsupported as opposed to broken.<br><br>Simon<br>________________________________________<br>From: gpfsug-discuss-bounces@spectrumscale.org [gpfsug-discuss-bounces@spectrumscale.org]
on behalf of Jonathon A Anderson [jonathon.anderson@colorado.edu]<br>Sent: 31 January 2017 17:47<br>To: gpfsug main discussion list<br>Subject: Re: [gpfsug-discuss] CES doesn't assign addresses to nodes<br><br>Yeah, I searched around for places where ` tsctl shownodes up` appears
in the GPFS code I have access to (i.e., the ksh and python stuff); but
it&#8217;s only in CES. I suspect there just haven&#8217;t been that many people
exporting CES out of an HPC cluster environment.<br><br>~jonathon<br><br><br>From: &lt;gpfsug-discuss-bounces@spectrumscale.org&gt; on behalf of Olaf
Weiser &lt;olaf.weiser@de.ibm.com&gt;<br>Reply-To: gpfsug main discussion list &lt;gpfsug-discuss@spectrumscale.org&gt;<br>Date: Tuesday, January 31, 2017 at 10:45 AM<br>To: gpfsug main discussion list &lt;gpfsug-discuss@spectrumscale.org&gt;<br>Subject: Re: [gpfsug-discuss] CES doesn't assign addresses to nodes<br><br>I ll open a pmr here for my env ... the issue may hurt you in a ces env.
only... but needs to be fixed in core gpfs.base &nbsp;i thi k<br><br>Gesendet von IBM Verse<br>Jonathon A Anderson --- Re: [gpfsug-discuss] CES doesn't assign addresses
to nodes ---<br><br>Von:<br><br>&quot;Jonathon A Anderson&quot; &lt;jonathon.anderson@colorado.edu&gt;<br><br>An:<br><br>&quot;gpfsug main discussion list&quot; &lt;gpfsug-discuss@spectrumscale.org&gt;<br><br>Datum:<br><br>Di. 31.01.2017 17:32<br><br>Betreff:<br><br>Re: [gpfsug-discuss] CES doesn't assign addresses to nodes<br><br>________________________________<br><br>No, I&#8217;m having trouble getting this through DDN support because, while
we have a GPFS server license and GRIDScaler support, apparently we don&#8217;t
have &#8220;protocol node&#8221; support, so they&#8217;ve pushed back on supporting this
as an overall CES-rooted effort.<br><br>I do have a DDN case open, though: 78804. If you are (as I suspect) a GPFS
developer, do you mind if I cite your info from here in my DDN case to
get them to open a PMR?<br><br>Thanks.<br><br>~jonathon<br><br><br>From: &lt;gpfsug-discuss-bounces@spectrumscale.org&gt; on behalf of Olaf
Weiser &lt;olaf.weiser@de.ibm.com&gt;<br>Reply-To: gpfsug main discussion list &lt;gpfsug-discuss@spectrumscale.org&gt;<br>Date: Tuesday, January 31, 2017 at 8:42 AM<br>To: gpfsug main discussion list &lt;gpfsug-discuss@spectrumscale.org&gt;<br>Subject: Re: [gpfsug-discuss] CES doesn't assign addresses to nodes<br><br>ok.. so obviously ... it seems , that we have several issues..<br>the 3983 characters is obviously a defect<br>have you already raised a PMR , if so , can you send me the number ?<br><br><br><br><br>From: &nbsp; &nbsp; &nbsp; &nbsp;Jonathon A Anderson &lt;jonathon.anderson@colorado.edu&gt;<br>To: &nbsp; &nbsp; &nbsp; &nbsp;gpfsug main discussion list &lt;gpfsug-discuss@spectrumscale.org&gt;<br>Date: &nbsp; &nbsp; &nbsp; &nbsp;01/31/2017 04:14 PM<br>Subject: &nbsp; &nbsp; &nbsp; &nbsp;Re: [gpfsug-discuss] CES doesn't assign
addresses to nodes<br>Sent by: &nbsp; &nbsp; &nbsp; &nbsp;gpfsug-discuss-bounces@spectrumscale.org<br>________________________________<br><br><br><br>The tail isn&#8217;t the issue; that&#8217; my addition, so that I didn&#8217;t have to
paste the hundred or so line nodelist into the thread.<br><br>The actual command is<br><br>tsctl shownodes up | $tr ',' '\n' | $sort -o $upnodefile<br><br>But you can see in my tailed output that the last hostname listed is cut-off
halfway through the hostname. Less obvious in the example, but true, is
the fact that it&#8217;s only showing the first 120 hosts, when we have 403
nodes in our gpfs cluster.<br><br>[root@sgate2 ~]# tsctl shownodes up | tr ',' '\n' | wc -l<br>120<br><br>[root@sgate2 ~]# mmlscluster | grep '\-opa' | wc -l<br>403<br><br>Perhaps more explicitly, it looks like `tsctl shownodes up` can only transmit
3983 characters.<br><br>[root@sgate2 ~]# tsctl shownodes up | wc -c<br>3983<br><br>Again, I&#8217;m convinced this is a bug not only because the command doesn&#8217;t
actually produce a list of all of the up nodes in our cluster; but because
the last name listed is incomplete.<br><br>[root@sgate2 ~]# tsctl shownodes up | tr ',' '\n' | tail -n 1<br>shas0260-opa.rc.int.col[root@sgate2 ~]#<br><br>I&#8217;d continue my investigation within tsctl itself but, alas, it&#8217;s a binary
with no source code available to me. :)<br><br>I&#8217;m trying to get this opened as a bug / PMR; but I&#8217;m still working through
the DDN support infrastructure. Thanks for reporting it, though.<br><br>For the record:<br><br>[root@sgate2 ~]# rpm -qa | grep -i gpfs<br>gpfs.base-4.2.1-2.x86_64<br>gpfs.msg.en_US-4.2.1-2.noarch<br>gpfs.gplbin-3.10.0-327.el7.x86_64-4.2.1-0.x86_64<br>gpfs.gskit-8.0.50-57.x86_64<br>gpfs.gpl-4.2.1-2.noarch<br>nfs-ganesha-gpfs-2.3.2-0.ibm24.el7.x86_64<br>gpfs.ext-4.2.1-2.x86_64<br>gpfs.gplbin-3.10.0-327.36.3.el7.x86_64-4.2.1-2.x86_64<br>gpfs.docs-4.2.1-2.noarch<br><br>~jonathon<br><br><br>From: &lt;gpfsug-discuss-bounces@spectrumscale.org&gt; on behalf of Olaf
Weiser &lt;olaf.weiser@de.ibm.com&gt;<br>Reply-To: gpfsug main discussion list &lt;gpfsug-discuss@spectrumscale.org&gt;<br>Date: Tuesday, January 31, 2017 at 1:30 AM<br>To: gpfsug main discussion list &lt;gpfsug-discuss@spectrumscale.org&gt;<br>Subject: Re: [gpfsug-discuss] CES doesn't assign addresses to nodes<br><br>Hi ...same thing here.. everything after 10 nodes will be truncated..<br>though I don't have an issue with it ... I 'll open a PMR .. and I recommend
you to do the same thing.. ;-)<br><br>the reason seems simple.. it is the &quot;| tail&quot; .at the end of the
command.. .. which truncates the output to the last 10 items...<br><br>should be easy to fix..<br>cheers<br>olaf<br><br><br><br><br><br>From: &nbsp; &nbsp; &nbsp; &nbsp;Jonathon A Anderson &lt;jonathon.anderson@colorado.edu&gt;<br>To: &nbsp; &nbsp; &nbsp; &nbsp;&quot;gpfsug-discuss@spectrumscale.org&quot;
&lt;gpfsug-discuss@spectrumscale.org&gt;<br>Date: &nbsp; &nbsp; &nbsp; &nbsp;01/30/2017 11:11 PM<br>Subject: &nbsp; &nbsp; &nbsp; &nbsp;Re: [gpfsug-discuss] CES doesn't assign
addresses to nodes<br>Sent by: &nbsp; &nbsp; &nbsp; &nbsp;gpfsug-discuss-bounces@spectrumscale.org<br>________________________________<br><br><br><br><br>In trying to figure this out on my own, I&#8217;m relatively certain I&#8217;ve found
a bug in GPFS related to the truncation of output from `tsctl shownodes
up`. Any chance someone in development can confirm?<br><br><br>Here are the details of my investigation:<br><br><br>## GPFS is up on sgate2<br><br>[root@sgate2 ~]# mmgetstate<br><br>Node number &nbsp;Node name &nbsp; &nbsp; &nbsp; &nbsp;GPFS state<br>------------------------------------------<br> &nbsp; 414 &nbsp; &nbsp; &nbsp;sgate2-opa &nbsp; &nbsp; &nbsp; active<br><br><br>## but if I tell ces to explicitly put one of our ces addresses on that
node, it says that GPFS is down<br><br>[root@sgate2 ~]# mmces address move --ces-ip 10.225.71.102 --ces-node sgate2-opa<br>mmces address move: GPFS is down on this node.<br>mmces address move: Command failed. Examine previous error messages to
determine cause.<br><br><br>## the &#8220;GPFS is down on this node&#8221; message is defined as code 109 in
mmglobfuncs<br><br>[root@sgate2 ~]# grep --before-context=1 &quot;GPFS is down on this node.&quot;
/usr/lpp/mmfs/bin/mmglobfuncs<br> &nbsp;109 ) msgTxt=\<br>&quot;%s: GPFS is down on this node.&quot;<br><br><br>## and is generated by printErrorMsg in mmcesnetmvaddress when it detects
that the current node is identified as &#8220;down&#8221; by getDownCesNodeList<br><br>[root@sgate2 ~]# grep --before-context=5 'printErrorMsg 109' /usr/lpp/mmfs/bin/mmcesnetmvaddress<br>downNodeList=$(getDownCesNodeList)<br>for downNode in $downNodeList<br>do<br> &nbsp;if [[ $toNodeName == $downNode ]]<br> &nbsp;then<br> &nbsp; &nbsp;printErrorMsg 109 &quot;$mmcmd&quot;<br><br><br>## getDownCesNodeList is the intersection of all ces nodes with GPFS cluster
nodes listed in `tsctl shownodes up`<br><br>[root@sgate2 ~]# grep --after-context=16 '^function getDownCesNodeList'
/usr/lpp/mmfs/bin/mmcesfuncs<br>function getDownCesNodeList<br>{<br>typeset sourceFile=&quot;mmcesfuncs.sh&quot;<br>[[ -n $DEBUG || -n $DEBUGgetDownCesNodeList ]] &amp;&amp;set -x<br>$mmTRACE_ENTER &quot;$*&quot;<br><br>typeset upnodefile=${cmdTmpDir}upnodefile<br>typeset downNodeList<br><br># get all CES nodes<br>$sort -o $nodefile $mmfsCesNodes.dae<br><br>$tsctl shownodes up | $tr ',' '\n' | $sort -o $upnodefile<br><br>downNodeList=$($comm -23 $nodefile $upnodefile)<br>print -- $downNodeList<br>} &nbsp;#----- end of function getDownCesNodeList --------------------<br><br><br>## but not only are the sgate nodes not listed by `tsctl shownodes up`;
its output is obviously and erroneously truncated<br><br>[root@sgate2 ~]# tsctl shownodes up | tr ',' '\n' | tail<br>shas0251-opa.rc.int.colorado.edu<br>shas0252-opa.rc.int.colorado.edu<br>shas0253-opa.rc.int.colorado.edu<br>shas0254-opa.rc.int.colorado.edu<br>shas0255-opa.rc.int.colorado.edu<br>shas0256-opa.rc.int.colorado.edu<br>shas0257-opa.rc.int.colorado.edu<br>shas0258-opa.rc.int.colorado.edu<br>shas0259-opa.rc.int.colorado.edu<br>shas0260-opa.rc.int.col[root@sgate2 ~]#<br><br><br>## I expect that this is a bug in GPFS, likely related to a maximum output
buffer for `tsctl shownodes up`.<br><br><br><br>On 1/24/17, 12:48 PM, &quot;Jonathon A Anderson&quot; &lt;jonathon.anderson@colorado.edu&gt;
wrote:<br><br> &nbsp;I think I'm having the same issue described here:<br><br> &nbsp;</font></tt><a href="http://www.spectrumscale.org/pipermail/gpfsug-discuss/2016-October/002288.html"><tt><font size=3>http://www.spectrumscale.org/pipermail/gpfsug-discuss/2016-October/002288.html</font></tt></a><tt><font size=3><br><br> &nbsp;Any advice or further troubleshooting steps would be much appreciated.
Full disclosure: I also have a DDN case open. (78804)<br><br> &nbsp;We've got a four-node (snsd{1..4}) DDN gridscaler system. I'm trying
to add two CES protocol nodes (sgate{1,2}) to serve NFS.<br><br> &nbsp;Here's the steps I took:<br><br> &nbsp;---<br> &nbsp;mmcrnodeclass protocol -N sgate1-opa,sgate2-opa<br> &nbsp;mmcrnodeclass nfs -N sgate1-opa,sgate2-opa<br> &nbsp;mmchconfig cesSharedRoot=/gpfs/summit/ces<br> &nbsp;mmchcluster --ccr-enable<br> &nbsp;mmchnode --ces-enable -N protocol<br> &nbsp;mmces service enable NFS<br> &nbsp;mmces service start NFS -N nfs<br> &nbsp;mmces address add --ces-ip 10.225.71.104,10.225.71.105<br> &nbsp;mmces address policy even-coverage<br> &nbsp;mmces address move --rebalance<br> &nbsp;---<br><br> &nbsp;This worked the very first time I ran it, but the CES addresses
weren't re-distributed after restarting GPFS or a node reboot.<br><br> &nbsp;Things I've tried:<br><br> &nbsp;* disabling ces on the sgate nodes and re-running the above procedure<br> &nbsp;* moving the cluster and filesystem managers to different snsd nodes<br> &nbsp;* deleting and re-creating the cesSharedRoot directory<br><br> &nbsp;Meanwhile, the following log entry appears in mmfs.log.latest every
~30s:<br><br> &nbsp;---<br> &nbsp;Mon Jan 23 20:31:20 MST 2017: mmcesnetworkmonitor: Found unassigned
address 10.225.71.104<br> &nbsp;Mon Jan 23 20:31:20 MST 2017: mmcesnetworkmonitor: Found unassigned
address 10.225.71.105<br> &nbsp;Mon Jan 23 20:31:20 MST 2017: mmcesnetworkmonitor: handleNetworkProblem
with lock held: assignIP 10.225.71.104_0-_+,10.225.71.105_0-_+ 1<br> &nbsp;Mon Jan 23 20:31:20 MST 2017: mmcesnetworkmonitor: Assigning addresses:
10.225.71.104_0-_+,10.225.71.105_0-_+<br> &nbsp;Mon Jan 23 20:31:20 MST 2017: mmcesnetworkmonitor: moveCesIPs: 10.225.71.104_0-_+,10.225.71.105_0-_+<br> &nbsp;---<br><br> &nbsp;Also notable, whenever I add or remove addresses now, I see this
in mmsysmonitor.log (among a lot of other entries):<br><br> &nbsp;---<br> &nbsp;2017-01-23T20:40:56.363 sgate1 D ET_cesnetwork Entity state without
requireUnique: ces_network_ips_down WARNING No CES relevant NICs detected
- Service.calculateAndUpdateState:275<br> &nbsp;2017-01-23T20:40:11.364 sgate1 D ET_cesnetwork Update multiple entities
at once {'p2p2': 1, 'bond0': 1, 'p2p1': 1} - Service.setLocalState:333<br> &nbsp;---<br><br> &nbsp;For the record, here's the interface I expect to get the address
on sgate1:<br><br> &nbsp;---<br> &nbsp;11: bond0: &lt;BROADCAST,MULTICAST,MASTER,UP,LOWER_UP&gt; mtu 9000
qdisc noqueue state UP<br> &nbsp;link/ether 3c:fd:fe:08:a7:c0 brd ff:ff:ff:ff:ff:ff<br> &nbsp;inet 10.225.71.107/20 brd 10.225.79.255 scope global bond0<br> &nbsp;valid_lft forever preferred_lft forever<br> &nbsp;inet6 fe80::3efd:feff:fe08:a7c0/64 scope link<br> &nbsp;valid_lft forever preferred_lft forever<br> &nbsp;---<br><br> &nbsp;which is a bond of p2p1 and p2p2.<br><br> &nbsp;---<br> &nbsp;6: p2p1: &lt;BROADCAST,MULTICAST,SLAVE,UP,LOWER_UP&gt; mtu 9000
qdisc mq master bond0 state UP qlen 1000<br> &nbsp;link/ether 3c:fd:fe:08:a7:c0 brd ff:ff:ff:ff:ff:ff<br> &nbsp;7: p2p2: &lt;BROADCAST,MULTICAST,SLAVE,UP,LOWER_UP&gt; mtu 9000
qdisc mq master bond0 state UP qlen 1000<br> &nbsp;link/ether 3c:fd:fe:08:a7:c0 brd ff:ff:ff:ff:ff:ff<br> &nbsp;---<br><br> &nbsp;A similar bond0 exists on sgate2.<br><br> &nbsp;I crawled around in /usr/lpp/mmfs/lib/mmsysmon/CESNetworkService.py
for a while trying to figure it out, but have been unsuccessful so far.<br><br><br><br>_______________________________________________<br>gpfsug-discuss mailing list<br>gpfsug-discuss at spectrumscale.org<br></font></tt><a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss"><tt><font size=3>http://gpfsug.org/mailman/listinfo/gpfsug-discuss</font></tt></a><tt><font size=3><br><br><br><br>_______________________________________________<br>gpfsug-discuss mailing list<br>gpfsug-discuss at spectrumscale.org<br></font></tt><a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss"><tt><font size=3>http://gpfsug.org/mailman/listinfo/gpfsug-discuss</font></tt></a><tt><font size=3><br><br><br><br><br><br><br>_______________________________________________<br>gpfsug-discuss mailing list<br>gpfsug-discuss at spectrumscale.org<br></font></tt><a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss"><tt><font size=3>http://gpfsug.org/mailman/listinfo/gpfsug-discuss</font></tt></a><tt><font size=3><br></font></tt><br><tt><font size=2>_______________________________________________<br>gpfsug-discuss mailing list<br>gpfsug-discuss at spectrumscale.org<br></font></tt><a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss"><tt><font size=2>http://gpfsug.org/mailman/listinfo/gpfsug-discuss</font></tt></a><tt><font size=2><br></font></tt><br><br><BR><BR>
</BODY></HTML>