<font size=2 face="sans-serif">pls contact me directly </font><br><font size=2 face="sans-serif">olaf.weiser@de.ibm.com</font><br><div><font size=2 face="sans-serif">Mit freundlichen Gren / Kind regards</font><br><br><font size=2 face="sans-serif">&nbsp;<br>Olaf Weiser<br> <br>EMEA Storage Competence Center Mainz, German / IBM Systems, Storage Platform,<br>-------------------------------------------------------------------------------------------------------------------------------------------<br>IBM Deutschland<br>IBM Allee 1<br>71139 Ehningen<br>Phone: +49-170-579-44-66<br>E-Mail: olaf.weiser@de.ibm.com<br>-------------------------------------------------------------------------------------------------------------------------------------------<br>IBM Deutschland GmbH / Vorsitzender des Aufsichtsrats: Martin Jetter<br>Geschftsfhrung: Martina Koederitz (Vorsitzende), Susanne Peter, Norbert
Janzen, Dr. Christian Keller, Ivo Koerner, Markus Koerner<br>Sitz der Gesellschaft: Ehningen / Registergericht: Amtsgericht Stuttgart,
HRB 14562 / WEEE-Reg.-Nr. DE 99369940 </font><br><br><br><br><font size=1 color=#5f5f5f face="sans-serif">From: &nbsp; &nbsp; &nbsp;
&nbsp;</font><font size=1 face="sans-serif">Jonathon A Anderson
&lt;jonathon.anderson@colorado.edu&gt;</font><br><font size=1 color=#5f5f5f face="sans-serif">To: &nbsp; &nbsp; &nbsp;
&nbsp;</font><font size=1 face="sans-serif">gpfsug main discussion
list &lt;gpfsug-discuss@spectrumscale.org&gt;</font><br><font size=1 color=#5f5f5f face="sans-serif">Date: &nbsp; &nbsp; &nbsp;
&nbsp;</font><font size=1 face="sans-serif">02/02/2017 06:45 PM</font><br><font size=1 color=#5f5f5f face="sans-serif">Subject: &nbsp; &nbsp;
&nbsp; &nbsp;</font><font size=1 face="sans-serif">Re: [gpfsug-discuss]
CES doesn't assign addresses to nodes</font><br><font size=1 color=#5f5f5f face="sans-serif">Sent by: &nbsp; &nbsp;
&nbsp; &nbsp;</font><font size=1 face="sans-serif">gpfsug-discuss-bounces@spectrumscale.org</font><br><hr noshade><br><br><br><font size=2 face="Calibri">Any chance I can get that PMR# also, so
I can reference it in my DDN case?</font><br><font size=2 face="Calibri">&nbsp;</font><br><font size=2 face="Calibri">~jonathon</font><br><font size=2 face="Calibri">&nbsp;</font><br><font size=2 face="Calibri">&nbsp;</font><br><font size=3 face="Calibri"><b>From: </b>&lt;gpfsug-discuss-bounces@spectrumscale.org&gt;
on behalf of Olaf Weiser &lt;olaf.weiser@de.ibm.com&gt;<b><br>Reply-To: </b>gpfsug main discussion list &lt;gpfsug-discuss@spectrumscale.org&gt;<b><br>Date: </b>Wednesday, February 1, 2017 at 2:28 AM<b><br>To: </b>gpfsug main discussion list &lt;gpfsug-discuss@spectrumscale.org&gt;<b><br>Subject: </b>Re: [gpfsug-discuss] CES doesn't assign addresses to nodes</font><br><font size=3 face="Times New Roman">&nbsp;</font><br><font size=3>Pmr opened... send the # directly to u <br><br>Gesendet von IBM Verse</font><br><font size=3 color=#424282 face="Times New Roman">Mathias Dietz ---
Re: [gpfsug-discuss] CES doesn't assign addresses to nodes --- </font><br><font size=3 face="Times New Roman">&nbsp;</font><p><table width=100% style="border-collapse:collapse;"><tr valign=top height=8><td width=9% style="border-style:none none none none;border-color:#000000;border-width:0px 0px 0px 0px;padding:0px 0px;"><font size=2 color=#5f5f5f face="Times New Roman">Von:</font><td width=90% style="border-style:none none none none;border-color:#000000;border-width:0px 0px 0px 0px;padding:0px 0px;"><font size=2 face="Times New Roman">&quot;Mathias
Dietz&quot; &lt;MDIETZ@de.ibm.com&gt;</font><tr valign=top height=8><td style="border-style:none none none none;border-color:#000000;border-width:0px 0px 0px 0px;padding:0px 0px;"><font size=2 color=#5f5f5f face="Times New Roman">An:</font><td style="border-style:none none none none;border-color:#000000;border-width:0px 0px 0px 0px;padding:0px 0px;"><font size=2 face="Times New Roman">&quot;gpfsug
main discussion list&quot; &lt;gpfsug-discuss@spectrumscale.org&gt;</font><tr valign=top height=8><td style="border-style:none none none none;border-color:#000000;border-width:0px 0px 0px 0px;padding:0px 0px;"><font size=2 color=#5f5f5f face="Times New Roman">Datum:</font><td style="border-style:none none none none;border-color:#000000;border-width:0px 0px 0px 0px;padding:0px 0px;"><font size=2 face="Times New Roman">Mi.
01.02.2017 10:05</font><tr valign=top height=8><td style="border-style:none none none none;border-color:#000000;border-width:0px 0px 0px 0px;padding:0px 0px;"><font size=2 color=#5f5f5f face="Times New Roman">Betreff:</font><td style="border-style:none none none none;border-color:#000000;border-width:0px 0px 0px 0px;padding:0px 0px;"><font size=2 face="Times New Roman">Re:
[gpfsug-discuss] CES doesn't assign addresses to nodes</font></table><br><hr noshade><br><font size=3 face="Times New Roman">&nbsp;</font><br><font size=3>&gt;I ll open a pmr here for my env ... the issue may
hurt you inralf a ces env. only... but needs to be fixed in core gpfs.base
&nbsp;i think</font><font size=3 face="Times New Roman"><br></font><font size=2 face="sans-serif"><br>Thanks for opening the PMR.<br>The problem is inside the gpfs base code and we are working on a fix right
now.<br>In the meantime until the fix is available we will use the PMR to propose/discuss
potential work arounds.</font><font size=3 face="Times New Roman"><br><br></font><font size=2 face="sans-serif"><br>Mit freundlichen Gren / Kind regards<br><br>Mathias Dietz</font><font size=3 face="Times New Roman"><br></font><font size=2 face="sans-serif"><br>Spectrum Scale - Release Lead Architect (4.2.X Release)<br>System Health and Problem Determination Architect <br>IBM Certified Software Engineer<br><br>----------------------------------------------------------------------------------------------------------<br>IBM Deutschland<br>Hechtsheimer Str. 2<br>55131 Mainz<br>Phone: +49-6131-84-2027<br>Mobile: +49-15152801035<br>E-Mail: mdietz@de.ibm.com<br>----------------------------------------------------------------------------------------------------------<br>IBM Deutschland Research &amp; Development GmbH<br>Vorsitzender des Aufsichtsrats: Martina Koederitz, Geschftsfhrung: Dirk
Wittkopp<br>Sitz der Gesellschaft: Bblingen / Registergericht: Amtsgericht Stuttgart,
HRB 243294<br></font><font size=3 face="Times New Roman"><br><br><br><br></font><font size=1 color=#5f5f5f face="sans-serif"><br>From: &nbsp; &nbsp; &nbsp; &nbsp;</font><font size=1 face="sans-serif">Olaf
Weiser/Germany/IBM@IBMDE</font><font size=1 color=#5f5f5f face="sans-serif"><br>To: &nbsp; &nbsp; &nbsp; &nbsp;</font><font size=1 face="sans-serif">&quot;gpfsug
main discussion list&quot; &lt;gpfsug-discuss@spectrumscale.org&gt;</font><font size=1 color=#5f5f5f face="sans-serif"><br>Cc: &nbsp; &nbsp; &nbsp; &nbsp;</font><font size=1 face="sans-serif">&quot;gpfsug
main discussion list&quot; &lt;gpfsug-discuss@spectrumscale.org&gt;</font><font size=1 color=#5f5f5f face="sans-serif"><br>Date: &nbsp; &nbsp; &nbsp; &nbsp;</font><font size=1 face="sans-serif">01/31/2017
11:47 PM</font><font size=1 color=#5f5f5f face="sans-serif"><br>Subject: &nbsp; &nbsp; &nbsp; &nbsp;</font><font size=1 face="sans-serif">Re:
[gpfsug-discuss] CES doesn't assign addresses to nodes</font><font size=1 color=#5f5f5f face="sans-serif"><br>Sent by: &nbsp; &nbsp; &nbsp; &nbsp;</font><font size=1 face="sans-serif">gpfsug-discuss-bounces@spectrumscale.org</font><div align=center><hr noshade></div><br><font size=3 face="Times New Roman"><br><br></font><font size=3 face="Helvetica"><br>Yeah... depending on the #nodes you 're affected or not. .....<br>So if your remote ces &nbsp;cluster is small enough in terms of the #nodes
... you'll neuer hit into this issue &nbsp;<br><br>Gesendet von IBM Verse</font><font size=3 face="Times New Roman"><br></font><font size=3 color=#424282 face="Times New Roman"><br>Simon Thompson (Research Computing - IT Services) --- Re: [gpfsug-discuss]
CES doesn't assign addresses to nodes --- </font><p><table width=100% style="border-collapse:collapse;"><tr valign=top height=8><td width=7% style="border-style:none none none none;border-color:#000000;border-width:0px 0px 0px 0px;padding:0px 0px;"><font size=2 color=#5f5f5f face="Times New Roman">Von:</font><td width=92% style="border-style:none none none none;border-color:#000000;border-width:0px 0px 0px 0px;padding:0px 0px;"><font size=2 face="Times New Roman">&quot;Simon
Thompson (Research Computing - IT Services)&quot; &lt;S.J.Thompson@bham.ac.uk&gt;</font><tr valign=top height=8><td style="border-style:none none none none;border-color:#000000;border-width:0px 0px 0px 0px;padding:0px 0px;"><font size=2 color=#5f5f5f face="Times New Roman">An:</font><td style="border-style:none none none none;border-color:#000000;border-width:0px 0px 0px 0px;padding:0px 0px;"><font size=2 face="Times New Roman">&quot;gpfsug
main discussion list&quot; &lt;gpfsug-discuss@spectrumscale.org&gt;</font><tr valign=top height=8><td style="border-style:none none none none;border-color:#000000;border-width:0px 0px 0px 0px;padding:0px 0px;"><font size=2 color=#5f5f5f face="Times New Roman">Datum:</font><td style="border-style:none none none none;border-color:#000000;border-width:0px 0px 0px 0px;padding:0px 0px;"><font size=2 face="Times New Roman">Di.
31.01.2017 21:07</font><tr valign=top height=8><td style="border-style:none none none none;border-color:#000000;border-width:0px 0px 0px 0px;padding:0px 0px;"><font size=2 color=#5f5f5f face="Times New Roman">Betreff:</font><td style="border-style:none none none none;border-color:#000000;border-width:0px 0px 0px 0px;padding:0px 0px;"><font size=2 face="Times New Roman">Re:
[gpfsug-discuss] CES doesn't assign addresses to nodes</font></table><br><font size=3 face="Times New Roman">&nbsp;</font><div align=center><hr noshade></div><br><font size=3><br>We use multicluster for our environment, storage systems in a separate
cluster to hpc nodes on a separate cluster from protocol nodes.<br><br>According to the docs, this isn't supported, but we haven't seen any issues.
Note unsupported as opposed to broken.<br><br>Simon<br>________________________________________<br>From: gpfsug-discuss-bounces@spectrumscale.org [gpfsug-discuss-bounces@spectrumscale.org]
on behalf of Jonathon A Anderson [jonathon.anderson@colorado.edu]<br>Sent: 31 January 2017 17:47<br>To: gpfsug main discussion list<br>Subject: Re: [gpfsug-discuss] CES doesn't assign addresses to nodes<br><br>Yeah, I searched around for places where ` tsctl shownodes up` appears
in the GPFS code I have access to (i.e., the ksh and python stuff); but
it&#8217;s only in CES. I suspect there just haven&#8217;t been that many people
exporting CES out of an HPC cluster environment.<br><br>~jonathon<br><br><br>From: &lt;gpfsug-discuss-bounces@spectrumscale.org&gt; on behalf of Olaf
Weiser &lt;olaf.weiser@de.ibm.com&gt;<br>Reply-To: gpfsug main discussion list &lt;gpfsug-discuss@spectrumscale.org&gt;<br>Date: Tuesday, January 31, 2017 at 10:45 AM<br>To: gpfsug main discussion list &lt;gpfsug-discuss@spectrumscale.org&gt;<br>Subject: Re: [gpfsug-discuss] CES doesn't assign addresses to nodes<br><br>I ll open a pmr here for my env ... the issue may hurt you in a ces env.
only... but needs to be fixed in core gpfs.base &nbsp;i thi k<br><br>Gesendet von IBM Verse<br>Jonathon A Anderson --- Re: [gpfsug-discuss] CES doesn't assign addresses
to nodes ---<br><br>Von:<br><br>&quot;Jonathon A Anderson&quot; &lt;jonathon.anderson@colorado.edu&gt;<br><br>An:<br><br>&quot;gpfsug main discussion list&quot; &lt;gpfsug-discuss@spectrumscale.org&gt;<br><br>Datum:<br><br>Di. 31.01.2017 17:32<br><br>Betreff:<br><br>Re: [gpfsug-discuss] CES doesn't assign addresses to nodes<br><br>________________________________<br><br>No, I&#8217;m having trouble getting this through DDN support because, while
we have a GPFS server license and GRIDScaler support, apparently we don&#8217;t
have &#8220;protocol node&#8221; support, so they&#8217;ve pushed back on supporting this
as an overall CES-rooted effort.<br><br>I do have a DDN case open, though: 78804. If you are (as I suspect) a GPFS
developer, do you mind if I cite your info from here in my DDN case to
get them to open a PMR?<br><br>Thanks.<br><br>~jonathon<br><br><br>From: &lt;gpfsug-discuss-bounces@spectrumscale.org&gt; on behalf of Olaf
Weiser &lt;olaf.weiser@de.ibm.com&gt;<br>Reply-To: gpfsug main discussion list &lt;gpfsug-discuss@spectrumscale.org&gt;<br>Date: Tuesday, January 31, 2017 at 8:42 AM<br>To: gpfsug main discussion list &lt;gpfsug-discuss@spectrumscale.org&gt;<br>Subject: Re: [gpfsug-discuss] CES doesn't assign addresses to nodes<br><br>ok.. so obviously ... it seems , that we have several issues..<br>the 3983 characters is obviously a defect<br>have you already raised a PMR , if so , can you send me the number ?<br><br><br><br><br>From: &nbsp; &nbsp; &nbsp; &nbsp;Jonathon A Anderson &lt;jonathon.anderson@colorado.edu&gt;<br>To: &nbsp; &nbsp; &nbsp; &nbsp;gpfsug main discussion list &lt;gpfsug-discuss@spectrumscale.org&gt;<br>Date: &nbsp; &nbsp; &nbsp; &nbsp;01/31/2017 04:14 PM<br>Subject: &nbsp; &nbsp; &nbsp; &nbsp;Re: [gpfsug-discuss] CES doesn't assign
addresses to nodes<br>Sent by: &nbsp; &nbsp; &nbsp; &nbsp;gpfsug-discuss-bounces@spectrumscale.org<br>________________________________<br><br><br><br>The tail isn&#8217;t the issue; that&#8217; my addition, so that I didn&#8217;t have to
paste the hundred or so line nodelist into the thread.<br><br>The actual command is<br><br>tsctl shownodes up | $tr ',' '\n' | $sort -o $upnodefile<br><br>But you can see in my tailed output that the last hostname listed is cut-off
halfway through the hostname. Less obvious in the example, but true, is
the fact that it&#8217;s only showing the first 120 hosts, when we have 403
nodes in our gpfs cluster.<br><br>[root@sgate2 ~]# tsctl shownodes up | tr ',' '\n' | wc -l<br>120<br><br>[root@sgate2 ~]# mmlscluster | grep '\-opa' | wc -l<br>403<br><br>Perhaps more explicitly, it looks like `tsctl shownodes up` can only transmit
3983 characters.<br><br>[root@sgate2 ~]# tsctl shownodes up | wc -c<br>3983<br><br>Again, I&#8217;m convinced this is a bug not only because the command doesn&#8217;t
actually produce a list of all of the up nodes in our cluster; but because
the last name listed is incomplete.<br><br>[root@sgate2 ~]# tsctl shownodes up | tr ',' '\n' | tail -n 1<br>shas0260-opa.rc.int.col[root@sgate2 ~]#<br><br>I&#8217;d continue my investigation within tsctl itself but, alas, it&#8217;s a binary
with no source code available to me. :)<br><br>I&#8217;m trying to get this opened as a bug / PMR; but I&#8217;m still working through
the DDN support infrastructure. Thanks for reporting it, though.<br><br>For the record:<br><br>[root@sgate2 ~]# rpm -qa | grep -i gpfs<br>gpfs.base-4.2.1-2.x86_64<br>gpfs.msg.en_US-4.2.1-2.noarch<br>gpfs.gplbin-3.10.0-327.el7.x86_64-4.2.1-0.x86_64<br>gpfs.gskit-8.0.50-57.x86_64<br>gpfs.gpl-4.2.1-2.noarch<br>nfs-ganesha-gpfs-2.3.2-0.ibm24.el7.x86_64<br>gpfs.ext-4.2.1-2.x86_64<br>gpfs.gplbin-3.10.0-327.36.3.el7.x86_64-4.2.1-2.x86_64<br>gpfs.docs-4.2.1-2.noarch<br><br>~jonathon<br><br><br>From: &lt;gpfsug-discuss-bounces@spectrumscale.org&gt; on behalf of Olaf
Weiser &lt;olaf.weiser@de.ibm.com&gt;<br>Reply-To: gpfsug main discussion list &lt;gpfsug-discuss@spectrumscale.org&gt;<br>Date: Tuesday, January 31, 2017 at 1:30 AM<br>To: gpfsug main discussion list &lt;gpfsug-discuss@spectrumscale.org&gt;<br>Subject: Re: [gpfsug-discuss] CES doesn't assign addresses to nodes<br><br>Hi ...same thing here.. everything after 10 nodes will be truncated..<br>though I don't have an issue with it ... I 'll open a PMR .. and I recommend
you to do the same thing.. ;-)<br><br>the reason seems simple.. it is the &quot;| tail&quot; .at the end of the
command.. .. which truncates the output to the last 10 items...<br><br>should be easy to fix..<br>cheers<br>olaf<br><br><br><br><br><br>From: &nbsp; &nbsp; &nbsp; &nbsp;Jonathon A Anderson &lt;jonathon.anderson@colorado.edu&gt;<br>To: &nbsp; &nbsp; &nbsp; &nbsp;&quot;gpfsug-discuss@spectrumscale.org&quot;
&lt;gpfsug-discuss@spectrumscale.org&gt;<br>Date: &nbsp; &nbsp; &nbsp; &nbsp;01/30/2017 11:11 PM<br>Subject: &nbsp; &nbsp; &nbsp; &nbsp;Re: [gpfsug-discuss] CES doesn't assign
addresses to nodes<br>Sent by: &nbsp; &nbsp; &nbsp; &nbsp;gpfsug-discuss-bounces@spectrumscale.org<br>________________________________<br><br><br><br><br>In trying to figure this out on my own, I&#8217;m relatively certain I&#8217;ve found
a bug in GPFS related to the truncation of output from `tsctl shownodes
up`. Any chance someone in development can confirm?<br><br><br>Here are the details of my investigation:<br><br><br>## GPFS is up on sgate2<br><br>[root@sgate2 ~]# mmgetstate<br><br>Node number &nbsp;Node name &nbsp; &nbsp; &nbsp; &nbsp;GPFS state<br>------------------------------------------<br> &nbsp;414 &nbsp; &nbsp; &nbsp;sgate2-opa &nbsp; &nbsp; &nbsp; active<br><br><br>## but if I tell ces to explicitly put one of our ces addresses on that
node, it says that GPFS is down<br><br>[root@sgate2 ~]# mmces address move --ces-ip 10.225.71.102 --ces-node sgate2-opa<br>mmces address move: GPFS is down on this node.<br>mmces address move: Command failed. Examine previous error messages to
determine cause.<br><br><br>## the &#8220;GPFS is down on this node&#8221; message is defined as code 109 in
mmglobfuncs<br><br>[root@sgate2 ~]# grep --before-context=1 &quot;GPFS is down on this node.&quot;
/usr/lpp/mmfs/bin/mmglobfuncs<br> 109 ) msgTxt=\<br>&quot;%s: GPFS is down on this node.&quot;<br><br><br>## and is generated by printErrorMsg in mmcesnetmvaddress when it detects
that the current node is identified as &#8220;down&#8221; by getDownCesNodeList<br><br>[root@sgate2 ~]# grep --before-context=5 'printErrorMsg 109' /usr/lpp/mmfs/bin/mmcesnetmvaddress<br>downNodeList=$(getDownCesNodeList)<br>for downNode in $downNodeList<br>do<br> if [[ $toNodeName == $downNode ]]<br> then<br> &nbsp; printErrorMsg 109 &quot;$mmcmd&quot;<br><br><br>## getDownCesNodeList is the intersection of all ces nodes with GPFS cluster
nodes listed in `tsctl shownodes up`<br><br>[root@sgate2 ~]# grep --after-context=16 '^function getDownCesNodeList'
/usr/lpp/mmfs/bin/mmcesfuncs<br>function getDownCesNodeList<br>{<br>typeset sourceFile=&quot;mmcesfuncs.sh&quot;<br>[[ -n $DEBUG || -n $DEBUGgetDownCesNodeList ]] &amp;&amp;set -x<br>$mmTRACE_ENTER &quot;$*&quot;<br><br>typeset upnodefile=${cmdTmpDir}upnodefile<br>typeset downNodeList<br><br># get all CES nodes<br>$sort -o $nodefile $mmfsCesNodes.dae<br><br>$tsctl shownodes up | $tr ',' '\n' | $sort -o $upnodefile<br><br>downNodeList=$($comm -23 $nodefile $upnodefile)<br>print -- $downNodeList<br>} &nbsp;#----- end of function getDownCesNodeList --------------------<br><br><br>## but not only are the sgate nodes not listed by `tsctl shownodes up`;
its output is obviously and erroneously truncated<br><br>[root@sgate2 ~]# tsctl shownodes up | tr ',' '\n' | tail<br>shas0251-opa.rc.int.colorado.edu<br>shas0252-opa.rc.int.colorado.edu<br>shas0253-opa.rc.int.colorado.edu<br>shas0254-opa.rc.int.colorado.edu<br>shas0255-opa.rc.int.colorado.edu<br>shas0256-opa.rc.int.colorado.edu<br>shas0257-opa.rc.int.colorado.edu<br>shas0258-opa.rc.int.colorado.edu<br>shas0259-opa.rc.int.colorado.edu<br>shas0260-opa.rc.int.col[root@sgate2 ~]#<br><br><br>## I expect that this is a bug in GPFS, likely related to a maximum output
buffer for `tsctl shownodes up`.<br><br><br><br>On 1/24/17, 12:48 PM, &quot;Jonathon A Anderson&quot; &lt;jonathon.anderson@colorado.edu&gt;
wrote:<br><br> I think I'm having the same issue described here:<br><br> </font><a href="http://www.spectrumscale.org/pipermail/gpfsug-discuss/2016-October/002288.html"><font size=3 color=blue><u>http://www.spectrumscale.org/pipermail/gpfsug-discuss/2016-October/002288.html</u></font></a><font size=3><br><br> Any advice or further troubleshooting steps would be much appreciated.
Full disclosure: I also have a DDN case open. (78804)<br><br> We've got a four-node (snsd{1..4}) DDN gridscaler system. I'm trying to
add two CES protocol nodes (sgate{1,2}) to serve NFS.<br><br> Here's the steps I took:<br><br> ---<br> mmcrnodeclass protocol -N sgate1-opa,sgate2-opa<br> mmcrnodeclass nfs -N sgate1-opa,sgate2-opa<br> mmchconfig cesSharedRoot=/gpfs/summit/ces<br> mmchcluster --ccr-enable<br> mmchnode --ces-enable -N protocol<br> mmces service enable NFS<br> mmces service start NFS -N nfs<br> mmces address add --ces-ip 10.225.71.104,10.225.71.105<br> mmces address policy even-coverage<br> mmces address move --rebalance<br> ---<br><br> This worked the very first time I ran it, but the CES addresses weren't
re-distributed after restarting GPFS or a node reboot.<br><br> Things I've tried:<br><br> * disabling ces on the sgate nodes and re-running the above procedure<br> * moving the cluster and filesystem managers to different snsd nodes<br> * deleting and re-creating the cesSharedRoot directory<br><br> Meanwhile, the following log entry appears in mmfs.log.latest every ~30s:<br><br> ---<br> Mon Jan 23 20:31:20 MST 2017: mmcesnetworkmonitor: Found unassigned address
10.225.71.104<br> Mon Jan 23 20:31:20 MST 2017: mmcesnetworkmonitor: Found unassigned address
10.225.71.105<br> Mon Jan 23 20:31:20 MST 2017: mmcesnetworkmonitor: handleNetworkProblem
with lock held: assignIP 10.225.71.104_0-_+,10.225.71.105_0-_+ 1<br> Mon Jan 23 20:31:20 MST 2017: mmcesnetworkmonitor: Assigning addresses:
10.225.71.104_0-_+,10.225.71.105_0-_+<br> Mon Jan 23 20:31:20 MST 2017: mmcesnetworkmonitor: moveCesIPs: 10.225.71.104_0-_+,10.225.71.105_0-_+<br> ---<br><br> Also notable, whenever I add or remove addresses now, I see this in mmsysmonitor.log
(among a lot of other entries):<br><br> ---<br> 2017-01-23T20:40:56.363 sgate1 D ET_cesnetwork Entity state without requireUnique:
ces_network_ips_down WARNING No CES relevant NICs detected - Service.calculateAndUpdateState:275<br> 2017-01-23T20:40:11.364 sgate1 D ET_cesnetwork Update multiple entities
at once {'p2p2': 1, 'bond0': 1, 'p2p1': 1} - Service.setLocalState:333<br> ---<br><br> For the record, here's the interface I expect to get the address on sgate1:<br><br> ---<br> 11: bond0: &lt;BROADCAST,MULTICAST,MASTER,UP,LOWER_UP&gt; mtu 9000 qdisc
noqueue state UP<br> link/ether 3c:fd:fe:08:a7:c0 brd ff:ff:ff:ff:ff:ff<br> inet 10.225.71.107/20 brd 10.225.79.255 scope global bond0<br> valid_lft forever preferred_lft forever<br> inet6 fe80::3efd:feff:fe08:a7c0/64 scope link<br> valid_lft forever preferred_lft forever<br> ---<br><br> which is a bond of p2p1 and p2p2.<br><br> ---<br> 6: p2p1: &lt;BROADCAST,MULTICAST,SLAVE,UP,LOWER_UP&gt; mtu 9000 qdisc
mq master bond0 state UP qlen 1000<br> link/ether 3c:fd:fe:08:a7:c0 brd ff:ff:ff:ff:ff:ff<br> 7: p2p2: &lt;BROADCAST,MULTICAST,SLAVE,UP,LOWER_UP&gt; mtu 9000 qdisc
mq master bond0 state UP qlen 1000<br> link/ether 3c:fd:fe:08:a7:c0 brd ff:ff:ff:ff:ff:ff<br> ---<br><br> A similar bond0 exists on sgate2.<br><br> I crawled around in /usr/lpp/mmfs/lib/mmsysmon/CESNetworkService.py for
a while trying to figure it out, but have been unsuccessful so far.<br><br><br><br>_______________________________________________<br>gpfsug-discuss mailing list<br>gpfsug-discuss at spectrumscale.org</font><font size=3 color=blue face="Times New Roman"><u><br></u></font><a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss"><font size=3 color=blue><u>http://gpfsug.org/mailman/listinfo/gpfsug-discuss</u></font></a><font size=3><br><br><br><br>_______________________________________________<br>gpfsug-discuss mailing list<br>gpfsug-discuss at spectrumscale.org</font><font size=3 color=blue face="Times New Roman"><u><br></u></font><a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss"><font size=3 color=blue><u>http://gpfsug.org/mailman/listinfo/gpfsug-discuss</u></font></a><font size=3><br><br><br><br><br><br><br>_______________________________________________<br>gpfsug-discuss mailing list<br>gpfsug-discuss at spectrumscale.org</font><font size=3 color=blue face="Times New Roman"><u><br></u></font><a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss"><font size=3 color=blue><u>http://gpfsug.org/mailman/listinfo/gpfsug-discuss</u></font></a><font size=3 face="Times New Roman"><br></font><font size=2><br>_______________________________________________<br>gpfsug-discuss mailing list<br>gpfsug-discuss at spectrumscale.org</font><font size=3 color=blue face="Times New Roman"><u><br></u></font><a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss"><font size=2 color=blue><u>http://gpfsug.org/mailman/listinfo/gpfsug-discuss</u></font></a><font size=3 face="Times New Roman"><br><br><br></font><tt><font size=2>_______________________________________________<br>gpfsug-discuss mailing list<br>gpfsug-discuss at spectrumscale.org<br></font></tt><a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss"><tt><font size=2>http://gpfsug.org/mailman/listinfo/gpfsug-discuss</font></tt></a><tt><font size=2><br></font></tt><br><br></div><BR>