<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=iso-8859-1">
<style type="text/css" style="display:none;"> P {margin-top:0;margin-bottom:0;} </style>
</head>
<body dir="ltr">
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">
Not sure, what you want to know... / missing Q ?!</div>
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">
<br>
</div>
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">
anyway.. please be aware, cnfs IP handling is done over aliasing.. so in case you have configured the IP directly on the interface, that won't work
<br>
</div>
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">
<br>
</div>
<div id="appendonsend"></div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif; font-size:12pt; color:rgb(0,0,0)">
<br>
</div>
<hr tabindex="-1" style="display:inline-block; width:98%">
<div id="divRplyFwdMsg" dir="ltr"><font style="font-size:11pt" face="Calibri, sans-serif" color="#000000"><b>Von:</b> gpfsug-discuss &lt;gpfsug-discuss-bounces@gpfsug.org&gt; im Auftrag von Ward, Michael &lt;mike-ward@utc.edu&gt;<br>
<b>Gesendet:</b> Montag, 28. Mrz 2022 01:20<br>
<b>An:</b> gpfsug-discuss@gpfsug.org &lt;gpfsug-discuss@gpfsug.org&gt;<br>
<b>Betreff:</b> [EXTERNAL] [gpfsug-discuss] Seeking cNFS/GPFS advice. Add two IPs to cNFS pool</font>
<div>&nbsp;</div>
</div>
<div class="BodyFragment"><font size="2"><span style="font-size:11pt">
<div class="PlainText">Hello, I am relatively new to GPFS/cNFS.&nbsp; I have contacted reps and IBM and DDN (our vendor) w/no concrete answers.<br>
<br>
We have two servers<br>
&nbsp;linux server gpfs0 infiniband IP addr 10.0.136.84<br>
&nbsp;linux server gpfs1 infiniband IP addr 10.0.136.85<br>
&nbsp;<br>
&nbsp;gpfs0 server already has cnfs node name gpfs0-adm<br>
&nbsp;gpfs1 server already has cnfs node name gpfs1-adm<br>
<br>
We want to bind 10.0.136.86, 10.0.136.87 to these nodes to extend the cnfs pool.<br>
Below are the commands I think will work<br>
<br>
mmchnode --cnfs-interface= 10.0.136.86 -N&nbsp; gpfs0-adm&nbsp; <br>
<br>
mmchnode --cnfs-interface= 10.0.136.87 -N&nbsp; gpfs1-adm&nbsp; <br>
<br>
<br>
<br>
Below are some information about the current setup for Ethernet.<br>
<br>
[root@gpfs1 ~]# mmlscluster --cnfs<br>
<br>
GPFS cluster information<br>
========================<br>
&nbsp; GPFS cluster name:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; gpfs0-adm<br>
&nbsp; GPFS cluster id:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 5815169472987570192<br>
<br>
Cluster NFS global parameters<br>
-----------------------------<br>
&nbsp; Shared root directory:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; /gpfs/gsfs1/.cnfs<br>
&nbsp; rpc.mountd port number:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 597<br>
&nbsp; nfsd threads:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 256<br>
&nbsp; Reboot on failure enabled:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; no<br>
&nbsp; CNFS monitor enabled:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; yes<br>
<br>
&nbsp;Node&nbsp; Daemon node name&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; IP address&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; CNFS state&nbsp; group&nbsp; CNFS IP address list<br>
-------------------------------------------------------------------------------------------<br>
&nbsp;&nbsp; 1&nbsp;&nbsp; gpfs0-adm&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 192.168.202.10&nbsp;&nbsp; enabled&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp; 172.17.150.13<br>
&nbsp;&nbsp; 2&nbsp;&nbsp; gpfs1-adm&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 192.168.202.11&nbsp;&nbsp; enabled&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp; 172.17.150.14<br>
<br>
[root@gpfs1 ~]# mmgetstate -N nsdnodes --cnfs<br>
<br>
&nbsp;Node number&nbsp; Node name&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; GPFS state&nbsp; CNFS state<br>
-----------------------------------------------------<br>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; gpfs0-adm&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; active&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; active<br>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 2&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; gpfs1-adm&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; active&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; active<br>
<br>
<br>
[root@gpfs1 ~]# ip addr show dev ib3<br>
11: ib3: &lt;BROADCAST,MULTICAST,UP,LOWER_UP&gt; mtu 2044 qdisc mq state UP group default qlen 256<br>
&nbsp;&nbsp;&nbsp; link/infiniband 20:00:19:0e:fe:80:00:00:00:00:00:00:24:8a:07:03:00:b1:bb:c9 brd 00:ff:ff:ff:ff:12:40:1b:ff:ff:00:00:00:00:00:00:ff:ff:ff:ff<br>
&nbsp;&nbsp;&nbsp; inet 10.0.136.85/24 brd 10.0.136.255 scope global ib3<br>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; valid_lft forever preferred_lft forever<br>
&nbsp;&nbsp;&nbsp; inet6 fe80::268a:703:b1:bbc9/64 scope link<br>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; valid_lft forever preferred_lft forever<br>
[root@gpfs1 ~]#<br>
<br>
<br>
<br>
<br>
<br>
Michael Ward, Ed.D&nbsp;<br>
HPC/HTC Administrator and Advanced Cyber<br>
Infrastructure Facilitator&nbsp;<br>
111B SimCenter&nbsp;<br>
UT Chattanooga&nbsp;<br>
4234254764&nbsp;<br>
<br>
_______________________________________________<br>
gpfsug-discuss mailing list<br>
gpfsug-discuss at gpfsug.org<br>
<a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss_gpfsug.org" data-auth="NotApplicable">http://gpfsug.org/mailman/listinfo/gpfsug-discuss_gpfsug.org</a>
<br>
</div>
</span></font></div>
N<br>
</body>
</html>