<html><body><div style="font-family: arial, helvetica, sans-serif; font-size: 12pt; color: #000000"><div>Dear, <br data-mce-bogus="1"></div><div><br data-mce-bogus="1"></div><div>&nbsp; We have reinstall recently from gpfs 3.5 to SpectrumScale 4.2.3-6 version redhat 7.<br data-mce-bogus="1"></div><div>&nbsp;<br data-mce-bogus="1"></div><div>&nbsp; We are running two nsd servers and a a gui, there is no firewall on gpfs network, and selinux is disable, I have checked changing the manager and cluster manager node between server with the same result, server 01 always increase the CLOSE_WAIT :<br data-mce-bogus="1"></div><div><br data-mce-bogus="1"></div><div>&nbsp; &nbsp;Node&nbsp; Daemon node name&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; IP address&nbsp;&nbsp;&nbsp;&nbsp; Admin node name&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Designation<br>--------------------------------------------------------------------------------<br>&nbsp;&nbsp; 1&nbsp;&nbsp; gpfs01.ifca.es&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 10.10.0.111&nbsp;&nbsp;&nbsp; gpfs01.ifca.es&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; quorum-manager-perfmon<br>&nbsp;&nbsp; 2&nbsp;&nbsp; gpfs02.ifca.es&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 10.10.0.112&nbsp;&nbsp;&nbsp; gpfs02.ifca.es&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; quorum-manager-perfmon<br>&nbsp;&nbsp; 3&nbsp;&nbsp; gpfsgui.ifca.es&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 10.10.0.60&nbsp;&nbsp;&nbsp;&nbsp; gpfsgui.ifca.es&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; quorum-perfmon<br>.......<br data-mce-bogus="1"></div><div><br data-mce-bogus="1"></div><div>Installation and configuration works fine, but now we see that one of the servers do not close the mmfsd connections and this growing for ever while the othe nsd servers is always in the same range:<br data-mce-bogus="1"></div><div><br data-mce-bogus="1"></div><div>[root@gpfs01 ~]# netstat -putana | grep 1191 | wc -l<br>19701<br></div><div>[root@gpfs01 ~]# netstat -putana | grep 1191 | grep CLOSE_WAIT| wc -l<br>19528<br></div><div>....<br data-mce-bogus="1"></div><div>[root@gpfs02 ~]# netstat -putana | grep 1191 | wc -l<br>215<br>[root@gpfs02 ~]# netstat -putana | grep 1191 | grep CLOSE_WAIT| wc -l<br>0<br></div><div><br data-mce-bogus="1"></div><div>this is causing that gpfs01 do not answer to cluster commands<br data-mce-bogus="1"></div><div><br data-mce-bogus="1"></div><div>NSD are balance between server (same size):<br data-mce-bogus="1"></div><div>[root@gpfs02 ~]# mmlsnsd<br><br>&nbsp;File system&nbsp;&nbsp; Disk name&nbsp;&nbsp;&nbsp; NSD servers&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &nbsp;<br>---------------------------------------------------------------------------<br>&nbsp;gpfs&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; nsd1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; gpfs01,gpfs02 <br>&nbsp;gpfs&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; nsd2&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; gpfs01,gpfs02 <br>&nbsp;gpfs&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; nsd3&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; gpfs02,gpfs01 <br>&nbsp;gpfs&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; nsd4&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; gpfs02,gpfs01<br>.....<br></div><div><br data-mce-bogus="1"></div><div>proccess seems to be similar in both servers, only mmccr is running on server 1 and not in 2<br data-mce-bogus="1"></div><div><br data-mce-bogus="1"></div><div>gpfs01<br data-mce-bogus="1"></div><div>#######<br data-mce-bogus="1"></div><div>root&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 9169&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 0 feb07 ?&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 22:27:54 python /usr/lpp/mmfs/bin/mmsysmon.py<br>root&nbsp;&nbsp;&nbsp;&nbsp; 11533&nbsp; 6154&nbsp; 0 13:41 ?&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 00:00:00 /usr/lpp/mmfs/bin/mmksh /usr/lpp/mmfs/bin/mmsdrquery sdrq_fs_info all<br>root&nbsp;&nbsp;&nbsp;&nbsp; 11713&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 0 13:41 ?&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 00:00:00 /usr/lpp/mmfs/bin/mmksh /usr/lpp/mmfs/bin/mmccrmonitor 15<br>root&nbsp;&nbsp;&nbsp;&nbsp; 12367 11533&nbsp; 0 13:43 ?&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 00:00:00 /usr/lpp/mmfs/bin/mmccr vget mmRunningCommand<br>root&nbsp;&nbsp;&nbsp;&nbsp; 12641&nbsp; 6162&nbsp; 0 13:44 ?&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 00:00:00 /usr/lpp/mmfs/bin/mmksh /usr/lpp/mmfs/bin/mmsdrquery sdrq_nsd_info sdrq_nsd_name:sdrq_fs_name:sdrq_storage_pool<br>root&nbsp;&nbsp;&nbsp;&nbsp; 12668 12641&nbsp; 0 13:44 ?&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 00:00:00 /usr/lpp/mmfs/bin/mmccr fget -c 835 mmsdrfs /var/mmfs/gen/mmsdrfs.12641<br>root&nbsp;&nbsp;&nbsp;&nbsp; 12950 11713&nbsp; 0 13:44 ?&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 00:00:00 /usr/lpp/mmfs/bin/mmksh /usr/lpp/mmfs/bin/mmccrmonitor 15<br>root&nbsp;&nbsp;&nbsp;&nbsp; 12959&nbsp; 9169 13 13:44 ?&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 00:00:00 /usr/lpp/mmfs/bin/mmccr check -Y -e<br>root&nbsp;&nbsp;&nbsp;&nbsp; 12968&nbsp; 3150&nbsp; 0 13:45 pts/3&nbsp;&nbsp;&nbsp; 00:00:00 grep --color=auto mm<br>root&nbsp;&nbsp;&nbsp;&nbsp; 19620 26468 38 jun14 ?&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 11:28:36 /usr/lpp/mmfs/bin/mmfsd<br>root&nbsp;&nbsp;&nbsp;&nbsp; 19701&nbsp;&nbsp;&nbsp;&nbsp; 2&nbsp; 0 jun14 ?&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 00:00:00 [mmkproc]<br>root&nbsp;&nbsp;&nbsp;&nbsp; 19702&nbsp;&nbsp;&nbsp;&nbsp; 2&nbsp; 0 jun14 ?&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 00:00:00 [mmkproc]<br>root&nbsp;&nbsp;&nbsp;&nbsp; 19703&nbsp;&nbsp;&nbsp;&nbsp; 2&nbsp; 0 jun14 ?&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 00:00:00 [mmkproc]<br>root&nbsp;&nbsp;&nbsp;&nbsp; 26468&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 0 jun05 ?&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 00:00:00 /usr/lpp/mmfs/bin/mmksh /usr/lpp/mmfs/bin/runmmfs</div><div><br data-mce-bogus="1"></div><div><br data-mce-bogus="1"></div><div>[root@gpfs02 ~]# ps -feA | grep mm<br>root&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 5074&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 0 feb07 ?&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 01:00:34 /usr/lpp/mmfs/bin/mmksh /usr/lpp/mmfs/bin/mmccrmonitor 15<br>root&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 5128 31456 28 jun14 ?&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 06:18:07 /usr/lpp/mmfs/bin/mmfsd<br>root&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 5255&nbsp;&nbsp;&nbsp;&nbsp; 2&nbsp; 0 jun14 ?&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 00:00:00 [mmkproc]<br>root&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 5256&nbsp;&nbsp;&nbsp;&nbsp; 2&nbsp; 0 jun14 ?&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 00:00:00 [mmkproc]<br>root&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 5257&nbsp;&nbsp;&nbsp;&nbsp; 2&nbsp; 0 jun14 ?&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 00:00:00 [mmkproc]<br>root&nbsp;&nbsp;&nbsp;&nbsp; 15196&nbsp; 5074&nbsp; 0 13:47 ?&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 00:00:00 /usr/lpp/mmfs/bin/mmksh /usr/lpp/mmfs/bin/mmccrmonitor 15<br>root&nbsp;&nbsp;&nbsp;&nbsp; 15265 13117&nbsp; 0 13:47 pts/0&nbsp;&nbsp;&nbsp; 00:00:00 grep --color=auto mm<br>root&nbsp;&nbsp;&nbsp;&nbsp; 31456&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 0 jun05 ?&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 00:00:00 /usr/lpp/mmfs/bin/mmksh /usr/lpp/mmfs/bin/runmmfs<br></div><div><br data-mce-bogus="1"></div><div>Any idea will be appreciated.<br data-mce-bogus="1"></div><div>Regards, I<br data-mce-bogus="1"></div><div><br data-mce-bogus="1"></div></div></body></html>