<html><head><meta http-equiv="Content-Type" content="text/html charset=utf-8"></head><body style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;" class="">We're trying to get 40 gbe connection between Mellanox switches and Cisco switches down at the other end of the machine room &nbsp;<div class="">The BiDi part seems to be the best given about 30m &nbsp;run on multimode. &nbsp;However Mellanox support says it's not supported.</div><div class="">Want to use this to get close to IB speeds for GPFS on nodes that aren't on the IB fabric. &nbsp;</div><div class="">Does anyone have any luck getting 40 or 100 gig at 20-30m when the switches are different brands?</div><div class=""><br class=""></div><div class="">Thanks,</div><div class="">&nbsp;-- ddj</div><div class=""><br class=""><div class=""><div><blockquote type="cite" class=""><div class="">On Dec 20, 2017, at 4:53 PM, Sanchez, Paul &lt;<a href="mailto:Paul.Sanchez@deshaw.com" class="">Paul.Sanchez@deshaw.com</a>&gt; wrote:</div><br class="Apple-interchange-newline"><div class=""><div class="WordSection1" style="page: WordSection1; font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px;"><div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""><span style="font-size: 11pt; font-family: Calibri, sans-serif; color: rgb(31, 73, 125);" class="">We have run multiple ConnectX-4 NICs in bonded MLAG (Arista) and VPC (Cisco) switch configurations on our NSD servers.&nbsp; We used to see issues with firmware versions that didn\u2019t support the optics we wanted to use (e.g. early CX3/CX4 and Cisco 40G-BiDi).&nbsp; You may also want check mstflint to see whether the firmware levels match on the MLX cards, and if you upgrade firmware in some cases a power-cycle (not reboot) can be required to finish the process.<o:p class=""></o:p></span></div><div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""><span style="font-size: 11pt; font-family: Calibri, sans-serif; color: rgb(31, 73, 125);" class=""><o:p class="">&nbsp;</o:p></span></div><div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""><span style="font-size: 11pt; font-family: Calibri, sans-serif; color: rgb(31, 73, 125);" class="">-Paul<o:p class=""></o:p></span></div><div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""><a name="_MailEndCompose" class=""><span style="font-size: 11pt; font-family: Calibri, sans-serif; color: rgb(31, 73, 125);" class=""><o:p class="">&nbsp;</o:p></span></a></div><span class=""></span><div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""><b class=""><span style="font-size: 11pt; font-family: Calibri, sans-serif;" class="">From:</span></b><span style="font-size: 11pt; font-family: Calibri, sans-serif;" class=""><span class="Apple-converted-space">&nbsp;</span><a href="mailto:gpfsug-discuss-bounces@spectrumscale.org" class="">gpfsug-discuss-bounces@spectrumscale.org</a> [<a href="mailto:gpfsug-discuss-bounces@spectrumscale.org" class="">mailto:gpfsug-discuss-bounces@spectrumscale.org</a>]<b class="">On Behalf Of<span class="Apple-converted-space">&nbsp;</span></b>Andrew Beattie<br class=""><b class="">Sent:</b><span class="Apple-converted-space">&nbsp;</span>Wednesday, December 20, 2017 4:47 PM<br class=""><b class="">To:</b><span class="Apple-converted-space">&nbsp;</span><a href="mailto:gpfsug-discuss@spectrumscale.org" class="">gpfsug-discuss@spectrumscale.org</a><br class=""><b class="">Subject:</b><span class="Apple-converted-space">&nbsp;</span>Re: [gpfsug-discuss] more than one mlx connectx-4 adapter in samehost<o:p class=""></o:p></span></div><div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""><o:p class="">&nbsp;</o:p></div><div class=""><div class=""><div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""><span style="font-size: 10.5pt; font-family: Arial, sans-serif;" class="">IBM ESS building blocks can have up to 3 dual port 10GBEth, 40GB Eth, 56GB IB, 100GB IB Mlx adapater cards, because we have 2 IO nodes this is up to a total of 12 ports per building block<o:p class=""></o:p></span></div></div><div class=""><div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""><span style="font-size: 10.5pt; font-family: Arial, sans-serif;" class="">so there should not be any reason for this to fail.<o:p class=""></o:p></span></div></div><div class=""><div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""><span style="font-size: 10.5pt; font-family: Arial, sans-serif;" class="">&nbsp;<o:p class=""></o:p></span></div></div><div class=""><div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""><span style="font-size: 10.5pt; font-family: Arial, sans-serif;" class="">I regularly see a Mix of 10GB / 40GB or 10GB / IB configurations<o:p class=""></o:p></span></div></div><div class=""><div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""><span style="font-size: 10.5pt; font-family: Arial, sans-serif;" class="">&nbsp;<o:p class=""></o:p></span></div></div><div class=""><div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""><span style="font-size: 10.5pt; font-family: Arial, sans-serif;" class="">&nbsp;<o:p class=""></o:p></span></div></div><div class=""><div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""><span style="font-size: 10.5pt; font-family: Arial, sans-serif;" class="">&nbsp;<o:p class=""></o:p></span></div></div><div class=""><div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""><span style="font-size: 10.5pt; font-family: Arial, sans-serif;" class="">Regards<o:p class=""></o:p></span></div></div><div class=""><div class=""><div class=""><div class=""><div style="margin-top: 15pt;" class=""><div class=""><div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""><b class=""><span style="font-family: Arial, sans-serif; color: rgb(124, 124, 95);" class="">Andrew Beattie<o:p class=""></o:p></span></b></div></div><div class=""><div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""><b class=""><span style="font-size: 10pt; font-family: Arial, sans-serif;" class="">Software Defined Storage&nbsp; - IT Specialist<o:p class=""></o:p></span></b></div></div><div style="margin-top: 7.5pt;" class=""><div class=""><div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""><b class=""><span style="font-size: 8pt; font-family: Arial, sans-serif; color: rgb(51, 102, 153);" class="">Phone:<span class="Apple-converted-space">&nbsp;</span></span></b><span style="font-size: 8pt; font-family: Arial, sans-serif;" class="">614-2133-7927<o:p class=""></o:p></span></div></div><div class=""><div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""><b class=""><span style="font-size: 8pt; font-family: Arial, sans-serif; color: rgb(51, 102, 153);" class="">E-mail:<span class="Apple-converted-space">&nbsp;</span></span></b><span style="font-size: 8pt; font-family: Arial, sans-serif;" class=""><a href="mailto:abeattie@au1.ibm.com" style="color: purple; text-decoration: underline;" class=""><span style="color: rgb(85, 85, 85);" class="">abeattie@au1.ibm.com</span></a><o:p class=""></o:p></span></div></div></div></div></div></div></div></div><div class=""><div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""><span style="font-size: 10.5pt; font-family: Arial, sans-serif;" class="">&nbsp;<o:p class=""></o:p></span></div></div><div class=""><div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""><span style="font-size: 10.5pt; font-family: Arial, sans-serif;" class="">&nbsp;<o:p class=""></o:p></span></div></div><blockquote style="border-style: none none none solid; border-left-width: 1.5pt; border-left-color: rgb(170, 170, 170); padding: 0in 0in 0in 4pt; margin: 5pt 0in 5pt 3.75pt;" class=""><div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""><span style="font-size: 10.5pt; font-family: Arial, sans-serif;" class="">----- Original message -----<br class="">From: "J. Eric Wonderley" &lt;<a href="mailto:eric.wonderley@vt.edu" style="color: purple; text-decoration: underline;" class="">eric.wonderley@vt.edu</a>&gt;<br class="">Sent by:<span class="Apple-converted-space">&nbsp;</span><a href="mailto:gpfsug-discuss-bounces@spectrumscale.org" style="color: purple; text-decoration: underline;" class="">gpfsug-discuss-bounces@spectrumscale.org</a><br class="">To: gpfsug main discussion list &lt;<a href="mailto:gpfsug-discuss@spectrumscale.org" style="color: purple; text-decoration: underline;" class="">gpfsug-discuss@spectrumscale.org</a>&gt;<br class="">Cc:<br class="">Subject: Re: [gpfsug-discuss] more than one mlx connectx-4 adapter in same host<br class="">Date: Thu, Dec 21, 2017 6:37 AM<br class="">&nbsp;<span class="Apple-converted-space">&nbsp;</span><o:p class=""></o:p></span></div><div class=""><div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""><span style="font-size: 10.5pt; font-family: Arial, sans-serif;" class="">Just plain tcpip.<o:p class=""></o:p></span></div><div class=""><div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""><span style="font-size: 10.5pt; font-family: Arial, sans-serif;" class="">&nbsp;<o:p class=""></o:p></span></div></div><div class=""><div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""><span style="font-size: 10.5pt; font-family: Arial, sans-serif;" class="">We have dual port connectx4s in our nsd servers.&nbsp; Upon adding a second connectx4 hba...no links go up or show "up".&nbsp; I have one port on each hba configured for eth and ibv_devinfo looks sane.<o:p class=""></o:p></span></div></div><div class=""><div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""><span style="font-size: 10.5pt; font-family: Arial, sans-serif;" class="">&nbsp;<o:p class=""></o:p></span></div></div><div class=""><div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""><span style="font-size: 10.5pt; font-family: Arial, sans-serif;" class="">I cannot find anything indicating that this should not work.&nbsp; I have a ticket opened with mellanox.<o:p class=""></o:p></span></div></div></div><div class=""><div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""><span style="font-size: 10.5pt; font-family: Arial, sans-serif;" class="">&nbsp;<o:p class=""></o:p></span></div><div class=""><div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""><span style="font-size: 10.5pt; font-family: Arial, sans-serif;" class="">On Wed, Dec 20, 2017 at 3:25 PM, Knister, Aaron S. (GSFC-606.2)[COMPUTER SCIENCE CORP] &lt;<a href="mailto:aaron.s.knister@nasa.gov" target="_blank" style="color: purple; text-decoration: underline;" class="">aaron.s.knister@nasa.gov</a>&gt; wrote:<span class="Apple-converted-space">&nbsp;</span><o:p class=""></o:p></span></div><blockquote style="border-style: none none none solid; border-left-width: 1pt; border-left-color: rgb(204, 204, 204); padding: 0in 0in 0in 6pt; margin-left: 4.8pt; margin-right: 0in;" class=""><div class=""><div class=""><div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""><span style="font-size: 10.5pt; font-family: Arial, sans-serif;" class="">&nbsp;<o:p class=""></o:p></span></div></div><div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""><span style="font-size: 10.5pt; font-family: Arial, sans-serif;" class=""><br class=""><br class="">We\u2019ve done a fair amount of VPI work but admittedly not with connectx4. Is it possible the cards are trying to talk IB rather than Eth? I figured you\u2019re Ethernet based because of the mention of Juniper.&nbsp;<o:p class=""></o:p></span></div><div class=""><div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""><span style="font-size: 10.5pt; font-family: Arial, sans-serif;" class="">&nbsp;<o:p class=""></o:p></span></div></div><div class=""><div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""><span style="font-size: 10.5pt; font-family: Arial, sans-serif;" class="">Are you attempting to do RoCE or just plain TCP/IP?<o:p class=""></o:p></span></div></div><div class=""><div class=""><div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""><span style="font-size: 10.5pt; font-family: Arial, sans-serif;" class="">&nbsp;<o:p class=""></o:p></span></div><div class=""><div class=""><div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""><span style="font-size: 10.5pt; font-family: Arial, sans-serif;" class="">On December 20, 2017 at 14:40:48 EST, J. Eric Wonderley &lt;<a href="mailto:eric.wonderley@vt.edu" target="_blank" style="color: purple; text-decoration: underline;" class="">eric.wonderley@vt.edu</a>&gt; wrote:<o:p class=""></o:p></span></div></div><blockquote style="border-style: none none none solid; border-left-width: 1pt; border-left-color: windowtext; padding: 0in 0in 0in 8pt; margin-left: 0in; margin-top: 5pt; margin-bottom: 5pt;" class=""><div class=""><div class=""><div class=""><div class=""><div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""><span style="font-size: 10.5pt; font-family: Arial, sans-serif;" class="">Hello:<o:p class=""></o:p></span></div><div class=""><div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""><span style="font-size: 10.5pt; font-family: Arial, sans-serif;" class="">&nbsp;<o:p class=""></o:p></span></div></div><div class=""><div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""><span style="font-size: 10.5pt; font-family: Arial, sans-serif;" class="">Does anyone have this type of config?<o:p class=""></o:p></span></div><div class=""><div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""><span style="font-size: 10.5pt; font-family: Arial, sans-serif;" class="">&nbsp;<o:p class=""></o:p></span></div></div><div class=""><div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""><span style="font-size: 10.5pt; font-family: Arial, sans-serif;" class="">The host configuration looks sane but we seem to observe link-down on all mlx adapters no matter what we do.<o:p class=""></o:p></span></div></div></div><div class=""><div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""><span style="font-size: 10.5pt; font-family: Arial, sans-serif;" class="">&nbsp;<o:p class=""></o:p></span></div></div><div class=""><div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""><span style="font-size: 10.5pt; font-family: Arial, sans-serif;" class="">Big picture is that we are attempting to do mc(multichassis)-lags to a core switch.&nbsp; I'm somewhat fearful as to how this is implemented in the juniper switch we are about to test.&nbsp;<o:p class=""></o:p></span></div></div></div></div></div></div></blockquote></div></div></div></div><div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""><span style="font-size: 10.5pt; font-family: Arial, sans-serif;" class=""><br class="">_______________________________________________<br class="">gpfsug-discuss mailing list<br class="">gpfsug-discuss at<span class="Apple-converted-space">&nbsp;</span><a href="https://urldefense.proofpoint.com/v2/url?u=http-3A__spectrumscale.org&amp;d=DwMFaQ&amp;c=jf_iaSHvJObTbx-siA1ZOg&amp;r=STXkGEO2XATS_s2pRCAAh2wXtuUgwVcx1XjUX7ELNdk&amp;m=Olk0lQk7rek9IplOjJ_2Vcd7P1LgVbnrSupC7O0hJHQ&amp;s=I5Dq2T7aYvC87Wp12fsz6CRLw4uo2-RVnrnpxRYfYuA&amp;e=" target="_blank" style="color: purple; text-decoration: underline;" class="">spectrumscale.org</a><br class=""><a href="https://urldefense.proofpoint.com/v2/url?u=http-3A__gpfsug.org_mailman_listinfo_gpfsug-2Ddiscuss&amp;d=DwMFaQ&amp;c=jf_iaSHvJObTbx-siA1ZOg&amp;r=STXkGEO2XATS_s2pRCAAh2wXtuUgwVcx1XjUX7ELNdk&amp;m=Olk0lQk7rek9IplOjJ_2Vcd7P1LgVbnrSupC7O0hJHQ&amp;s=hxNNpOkwGQ9zRmTnM3FEo5hgnPSUsPG0FNqZbK6eA6Q&amp;e=" target="_blank" style="color: purple; text-decoration: underline;" class="">http://gpfsug.org/mailman/listinfo/gpfsug-discuss</a><br class="">&nbsp;<o:p class=""></o:p></span></div></blockquote></div></div><div class=""><div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""><span style="font-size: 10pt; font-family: 'Courier New';" class="">_______________________________________________<br class="">gpfsug-discuss mailing list<br class="">gpfsug-discuss at <a href="http://spectrumscale.org" class="">spectrumscale.org</a><br class=""><a href="https://urldefense.proofpoint.com/v2/url?u=http-3A__gpfsug.org_mailman_listinfo_gpfsug-2Ddiscuss&amp;d=DwICAg&amp;c=jf_iaSHvJObTbx-siA1ZOg&amp;r=STXkGEO2XATS_s2pRCAAh2wXtuUgwVcx1XjUX7ELNdk&amp;m=Olk0lQk7rek9IplOjJ_2Vcd7P1LgVbnrSupC7O0hJHQ&amp;s=hxNNpOkwGQ9zRmTnM3FEo5hgnPSUsPG0FNqZbK6eA6Q&amp;e=" target="_blank" style="color: purple; text-decoration: underline;" class="">https://urldefense.proofpoint.com/v2/url?u=http-3A__gpfsug.org_mailman_listinfo_gpfsug-2Ddiscuss&amp;d=DwICAg&amp;c=jf_iaSHvJObTbx-siA1ZOg&amp;r=STXkGEO2XATS_s2pRCAAh2wXtuUgwVcx1XjUX7ELNdk&amp;m=Olk0lQk7rek9IplOjJ_2Vcd7P1LgVbnrSupC7O0hJHQ&amp;s=hxNNpOkwGQ9zRmTnM3FEo5hgnPSUsPG0FNqZbK6eA6Q&amp;e=</a></span><span style="font-size: 10.5pt; font-family: Arial, sans-serif;" class=""><o:p class=""></o:p></span></div></div></blockquote><div class=""><div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""><span style="font-size: 10.5pt; font-family: Arial, sans-serif;" class="">&nbsp;<o:p class=""></o:p></span></div></div></div><div style="margin: 0in 0in 0.0001pt; font-size: 12pt; font-family: 'Times New Roman', serif;" class=""><o:p class="">&nbsp;</o:p></div></div><span style="font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px; float: none; display: inline !important;" class="">_______________________________________________</span><br style="font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px;" class=""><span style="font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px; float: none; display: inline !important;" class="">gpfsug-discuss mailing list</span><br style="font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px;" class=""><span style="font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px; float: none; display: inline !important;" class="">gpfsug-discuss at <a href="http://spectrumscale.org" class="">spectrumscale.org</a></span><br style="font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px;" class=""><span style="font-family: Helvetica; font-size: 12px; font-style: normal; font-variant-caps: normal; font-weight: normal; letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px; float: none; display: inline !important;" class=""><a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss" class="">http://gpfsug.org/mailman/listinfo/gpfsug-discuss</a></span></div></blockquote></div><br class=""></div></div></body></html>