<html xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<meta name="Generator" content="Microsoft Word 15 (filtered medium)">
<style><!--
/* Font Definitions */
@font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0cm;
        font-size:10.0pt;
        font-family:"Calibri",sans-serif;}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:blue;
        text-decoration:underline;}
span.EmailStyle19
        {mso-style-type:personal-reply;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-size:10.0pt;}
@page WordSection1
        {size:612.0pt 792.0pt;
        margin:72.0pt 72.0pt 72.0pt 72.0pt;}
div.WordSection1
        {page:WordSection1;}
--></style>
</head>
<body lang="EN-GB" link="blue" vlink="purple" style="word-wrap:break-word">
<div class="WordSection1">
<p class="MsoNormal"><span style="font-size:11.0pt">&gt;Starting GPFS 5.1.4, you can use the CCR archive to restore the local node (the node that is issuing the mmsdrrestore command) beside restoring the entire cluster.<br>
<br>
This is&nbsp; great addition, but how does the security model work?<br>
ie. How do the other cluster nodes know that this is a newly re-installed node can be trusted and is not a rogue node trying to gain cluster membership &nbsp;by a backdoor?<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">Daniel<br>
<br>
</span><span style="font-size:11.0pt;mso-fareast-language:EN-US"><o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;mso-fareast-language:EN-US"><o:p>&nbsp;</o:p></span></p>
<div style="border:none;border-top:solid #B5C4DF 1.0pt;padding:3.0pt 0cm 0cm 0cm">
<p class="MsoNormal" style="margin-bottom:12.0pt"><b><span style="font-size:12.0pt;color:black">From:
</span></b><span style="font-size:12.0pt;color:black">gpfsug-discuss &lt;gpfsug-discuss-bounces@gpfsug.org&gt; on behalf of Truong Vu &lt;truongv@us.ibm.com&gt;<br>
<b>Date: </b>Saturday, 30 July 2022 at 01:35<br>
<b>To: </b>gpfsug-discuss@gpfsug.org &lt;gpfsug-discuss@gpfsug.org&gt;<br>
<b>Subject: </b>Re: [gpfsug-discuss] add local nsd back to cluster?<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:11.0pt">Starting GPFS 5.1.4, you can use the CCR archive to restore the local node (the node that is issuing the mmsdrrestore command) beside restoring the entire cluster.<br>
<br>
Prior to GPFS5.1.4, as the error message reviewed, you can only use the CCR archive to restore the entire cluster.&nbsp; GPFS must be down any node that is being restored.
<br>
If is a good node in the cluster, use the -p option<br>
<br>
-p NodeName<br>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Specifies the node from which to obtain a valid GPFS<br>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; configuration file. The node must be either the primary<br>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; configuration server or a node that has a valid backup<br>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; copy of the mmsdrfs file. If this parameter is not<br>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; specified, the command uses the configuration file on<br>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; the node from which the command is issued.<br>
<br>
Thanks,<br>
Tru.<br>
<br>
\ufeffOn 7/29/22, 12:51 PM, &quot;gpfsug-discuss on behalf of gpfsug-discuss-request@gpfsug.org&quot; &lt;gpfsug-discuss-bounces@gpfsug.org on behalf of gpfsug-discuss-request@gpfsug.org&gt; wrote:<br>
<br>
&nbsp;&nbsp;&nbsp; Send gpfsug-discuss mailing list submissions to<br>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; gpfsug-discuss@gpfsug.org<br>
<br>
&nbsp;&nbsp;&nbsp; To subscribe or unsubscribe via the World Wide Web, visit<br>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; <a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss_gpfsug.org">http://gpfsug.org/mailman/listinfo/gpfsug-discuss_gpfsug.org</a>&nbsp;
<br>
&nbsp;&nbsp;&nbsp; or, via email, send a message with subject or body 'help' to<br>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; gpfsug-discuss-request@gpfsug.org<br>
<br>
&nbsp;&nbsp;&nbsp; You can reach the person managing the list at<br>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; gpfsug-discuss-owner@gpfsug.org<br>
<br>
&nbsp;&nbsp;&nbsp; When replying, please edit your Subject line so it is more specific<br>
&nbsp;&nbsp;&nbsp; than &quot;Re: Contents of gpfsug-discuss digest...&quot;<br>
<br>
<br>
&nbsp;&nbsp;&nbsp; Today's Topics:<br>
<br>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1. Re: add local nsd back to cluster? (shao feng)<br>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 2. Re: add local nsd back to cluster? (Stephen Ulmer)<br>
<br>
<br>
&nbsp;&nbsp;&nbsp; ----------------------------------------------------------------------<br>
<br>
&nbsp;&nbsp;&nbsp; Message: 1<br>
&nbsp;&nbsp;&nbsp; Date: Fri, 29 Jul 2022 23:54:24 +0800<br>
&nbsp;&nbsp;&nbsp; From: shao feng &lt;shaof777@gmail.com&gt;<br>
&nbsp;&nbsp;&nbsp; To: gpfsug main discussion list &lt;gpfsug-discuss@gpfsug.org&gt;<br>
&nbsp;&nbsp;&nbsp; Subject: Re: [gpfsug-discuss] add local nsd back to cluster?<br>
&nbsp;&nbsp;&nbsp; Message-ID:<br>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &lt;CANiV0ORjKzbyKqLvHgQEkPKo9Y--ptPRxfPjXpJBvkQmukqCgA@mail.gmail.com&gt;<br>
&nbsp;&nbsp;&nbsp; Content-Type: text/plain; charset=&quot;utf-8&quot;<br>
<br>
&nbsp;&nbsp;&nbsp; Thanks Olaf<br>
<br>
&nbsp;&nbsp;&nbsp; I've setup the mmsdr backup as<br>
&nbsp;&nbsp;&nbsp; <a href="https://www.ibm.com/docs/en/spectrum-scale/5.1.2?topic=exits-mmsdrbackup-user-exit">https://www.ibm.com/docs/en/spectrum-scale/5.1.2?topic=exits-mmsdrbackup-user-exit</a> ,<br>
&nbsp;&nbsp;&nbsp; since my cluster is CCR enabled, it generate a CCR backup file,<br>
&nbsp;&nbsp;&nbsp; but when trying to restore from this file, it require quorum nodes to<br>
&nbsp;&nbsp;&nbsp; shutdown? Is it possible to restore without touching quorum nodes?<br>
<br>
&nbsp;&nbsp;&nbsp; [root@tofail ~]# mmsdrrestore -F<br>
&nbsp;&nbsp;&nbsp; CCRBackup.986.2022.07.29.23.06.19.myquorum.tar.gz<br>
&nbsp;&nbsp;&nbsp; Restoring a CCR backup archive is a cluster-wide operation.<br>
&nbsp;&nbsp;&nbsp; The -a flag is required.<br>
&nbsp;&nbsp;&nbsp; mmsdrrestore: Command failed. Examine previous error messages to determine<br>
&nbsp;&nbsp;&nbsp; cause.<br>
<br>
&nbsp;&nbsp;&nbsp; [root@tofail ~]# mmsdrrestore -F<br>
&nbsp;&nbsp;&nbsp; CCRBackup.986.2022.07.29.23.06.19.myquorum.tar.gz -a<br>
&nbsp;&nbsp;&nbsp; Restoring CCR backup<br>
&nbsp;&nbsp;&nbsp; Verifying that GPFS is inactive on quorum nodes<br>
&nbsp;&nbsp;&nbsp; mmsdrrestore: GPFS is still active on myquorum<br>
&nbsp;&nbsp;&nbsp; mmsdrrestore: Unexpected error from mmsdrrestore: CCR restore failed.<br>
&nbsp;&nbsp;&nbsp; Return code: 192<br>
&nbsp;&nbsp;&nbsp; mmsdrrestore: Command failed. Examine previous error messages to determine<br>
&nbsp;&nbsp;&nbsp; cause.<br>
<br>
<br>
&nbsp;&nbsp;&nbsp; On Thu, Jul 28, 2022 at 3:14 PM Olaf Weiser &lt;olaf.weiser@de.ibm.com&gt; wrote:<br>
<br>
&nbsp;&nbsp;&nbsp; &gt;<br>
&nbsp;&nbsp;&nbsp; &gt;<br>
&nbsp;&nbsp;&nbsp; &gt; Hi -<br>
&nbsp;&nbsp;&nbsp; &gt; assuming, you'll run it&nbsp; withou ECE&nbsp; ?!? ... just with replication on the<br>
&nbsp;&nbsp;&nbsp; &gt; file system level<br>
&nbsp;&nbsp;&nbsp; &gt; ba aware, every time a node goes offline, you 'll have to restart the<br>
&nbsp;&nbsp;&nbsp; &gt; disks in your filesystem .. This causes a complete scan of the meta data to<br>
&nbsp;&nbsp;&nbsp; &gt; detect files with missing updates / replication<br>
&nbsp;&nbsp;&nbsp; &gt;<br>
&nbsp;&nbsp;&nbsp; &gt;<br>
&nbsp;&nbsp;&nbsp; &gt; apart from that to your Q :<br>
&nbsp;&nbsp;&nbsp; &gt; you may consider to backup mmsdr<br>
&nbsp;&nbsp;&nbsp; &gt; additionally, take a look to&nbsp;&nbsp; mmsdrrestore, in case you want to restore a<br>
&nbsp;&nbsp;&nbsp; &gt; nodes's SDR configuration<br>
&nbsp;&nbsp;&nbsp; &gt;<br>
&nbsp;&nbsp;&nbsp; &gt; quick and dirty..&nbsp; save the content&nbsp; of&nbsp; /var/mmfs&nbsp; may also help you<br>
&nbsp;&nbsp;&nbsp; &gt;<br>
&nbsp;&nbsp;&nbsp; &gt; during the node is &quot;gone&quot;.. of course.. the disk is down , after restore<br>
&nbsp;&nbsp;&nbsp; &gt; of SDR / node's config .. it should be able to start ..<br>
&nbsp;&nbsp;&nbsp; &gt; the rest runs as usual<br>
&nbsp;&nbsp;&nbsp; &gt;<br>
&nbsp;&nbsp;&nbsp; &gt;<br>
&nbsp;&nbsp;&nbsp; &gt;<br>
&nbsp;&nbsp;&nbsp; &gt; ------------------------------<br>
&nbsp;&nbsp;&nbsp; &gt; *Von:* gpfsug-discuss &lt;gpfsug-discuss-bounces@gpfsug.org&gt; im Auftrag von<br>
&nbsp;&nbsp;&nbsp; &gt; shao feng &lt;shaof777@gmail.com&gt;<br>
&nbsp;&nbsp;&nbsp; &gt; *Gesendet:* Donnerstag, 28. Juli 2022 09:02<br>
&nbsp;&nbsp;&nbsp; &gt; *An:* gpfsug main discussion list &lt;gpfsug-discuss@gpfsug.org&gt;<br>
&nbsp;&nbsp;&nbsp; &gt; *Betreff:* [EXTERNAL] [gpfsug-discuss] add local nsd back to cluster?<br>
&nbsp;&nbsp;&nbsp; &gt;<br>
&nbsp;&nbsp;&nbsp; &gt; Hi all, I am planning to implement&nbsp; a cluster with a bunch of old x86<br>
&nbsp;&nbsp;&nbsp; &gt; machines, the disks are not connected to nodes via the SAN network, instead<br>
&nbsp;&nbsp;&nbsp; &gt; each x86 machine has some local attached disks. The question is regarding<br>
&nbsp;&nbsp;&nbsp; &gt; node failure, for example<br>
&nbsp;&nbsp;&nbsp; &gt; <br>
&nbsp;&nbsp;&nbsp; &gt; Hi all,<br>
&nbsp;&nbsp;&nbsp; &gt;<br>
&nbsp;&nbsp;&nbsp; &gt; I am planning to implement&nbsp; a cluster with a bunch of old x86 machines,<br>
&nbsp;&nbsp;&nbsp; &gt; the disks are not connected to nodes via the SAN network, instead each x86<br>
&nbsp;&nbsp;&nbsp; &gt; machine has some local attached disks.<br>
&nbsp;&nbsp;&nbsp; &gt; The question is regarding node failure, for example only the operating<br>
&nbsp;&nbsp;&nbsp; &gt; system disk fails and the nsd disks are good. In that case I plan to<br>
&nbsp;&nbsp;&nbsp; &gt; replace the failing OS disk with a new one and install the OS on it and<br>
&nbsp;&nbsp;&nbsp; &gt; re-attach these nsd disks to that node, my question is: will this work? how<br>
&nbsp;&nbsp;&nbsp; &gt; can I add a nsd back to the cluster without restoring data from other<br>
&nbsp;&nbsp;&nbsp; &gt; replicas since the data/metadata is actually not corrupted on nsd.<br>
&nbsp;&nbsp;&nbsp; &gt;<br>
&nbsp;&nbsp;&nbsp; &gt; Best regards,<br>
&nbsp;&nbsp;&nbsp; &gt; _______________________________________________<br>
&nbsp;&nbsp;&nbsp; &gt; gpfsug-discuss mailing list<br>
&nbsp;&nbsp;&nbsp; &gt; gpfsug-discuss at gpfsug.org<br>
&nbsp;&nbsp;&nbsp; &gt; <a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss_gpfsug.org">http://gpfsug.org/mailman/listinfo/gpfsug-discuss_gpfsug.org</a>&nbsp;
<br>
&nbsp;&nbsp;&nbsp; &gt;<br>
&nbsp;&nbsp;&nbsp; -------------- next part --------------<br>
&nbsp;&nbsp;&nbsp; An HTML attachment was scrubbed...<br>
&nbsp;&nbsp;&nbsp; URL: &lt;http://gpfsug.org/pipermail/gpfsug-discuss_gpfsug.org/attachments/20220729/1fc0e167/attachment-0001.htm &gt;<br>
<br>
&nbsp;&nbsp;&nbsp; ------------------------------<br>
<br>
&nbsp;&nbsp;&nbsp; Message: 2<br>
&nbsp;&nbsp;&nbsp; Date: Fri, 29 Jul 2022 12:48:44 -0400<br>
&nbsp;&nbsp;&nbsp; From: Stephen Ulmer &lt;ulmer@ulmer.org&gt;<br>
&nbsp;&nbsp;&nbsp; To: gpfsug main discussion list &lt;gpfsug-discuss@gpfsug.org&gt;<br>
&nbsp;&nbsp;&nbsp; Subject: Re: [gpfsug-discuss] add local nsd back to cluster?<br>
&nbsp;&nbsp;&nbsp; Message-ID: &lt;1DEB036E-AA3A-4498-A5B9-B66078EC87A9@ulmer.org&gt;<br>
&nbsp;&nbsp;&nbsp; Content-Type: text/plain; charset=&quot;utf-8&quot;<br>
<br>
&nbsp;&nbsp;&nbsp; If there are cluster nodes up, restore from the running nodes instead of the file. I think it?s -p, but look at the manual page.<br>
<br>
&nbsp;&nbsp;&nbsp; -- <br>
&nbsp;&nbsp;&nbsp; Stephen Ulmer<br>
<br>
&nbsp;&nbsp;&nbsp; Sent from a mobile device; please excuse auto-correct silliness.<br>
<br>
&nbsp;&nbsp;&nbsp; &gt; On Jul 29, 2022, at 11:20 AM, shao feng &lt;shaof777@gmail.com&gt; wrote:<br>
&nbsp;&nbsp;&nbsp; &gt; <br>
&nbsp;&nbsp;&nbsp; &gt; ?<br>
&nbsp;&nbsp;&nbsp; &gt; Thanks Olaf<br>
&nbsp;&nbsp;&nbsp; &gt; <br>
&nbsp;&nbsp;&nbsp; &gt; I've setup the mmsdr backup as <a href="https://www.ibm.com/docs/en/spectrum-scale/5.1.2?topic=exits-mmsdrbackup-user-exit">https://www.ibm.com/docs/en/spectrum-scale/5.1.2?topic=exits-mmsdrbackup-user-exit</a> , since my cluster is CCR enabled, it generate a CCR
 backup file,<br>
&nbsp;&nbsp;&nbsp; &gt; but when trying to restore from this file, it require quorum nodes to shutdown? Is it possible to restore without touching quorum nodes?<br>
&nbsp;&nbsp;&nbsp; &gt; <br>
&nbsp;&nbsp;&nbsp; &gt; [root@tofail ~]# mmsdrrestore -F CCRBackup.986.2022.07.29.23.06.19.myquorum.tar.gz<br>
&nbsp;&nbsp;&nbsp; &gt; Restoring a CCR backup archive is a cluster-wide operation.<br>
&nbsp;&nbsp;&nbsp; &gt; The -a flag is required.<br>
&nbsp;&nbsp;&nbsp; &gt; mmsdrrestore: Command failed. Examine previous error messages to determine cause.<br>
&nbsp;&nbsp;&nbsp; &gt; <br>
&nbsp;&nbsp;&nbsp; &gt; [root@tofail ~]# mmsdrrestore -F CCRBackup.986.2022.07.29.23.06.19.myquorum.tar.gz -a<br>
&nbsp;&nbsp;&nbsp; &gt; Restoring CCR backup<br>
&nbsp;&nbsp;&nbsp; &gt; Verifying that GPFS is inactive on quorum nodes<br>
&nbsp;&nbsp;&nbsp; &gt; mmsdrrestore: GPFS is still active on myquorum<br>
&nbsp;&nbsp;&nbsp; &gt; mmsdrrestore: Unexpected error from mmsdrrestore: CCR restore failed.&nbsp; Return code: 192<br>
&nbsp;&nbsp;&nbsp; &gt; mmsdrrestore: Command failed. Examine previous error messages to determine cause.<br>
&nbsp;&nbsp;&nbsp; &gt; <br>
&nbsp;&nbsp;&nbsp; &gt; <br>
&nbsp;&nbsp;&nbsp; &gt;&gt; On Thu, Jul 28, 2022 at 3:14 PM Olaf Weiser &lt;olaf.weiser@de.ibm.com&gt; wrote:<br>
&nbsp;&nbsp;&nbsp; &gt;&gt; <br>
&nbsp;&nbsp;&nbsp; &gt;&gt; <br>
&nbsp;&nbsp;&nbsp; &gt;&gt; Hi - <br>
&nbsp;&nbsp;&nbsp; &gt;&gt; assuming, you'll run it&nbsp; withou ECE&nbsp; ?!? ... just with replication on the file system level
<br>
&nbsp;&nbsp;&nbsp; &gt;&gt; ba aware, every time a node goes offline, you 'll have to restart the disks in your filesystem .. This causes a complete scan of the meta data to detect files with missing updates / replication<br>
&nbsp;&nbsp;&nbsp; &gt;&gt; <br>
&nbsp;&nbsp;&nbsp; &gt;&gt; <br>
&nbsp;&nbsp;&nbsp; &gt;&gt; apart from that to your Q :<br>
&nbsp;&nbsp;&nbsp; &gt;&gt; you may consider to backup mmsdr <br>
&nbsp;&nbsp;&nbsp; &gt;&gt; additionally, take a look to&nbsp;&nbsp; mmsdrrestore, in case you want to restore a nodes's SDR configuration
<br>
&nbsp;&nbsp;&nbsp; &gt;&gt; <br>
&nbsp;&nbsp;&nbsp; &gt;&gt; quick and dirty..&nbsp; save the content&nbsp; of&nbsp; /var/mmfs&nbsp; may also help you <br>
&nbsp;&nbsp;&nbsp; &gt;&gt; <br>
&nbsp;&nbsp;&nbsp; &gt;&gt; during the node is &quot;gone&quot;.. of course.. the disk is down , after restore of SDR / node's config .. it should be able to start ..
<br>
&nbsp;&nbsp;&nbsp; &gt;&gt; the rest runs as usual <br>
&nbsp;&nbsp;&nbsp; &gt;&gt; <br>
&nbsp;&nbsp;&nbsp; &gt;&gt; <br>
&nbsp;&nbsp;&nbsp; &gt;&gt; <br>
&nbsp;&nbsp;&nbsp; &gt;&gt; Von: gpfsug-discuss &lt;gpfsug-discuss-bounces@gpfsug.org&gt; im Auftrag von shao feng &lt;shaof777@gmail.com&gt;<br>
&nbsp;&nbsp;&nbsp; &gt;&gt; Gesendet: Donnerstag, 28. Juli 2022 09:02<br>
&nbsp;&nbsp;&nbsp; &gt;&gt; An: gpfsug main discussion list &lt;gpfsug-discuss@gpfsug.org&gt;<br>
&nbsp;&nbsp;&nbsp; &gt;&gt; Betreff: [EXTERNAL] [gpfsug-discuss] add local nsd back to cluster?<br>
&nbsp;&nbsp;&nbsp; &gt;&gt;&nbsp; <br>
&nbsp;&nbsp;&nbsp; &gt;&gt; This Message Is From an External Sender<br>
&nbsp;&nbsp;&nbsp; &gt;&gt; This message came from outside your organization.<br>
&nbsp;&nbsp;&nbsp; &gt;&gt;&nbsp; <br>
&nbsp;&nbsp;&nbsp; &gt;&gt; Hi all,<br>
&nbsp;&nbsp;&nbsp; &gt;&gt; <br>
&nbsp;&nbsp;&nbsp; &gt;&gt; I am planning to implement&nbsp; a cluster with a bunch of old x86 machines, the disks are not connected to nodes via the SAN network, instead each x86 machine has some local attached disks.<br>
&nbsp;&nbsp;&nbsp; &gt;&gt; The question is regarding node failure, for example only the operating system disk fails and the nsd disks are good. In that case I plan to replace the failing OS disk with a new one and install the OS on it and re-attach these nsd disks to that node,
 my question is: will this work? how can I add a nsd back to the cluster without restoring data from other replicas since the data/metadata is actually not corrupted on nsd.<br>
&nbsp;&nbsp;&nbsp; &gt;&gt; <br>
&nbsp;&nbsp;&nbsp; &gt;&gt; Best regards,<br>
&nbsp;&nbsp;&nbsp; &gt;&gt; _______________________________________________<br>
&nbsp;&nbsp;&nbsp; &gt;&gt; gpfsug-discuss mailing list<br>
&nbsp;&nbsp;&nbsp; &gt;&gt; gpfsug-discuss at gpfsug.org<br>
&nbsp;&nbsp;&nbsp; &gt;&gt; <a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss_gpfsug.org">http://gpfsug.org/mailman/listinfo/gpfsug-discuss_gpfsug.org</a>&nbsp;
<br>
&nbsp;&nbsp;&nbsp; &gt; _______________________________________________<br>
&nbsp;&nbsp;&nbsp; &gt; gpfsug-discuss mailing list<br>
&nbsp;&nbsp;&nbsp; &gt; gpfsug-discuss at gpfsug.org<br>
&nbsp;&nbsp;&nbsp; &gt; <a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss_gpfsug.org">http://gpfsug.org/mailman/listinfo/gpfsug-discuss_gpfsug.org</a>&nbsp;
<br>
&nbsp;&nbsp;&nbsp; -------------- next part --------------<br>
&nbsp;&nbsp;&nbsp; An HTML attachment was scrubbed...<br>
&nbsp;&nbsp;&nbsp; URL: &lt;http://gpfsug.org/pipermail/gpfsug-discuss_gpfsug.org/attachments/20220729/1c773ee2/attachment.htm &gt;<br>
<br>
&nbsp;&nbsp;&nbsp; ------------------------------<br>
<br>
&nbsp;&nbsp;&nbsp; Subject: Digest Footer<br>
<br>
&nbsp;&nbsp;&nbsp; _______________________________________________<br>
&nbsp;&nbsp;&nbsp; gpfsug-discuss mailing list<br>
&nbsp;&nbsp;&nbsp; gpfsug-discuss at gpfsug.org<br>
&nbsp;&nbsp;&nbsp; <a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss_gpfsug.org">http://gpfsug.org/mailman/listinfo/gpfsug-discuss_gpfsug.org</a>&nbsp;
<br>
<br>
<br>
&nbsp;&nbsp;&nbsp; ------------------------------<br>
<br>
&nbsp;&nbsp;&nbsp; End of gpfsug-discuss Digest, Vol 126, Issue 21<br>
&nbsp;&nbsp;&nbsp; ***********************************************<br>
<br>
_______________________________________________<br>
gpfsug-discuss mailing list<br>
gpfsug-discuss at gpfsug.org<br>
<a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss_gpfsug.org">http://gpfsug.org/mailman/listinfo/gpfsug-discuss_gpfsug.org</a>
<o:p></o:p></span></p>
</div>
</div>
</body>
</html>