<html><body><p><font size="2" face="sans-serif">Adding back Amey in the chain.</font><br><font size="2" face="sans-serif">Paul please explicitly add Amey in your replies.</font><br><br><font size="2" face="sans-serif">Regards, The Spectrum Scale (GPFS) team<br><br>------------------------------------------------------------------------------------------------------------------<br>If you feel that your question can benefit other users of &nbsp;Spectrum Scale (GPFS), then please post it to the public IBM developerWroks Forum at <a href="https://www.ibm.com/developerworks/community/forums/html/forum?id=11111111-0000-0000-0000-000000000479">https://www.ibm.com/developerworks/community/forums/html/forum?id=11111111-0000-0000-0000-000000000479</a>. <br><br>If your query concerns a potential software error in Spectrum Scale (GPFS) and you have an IBM software maintenance contract please contact &nbsp;1-800-237-5511 in the United States or your local IBM Service Center in other countries. <br><br>The forum is informally monitored as time permits and should not be used for priority messages to the Spectrum Scale (GPFS) team.</font><br><br><img width="16" height="16" src="cid:1__=0ABB0215DFFA788F8f9e8a93df938690@ibm.com" border="0" alt="Inactive hide details for &quot;Paul Ward&quot; ---20-07-2022 08.20.55 PM---I used the template policy, substituting where applicable: # "><font size="2" color="#424282" face="sans-serif">&quot;Paul Ward&quot; ---20-07-2022 08.20.55 PM---I used the template policy, substituting where applicable: # more /gpfs/nhmfsa/custom/valentine-migr</font><br><br><font size="1" color="#5F5F5F" face="sans-serif">From:        </font><font size="1" face="sans-serif">&quot;Paul Ward&quot; &lt;p.ward@nhm.ac.uk&gt;</font><br><font size="1" color="#5F5F5F" face="sans-serif">To:        </font><font size="1" face="sans-serif">&quot;gpfsug main discussion list&quot; &lt;gpfsug-discuss@gpfsug.org&gt;</font><br><font size="1" color="#5F5F5F" face="sans-serif">Date:        </font><font size="1" face="sans-serif">20-07-2022 08.20 PM</font><br><font size="1" color="#5F5F5F" face="sans-serif">Subject:        </font><font size="1" face="sans-serif">[EXTERNAL] Re: [gpfsug-discuss] mass recall from on-prem COS using a policy</font><br><font size="1" color="#5F5F5F" face="sans-serif">Sent by:        </font><font size="1" face="sans-serif">&quot;gpfsug-discuss&quot; &lt;gpfsug-discuss-bounces@gpfsug.org&gt;</font><br><hr width="100%" size="2" align="left" noshade style="color:#8091A5; "><br><br><br><font size="1" color="#FFFFFF" face="serif">I used the template policy, substituting where applicable: # more /gpfs/nhmfsa/custom/valentine-migrations/policy/iac-workspace_axio-imager_2021.pol /******************************************************************************* </font><br><font size="1" color="#FFFFFF" face="serif">ZjQcmQRYFpfptBannerStart</font><br><font size="2" face="Arial"><b>This Message Is From an External Sender </b></font><br><font size="1" face="Arial">This message came from outside your organization. </font><br><font size="3" face="serif">&nbsp;</font><br><font size="1" color="#FFFFFF" face="serif">ZjQcmQRYFpfptBannerEnd</font><br><font size="2" face="Calibri">I used the template policy, substituting where applicable:</font><br><font size="2" face="Calibri">&nbsp;</font><br><font size="2" face="Calibri"># more /gpfs/nhmfsa/custom/valentine-migrations/policy/iac-workspace_axio-imager_2021.pol</font><br><font size="2" face="Calibri">/*******************************************************************************</font><br><font size="2" face="Calibri">* Licensed Materials - Property of IBM</font><br><font size="2" face="Calibri">*</font><br><font size="2" face="Calibri">* &nbsp;OCO Source Materials</font><br><font size="2" face="Calibri">*</font><br><font size="2" face="Calibri">* &nbsp;(C) Copyright IBM Corp. 2016-2017 All Rights Reserved</font><br><font size="2" face="Calibri">*</font><br><font size="2" face="Calibri">* &nbsp;The source code for this program is not published or other-</font><br><font size="2" face="Calibri">* &nbsp;wise divested of its trade secrets, irrespective of what has</font><br><font size="2" face="Calibri">* &nbsp;been deposited with the U.S. Copyright Office.</font><br><font size="2" face="Calibri">*******************************************************************************/</font><br><font size="2" face="Calibri">&nbsp;</font><br><font size="2" face="Calibri">define(</font><br><font size="2" face="Calibri">&nbsp; &nbsp; &nbsp; &nbsp; exclude_list,</font><br><font size="2" face="Calibri">&nbsp; &nbsp; &nbsp; &nbsp; (</font><br><font size="2" face="Calibri">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;FALSE</font><br><font size="2" face="Calibri">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;OR PATH_NAME LIKE '%/.mcstore/%'</font><br><font size="2" face="Calibri">&nbsp; &nbsp; &nbsp; &nbsp; )</font><br><font size="2" face="Calibri">)</font><br><font size="2" face="Calibri">&nbsp;</font><br><font size="2" face="Calibri">RULE EXTERNAL POOL </font><font size="2" face="Calibri"><b>'migrate'</b></font><font size="2" face="Calibri">&nbsp;EXEC '/usr/lpp/mmfs/bin/mmcloudgateway files' OPTS '-F' ESCAPE '% -'</font><br><font size="2" face="Calibri">&nbsp;</font><br><font size="2" face="Calibri">/*</font><br><font size="2" face="Calibri">RULE EXTERNAL POOL 'mcstore' EXEC '/usr/lpp/mmfs/bin/mmcloudgateway files' OPTS '-F' ESCAPE '% -'</font><br><font size="2" face="Calibri">&nbsp;</font><br><font size="2" face="Calibri">&nbsp;</font><br><font size="2" face="Calibri">&nbsp; &nbsp; &nbsp; &nbsp; RULE 'dmrecall1' MIGRATE FROM POOL 'mcstore' TO POOL 'system' WHERE</font><br><font size="2" face="Calibri">&nbsp; &nbsp; &nbsp; &nbsp; (</font><br><font size="2" face="Calibri">&nbsp; &nbsp; &nbsp; &nbsp; (</font><br><font size="2" face="Calibri">&nbsp; &nbsp; &nbsp; &nbsp; PATH_NAME LIKE '/gpfs/test_dir/%'</font><br><font size="2" face="Calibri">&nbsp; &nbsp; &nbsp; &nbsp; )</font><br><font size="2" face="Calibri">&nbsp; &nbsp; &nbsp; &nbsp; AND NOT (exclude_list)</font><br><font size="2" face="Calibri">&nbsp; &nbsp; &nbsp; &nbsp; )</font><br><font size="2" face="Calibri">*/</font><br><font size="2" face="Calibri">&nbsp;</font><br><font size="2" face="Calibri">&nbsp;</font><br><font size="2" face="Calibri">RULE 'migrate_bulk_workspace_axioimager_2021' MIGRATE FROM POOL 'migrate' TO POOL 'data' WHERE</font><br><font size="2" face="Calibri">(</font><br><font size="2" face="Calibri">&nbsp; &nbsp; &nbsp; &nbsp; (</font><br><font size="2" face="Calibri">&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; PATH_NAME LIKE '</font><font size="2" face="Calibri"><b>/gpfs/nhmfsa/bulk/share/workspace/iac-workspace/light_microscopy/zeiss_axioimager_m2/2021/%</b></font><font size="2" face="Calibri">'</font><br><font size="2" face="Calibri">&nbsp; &nbsp; &nbsp; &nbsp; )</font><br><font size="2" face="Calibri">&nbsp; &nbsp; &nbsp; &nbsp; AND NOT (exclude_list)</font><br><font size="2" face="Calibri">)</font><br><font size="2" face="Calibri">&nbsp;</font><br><font size="2" face="Calibri">-----------------------------------<br>I changed to the folder listed in the path and ran this command, with the defer option:<br><br># pwd</font><br><font size="2" face="Calibri">/gpfs/nhmfsa/bulk/share/workspace/iac-workspace/light_microscopy/zeiss_axioimager_m2/2021</font><br><font size="2" face="Calibri">]# mmapplypolicy &nbsp;$(pwd) -f $(pwd)/policy-lists -I </font><font size="2" face="Calibri"><b>defer</b></font><font size="2" face="Calibri">&nbsp;-L 3 -P /gpfs/nhmfsa/custom/valentine-migrations/policy/iac-workspace_axio-imager_2021.pol</font><br><font size="2" face="Calibri"><br>The result of the policy was:<br><br>[I] Summary of Rule Applicability and File Choices:</font><br><font size="2" face="Calibri">Rule# &nbsp; &nbsp; &nbsp;Hit_Cnt &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;KB_Hit &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Chosen &nbsp; &nbsp; &nbsp; KB_Chosen &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;KB_Ill &nbsp; &nbsp; Rule</font><br><font size="2" face="Calibri">&nbsp; &nbsp; &nbsp;0 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;994 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 0 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 994 &nbsp; &nbsp; &nbsp;1566373796 &nbsp; &nbsp; &nbsp;1566373796 &nbsp; &nbsp; RULE 'migrate_bulk_workspace_axioimager_2021' MIGRATE FROM POOL 'migrate' TO POOL 'data' WHERE(.)</font><br><font size="2" face="Calibri">&nbsp;</font><br><font size="2" face="Calibri">[I] Filesystem objects with no applicable rules: 53.</font><br><font size="2" face="Calibri">&nbsp;</font><br><font size="2" face="Calibri">[I] GPFS Policy Decisions and File Choice Totals:</font><br><font size="2" face="Calibri">Chose to migrate 1566373796KB: 994 of 994 candidates;</font><br><font size="2" face="Calibri"><b>1566373796KB of chosen data is illplaced or illreplicated</b></font><font size="2" face="Calibri">;</font><br><font size="2" face="Calibri">Predicted Data Pool Utilization in KB and %:</font><br><font size="2" face="Calibri">Pool_Name &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; KB_Occupied &nbsp; &nbsp; &nbsp; &nbsp;KB_Total &nbsp;Percent_Occupied</font><br><font size="2" face="Calibri">data &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 175459129252 &nbsp; &nbsp;245111980032 &nbsp; &nbsp; 71.583253185%</font><br><font size="2" face="Calibri">system &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;0 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 0 &nbsp; &nbsp; &nbsp;0.000000000% (no user data)</font><br><font size="2" face="Calibri">[I] Because some data is illplaced or illreplicated, predicted pool utilization may be negative and/or misleading!</font><br><font size="2" face="Calibri">[I] </font><a href="mailto:2022-07-20@14:22:23.943"><font size="2" color="#0000FF" face="Calibri"><u>2022-07-20@14:22:23.943</u></font></a><font size="2" face="Calibri">&nbsp;Policy execution. 0 files dispatched.</font><br><font size="2" face="Calibri">[I] A total of 0 files have been migrated, deleted or processed by an EXTERNAL EXEC/script;</font><br><font size="2" face="Calibri">&nbsp; &nbsp; &nbsp; &nbsp; 0 'skipped' files and/or errors.<br></font><br><font size="2" face="Calibri">---------------------------------------------------------------------<br>Its selected about the right number, as there are :</font><br><font size="2" face="Calibri"># find -type f | wc -l</font><br><font size="2" face="Calibri">996<br></font><br><font size="2" face="Calibri">--------------------------------------------------------<br>the head of the deferred output file list:<br>15:27:41 [root@scale-sk-pn-1 2021]# head policy-lists.recall.migrate</font><br><font size="2" face="Calibri">9085980 2146238895 0 &nbsp; -- %2Fgpfs%2Fnhmfsa%2Fbulk%2Fshare%2Fworkspace%2Fiac-workspace%2Flight_microscopy%2Fzeiss_axioimager_m2%2F2021%2FRobin Armstrong 2021%2FThumbs.db</font><br><font size="2" face="Calibri">30157518 903677244 0 &nbsp; -- %2Fgpfs%2Fnhmfsa%2Fbulk%2Fshare%2Fworkspace%2Fiac-workspace%2Flight_microscopy%2Fzeiss_axioimager_m2%2F2021%2FMatt Loader 2021%2FML210215_OT-113_RL_s0c0x0-8849y0-8889.tif</font><br><font size="2" face="Calibri">30157519 321389117 0 &nbsp; -- %2Fgpfs%2Fnhmfsa%2Fbulk%2Fshare%2Fworkspace%2Fiac-workspace%2Flight_microscopy%2Fzeiss_axioimager_m2%2F2021%2FMatt Loader 2021%2FML210215_OT-113_TL.czi</font><br><font size="2" face="Calibri">30157520 1970925505 0 &nbsp; -- %2Fgpfs%2Fnhmfsa%2Fbulk%2Fshare%2Fworkspace%2Fiac-workspace%2Flight_microscopy%2Fzeiss_axioimager_m2%2F2021%2FMatt Loader 2021%2FML210215_OT-113_TL_s0c0x0-8846y0-8892.tif</font><br><font size="2" face="Calibri">30157521 1773348368 0 &nbsp; -- %2Fgpfs%2Fnhmfsa%2Fbulk%2Fshare%2Fworkspace%2Fiac-workspace%2Flight_microscopy%2Fzeiss_axioimager_m2%2F2021%2FMatt Loader 2021%2FML210215_OT-113_TL_s0c0x0-8849y0-8889.tif</font><br><font size="2" face="Calibri">30157522 2126423502 0 &nbsp; -- %2Fgpfs%2Fnhmfsa%2Fbulk%2Fshare%2Fworkspace%2Fiac-workspace%2Flight_microscopy%2Fzeiss_axioimager_m2%2F2021%2FMatt Loader 2021%2FML210215_OT-29_RL.czi</font><br><font size="2" face="Calibri">30157523 1701851598 0 &nbsp; -- %2Fgpfs%2Fnhmfsa%2Fbulk%2Fshare%2Fworkspace%2Fiac-workspace%2Flight_microscopy%2Fzeiss_axioimager_m2%2F2021%2FMatt Loader 2021%2FML210215_OT-29_RL_s0c0x0-6359y0-6656.tif</font><br><font size="2" face="Calibri">30157524 1844809347 0 &nbsp; -- %2Fgpfs%2Fnhmfsa%2Fbulk%2Fshare%2Fworkspace%2Fiac-workspace%2Flight_microscopy%2Fzeiss_axioimager_m2%2F2021%2FMatt Loader 2021%2FML210215_OT-29_TL.czi</font><br><font size="2" face="Calibri">30157525 912638442 0 &nbsp; -- %2Fgpfs%2Fnhmfsa%2Fbulk%2Fshare%2Fworkspace%2Fiac-workspace%2Flight_microscopy%2Fzeiss_axioimager_m2%2F2021%2FMatt Loader 2021%2FML210215_OT-29_TL_s0c0x0-6359y0-6656.tif</font><br><font size="2" face="Calibri">30157526 1280698844 0 &nbsp; -- %2Fgpfs%2Fnhmfsa%2Fbulk%2Fshare%2Fworkspace%2Fiac-workspace%2Flight_microscopy%2Fzeiss_axioimager_m2%2F2021%2FMatt Loader 2021%2FML210215_OT-29_TL_s0c0x0-6359y0-7609.tif</font><br><font size="2" face="Calibri">.</font><br><font size="2" face="Calibri"><br>--------------------------</font><br><font size="2" face="Calibri">If I try to recall the file from these paths:<br><br># mmcloudgateway files recall &quot;%2Fgpfs%2Fnhmfsa%2Fbulk%2Fshare%2Fworkspace%2Fiac-workspace%2Flight_microscopy%2Fzeiss_axioimager_m2%2F2021%2FMatt Loader 2021%2FML210215_OT-29_TL_s0c0x0-6359y0-7609.tif&quot;</font><br><font size="2" face="Calibri">mmcloudgateway: Internal cloud services returned an error:</font><br><font size="2" face="Calibri">&nbsp;</font><br><font size="2" face="Calibri">file system object </font><font size="2" face="Calibri"><b>/gpfs/nhmfsa/bulk/share/workspace/iac-workspace/light_microscopy/zeiss_axioimager_m2/2021/%</b></font><font size="2" face="Calibri">2Fgpfs%2Fnhmfsa%2Fbulk%2Fshare%2Fworkspace%2Fiac-workspace%2Flight_microscopy%2Fzeiss_axioimager_m2%2F2021%2FMatt Loader 2021%2FML210215_OT-29_TL_s0c0x0-6359y0-7609.tif does not exist</font><br><font size="2" face="Calibri">&nbsp;</font><br><font size="2" face="Calibri">mmcloudgateway: Command failed. Examine previous error messages to determine cause.</font><br><font size="2" face="Calibri">&nbsp;</font><br><font size="2" face="Calibri">It seems the highlighted part is the current directory, as I tried from another location and it picked up the pwd I was in.</font><br><font size="2" face="Calibri">&nbsp;</font><br><font size="2" face="Calibri">-----------------------</font><br><font size="2" face="Calibri">&nbsp;</font><br><font size="2" face="Calibri">If I Give it the correctly formed path, it works:<br># mmcloudgateway files recall &quot;/gpfs/nhmfsa/bulk/share/workspace/iac-workspace/light_microscopy/zeiss_axioimager_m2/2021/Matt Loader 2021/ML210215_OT-29_TL_s0c0x0-6359y0-7609.tif&quot;</font><br><font size="2" face="Calibri">mmcloudgateway: Command completed.</font><br><font size="2" face="Calibri">&nbsp;</font><br><font size="2" face="Calibri">&nbsp;</font><br><font size="2" face="Calibri">------------------------------------------</font><br><font size="2" face="Calibri">&nbsp;</font><br><font size="2" face="Calibri">I also ran a policy just to identify migrated files:</font><br><font size="2" face="Calibri">define(ismigrated,</font><br><font size="2" face="Calibri">&nbsp; &nbsp;( MISC_ATTRIBUTES LIKE '%V%') )</font><br><font size="2" face="Calibri">&nbsp;</font><br><font size="2" face="Calibri">&nbsp;</font><br><font size="2" face="Calibri">Rule 'migrated' LIST 'migrated_list' &nbsp;WHERE ismigrated</font><br><font size="2" face="Calibri">Rule 'resident' LIST 'resident_list' &nbsp;WHERE not (ismigrated)</font><br><font size="2" face="Calibri">&nbsp;</font><br><font size="2" face="Calibri">----------------------------------------------------------------</font><br><font size="2" face="Calibri">&nbsp;</font><br><font size="2" face="Calibri">The head of that file correctly forms the posix path</font><br><font size="2" face="Calibri">&nbsp;</font><br><font size="2" face="Calibri">15:35:38 [root@scale-sk-pn-1 2021]# head list.migrated_list</font><br><font size="2" face="Calibri">9085980 2146238895 0 &nbsp; -- /gpfs/nhmfsa/bulk/share/workspace/iac-workspace/light_microscopy/zeiss_axioimager_m2/2021/Robin Armstrong 2021/Thumbs.db</font><br><font size="2" face="Calibri">30157518 903677244 0 &nbsp; -- /gpfs/nhmfsa/bulk/share/workspace/iac-workspace/light_microscopy/zeiss_axioimager_m2/2021/Matt Loader 2021/ML210215_OT-113_RL_s0c0x0-8849y0-8889.tif</font><br><font size="2" face="Calibri">30157519 321389117 0 &nbsp; -- /gpfs/nhmfsa/bulk/share/workspace/iac-workspace/light_microscopy/zeiss_axioimager_m2/2021/Matt Loader 2021/ML210215_OT-113_TL.czi</font><br><font size="2" face="Calibri">30157520 1970925505 0 &nbsp; -- /gpfs/nhmfsa/bulk/share/workspace/iac-workspace/light_microscopy/zeiss_axioimager_m2/2021/Matt Loader 2021/ML210215_OT-113_TL_s0c0x0-8846y0-8892.tif</font><br><font size="2" face="Calibri">30157521 1773348368 0 &nbsp; -- /gpfs/nhmfsa/bulk/share/workspace/iac-workspace/light_microscopy/zeiss_axioimager_m2/2021/Matt Loader 2021/ML210215_OT-113_TL_s0c0x0-8849y0-8889.tif</font><br><font size="2" face="Calibri">30157522 2126423502 0 &nbsp; -- /gpfs/nhmfsa/bulk/share/workspace/iac-workspace/light_microscopy/zeiss_axioimager_m2/2021/Matt Loader 2021/ML210215_OT-29_RL.czi</font><br><font size="2" face="Calibri">30157523 1701851598 0 &nbsp; -- /gpfs/nhmfsa/bulk/share/workspace/iac-workspace/light_microscopy/zeiss_axioimager_m2/2021/Matt Loader 2021/ML210215_OT-29_RL_s0c0x0-6359y0-6656.tif</font><br><font size="2" face="Calibri">30157524 1844809347 0 &nbsp; -- /gpfs/nhmfsa/bulk/share/workspace/iac-workspace/light_microscopy/zeiss_axioimager_m2/2021/Matt Loader 2021/ML210215_OT-29_TL.czi</font><br><font size="2" face="Calibri">30157525 912638442 0 &nbsp; -- /gpfs/nhmfsa/bulk/share/workspace/iac-workspace/light_microscopy/zeiss_axioimager_m2/2021/Matt Loader 2021/ML210215_OT-29_TL_s0c0x0-6359y0-6656.tif</font><br><font size="2" face="Calibri">30157526 1280698844 0 &nbsp; -- /gpfs/nhmfsa/bulk/share/workspace/iac-workspace/light_microscopy/zeiss_axioimager_m2/2021/Matt Loader 2021/ML210215_OT-29_TL_s0c0x0-6359y0-7609.tif</font><br><font size="2" face="Calibri">&nbsp;</font><br><font size="2" face="Calibri">&nbsp;</font><br><font size="2" face="Calibri">Whats going on?</font><br><font size="2" face="Calibri">&nbsp;</font><br><font size="2" face="Calibri">What I have done in the past is take the output from my ismigrated policy.</font><br><font size="2" face="Calibri">Put recall commands before each path.</font><br><font size="2" face="Calibri">Divide the file into 4 parts, and run each part of one of our 4 protocol nodes.<br>Manually doing what mmapplypolicy should do!</font><br><font size="2" face="Calibri">&nbsp;</font><br><font size="2" face="Calibri"><b>From:</b></font><font size="2" face="Calibri">&nbsp;gpfsug-discuss &lt;gpfsug-discuss-bounces@gpfsug.org&gt; </font><font size="2" face="Calibri"><b>On Behalf Of </b></font><font size="2" face="Calibri">Amey P Gokhale</font><font size="2" face="Calibri"><b><br>Sent:</b></font><font size="2" face="Calibri">&nbsp;20 July 2022 07:55</font><font size="2" face="Calibri"><b><br>To:</b></font><font size="2" face="Calibri">&nbsp;scale@us.ibm.com; gpfsug main discussion list &lt;gpfsug-discuss@gpfsug.org&gt;</font><font size="2" face="Calibri"><b><br>Cc:</b></font><font size="2" face="Calibri">&nbsp;gpfsug-discuss &lt;gpfsug-discuss-bounces@gpfsug.org&gt;</font><font size="2" face="Calibri"><b><br>Subject:</b></font><font size="2" face="Calibri">&nbsp;Re: [gpfsug-discuss] mass recall from on-prem COS using a policy</font><br><font size="3" face="Times New Roman">&nbsp;</font><br><font size="2" face="Calibri">Paul  Recall policy looks to be correct. I see that it is in line with /opt/ibm/MCStore/samples/recallFromCloud.template. </font><ol type="1" style="padding-left: 36pt; margin-left: 0px"><li><font size="2" face="Calibri">At the end of policy run, what does the stats indicate, such as X Files migrated, Y skipped/error etc? &nbsp;I assume the path you have specified, has the files in non-resident state, which you are trying to recall using the policy. Correct? Reason I ask this is because you mentioned around 650G data to be recalled, but policy seems to have chosen ~2.5G data across 4812 files. So if this path is actively used by users, it is likely that the files may have been transparently recalled on access, and are in co-resident state already. Hence no data movement visible. &nbsp;</font><li><font size="2" face="Calibri">In /var/MCStore/ras/logs/mcstore.log, do you see any recall specific errors, when you run the policy?</font><li><font size="2" face="Calibri">On our test setup, we are planning to run similar policy once, to see if error is reproducible. I will share what we find.</font></ol><font size="2" face="Verdana">&nbsp;</font><br><font size="3" color="#7C7C5F" face="Arial"><b>AMEY GOKHALE</b></font><br><font size="2" face="Arial"><b>Senior Software Engineer  Spectrum Scale</b></font><br><font size="1" color="#336699" face="Arial"><b>Phone: </b></font><font size="1" face="Arial">91-988 100 8675</font><br><font size="1" color="#336699" face="Arial"><b>E-mail: </b></font><a href="mailto:amey.gokhale@in.ibm.com" target="_blank"><font size="1" color="#555555" face="Arial"><u>amey.gokhale@in.ibm.com</u></font></a><br><font size="2" face="Calibri">&nbsp;</font><br><font size="2" face="Calibri"><b>From:</b></font><font size="2" face="Calibri">&nbsp;Huzefa H Pancha &lt;</font><a href="mailto:hupancha@in.ibm.com"><font size="2" color="#0000FF" face="Calibri"><u>hupancha@in.ibm.com</u></font></a><font size="2" face="Calibri">&gt; </font><font size="2" face="Calibri"><b>On Behalf Of </b></font><a href="mailto:scale@us.ibm.com"><font size="2" color="#0000FF" face="Calibri"><u>scale@us.ibm.com</u></font></a><font size="2" face="Calibri"><b><br>Sent:</b></font><font size="2" face="Calibri">&nbsp;19 July 2022 23:42</font><font size="2" face="Calibri"><b><br>To:</b></font><font size="2" face="Calibri">&nbsp;gpfsug main discussion list &lt;</font><a href="mailto:gpfsug-discuss@gpfsug.org"><font size="2" color="#0000FF" face="Calibri"><u>gpfsug-discuss@gpfsug.org</u></font></a><font size="2" face="Calibri">&gt;; Amey P Gokhale &lt;</font><a href="mailto:amey.gokhale@in.ibm.com"><font size="2" color="#0000FF" face="Calibri"><u>amey.gokhale@in.ibm.com</u></font></a><font size="2" face="Calibri">&gt;</font><font size="2" face="Calibri"><b><br>Cc:</b></font><font size="2" face="Calibri">&nbsp;gpfsug-discuss &lt;</font><a href="mailto:gpfsug-discuss-bounces@gpfsug.org"><font size="2" color="#0000FF" face="Calibri"><u>gpfsug-discuss-bounces@gpfsug.org</u></font></a><font size="2" face="Calibri">&gt;</font><font size="2" face="Calibri"><b><br>Subject:</b></font><font size="2" face="Calibri">&nbsp;Re: [EXTERNAL] Re: [gpfsug-discuss] mass recall from on-prem COS using a policy</font><br><font size="3" face="Times New Roman">&nbsp;</font><p><font size="2" face="Arial">Hi Amey,</font><font size="3" face="serif"><br></font><font size="2" face="Arial"><br>Can you provide them guidance from TCT angle.</font><font size="3" face="serif"><br></font><font size="2" face="Arial"><br>Regards, The Spectrum Scale (GPFS) team<br><br>------------------------------------------------------------------------------------------------------------------<br>If you feel that your question can benefit other users of &nbsp;Spectrum Scale (GPFS), then please post it to the public IBM developerWroks Forum at </font><a href="https://eur03.safelinks.protection.outlook.com/?url=https%3A%2F%2Fwww.ibm.com%2Fdeveloperworks%2Fcommunity%2Fforums%2Fhtml%2Fforum%3Fid%3D11111111-0000-0000-0000-000000000479&data=05%7C01%7Cp.ward%40nhm.ac.uk%7Ca62196787b154603fba908da6a1d564b%7C73a29c014e78437fa0d4c8553e1960c1%7C1%7C0%7C637938971501969639%7CUnknown%7CTWFpbGZsb3d8eyJWIjoiMC4wLjAwMDAiLCJQIjoiV2luMzIiLCJBTiI6Ik1haWwiLCJXVCI6Mn0%3D%7C2000%7C%7C%7C&sdata=NHOeiZDnIn96yNcqo%2FWXp5fT5Bt%2BLfMMfHWvTd1bSSM%3D&reserved=0"><font size="2" color="#0000FF" face="Arial"><u>https://www.ibm.com/developerworks/community/forums/html/forum?id=11111111-0000-0000-0000-000000000479</u></font></a><font size="2" face="Arial">. <br><br>If your query concerns a potential software error in Spectrum Scale (GPFS) and you have an IBM software maintenance contract please contact &nbsp;1-800-237-5511 in the United States or your local IBM Service Center in other countries. <br><br>The forum is informally monitored as time permits and should not be used for priority messages to the Spectrum Scale (GPFS) team.</font><font size="3" face="serif"><br><br></font><img src="cid:1__=0ABB0215DFFA788F8f9e8a93df938690@ibm.com" width="16" height="16" alt="Inactive hide details for &quot;Paul Ward&quot; ---19-07-2022 09.34.33 PM---Thank you. Ill-placed on ESS or COS?"><font size="2" color="#424282" face="Arial">&quot;Paul Ward&quot; ---19-07-2022 09.34.33 PM---Thank you. Ill-placed on ESS or COS?</font><font size="3" face="serif"><br></font><font size="1" color="#5F5F5F" face="Arial"><br>From: </font><font size="1" face="Arial">&quot;Paul Ward&quot; &lt;</font><a href="mailto:p.ward@nhm.ac.uk"><font size="1" color="#0000FF" face="Arial"><u>p.ward@nhm.ac.uk</u></font></a><font size="1" face="Arial">&gt;</font><font size="1" color="#5F5F5F" face="Arial"><br>To: </font><font size="1" face="Arial">&quot;gpfsug main discussion list&quot; &lt;</font><a href="mailto:gpfsug-discuss@gpfsug.org"><font size="1" color="#0000FF" face="Arial"><u>gpfsug-discuss@gpfsug.org</u></font></a><font size="1" face="Arial">&gt;</font><font size="1" color="#5F5F5F" face="Arial"><br>Date: </font><font size="1" face="Arial">19-07-2022 09.34 PM</font><font size="1" color="#5F5F5F" face="Arial"><br>Subject: </font><font size="1" face="Arial">[EXTERNAL] Re: [gpfsug-discuss] mass recall from on-prem COS using a policy</font><font size="1" color="#5F5F5F" face="Arial"><br>Sent by: </font><font size="1" face="Arial">&quot;gpfsug-discuss&quot; &lt;</font><a href="mailto:gpfsug-discuss-bounces@gpfsug.org"><font size="1" color="#0000FF" face="Arial"><u>gpfsug-discuss-bounces@gpfsug.org</u></font></a><font size="1" face="Arial">&gt;</font><br><hr width="100%" size="2" align="left" noshade><br><font size="3" face="Times New Roman"><br><br></font><font size="1" color="#FFFFFF" face="Times New Roman"><br>Thank you. Ill-placed on ESS or COS? I understood restriping was for NSDs, so that would be on our ESS not COS? The direction I want to move the files is from COS to ESS. We do not have AFM enabled, we are using TCT. <br>ZjQcmQRYFpfptBannerStart</font><font size="2" face="Arial"><b><br>This Message Is From an External Sender </b></font><font size="1" face="Arial"><br>This message came from outside your organization. </font><font size="3" face="Times New Roman"><br> </font><font size="1" color="#FFFFFF" face="Times New Roman"><br>ZjQcmQRYFpfptBannerEnd</font><font size="2" face="Calibri"><br>Thank you.<br> <br>Ill-placed on ESS or COS?<br><br>I understood restriping was for NSDs, so that would be on our ESS not COS?<br>The direction I want to move the files is from COS to ESS.<br> <br>We do not have AFM enabled, we are using TCT.<br> </font><font size="2" face="Calibri"><b><br>From:</b></font><font size="2" face="Calibri">&nbsp;gpfsug-discuss &lt;</font><a href="mailto:gpfsug-discuss-bounces@gpfsug.org"><font size="2" color="#0000FF" face="Calibri"><u>gpfsug-discuss-bounces@gpfsug.org</u></font></a><font size="2" face="Calibri">&gt; </font><font size="2" face="Calibri"><b>On Behalf Of </b></font><font size="2" face="Calibri">IBM Spectrum Scale</font><font size="2" face="Calibri"><b><br>Sent:</b></font><font size="2" face="Calibri">&nbsp;18 July 2022 20:35</font><font size="2" face="Calibri"><b><br>To:</b></font><font size="2" face="Calibri">&nbsp;gpfsug main discussion list &lt;</font><a href="mailto:gpfsug-discuss@gpfsug.org"><font size="2" color="#0000FF" face="Calibri"><u>gpfsug-discuss@gpfsug.org</u></font></a><font size="2" face="Calibri">&gt;; Venkateswara R Puvvada &lt;</font><a href="mailto:vpuvvada@in.ibm.com"><font size="2" color="#0000FF" face="Calibri"><u>vpuvvada@in.ibm.com</u></font></a><font size="2" face="Calibri">&gt;</font><font size="2" face="Calibri"><b><br>Subject:</b></font><font size="2" face="Calibri">&nbsp;Re: [gpfsug-discuss] mass recall from on-prem COS using a policy</font><font size="3" face="Times New Roman"><br> &nbsp;</font><p><font size="2" face="Arial">&nbsp;&quot;KB_Ill&quot; shows how much data are ill placed or ill replicated. &nbsp;They can be resolved by mmrestripefs or mmrestripefile.</font><font size="2" color="#2F2F2F" face="Arial"><br>Copying to AFM team regarding recall in AFM-COS environment</font><font size="3" color="#2F2F2F" face="Courier New">.</font><font size="2" face="Arial"><br><br>Regards, The Spectrum Scale (GPFS) team<br><br>------------------------------------------------------------------------------------------------------------------<br>If your query concerns a potential software error in Spectrum Scale (GPFS) and you have an IBM software maintenance contract please contact &nbsp;1-800-237-5511 in the United States or your local IBM Service Center in other countries. </font><font size="3" face="serif"><br><br></font><img src="cid:1__=0ABB0215DFFA788F8f9e8a93df938690@ibm.com" width="16" height="16" alt="Inactive hide details for &quot;Paul Ward&quot; ---07/12/2022 11:40:52 AM---Hi all, I need to recall from on-prem COS a folder with subfo"><font size="2" color="#424282" face="Arial">&quot;Paul Ward&quot; ---07/12/2022 11:40:52 AM---Hi all, I need to recall from on-prem COS a folder with subfolders and files, approximately 4600 fil</font><font size="1" color="#5F5F5F" face="Arial"><br><br>From: </font><font size="1" face="Arial">&quot;Paul Ward&quot; &lt;</font><a href="mailto:p.ward@nhm.ac.uk"><font size="1" color="#0000FF" face="Arial"><u>p.ward@nhm.ac.uk</u></font></a><font size="1" face="Arial">&gt;</font><font size="1" color="#5F5F5F" face="Arial"><br>To: </font><font size="1" face="Arial">&quot;</font><a href="mailto:gpfsug-discuss@gpfsug.org"><font size="1" color="#0000FF" face="Arial"><u>gpfsug-discuss@gpfsug.org</u></font></a><font size="1" face="Arial">&quot; &lt;</font><a href="mailto:gpfsug-discuss@gpfsug.org"><font size="1" color="#0000FF" face="Arial"><u>gpfsug-discuss@gpfsug.org</u></font></a><font size="1" face="Arial">&gt;</font><font size="1" color="#5F5F5F" face="Arial"><br>Date: </font><font size="1" face="Arial">07/12/2022 11:40 AM</font><font size="1" color="#5F5F5F" face="Arial"><br>Subject: </font><font size="1" face="Arial">[EXTERNAL] [gpfsug-discuss] mass recall from on-prem COS using a policy</font><font size="1" color="#5F5F5F" face="Arial"><br>Sent by: </font><font size="1" face="Arial">&quot;gpfsug-discuss&quot; &lt;</font><a href="mailto:gpfsug-discuss-bounces@gpfsug.org"><font size="1" color="#0000FF" face="Arial"><u>gpfsug-discuss-bounces@gpfsug.org</u></font></a><font size="1" face="Arial">&gt;</font><br><hr width="100%" size="2" align="left" noshade><br><font size="3" face="Times New Roman"><br><br></font><font size="1" color="#FFFFFF" face="Times New Roman"><br><br>Hi all, I need to recall from on-prem COS a folder with subfolders and files, approximately 4600 files making up 656G. We have a policy that runs every 30 mins, and I added this line to it: <br>ZjQcmQRYFpfptBannerStart</font><font size="2" face="Arial"><b><br>This Message Is From an External Sender </b></font><font size="1" face="Arial"><br>This message came from outside your organization. </font><font size="1" color="#FFFFFF" face="Times New Roman"><br><br>ZjQcmQRYFpfptBannerEnd</font><font size="2" face="Arial"><br>Hi all,<br><br>I need to recall from on-prem COS a folder with subfolders and files, approximately 4600 files making up 656G.<br>We have a policy that runs every 30 mins, and I added this line to it:<br><br>RULE 'migrate_iac-workspace_Chem-labs' MIGRATE FROM POOl 'migrate' TO POOL 'data' WHERE PATH_NAME LIKE '/gpfs/nhmfsa/bulk/share/workspace/iac-workspace/Chem_Labs/%'<br><br>Migrate is an external pool<br>RULE EXTERNAL POOL 'migrate' EXEC '/usr/lpp/mmfs/bin/mmcloudgateway files' OPTS '-F' ESCAPE '% -'<br><br>And data is the default placement pool<br>RULE 'Placement' SET POOL 'data'<br><br>When it runs it identifies matching files:<br>Rule# &nbsp; &nbsp; Hit_Cnt &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; KB_Hit &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; Chosen &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;KB_Chosen &nbsp; &nbsp; &nbsp; &nbsp; KB_Ill &nbsp; &nbsp;Rule<br>13 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;4846 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 2491152 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;4846 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 2491152 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;7056 &nbsp; &nbsp; &nbsp;RULE &nbsp; &nbsp; &nbsp;'migrate_iac-workspace_Chem-labs' &nbsp; &nbsp; &nbsp; MIGRATE &nbsp;FROM &nbsp; &nbsp; &nbsp;POOL &nbsp;'migrate' &nbsp;TO &nbsp;POOL &nbsp;'data' &nbsp; &nbsp; WHERE(.)<br><br>I cant find what KB_ Ill means but nothing is migrating.<br><br>Migrations in other policies work, but this is a recall policy.<br>From this document </font><a href="https://eur03.safelinks.protection.outlook.com/?url=https%3A%2F%2Fwww.ibm.com%2Fdocs%2Fen%2Fspectrum-scale%2F5.1.3%3Ftopic%3Dpools-migrate-recall-external&data=05%7C01%7Cp.ward%40nhm.ac.uk%7Ca62196787b154603fba908da6a1d564b%7C73a29c014e78437fa0d4c8553e1960c1%7C1%7C0%7C637938971501969639%7CUnknown%7CTWFpbGZsb3d8eyJWIjoiMC4wLjAwMDAiLCJQIjoiV2luMzIiLCJBTiI6Ik1haWwiLCJXVCI6Mn0%3D%7C2000%7C%7C%7C&sdata=lekQJv2rgi%2B8CKoheGryeF0HaSmZIxKaTEBofyAMypY%3D&reserved=0"><font size="2" color="#0563C1" face="Arial"><u>https://www.ibm.com/docs/en/spectrum-scale/5.1.3?topic=pools-migrate-recall-external</u></font></a><font size="2" face="Arial"><br>It suggests it should be invoked as a recall.<br><br>Any ideas?<br><br>Kindest regards,<br>Paul<br><br>Paul Ward<br>TS Infrastructure Architect<br>Natural History Museum<br>T: 02079426450<br>E: </font><a href="mailto:p.ward@nhm.ac.uk"><font size="2" color="#0563C1" face="Arial"><u>p.ward@nhm.ac.uk</u></font></a><font size="3" face="Times New Roman"><br></font><img src="cid:2__=0ABB0215DFFA788F8f9e8a93df938690@ibm.com" width="197" height="107" alt="A picture containing drawing

Description automatically generated"><font size="2" face="Courier New"><br>_______________________________________________<br>gpfsug-discuss mailing list<br>gpfsug-discuss at gpfsug.org</font><font size="3" color="#0000FF" face="Times New Roman"><u><br></u></font><a href="https://eur03.safelinks.protection.outlook.com/?url=http%3A%2F%2Fgpfsug.org%2Fmailman%2Flistinfo%2Fgpfsug-discuss_gpfsug.org&data=05%7C01%7Cp.ward%40nhm.ac.uk%7Ca62196787b154603fba908da6a1d564b%7C73a29c014e78437fa0d4c8553e1960c1%7C1%7C0%7C637938971501969639%7CUnknown%7CTWFpbGZsb3d8eyJWIjoiMC4wLjAwMDAiLCJQIjoiV2luMzIiLCJBTiI6Ik1haWwiLCJXVCI6Mn0%3D%7C2000%7C%7C%7C&sdata=kYuZCRoUCPgMVc5zNJiLI%2BDAO3wh8UGx6O3%2F9iBDkeM%3D&reserved=0"><font size="2" color="#0000FF" face="Courier New"><u>http://gpfsug.org/mailman/listinfo/gpfsug-discuss_gpfsug.org</u></font></a><font size="2" face="Courier New">&nbsp;</font><font size="3" face="Times New Roman"><br><br></font><font size="2" face="Courier New"><br>_______________________________________________<br>gpfsug-discuss mailing list<br>gpfsug-discuss at gpfsug.org</font><font size="2" color="#0000FF" face="Courier New"><u><br></u></font><a href="https://eur03.safelinks.protection.outlook.com/?url=http%3A%2F%2Fgpfsug.org%2Fmailman%2Flistinfo%2Fgpfsug-discuss_gpfsug.org&data=05%7C01%7Cp.ward%40nhm.ac.uk%7Ca62196787b154603fba908da6a1d564b%7C73a29c014e78437fa0d4c8553e1960c1%7C1%7C0%7C637938971501969639%7CUnknown%7CTWFpbGZsb3d8eyJWIjoiMC4wLjAwMDAiLCJQIjoiV2luMzIiLCJBTiI6Ik1haWwiLCJXVCI6Mn0%3D%7C2000%7C%7C%7C&sdata=kYuZCRoUCPgMVc5zNJiLI%2BDAO3wh8UGx6O3%2F9iBDkeM%3D&reserved=0"><font size="2" color="#0000FF" face="Courier New"><u>http://gpfsug.org/mailman/listinfo/gpfsug-discuss_gpfsug.org</u></font></a><font size="2" face="Courier New">&nbsp;</font><tt><font size="2">_______________________________________________<br>gpfsug-discuss mailing list<br>gpfsug-discuss at gpfsug.org<br></font></tt><tt><font size="2"><a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss_gpfsug.org">http://gpfsug.org/mailman/listinfo/gpfsug-discuss_gpfsug.org</a></font></tt><tt><font size="2">&nbsp;<br></font></tt><br><br><BR>
<BR>
</body></html>