<tt><font size=2>&gt; Hello everybody,<br>
</font></tt>
<br><tt><font size=2>Hi</font></tt>
<br>
<br><tt><font size=2>&gt; here i come here again, this time to ask some
hint about how to monitor GPFS.<br>
&gt; <br>
&gt; I know about mmpmon, but the issue with its &quot;fs_io_s&quot; and
&quot;io_s&quot; is <br>
&gt; that they return number based only on the request done in the <br>
&gt; current host, so i have to run them on all the clients ( over 600
<br>
&gt; nodes) so its quite unpractical.&nbsp; Instead i would like to know
from <br>
&gt; the servers whats going on, and i came across the vio_s statistics
<br>
&gt; wich are less documented and i dont know exacly what they mean. <br>
&gt; There is also this script &quot;/usr/lpp/mmfs/samples/vdisk/viostat&quot;
that<br>
&gt; runs VIO_S.<br>
&gt; <br>
&gt; My problems with the output of this command:</font></tt>
<br><tt><font size=2>&gt; &nbsp;echo &quot;vio_s&quot; | /usr/lpp/mmfs/bin/mmpmon
-r 1<br>
&gt; <br>
&gt; mmpmon&gt; mmpmon node 10.7.28.2 name gss01a vio_s OK VIOPS per second<br>
&gt; timestamp:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
1409763206/477366<br>
&gt; recovery group:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
*<br>
&gt; declustered array:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
*<br>
&gt; vdisk:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
*<br>
&gt; client reads:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
2584229<br>
&gt; client short writes:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
55299693<br>
&gt; client medium writes:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
190071<br>
&gt; client promoted full track writes:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 465145<br>
&gt; client full track writes:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
9249<br>
&gt; flushed update writes:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
4187708<br>
&gt; flushed promoted full track writes:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
123<br>
&gt; migrate operations:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
114<br>
&gt; scrub operations:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
450590<br>
&gt; log writes:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
28509602</font></tt>
<br><tt><font size=2>&gt; <br>
&gt; it sais &quot;VIOPS per second&quot;, but they seem to me just counters
as <br>
&gt; every time i re-run the command, the numbers increase by a bit..&nbsp;
<br>
&gt; Can anyone confirm if those numbers are counter or if they are OPS/sec.<br>
</font></tt>
<br><tt><font size=2>the numbers are accumulative so everytime you run
them they just show the value since start (or last reset) time.</font></tt>
<br>
<br><tt><font size=2>&gt; <br>
&gt; On a closer eye about i dont understand what most of thosevalues <br>
&gt; mean. For example, what exacly are &quot;flushed promoted full track
write&quot; ?? <br>
&gt; I tried to find a documentation about this output , but could not
<br>
&gt; find any. can anyone point me a link where output of vio_s is explained?<br>
&gt; <br>
&gt; Another thing i dont understand about those numbers is if they are
<br>
&gt; just operations, or the number of blocks that was read/write/etc .
<br>
</font></tt>
<br><tt><font size=2>its just operations and if i would explain what the
numbers mean i might confuse you even more because this is not what you
are really looking for. </font></tt>
<br><tt><font size=2>what you are looking for is what the client io's look
like on the Server side, while the VIO layer is the Server side to the
disks, so one lever lower than what you are looking for from what i could
read out of the description above. &nbsp;</font></tt>
<br>
<br><tt><font size=2>so the Layer you care about is the NSD Server layer,
which sits on top of the VIO layer (which is essentially the SW RAID Layer
in GNR) </font></tt>
<br>
<br><tt><font size=2>&gt; I'm asking that because if they are just ops,
i don't know how much <br>
&gt; they could be usefull. For example one write operation could eman
<br>
&gt; write 1 block or write a file of 100GB. If those are oprations, <br>
&gt; there is a way to have the oupunt in bytes or blocks?</font></tt>
<br>
<br><tt><font size=2>there are multiple ways to get infos on the NSD layer,
one would be to use the dstat plugin (see /usr/lpp/mmfs/sample/util) but
thats counts again. </font></tt>
<br>
<br><tt><font size=2>the alternative option is to use mmdiag --iohist.
this shows you a history of the last X numbers of io operations on either
the client or the server side like on a client : </font></tt>
<br>
<br><tt><font size=2># mmdiag --iohist</font></tt>
<br>
<br><tt><font size=2>=== mmdiag: iohist ===</font></tt>
<br>
<br><tt><font size=2>I/O history:</font></tt>
<br>
<br><tt><font size=2>&nbsp;I/O start time RW &nbsp; &nbsp;Buf type disk:sectorNum
&nbsp; &nbsp; nSec &nbsp;time ms qTime ms &nbsp; &nbsp; &nbsp; RpcTimes
ms &nbsp;Type &nbsp;Device/NSD ID &nbsp; &nbsp; &nbsp; &nbsp; NSD server</font></tt>
<br><tt><font size=2>--------------- -- ----------- ----------------- -----
&nbsp;------- -------- ----------------- &nbsp;---- ------------------
---------------</font></tt>
<br><tt><font size=2>14:25:22.169617 &nbsp;R &nbsp;LLIndBlock &nbsp; &nbsp;1:1075622848
&nbsp; &nbsp; &nbsp;64 &nbsp; 13.073 &nbsp; &nbsp;0.000 &nbsp; 12.959 &nbsp;
&nbsp;0.063 &nbsp;cli &nbsp; C0A70401:53BEEA7F &nbsp; &nbsp; 192.167.4.1</font></tt>
<br><tt><font size=2>14:25:22.182723 &nbsp;R &nbsp; &nbsp; &nbsp; inode
&nbsp; &nbsp;1:1071252480 &nbsp; &nbsp; &nbsp; 8 &nbsp; &nbsp;6.970 &nbsp;
&nbsp;0.000 &nbsp; &nbsp;6.908 &nbsp; &nbsp;0.038 &nbsp;cli &nbsp; C0A70401:53BEEA7F
&nbsp; &nbsp; 192.167.4.1</font></tt>
<br><tt><font size=2>14:25:53.659918 &nbsp;R &nbsp;LLIndBlock &nbsp; &nbsp;1:1081202176
&nbsp; &nbsp; &nbsp;64 &nbsp; &nbsp;8.309 &nbsp; &nbsp;0.000 &nbsp; &nbsp;8.210
&nbsp; &nbsp;0.046 &nbsp;cli &nbsp; C0A70401:53BEEA7F &nbsp; &nbsp; 192.167.4.1</font></tt>
<br><tt><font size=2>14:25:53.668262 &nbsp;R &nbsp; &nbsp; &nbsp; inode
&nbsp; &nbsp;2:1081373696 &nbsp; &nbsp; &nbsp; 8 &nbsp; 14.117 &nbsp; &nbsp;0.000
&nbsp; 14.032 &nbsp; &nbsp;0.058 &nbsp;cli &nbsp; C0A70402:53BEEA5E &nbsp;
&nbsp; 192.167.4.2</font></tt>
<br><tt><font size=2>14:25:53.682750 &nbsp;R &nbsp;LLIndBlock &nbsp; &nbsp;1:1065508736
&nbsp; &nbsp; &nbsp;64 &nbsp; &nbsp;9.254 &nbsp; &nbsp;0.000 &nbsp; &nbsp;9.180
&nbsp; &nbsp;0.038 &nbsp;cli &nbsp; C0A70401:53BEEA7F &nbsp; &nbsp; 192.167.4.1</font></tt>
<br><tt><font size=2>14:25:53.692019 &nbsp;R &nbsp; &nbsp; &nbsp; inode
&nbsp; &nbsp;2:1064356608 &nbsp; &nbsp; &nbsp; 8 &nbsp; 14.899 &nbsp; &nbsp;0.000
&nbsp; 14.847 &nbsp; &nbsp;0.029 &nbsp;cli &nbsp; C0A70402:53BEEA5E &nbsp;
&nbsp; 192.167.4.2</font></tt>
<br><tt><font size=2>14:25:53.707100 &nbsp;R &nbsp; &nbsp; &nbsp; inode
&nbsp; &nbsp;2:1077830152 &nbsp; &nbsp; &nbsp; 8 &nbsp; 16.499 &nbsp; &nbsp;0.000
&nbsp; 16.449 &nbsp; &nbsp;0.025 &nbsp;cli &nbsp; C0A70402:53BEEA5E &nbsp;
&nbsp; 192.167.4.2</font></tt>
<br><tt><font size=2>14:25:53.723788 &nbsp;R &nbsp;LLIndBlock &nbsp; &nbsp;1:1081202432
&nbsp; &nbsp; &nbsp;64 &nbsp; &nbsp;4.280 &nbsp; &nbsp;0.000 &nbsp; &nbsp;4.203
&nbsp; &nbsp;0.040 &nbsp;cli &nbsp; C0A70401:53BEEA7F &nbsp; &nbsp; 192.167.4.1</font></tt>
<br><tt><font size=2>14:25:53.728082 &nbsp;R &nbsp; &nbsp; &nbsp; inode
&nbsp; &nbsp;2:1081918976 &nbsp; &nbsp; &nbsp; 8 &nbsp; &nbsp;7.760 &nbsp;
&nbsp;0.000 &nbsp; &nbsp;7.710 &nbsp; &nbsp;0.027 &nbsp;cli &nbsp; C0A70402:53BEEA5E
&nbsp; &nbsp; 192.167.4.2</font></tt>
<br><tt><font size=2>14:25:57.877416 &nbsp;R &nbsp; &nbsp;metadata &nbsp;
&nbsp;2:678978560 &nbsp; &nbsp; &nbsp; 16 &nbsp; 13.343 &nbsp; &nbsp;0.000
&nbsp; 13.254 &nbsp; &nbsp;0.053 &nbsp;cli &nbsp; C0A70402:53BEEA5E &nbsp;
&nbsp; 192.167.4.2</font></tt>
<br><tt><font size=2>14:25:57.891048 &nbsp;R &nbsp;LLIndBlock &nbsp; &nbsp;1:1065508608
&nbsp; &nbsp; &nbsp;64 &nbsp; 15.491 &nbsp; &nbsp;0.000 &nbsp; 15.401 &nbsp;
&nbsp;0.058 &nbsp;cli &nbsp; C0A70401:53BEEA7F &nbsp; &nbsp; 192.167.4.1</font></tt>
<br><tt><font size=2>14:25:57.906556 &nbsp;R &nbsp; &nbsp; &nbsp; inode
&nbsp; &nbsp;2:1083476520 &nbsp; &nbsp; &nbsp; 8 &nbsp; 11.723 &nbsp; &nbsp;0.000
&nbsp; 11.676 &nbsp; &nbsp;0.029 &nbsp;cli &nbsp; C0A70402:53BEEA5E &nbsp;
&nbsp; 192.167.4.2</font></tt>
<br><tt><font size=2>14:25:57.918516 &nbsp;R &nbsp;LLIndBlock &nbsp; &nbsp;1:1075622720
&nbsp; &nbsp; &nbsp;64 &nbsp; &nbsp;8.062 &nbsp; &nbsp;0.000 &nbsp; &nbsp;8.001
&nbsp; &nbsp;0.032 &nbsp;cli &nbsp; C0A70401:53BEEA7F &nbsp; &nbsp; 192.167.4.1</font></tt>
<br><tt><font size=2>14:25:57.926592 &nbsp;R &nbsp; &nbsp; &nbsp; inode
&nbsp; &nbsp;1:1076503480 &nbsp; &nbsp; &nbsp; 8 &nbsp; &nbsp;8.087 &nbsp;
&nbsp;0.000 &nbsp; &nbsp;8.043 &nbsp; &nbsp;0.026 &nbsp;cli &nbsp; C0A70401:53BEEA7F
&nbsp; &nbsp; 192.167.4.1</font></tt>
<br><tt><font size=2>14:25:57.934856 &nbsp;R &nbsp;LLIndBlock &nbsp; &nbsp;1:1071088512
&nbsp; &nbsp; &nbsp;64 &nbsp; &nbsp;6.572 &nbsp; &nbsp;0.000 &nbsp; &nbsp;6.510
&nbsp; &nbsp;0.033 &nbsp;cli &nbsp; C0A70401:53BEEA7F &nbsp; &nbsp; 192.167.4.1</font></tt>
<br><tt><font size=2>14:25:57.941441 &nbsp;R &nbsp; &nbsp; &nbsp; inode
&nbsp; &nbsp;2:1069885984 &nbsp; &nbsp; &nbsp; 8 &nbsp; 11.686 &nbsp; &nbsp;0.000
&nbsp; 11.641 &nbsp; &nbsp;0.024 &nbsp;cli &nbsp; C0A70402:53BEEA5E &nbsp;
&nbsp; 192.167.4.2</font></tt>
<br><tt><font size=2>14:25:57.953294 &nbsp;R &nbsp; &nbsp; &nbsp; inode
&nbsp; &nbsp;2:1083476936 &nbsp; &nbsp; &nbsp; 8 &nbsp; &nbsp;8.951 &nbsp;
&nbsp;0.000 &nbsp; &nbsp;8.912 &nbsp; &nbsp;0.021 &nbsp;cli &nbsp; C0A70402:53BEEA5E
&nbsp; &nbsp; 192.167.4.2</font></tt>
<br><tt><font size=2>14:25:57.965475 &nbsp;R &nbsp; &nbsp; &nbsp; inode
&nbsp; &nbsp;1:1076503504 &nbsp; &nbsp; &nbsp; 8 &nbsp; &nbsp;0.477 &nbsp;
&nbsp;0.000 &nbsp; &nbsp;0.053 &nbsp; &nbsp;0.000 &nbsp;cli &nbsp; C0A70401:53BEEA7F
&nbsp; &nbsp; 192.167.4.1</font></tt>
<br><tt><font size=2>14:25:57.965755 &nbsp;R &nbsp; &nbsp; &nbsp; inode
&nbsp; &nbsp;2:1083476488 &nbsp; &nbsp; &nbsp; 8 &nbsp; &nbsp;0.410 &nbsp;
&nbsp;0.000 &nbsp; &nbsp;0.061 &nbsp; &nbsp;0.321 &nbsp;cli &nbsp; C0A70402:53BEEA5E
&nbsp; &nbsp; 192.167.4.2</font></tt>
<br><tt><font size=2>14:25:57.965787 &nbsp;R &nbsp; &nbsp; &nbsp; inode
&nbsp; &nbsp;2:1083476512 &nbsp; &nbsp; &nbsp; 8 &nbsp; &nbsp;0.439 &nbsp;
&nbsp;0.000 &nbsp; &nbsp;0.053 &nbsp; &nbsp;0.342 &nbsp;cli &nbsp; C0A70402:53BEEA5E
&nbsp; &nbsp; 192.167.4.2</font></tt>
<br>
<br><tt><font size=2>you basically see if its a inode , data block , what
size it has (in sectors) , which nsd server you did send this request to,
etc. </font></tt>
<br>
<br><tt><font size=2>on the Server side you see the type , which physical
disk it goes to and also what size of disk i/o it causes like : &nbsp;</font></tt>
<br>
<br><tt><font size=2>14:26:50.129995 &nbsp;R &nbsp; &nbsp; &nbsp; inode
&nbsp; 12:3211886376 &nbsp; &nbsp; &nbsp;64 &nbsp; 14.261 &nbsp; &nbsp;0.000
&nbsp; &nbsp;0.000 &nbsp; &nbsp;0.000 &nbsp;pd &nbsp; sdis</font></tt>
<br><tt><font size=2>14:26:50.137102 &nbsp;R &nbsp; &nbsp; &nbsp; inode
&nbsp; 19:3003969520 &nbsp; &nbsp; &nbsp;64 &nbsp; &nbsp;9.004 &nbsp; &nbsp;0.000
&nbsp; &nbsp;0.000 &nbsp; &nbsp;0.000 &nbsp;pd &nbsp; sdad</font></tt>
<br><tt><font size=2>14:26:50.136116 &nbsp;R &nbsp; &nbsp; &nbsp; inode
&nbsp; 55:3591710992 &nbsp; &nbsp; &nbsp;64 &nbsp; 11.057 &nbsp; &nbsp;0.000
&nbsp; &nbsp;0.000 &nbsp; &nbsp;0.000 &nbsp;pd &nbsp; sdoh</font></tt>
<br><tt><font size=2>14:26:50.141510 &nbsp;R &nbsp; &nbsp; &nbsp; inode
&nbsp; 21:3066810504 &nbsp; &nbsp; &nbsp;64 &nbsp; &nbsp;5.909 &nbsp; &nbsp;0.000
&nbsp; &nbsp;0.000 &nbsp; &nbsp;0.000 &nbsp;pd &nbsp; sdaf</font></tt>
<br><tt><font size=2>14:26:50.130529 &nbsp;R &nbsp; &nbsp; &nbsp; inode
&nbsp; 89:2962370072 &nbsp; &nbsp; &nbsp;64 &nbsp; 17.437 &nbsp; &nbsp;0.000
&nbsp; &nbsp;0.000 &nbsp; &nbsp;0.000 &nbsp;pd &nbsp; sddi</font></tt>
<br><tt><font size=2>14:26:50.131063 &nbsp;R &nbsp; &nbsp; &nbsp; inode
&nbsp; 78:1889457000 &nbsp; &nbsp; &nbsp;64 &nbsp; 17.062 &nbsp; &nbsp;0.000
&nbsp; &nbsp;0.000 &nbsp; &nbsp;0.000 &nbsp;pd &nbsp; sdsj</font></tt>
<br><tt><font size=2>14:26:50.143403 &nbsp;R &nbsp; &nbsp; &nbsp; inode
&nbsp; 36:3323035688 &nbsp; &nbsp; &nbsp;64 &nbsp; &nbsp;4.807 &nbsp; &nbsp;0.000
&nbsp; &nbsp;0.000 &nbsp; &nbsp;0.000 &nbsp;pd &nbsp; sdmw</font></tt>
<br><tt><font size=2>14:26:50.131044 &nbsp;R &nbsp; &nbsp; &nbsp; inode
&nbsp; 37:2513579736 &nbsp; &nbsp; 128 &nbsp; 17.181 &nbsp; &nbsp;0.000
&nbsp; &nbsp;0.000 &nbsp; &nbsp;0.000 &nbsp;pd &nbsp; sddv</font></tt>
<br><tt><font size=2>14:26:50.138181 &nbsp;R &nbsp; &nbsp; &nbsp; inode
&nbsp; 72:3868810400 &nbsp; &nbsp; &nbsp;64 &nbsp; 10.951 &nbsp; &nbsp;0.000
&nbsp; &nbsp;0.000 &nbsp; &nbsp;0.000 &nbsp;pd &nbsp; sdbz</font></tt>
<br><tt><font size=2>14:26:50.138188 &nbsp;R &nbsp; &nbsp; &nbsp; inode
&nbsp;131:2443484784 &nbsp; &nbsp; 128 &nbsp; 11.792 &nbsp; &nbsp;0.000
&nbsp; &nbsp;0.000 &nbsp; &nbsp;0.000 &nbsp;pd &nbsp; sdug</font></tt>
<br><tt><font size=2>14:26:50.138003 &nbsp;R &nbsp; &nbsp; &nbsp; inode
&nbsp;102:3696843872 &nbsp; &nbsp; &nbsp;64 &nbsp; 11.994 &nbsp; &nbsp;0.000
&nbsp; &nbsp;0.000 &nbsp; &nbsp;0.000 &nbsp;pd &nbsp; sdgp</font></tt>
<br><tt><font size=2>14:26:50.137099 &nbsp;R &nbsp; &nbsp; &nbsp; inode
&nbsp;145:3370922504 &nbsp; &nbsp; &nbsp;64 &nbsp; 13.225 &nbsp; &nbsp;0.000
&nbsp; &nbsp;0.000 &nbsp; &nbsp;0.000 &nbsp;pd &nbsp; sdmi</font></tt>
<br><tt><font size=2>14:26:50.141576 &nbsp;R &nbsp; &nbsp; &nbsp; inode
&nbsp; 62:2668579904 &nbsp; &nbsp; &nbsp;64 &nbsp; &nbsp;9.313 &nbsp; &nbsp;0.000
&nbsp; &nbsp;0.000 &nbsp; &nbsp;0.000 &nbsp;pd &nbsp; sdou</font></tt>
<br><tt><font size=2>14:26:50.134689 &nbsp;R &nbsp; &nbsp; &nbsp; inode
&nbsp;159:2786164648 &nbsp; &nbsp; &nbsp;64 &nbsp; 16.577 &nbsp; &nbsp;0.000
&nbsp; &nbsp;0.000 &nbsp; &nbsp;0.000 &nbsp;pd &nbsp; sdpq</font></tt>
<br><tt><font size=2>14:26:50.145034 &nbsp;R &nbsp; &nbsp; &nbsp; inode
&nbsp; 34:2097217320 &nbsp; &nbsp; &nbsp;64 &nbsp; &nbsp;7.409 &nbsp; &nbsp;0.000
&nbsp; &nbsp;0.000 &nbsp; &nbsp;0.000 &nbsp;pd &nbsp; sdmt</font></tt>
<br><tt><font size=2>14:26:50.138140 &nbsp;R &nbsp; &nbsp; &nbsp; inode
&nbsp;139:2831038792 &nbsp; &nbsp; &nbsp;64 &nbsp; 14.898 &nbsp; &nbsp;0.000
&nbsp; &nbsp;0.000 &nbsp; &nbsp;0.000 &nbsp;pd &nbsp; sdlw</font></tt>
<br><tt><font size=2>14:26:50.130954 &nbsp;R &nbsp; &nbsp; &nbsp; inode
&nbsp;164:282120312 &nbsp; &nbsp; &nbsp; 64 &nbsp; 22.274 &nbsp; &nbsp;0.000
&nbsp; &nbsp;0.000 &nbsp; &nbsp;0.000 &nbsp;pd &nbsp; sdzd</font></tt>
<br><tt><font size=2>14:26:50.137038 &nbsp;R &nbsp; &nbsp; &nbsp; inode
&nbsp; 41:3421909608 &nbsp; &nbsp; &nbsp;64 &nbsp; 16.314 &nbsp; &nbsp;0.000
&nbsp; &nbsp;0.000 &nbsp; &nbsp;0.000 &nbsp;pd &nbsp; sdef</font></tt>
<br><tt><font size=2>14:26:50.137606 &nbsp;R &nbsp; &nbsp; &nbsp; inode
&nbsp;104:1870962416 &nbsp; &nbsp; &nbsp;64 &nbsp; 16.644 &nbsp; &nbsp;0.000
&nbsp; &nbsp;0.000 &nbsp; &nbsp;0.000 &nbsp;pd &nbsp; sdgx</font></tt>
<br><tt><font size=2>14:26:50.141306 &nbsp;R &nbsp; &nbsp; &nbsp; inode
&nbsp; 65:2276184264 &nbsp; &nbsp; &nbsp;64 &nbsp; 16.593 &nbsp; &nbsp;0.000
&nbsp; &nbsp;0.000 &nbsp; &nbsp;0.000 &nbsp;pd &nbsp; sdrk</font></tt>
<br>
<br>
<br><tt><font size=2>&gt; <br>
&gt; Last but not least.. and this is what i really would like to <br>
&gt; accomplish, i would to be able to monitor the latency of metadata
operations. <br>
</font></tt>
<br><tt><font size=2>you can't do this on the server side as you don't
know how much time you spend on the client , network or anything between
the app and the physical disk, so you can only reliably look at this from
the client, the iohist output only shows you the Server disk i/o processing
time, but that can be a fraction of the overall time (in other cases this
obviously can also be the dominant part depending on your workload).</font></tt>
<br>
<br><tt><font size=2>the easiest way on the client is to run </font></tt>
<br>
<br><tt><font size=2>mmfsadm vfsstats enable</font></tt>
<br><tt><font size=2>from now on vfs stats are collected until you restart
GPFS. </font></tt>
<br>
<br><tt><font size=2>then run :</font></tt>
<br>
<br><tt><font size=2>vfs statistics currently enabled</font></tt>
<br><tt><font size=2>started at: Fri Aug 29 13:15:05.380 2014</font></tt>
<br><tt><font size=2>&nbsp; duration: 448446.970 sec</font></tt>
<br>
<br><tt><font size=2>&nbsp;name &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp;calls &nbsp;time per call &nbsp; &nbsp; total
time</font></tt>
<br><tt><font size=2>&nbsp;-------------------- -------- --------------
--------------</font></tt>
<br><tt><font size=2>&nbsp;statfs &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;9 &nbsp; &nbsp; &nbsp; 0.000002 &nbsp;
&nbsp; &nbsp; 0.000021</font></tt>
<br><tt><font size=2>&nbsp;startIO &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp;246191176 &nbsp; &nbsp; &nbsp; 0.005853 1441049.976740</font></tt>
<br>
<br><tt><font size=2>to dump what ever you collected so far on this node.
</font></tt>
<br>
<br><tt><font size=2>&gt; In my environment there are users that litterally
overhelm our <br>
&gt; storages with metadata request, so even if there is no massive <br>
&gt; throughput or huge waiters, any &quot;ls&quot; could take ages. I
would like <br>
&gt; to be able to monitor metadata behaviour. There is a way to to do
<br>
&gt; that from the NSD servers?</font></tt>
<br>
<br><tt><font size=2>not this simple as described above. </font></tt>
<br>
<br><tt><font size=2>&gt; <br>
&gt; Thanks in advance for any tip/help.<br>
&gt; <br>
&gt; Regards,<br>
&gt; Salvatore_______________________________________________<br>
&gt; gpfsug-discuss mailing list<br>
&gt; gpfsug-discuss at gpfsug.org<br>
&gt; </font></tt><a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss"><tt><font size=2>http://gpfsug.org/mailman/listinfo/gpfsug-discuss</font></tt></a><tt><font size=2><br>
</font></tt>