<html><head></head><body style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space; ">I just ran a test of Aspect on Lonestar using 48 processors with the box.prm sample (using more mesh refinement) and I got the following timings:<div><br></div><div><font class="Apple-style-span" face="Monaco">+---------------------------------------------+------------+------------+<br>| Total wallclock time elapsed since start &nbsp; &nbsp;| &nbsp; &nbsp; &nbsp; 429s | &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;|<br>| &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; | &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;| &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;|<br>| Section &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; | no. calls | &nbsp;wall time | % of total |<br>+---------------------------------+-----------+------------+------------+<br>| Assemble Stokes system &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;| &nbsp; &nbsp; &nbsp; 131 | &nbsp; &nbsp; &nbsp;1.25s | &nbsp; &nbsp; &nbsp;0.29% |<br>| Assemble temperature system &nbsp; &nbsp; | &nbsp; &nbsp; &nbsp; 131 | &nbsp; &nbsp; &nbsp;3.06s | &nbsp; &nbsp; &nbsp;0.71% |<br>| Build Stokes preconditioner &nbsp; &nbsp; | &nbsp; &nbsp; &nbsp; &nbsp;30 | &nbsp; &nbsp; &nbsp;1.71s | &nbsp; &nbsp; &nbsp; 0.4% |<br>| Build temperature preconditioner| &nbsp; &nbsp; &nbsp; 131 | &nbsp; &nbsp; 0.181s | &nbsp; &nbsp; 0.042% |<br>| Solve Stokes system &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; | &nbsp; &nbsp; &nbsp; 131 | &nbsp; &nbsp; &nbsp; 4.6s | &nbsp; &nbsp; &nbsp; 1.1% |<br>| Solve temperature system &nbsp; &nbsp; &nbsp; &nbsp;| &nbsp; &nbsp; &nbsp; 131 | &nbsp; &nbsp; &nbsp;1.68s | &nbsp; &nbsp; &nbsp;0.39% |<br>| Postprocessing &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;| &nbsp; &nbsp; &nbsp; 129 | &nbsp; &nbsp; &nbsp;17.3s | &nbsp; &nbsp; &nbsp; &nbsp; 4% |<br>| Refine mesh structure, part 1 &nbsp; | &nbsp; &nbsp; &nbsp; &nbsp;27 | &nbsp; &nbsp; 0.913s | &nbsp; &nbsp; &nbsp;0.21% |<br>| Refine mesh structure, part 2 &nbsp; | &nbsp; &nbsp; &nbsp; &nbsp;27 | &nbsp; &nbsp; &nbsp;0.16s | &nbsp; &nbsp; 0.037% |<br>| Setup dof systems &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; | &nbsp; &nbsp; &nbsp; &nbsp;28 | &nbsp; &nbsp; &nbsp;1.22s | &nbsp; &nbsp; &nbsp;0.28% |<br>+---------------------------------+-----------+------------+------------+<br></font><br></div><div>In case the formatting is messed up, basically it seems the total wall time (429s) is about 13x greater than the sum of the sections. &nbsp;In other words, 397 seconds of run time are unaccounted for out of 429 total seconds. &nbsp;Are there any sections that could potentially account for this that are not yet timed?</div><div><br></div><div>I know the tracers take a long time so I turned them off but I still see this discrepancy (plus they should be accounted for under "Postprocessing"). &nbsp;One possible hint is that it seems the "mesh" file is being altered extensively during checkpoints - perhaps this is related?</div><div><br></div><div>Thanks for any ideas,</div><div><br></div><div>-Eric</div><div><br></div></body></html>