[aspect-devel] update on memory pbs

Thomas Geenen geenen at gmail.com
Tue Feb 19 00:18:05 PST 2013


hi Wolfgang,

i ran an example from Cedric over the weekend on one of our local clusters.
i ran it with and without valgrind and monitored the memory consumption
with ganglia as well.
i ran on 8 cores on a single node
there is no increase in memory consumption after 310 timesteps under
valgrind
without valgrind i observe a very small increase but that seems to
correlate with the number of gmres iterations (they increase slightly over
time) this model ran for over 1300 steps.
i attached the ganglia memory plots and this is the top part of the
valgrind output for all 8 nodes


==> ms_print.954 <==
--------------------------------------------------------------------------------
Command:            ../../lib/aspect convection-box.prm
Massif arguments:   (none)
ms_print arguments: massif.out.954
--------------------------------------------------------------------------------


    MB
711.7^#

     |#

     |#

     |#

     |#
 @
     |#                ::  ::                                    :::
  @
     |#::  ::::::::::::: ::: :::::::::::::::::::::::::::::::::::::
 :::::::::@
     |#: :::: : ::: : :: ::: :: ::: : :: ::: :: ::: :: : ::: :::::  :::: :
: @
     |#: : :: : ::: : :: ::: :: ::: : :: ::: :: ::: :: : ::: :::::  :::: :
: @
     |#: : :: : ::: : :: ::: :: ::: : :: ::: :: ::: :: : ::: :::::  :::: :
: @
     |#: : :: : ::: : :: ::: :: ::: : :: ::: :: ::: :: : ::: :::::  :::: :
: @
     |#: : :: : ::: : :: ::: :: ::: : :: ::: :: ::: :: : ::: :::::  :::: :
: @
     |#: : :: : ::: : :: ::: :: ::: : :: ::: :: ::: :: : ::: :::::  :::: :
: @
     |#: : :: : ::: : :: ::: :: ::: : :: ::: :: ::: :: : ::: :::::  :::: :
: @
     |#: : :: : ::: : :: ::: :: ::: : :: ::: :: ::: :: : ::: :::::  :::: :
: @
     |#: : :: : ::: : :: ::: :: ::: : :: ::: :: ::: :: : ::: :::::  :::: :
: @
     |#: : :: : ::: : :: ::: :: ::: : :: ::: :: ::: :: : ::: :::::  :::: :
: @
     |#: : :: : ::: : :: ::: :: ::: : :: ::: :: ::: :: : ::: :::::  :::: :
: @
     |#: : :: : ::: : :: ::: :: ::: : :: ::: :: ::: :: : ::: :::::  :::: :
: @
     |#: : :: : ::: : :: ::: :: ::: : :: ::: :: ::: :: : ::: :::::  :::: :
: @
   0
+----------------------------------------------------------------------->Ti
     0
12.53

Number of snapshots: 82
 Detailed snapshots: [1 (peak), 57, 67, 77]

--------------------------------------------------------------------------------

==> ms_print.955 <==
--------------------------------------------------------------------------------
Command:            ../../lib/aspect convection-box.prm
Massif arguments:   (none)
ms_print arguments: massif.out.955
--------------------------------------------------------------------------------


    MB
770.4^#

     |#

     |#

     |#

     |#           ::                :    :              :
 :::
     |#@::@:::::::: :::::::::::::::::::::::::::::::::::::::::::::::::::
 ::: @
     |#@: @:: : ::: ::: :: :: :::: ::: : ::: :::: : : : :: : :: :: : : :::
: @
     |#@: @:: : ::: ::: :: :: :::: ::: : ::: :::: : : : :: : :: :: : : : :
: @
     |#@: @:: : ::: ::: :: :: :::: ::: : ::: :::: : : : :: : :: :: : : : :
: @
     |#@: @:: : ::: ::: :: :: :::: ::: : ::: :::: : : : :: : :: :: : : : :
: @
     |#@: @:: : ::: ::: :: :: :::: ::: : ::: :::: : : : :: : :: :: : : : :
: @
     |#@: @:: : ::: ::: :: :: :::: ::: : ::: :::: : : : :: : :: :: : : : :
: @
     |#@: @:: : ::: ::: :: :: :::: ::: : ::: :::: : : : :: : :: :: : : : :
: @
     |#@: @:: : ::: ::: :: :: :::: ::: : ::: :::: : : : :: : :: :: : : : :
: @
     |#@: @:: : ::: ::: :: :: :::: ::: : ::: :::: : : : :: : :: :: : : : :
: @
     |#@: @:: : ::: ::: :: :: :::: ::: : ::: :::: : : : :: : :: :: : : : :
: @
     |#@: @:: : ::: ::: :: :: :::: ::: : ::: :::: : : : :: : :: :: : : : :
: @
     |#@: @:: : ::: ::: :: :: :::: ::: : ::: :::: : : : :: : :: :: : : : :
: @
     |#@: @:: : ::: ::: :: :: :::: ::: : ::: :::: : : : :: : :: :: : : : :
: @
     |#@: @:: : ::: ::: :: :: :::: ::: : ::: :::: : : : :: : :: :: : : : :
: @
   0
+----------------------------------------------------------------------->Ti
     0
11.42

Number of snapshots: 58
 Detailed snapshots: [1 (peak), 2, 4, 52]

--------------------------------------------------------------------------------

==> ms_print.956 <==
--------------------------------------------------------------------------------
Command:            ../../lib/aspect convection-box.prm
Massif arguments:   (none)
ms_print arguments: massif.out.956
--------------------------------------------------------------------------------


    MB
771.3^#

     |#

     |#

     |#

     |#      @@                                :::      ::
  :
     |#::::::@ :::::::  ::::::::::::::::::::@::: :::::: :  ::::  ::
:::::::::@
     |#: :: :@ :: :: ::::::: :: : ::: : : : @::: ::: : :: :::::::: :: : : :
:@
     |#: :: :@ :: :: :: :::: :: : ::: : : : @::: ::: : :: :::::: : :: : : :
:@
     |#: :: :@ :: :: :: :::: :: : ::: : : : @::: ::: : :: :::::: : :: : : :
:@
     |#: :: :@ :: :: :: :::: :: : ::: : : : @::: ::: : :: :::::: : :: : : :
:@
     |#: :: :@ :: :: :: :::: :: : ::: : : : @::: ::: : :: :::::: : :: : : :
:@
     |#: :: :@ :: :: :: :::: :: : ::: : : : @::: ::: : :: :::::: : :: : : :
:@
     |#: :: :@ :: :: :: :::: :: : ::: : : : @::: ::: : :: :::::: : :: : : :
:@
     |#: :: :@ :: :: :: :::: :: : ::: : : : @::: ::: : :: :::::: : :: : : :
:@
     |#: :: :@ :: :: :: :::: :: : ::: : : : @::: ::: : :: :::::: : :: : : :
:@
     |#: :: :@ :: :: :: :::: :: : ::: : : : @::: ::: : :: :::::: : :: : : :
:@
     |#: :: :@ :: :: :: :::: :: : ::: : : : @::: ::: : :: :::::: : :: : : :
:@
     |#: :: :@ :: :: :: :::: :: : ::: : : : @::: ::: : :: :::::: : :: : : :
:@
     |#: :: :@ :: :: :: :::: :: : ::: : : : @::: ::: : :: :::::: : :: : : :
:@
     |#: :: :@ :: :: :: :::: :: : ::: : : : @::: ::: : :: :::::: : :: : : :
:@
   0
+----------------------------------------------------------------------->Ti
     0
11.36

Number of snapshots: 92
 Detailed snapshots: [1 (peak), 6, 26, 57, 67, 77, 87]

--------------------------------------------------------------------------------

==> ms_print.957 <==
--------------------------------------------------------------------------------
Command:            ../../lib/aspect convection-box.prm
Massif arguments:   (none)
ms_print arguments: massif.out.957
--------------------------------------------------------------------------------


    MB
761.5^##

     |#

     |#

     |#

     |#                                                      :       ::
:: :
     |# ::::::::::@@:::::::: ::::::::::::::::::::::::::::::::::::::::: ::::
:@
     |# :: :: :: :@ : :: :: :: :: :: :: : ::: : ::::::: : :: ::: ::: : :: :
:@
     |# :: :: :: :@ : :: :: :: :: :: :: : ::: : ::::::: : :: ::: ::: : :: :
:@
     |# :: :: :: :@ : :: :: :: :: :: :: : ::: : ::::::: : :: ::: ::: : :: :
:@
     |# :: :: :: :@ : :: :: :: :: :: :: : ::: : ::::::: : :: ::: ::: : :: :
:@
     |# :: :: :: :@ : :: :: :: :: :: :: : ::: : ::::::: : :: ::: ::: : :: :
:@
     |# :: :: :: :@ : :: :: :: :: :: :: : ::: : ::::::: : :: ::: ::: : :: :
:@
     |# :: :: :: :@ : :: :: :: :: :: :: : ::: : ::::::: : :: ::: ::: : :: :
:@
     |# :: :: :: :@ : :: :: :: :: :: :: : ::: : ::::::: : :: ::: ::: : :: :
:@
     |# :: :: :: :@ : :: :: :: :: :: :: : ::: : ::::::: : :: ::: ::: : :: :
:@
     |# :: :: :: :@ : :: :: :: :: :: :: : ::: : ::::::: : :: ::: ::: : :: :
:@
     |# :: :: :: :@ : :: :: :: :: :: :: : ::: : ::::::: : :: ::: ::: : :: :
:@
     |# :: :: :: :@ : :: :: :: :: :: :: : ::: : ::::::: : :: ::: ::: : :: :
:@
     |# :: :: :: :@ : :: :: :: :: :: :: : ::: : ::::::: : :: ::: ::: : :: :
:@
     |# :: :: :: :@ : :: :: :: :: :: :: : ::: : ::::::: : :: ::: ::: : :: :
:@
   0
+----------------------------------------------------------------------->Ti
     0
11.35

Number of snapshots: 60
 Detailed snapshots: [1 (peak), 9, 56]

--------------------------------------------------------------------------------

==> ms_print.958 <==
--------------------------------------------------------------------------------
Command:            ../../lib/aspect convection-box.prm
Massif arguments:   (none)
ms_print arguments: massif.out.958
--------------------------------------------------------------------------------


    MB
770.3^#

     |#

     |#

     |#

     |#             ::                      : ::    ::   :    ::
  :
     |#:::::::::::::: ::::::::::::::::::::::::: ::::: ::::::  :
:::::::::::::@
     |#: :: : : :: :: :: :: :: ::: ::: :: ::::: :: :: ::::: ::: : : :: : ::
:@
     |#: :: : : :: :: :: :: :: ::: ::: :: ::::: :: :: ::::: : : : : :: : ::
:@
     |#: :: : : :: :: :: :: :: ::: ::: :: ::::: :: :: ::::: : : : : :: : ::
:@
     |#: :: : : :: :: :: :: :: ::: ::: :: ::::: :: :: ::::: : : : : :: : ::
:@
     |#: :: : : :: :: :: :: :: ::: ::: :: ::::: :: :: ::::: : : : : :: : ::
:@
     |#: :: : : :: :: :: :: :: ::: ::: :: ::::: :: :: ::::: : : : : :: : ::
:@
     |#: :: : : :: :: :: :: :: ::: ::: :: ::::: :: :: ::::: : : : : :: : ::
:@
     |#: :: : : :: :: :: :: :: ::: ::: :: ::::: :: :: ::::: : : : : :: : ::
:@
     |#: :: : : :: :: :: :: :: ::: ::: :: ::::: :: :: ::::: : : : : :: : ::
:@
     |#: :: : : :: :: :: :: :: ::: ::: :: ::::: :: :: ::::: : : : : :: : ::
:@
     |#: :: : : :: :: :: :: :: ::: ::: :: ::::: :: :: ::::: : : : : :: : ::
:@
     |#: :: : : :: :: :: :: :: ::: ::: :: ::::: :: :: ::::: : : : : :: : ::
:@
     |#: :: : : :: :: :: :: :: ::: ::: :: ::::: :: :: ::::: : : : : :: : ::
:@
     |#: :: : : :: :: :: :: :: ::: ::: :: ::::: :: :: ::::: : : : : :: : ::
:@
   0
+----------------------------------------------------------------------->Ti
     0
12.80

Number of snapshots: 95
 Detailed snapshots: [1 (peak), 52, 62, 72, 82, 92]

--------------------------------------------------------------------------------

==> ms_print.959 <==
--------------------------------------------------------------------------------
Command:            ../../lib/aspect convection-box.prm
Massif arguments:   (none)
ms_print arguments: massif.out.959
--------------------------------------------------------------------------------


    MB
774.7^#

     |#

     |#

     |#

     |#

     |#:::@@::::@@@:::::::::@@@:::@@@@@@@@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
     |#:: @@::: @@ :::: : ::@ @:: @ @@@ @@ @ @ @@@@ @@@ @ @ @@ @@ @ @ @ @@
@ @
     |#:: @@::: @@ :::: : ::@ @:: @ @@@ @@ @ @ @@@@ @@@ @ @ @@ @@ @ @ @ @@
@ @
     |#:: @@::: @@ :::: : ::@ @:: @ @@@ @@ @ @ @@@@ @@@ @ @ @@ @@ @ @ @ @@
@ @
     |#:: @@::: @@ :::: : ::@ @:: @ @@@ @@ @ @ @@@@ @@@ @ @ @@ @@ @ @ @ @@
@ @
     |#:: @@::: @@ :::: : ::@ @:: @ @@@ @@ @ @ @@@@ @@@ @ @ @@ @@ @ @ @ @@
@ @
     |#:: @@::: @@ :::: : ::@ @:: @ @@@ @@ @ @ @@@@ @@@ @ @ @@ @@ @ @ @ @@
@ @
     |#:: @@::: @@ :::: : ::@ @:: @ @@@ @@ @ @ @@@@ @@@ @ @ @@ @@ @ @ @ @@
@ @
     |#:: @@::: @@ :::: : ::@ @:: @ @@@ @@ @ @ @@@@ @@@ @ @ @@ @@ @ @ @ @@
@ @
     |#:: @@::: @@ :::: : ::@ @:: @ @@@ @@ @ @ @@@@ @@@ @ @ @@ @@ @ @ @ @@
@ @
     |#:: @@::: @@ :::: : ::@ @:: @ @@@ @@ @ @ @@@@ @@@ @ @ @@ @@ @ @ @ @@
@ @
     |#:: @@::: @@ :::: : ::@ @:: @ @@@ @@ @ @ @@@@ @@@ @ @ @@ @@ @ @ @ @@
@ @
     |#:: @@::: @@ :::: : ::@ @:: @ @@@ @@ @ @ @@@@ @@@ @ @ @@ @@ @ @ @ @@
@ @
     |#:: @@::: @@ :::: : ::@ @:: @ @@@ @@ @ @ @@@@ @@@ @ @ @@ @@ @ @ @ @@
@ @
     |#:: @@::: @@ :::: : ::@ @:: @ @@@ @@ @ @ @@@@ @@@ @ @ @@ @@ @ @ @ @@
@ @
   0
+----------------------------------------------------------------------->Ti
     0
13.03

Number of snapshots: 88
 Detailed snapshots: [1 (peak), 4, 5, 9, 10, 18, 19, 22, 23, 24, 25, 26,
27, 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45,
46, 47, 48, 49, 59, 69, 79]

--------------------------------------------------------------------------------

==> ms_print.960 <==
--------------------------------------------------------------------------------
Command:            ../../lib/aspect convection-box.prm
Massif arguments:   (none)
ms_print arguments: massif.out.960
--------------------------------------------------------------------------------


    MB
761.4^#

     |#

     |#

     |#

     |#     ::                           :
  :
     |#:::@@:
::::::::::::::@@:::::::::::::::::::::::::::::::::::::::::::::::@
     |#: :@ : :: :: :: ::: :@ :::: : : ::::: :: :: ::: :: :: ::: : :: : : :
:@
     |#: :@ : :: :: :: ::: :@ :::: : : ::::: :: :: ::: :: :: ::: : :: : : :
:@
     |#: :@ : :: :: :: ::: :@ :::: : : ::::: :: :: ::: :: :: ::: : :: : : :
:@
     |#: :@ : :: :: :: ::: :@ :::: : : ::::: :: :: ::: :: :: ::: : :: : : :
:@
     |#: :@ : :: :: :: ::: :@ :::: : : ::::: :: :: ::: :: :: ::: : :: : : :
:@
     |#: :@ : :: :: :: ::: :@ :::: : : ::::: :: :: ::: :: :: ::: : :: : : :
:@
     |#: :@ : :: :: :: ::: :@ :::: : : ::::: :: :: ::: :: :: ::: : :: : : :
:@
     |#: :@ : :: :: :: ::: :@ :::: : : ::::: :: :: ::: :: :: ::: : :: : : :
:@
     |#: :@ : :: :: :: ::: :@ :::: : : ::::: :: :: ::: :: :: ::: : :: : : :
:@
     |#: :@ : :: :: :: ::: :@ :::: : : ::::: :: :: ::: :: :: ::: : :: : : :
:@
     |#: :@ : :: :: :: ::: :@ :::: : : ::::: :: :: ::: :: :: ::: : :: : : :
:@
     |#: :@ : :: :: :: ::: :@ :::: : : ::::: :: :: ::: :: :: ::: : :: : : :
:@
     |#: :@ : :: :: :: ::: :@ :::: : : ::::: :: :: ::: :: :: ::: : :: : : :
:@
     |#: :@ : :: :: :: ::: :@ :::: : : ::::: :: :: ::: :: :: ::: : :: : : :
:@
   0
+----------------------------------------------------------------------->Ti
     0
13.06

Number of snapshots: 64
 Detailed snapshots: [1 (peak), 4, 16, 52, 62]

--------------------------------------------------------------------------------

==> ms_print.961 <==
--------------------------------------------------------------------------------
Command:            ../../lib/aspect convection-box.prm
Massif arguments:   (none)
ms_print arguments: massif.out.961
--------------------------------------------------------------------------------


    MB
770.0^##

     |#

     |#

     |#

     |#  ::@    ::       ::                       :                :
 :: :
     |# :: @::::: :  :@@:: ::::::::::::::::::::::::::::::  ::::  ::::::::::
:@
     |# :: @: : : ::::@ :: ::: :::: : :::: : :: : ::::: ::::: :::: :: : : :
:@
     |# :: @: : : :: :@ :: ::: :::: : :::: : :: : ::::: :: :: :: : :: : : :
:@
     |# :: @: : : :: :@ :: ::: :::: : :::: : :: : ::::: :: :: :: : :: : : :
:@
     |# :: @: : : :: :@ :: ::: :::: : :::: : :: : ::::: :: :: :: : :: : : :
:@
     |# :: @: : : :: :@ :: ::: :::: : :::: : :: : ::::: :: :: :: : :: : : :
:@
     |# :: @: : : :: :@ :: ::: :::: : :::: : :: : ::::: :: :: :: : :: : : :
:@
     |# :: @: : : :: :@ :: ::: :::: : :::: : :: : ::::: :: :: :: : :: : : :
:@
     |# :: @: : : :: :@ :: ::: :::: : :::: : :: : ::::: :: :: :: : :: : : :
:@
     |# :: @: : : :: :@ :: ::: :::: : :::: : :: : ::::: :: :: :: : :: : : :
:@
     |# :: @: : : :: :@ :: ::: :::: : :::: : :: : ::::: :: :: :: : :: : : :
:@
     |# :: @: : : :: :@ :: ::: :::: : :::: : :: : ::::: :: :: :: : :: : : :
:@
     |# :: @: : : :: :@ :: ::: :::: : :::: : :: : ::::: :: :: :: : :: : : :
:@
     |# :: @: : : :: :@ :: ::: :::: : :::: : :: : ::::: :: :: :: : :: : : :
:@
     |# :: @: : : :: :@ :: ::: :::: : :::: : :: : ::::: :: :: :: : :: : : :
:@
   0
+----------------------------------------------------------------------->Ti
     0
12.71

Number of snapshots: 70
 Detailed snapshots: [1 (peak), 4, 12, 50, 60]

so it looks like a problem with the setup on gaia.
i installed the latest openmpi and recompiled trilinos 10.4.2.
cedric will update dealii and aspect.

cheers
Thomas




On Tue, Feb 19, 2013 at 1:14 AM, Wolfgang Bangerth
<bangerth at math.tamu.edu>wrote:

>
> > As one more data point: during solution of the Stokes system, the total
> > amount of memory for the program (the VIRT column in 'top') goes up from
> > 7.7 to 8.6 GB, but it drops down to 7.7 GB again at the end of each time
> > step.
>
> As an update, after letting this run over the weekend: memory
> consumption is currently at 7.9 GB. Since it varies during the time
> step, I don't know what the low is over the course of each time step,
> but it's certainly not grown noticeably over the past 72 hours.
>
> Any news from you guys?
>
> Best
>   W.
>
>
> --
> ------------------------------------------------------------------------
> Wolfgang Bangerth               email:            bangerth at math.tamu.edu
>                                  www: http://www.math.tamu.edu/~bangerth/
>
> _______________________________________________
> Aspect-devel mailing list
> Aspect-devel at geodynamics.org
> http://geodynamics.org/cgi-bin/mailman/listinfo/aspect-devel
>
-------------- next part --------------
An HTML attachment was scrubbed...
URL: http://geodynamics.org/pipermail/aspect-devel/attachments/20130219/ea3db330/attachment-0001.htm 
-------------- next part --------------
A non-text attachment was scrubbed...
Name: ganglia-memuse-valgrind.png
Type: image/png
Size: 28218 bytes
Desc: not available
Url : http://geodynamics.org/pipermail/aspect-devel/attachments/20130219/ea3db330/attachment-0002.png 
-------------- next part --------------
A non-text attachment was scrubbed...
Name: ganglia-memuse.png
Type: image/png
Size: 38931 bytes
Desc: not available
Url : http://geodynamics.org/pipermail/aspect-devel/attachments/20130219/ea3db330/attachment-0003.png 


More information about the Aspect-devel mailing list