[aspect-devel] update on memory pbs
Thomas Geenen
geenen at gmail.com
Tue Feb 19 00:18:05 PST 2013
hi Wolfgang,
i ran an example from Cedric over the weekend on one of our local clusters.
i ran it with and without valgrind and monitored the memory consumption
with ganglia as well.
i ran on 8 cores on a single node
there is no increase in memory consumption after 310 timesteps under
valgrind
without valgrind i observe a very small increase but that seems to
correlate with the number of gmres iterations (they increase slightly over
time) this model ran for over 1300 steps.
i attached the ganglia memory plots and this is the top part of the
valgrind output for all 8 nodes
==> ms_print.954 <==
--------------------------------------------------------------------------------
Command: ../../lib/aspect convection-box.prm
Massif arguments: (none)
ms_print arguments: massif.out.954
--------------------------------------------------------------------------------
MB
711.7^#
|#
|#
|#
|#
@
|# :: :: :::
@
|#:: ::::::::::::: ::: :::::::::::::::::::::::::::::::::::::
:::::::::@
|#: :::: : ::: : :: ::: :: ::: : :: ::: :: ::: :: : ::: ::::: :::: :
: @
|#: : :: : ::: : :: ::: :: ::: : :: ::: :: ::: :: : ::: ::::: :::: :
: @
|#: : :: : ::: : :: ::: :: ::: : :: ::: :: ::: :: : ::: ::::: :::: :
: @
|#: : :: : ::: : :: ::: :: ::: : :: ::: :: ::: :: : ::: ::::: :::: :
: @
|#: : :: : ::: : :: ::: :: ::: : :: ::: :: ::: :: : ::: ::::: :::: :
: @
|#: : :: : ::: : :: ::: :: ::: : :: ::: :: ::: :: : ::: ::::: :::: :
: @
|#: : :: : ::: : :: ::: :: ::: : :: ::: :: ::: :: : ::: ::::: :::: :
: @
|#: : :: : ::: : :: ::: :: ::: : :: ::: :: ::: :: : ::: ::::: :::: :
: @
|#: : :: : ::: : :: ::: :: ::: : :: ::: :: ::: :: : ::: ::::: :::: :
: @
|#: : :: : ::: : :: ::: :: ::: : :: ::: :: ::: :: : ::: ::::: :::: :
: @
|#: : :: : ::: : :: ::: :: ::: : :: ::: :: ::: :: : ::: ::::: :::: :
: @
|#: : :: : ::: : :: ::: :: ::: : :: ::: :: ::: :: : ::: ::::: :::: :
: @
|#: : :: : ::: : :: ::: :: ::: : :: ::: :: ::: :: : ::: ::::: :::: :
: @
0
+----------------------------------------------------------------------->Ti
0
12.53
Number of snapshots: 82
Detailed snapshots: [1 (peak), 57, 67, 77]
--------------------------------------------------------------------------------
==> ms_print.955 <==
--------------------------------------------------------------------------------
Command: ../../lib/aspect convection-box.prm
Massif arguments: (none)
ms_print arguments: massif.out.955
--------------------------------------------------------------------------------
MB
770.4^#
|#
|#
|#
|# :: : : :
:::
|#@::@:::::::: :::::::::::::::::::::::::::::::::::::::::::::::::::
::: @
|#@: @:: : ::: ::: :: :: :::: ::: : ::: :::: : : : :: : :: :: : : :::
: @
|#@: @:: : ::: ::: :: :: :::: ::: : ::: :::: : : : :: : :: :: : : : :
: @
|#@: @:: : ::: ::: :: :: :::: ::: : ::: :::: : : : :: : :: :: : : : :
: @
|#@: @:: : ::: ::: :: :: :::: ::: : ::: :::: : : : :: : :: :: : : : :
: @
|#@: @:: : ::: ::: :: :: :::: ::: : ::: :::: : : : :: : :: :: : : : :
: @
|#@: @:: : ::: ::: :: :: :::: ::: : ::: :::: : : : :: : :: :: : : : :
: @
|#@: @:: : ::: ::: :: :: :::: ::: : ::: :::: : : : :: : :: :: : : : :
: @
|#@: @:: : ::: ::: :: :: :::: ::: : ::: :::: : : : :: : :: :: : : : :
: @
|#@: @:: : ::: ::: :: :: :::: ::: : ::: :::: : : : :: : :: :: : : : :
: @
|#@: @:: : ::: ::: :: :: :::: ::: : ::: :::: : : : :: : :: :: : : : :
: @
|#@: @:: : ::: ::: :: :: :::: ::: : ::: :::: : : : :: : :: :: : : : :
: @
|#@: @:: : ::: ::: :: :: :::: ::: : ::: :::: : : : :: : :: :: : : : :
: @
|#@: @:: : ::: ::: :: :: :::: ::: : ::: :::: : : : :: : :: :: : : : :
: @
|#@: @:: : ::: ::: :: :: :::: ::: : ::: :::: : : : :: : :: :: : : : :
: @
0
+----------------------------------------------------------------------->Ti
0
11.42
Number of snapshots: 58
Detailed snapshots: [1 (peak), 2, 4, 52]
--------------------------------------------------------------------------------
==> ms_print.956 <==
--------------------------------------------------------------------------------
Command: ../../lib/aspect convection-box.prm
Massif arguments: (none)
ms_print arguments: massif.out.956
--------------------------------------------------------------------------------
MB
771.3^#
|#
|#
|#
|# @@ ::: ::
:
|#::::::@ ::::::: ::::::::::::::::::::@::: :::::: : :::: ::
:::::::::@
|#: :: :@ :: :: ::::::: :: : ::: : : : @::: ::: : :: :::::::: :: : : :
:@
|#: :: :@ :: :: :: :::: :: : ::: : : : @::: ::: : :: :::::: : :: : : :
:@
|#: :: :@ :: :: :: :::: :: : ::: : : : @::: ::: : :: :::::: : :: : : :
:@
|#: :: :@ :: :: :: :::: :: : ::: : : : @::: ::: : :: :::::: : :: : : :
:@
|#: :: :@ :: :: :: :::: :: : ::: : : : @::: ::: : :: :::::: : :: : : :
:@
|#: :: :@ :: :: :: :::: :: : ::: : : : @::: ::: : :: :::::: : :: : : :
:@
|#: :: :@ :: :: :: :::: :: : ::: : : : @::: ::: : :: :::::: : :: : : :
:@
|#: :: :@ :: :: :: :::: :: : ::: : : : @::: ::: : :: :::::: : :: : : :
:@
|#: :: :@ :: :: :: :::: :: : ::: : : : @::: ::: : :: :::::: : :: : : :
:@
|#: :: :@ :: :: :: :::: :: : ::: : : : @::: ::: : :: :::::: : :: : : :
:@
|#: :: :@ :: :: :: :::: :: : ::: : : : @::: ::: : :: :::::: : :: : : :
:@
|#: :: :@ :: :: :: :::: :: : ::: : : : @::: ::: : :: :::::: : :: : : :
:@
|#: :: :@ :: :: :: :::: :: : ::: : : : @::: ::: : :: :::::: : :: : : :
:@
|#: :: :@ :: :: :: :::: :: : ::: : : : @::: ::: : :: :::::: : :: : : :
:@
0
+----------------------------------------------------------------------->Ti
0
11.36
Number of snapshots: 92
Detailed snapshots: [1 (peak), 6, 26, 57, 67, 77, 87]
--------------------------------------------------------------------------------
==> ms_print.957 <==
--------------------------------------------------------------------------------
Command: ../../lib/aspect convection-box.prm
Massif arguments: (none)
ms_print arguments: massif.out.957
--------------------------------------------------------------------------------
MB
761.5^##
|#
|#
|#
|# : ::
:: :
|# ::::::::::@@:::::::: ::::::::::::::::::::::::::::::::::::::::: ::::
:@
|# :: :: :: :@ : :: :: :: :: :: :: : ::: : ::::::: : :: ::: ::: : :: :
:@
|# :: :: :: :@ : :: :: :: :: :: :: : ::: : ::::::: : :: ::: ::: : :: :
:@
|# :: :: :: :@ : :: :: :: :: :: :: : ::: : ::::::: : :: ::: ::: : :: :
:@
|# :: :: :: :@ : :: :: :: :: :: :: : ::: : ::::::: : :: ::: ::: : :: :
:@
|# :: :: :: :@ : :: :: :: :: :: :: : ::: : ::::::: : :: ::: ::: : :: :
:@
|# :: :: :: :@ : :: :: :: :: :: :: : ::: : ::::::: : :: ::: ::: : :: :
:@
|# :: :: :: :@ : :: :: :: :: :: :: : ::: : ::::::: : :: ::: ::: : :: :
:@
|# :: :: :: :@ : :: :: :: :: :: :: : ::: : ::::::: : :: ::: ::: : :: :
:@
|# :: :: :: :@ : :: :: :: :: :: :: : ::: : ::::::: : :: ::: ::: : :: :
:@
|# :: :: :: :@ : :: :: :: :: :: :: : ::: : ::::::: : :: ::: ::: : :: :
:@
|# :: :: :: :@ : :: :: :: :: :: :: : ::: : ::::::: : :: ::: ::: : :: :
:@
|# :: :: :: :@ : :: :: :: :: :: :: : ::: : ::::::: : :: ::: ::: : :: :
:@
|# :: :: :: :@ : :: :: :: :: :: :: : ::: : ::::::: : :: ::: ::: : :: :
:@
|# :: :: :: :@ : :: :: :: :: :: :: : ::: : ::::::: : :: ::: ::: : :: :
:@
0
+----------------------------------------------------------------------->Ti
0
11.35
Number of snapshots: 60
Detailed snapshots: [1 (peak), 9, 56]
--------------------------------------------------------------------------------
==> ms_print.958 <==
--------------------------------------------------------------------------------
Command: ../../lib/aspect convection-box.prm
Massif arguments: (none)
ms_print arguments: massif.out.958
--------------------------------------------------------------------------------
MB
770.3^#
|#
|#
|#
|# :: : :: :: : ::
:
|#:::::::::::::: ::::::::::::::::::::::::: ::::: :::::: :
:::::::::::::@
|#: :: : : :: :: :: :: :: ::: ::: :: ::::: :: :: ::::: ::: : : :: : ::
:@
|#: :: : : :: :: :: :: :: ::: ::: :: ::::: :: :: ::::: : : : : :: : ::
:@
|#: :: : : :: :: :: :: :: ::: ::: :: ::::: :: :: ::::: : : : : :: : ::
:@
|#: :: : : :: :: :: :: :: ::: ::: :: ::::: :: :: ::::: : : : : :: : ::
:@
|#: :: : : :: :: :: :: :: ::: ::: :: ::::: :: :: ::::: : : : : :: : ::
:@
|#: :: : : :: :: :: :: :: ::: ::: :: ::::: :: :: ::::: : : : : :: : ::
:@
|#: :: : : :: :: :: :: :: ::: ::: :: ::::: :: :: ::::: : : : : :: : ::
:@
|#: :: : : :: :: :: :: :: ::: ::: :: ::::: :: :: ::::: : : : : :: : ::
:@
|#: :: : : :: :: :: :: :: ::: ::: :: ::::: :: :: ::::: : : : : :: : ::
:@
|#: :: : : :: :: :: :: :: ::: ::: :: ::::: :: :: ::::: : : : : :: : ::
:@
|#: :: : : :: :: :: :: :: ::: ::: :: ::::: :: :: ::::: : : : : :: : ::
:@
|#: :: : : :: :: :: :: :: ::: ::: :: ::::: :: :: ::::: : : : : :: : ::
:@
|#: :: : : :: :: :: :: :: ::: ::: :: ::::: :: :: ::::: : : : : :: : ::
:@
|#: :: : : :: :: :: :: :: ::: ::: :: ::::: :: :: ::::: : : : : :: : ::
:@
0
+----------------------------------------------------------------------->Ti
0
12.80
Number of snapshots: 95
Detailed snapshots: [1 (peak), 52, 62, 72, 82, 92]
--------------------------------------------------------------------------------
==> ms_print.959 <==
--------------------------------------------------------------------------------
Command: ../../lib/aspect convection-box.prm
Massif arguments: (none)
ms_print arguments: massif.out.959
--------------------------------------------------------------------------------
MB
774.7^#
|#
|#
|#
|#
|#:::@@::::@@@:::::::::@@@:::@@@@@@@@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
|#:: @@::: @@ :::: : ::@ @:: @ @@@ @@ @ @ @@@@ @@@ @ @ @@ @@ @ @ @ @@
@ @
|#:: @@::: @@ :::: : ::@ @:: @ @@@ @@ @ @ @@@@ @@@ @ @ @@ @@ @ @ @ @@
@ @
|#:: @@::: @@ :::: : ::@ @:: @ @@@ @@ @ @ @@@@ @@@ @ @ @@ @@ @ @ @ @@
@ @
|#:: @@::: @@ :::: : ::@ @:: @ @@@ @@ @ @ @@@@ @@@ @ @ @@ @@ @ @ @ @@
@ @
|#:: @@::: @@ :::: : ::@ @:: @ @@@ @@ @ @ @@@@ @@@ @ @ @@ @@ @ @ @ @@
@ @
|#:: @@::: @@ :::: : ::@ @:: @ @@@ @@ @ @ @@@@ @@@ @ @ @@ @@ @ @ @ @@
@ @
|#:: @@::: @@ :::: : ::@ @:: @ @@@ @@ @ @ @@@@ @@@ @ @ @@ @@ @ @ @ @@
@ @
|#:: @@::: @@ :::: : ::@ @:: @ @@@ @@ @ @ @@@@ @@@ @ @ @@ @@ @ @ @ @@
@ @
|#:: @@::: @@ :::: : ::@ @:: @ @@@ @@ @ @ @@@@ @@@ @ @ @@ @@ @ @ @ @@
@ @
|#:: @@::: @@ :::: : ::@ @:: @ @@@ @@ @ @ @@@@ @@@ @ @ @@ @@ @ @ @ @@
@ @
|#:: @@::: @@ :::: : ::@ @:: @ @@@ @@ @ @ @@@@ @@@ @ @ @@ @@ @ @ @ @@
@ @
|#:: @@::: @@ :::: : ::@ @:: @ @@@ @@ @ @ @@@@ @@@ @ @ @@ @@ @ @ @ @@
@ @
|#:: @@::: @@ :::: : ::@ @:: @ @@@ @@ @ @ @@@@ @@@ @ @ @@ @@ @ @ @ @@
@ @
|#:: @@::: @@ :::: : ::@ @:: @ @@@ @@ @ @ @@@@ @@@ @ @ @@ @@ @ @ @ @@
@ @
0
+----------------------------------------------------------------------->Ti
0
13.03
Number of snapshots: 88
Detailed snapshots: [1 (peak), 4, 5, 9, 10, 18, 19, 22, 23, 24, 25, 26,
27, 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45,
46, 47, 48, 49, 59, 69, 79]
--------------------------------------------------------------------------------
==> ms_print.960 <==
--------------------------------------------------------------------------------
Command: ../../lib/aspect convection-box.prm
Massif arguments: (none)
ms_print arguments: massif.out.960
--------------------------------------------------------------------------------
MB
761.4^#
|#
|#
|#
|# :: :
:
|#:::@@:
::::::::::::::@@:::::::::::::::::::::::::::::::::::::::::::::::@
|#: :@ : :: :: :: ::: :@ :::: : : ::::: :: :: ::: :: :: ::: : :: : : :
:@
|#: :@ : :: :: :: ::: :@ :::: : : ::::: :: :: ::: :: :: ::: : :: : : :
:@
|#: :@ : :: :: :: ::: :@ :::: : : ::::: :: :: ::: :: :: ::: : :: : : :
:@
|#: :@ : :: :: :: ::: :@ :::: : : ::::: :: :: ::: :: :: ::: : :: : : :
:@
|#: :@ : :: :: :: ::: :@ :::: : : ::::: :: :: ::: :: :: ::: : :: : : :
:@
|#: :@ : :: :: :: ::: :@ :::: : : ::::: :: :: ::: :: :: ::: : :: : : :
:@
|#: :@ : :: :: :: ::: :@ :::: : : ::::: :: :: ::: :: :: ::: : :: : : :
:@
|#: :@ : :: :: :: ::: :@ :::: : : ::::: :: :: ::: :: :: ::: : :: : : :
:@
|#: :@ : :: :: :: ::: :@ :::: : : ::::: :: :: ::: :: :: ::: : :: : : :
:@
|#: :@ : :: :: :: ::: :@ :::: : : ::::: :: :: ::: :: :: ::: : :: : : :
:@
|#: :@ : :: :: :: ::: :@ :::: : : ::::: :: :: ::: :: :: ::: : :: : : :
:@
|#: :@ : :: :: :: ::: :@ :::: : : ::::: :: :: ::: :: :: ::: : :: : : :
:@
|#: :@ : :: :: :: ::: :@ :::: : : ::::: :: :: ::: :: :: ::: : :: : : :
:@
|#: :@ : :: :: :: ::: :@ :::: : : ::::: :: :: ::: :: :: ::: : :: : : :
:@
0
+----------------------------------------------------------------------->Ti
0
13.06
Number of snapshots: 64
Detailed snapshots: [1 (peak), 4, 16, 52, 62]
--------------------------------------------------------------------------------
==> ms_print.961 <==
--------------------------------------------------------------------------------
Command: ../../lib/aspect convection-box.prm
Massif arguments: (none)
ms_print arguments: massif.out.961
--------------------------------------------------------------------------------
MB
770.0^##
|#
|#
|#
|# ::@ :: :: : :
:: :
|# :: @::::: : :@@:: :::::::::::::::::::::::::::::: :::: ::::::::::
:@
|# :: @: : : ::::@ :: ::: :::: : :::: : :: : ::::: ::::: :::: :: : : :
:@
|# :: @: : : :: :@ :: ::: :::: : :::: : :: : ::::: :: :: :: : :: : : :
:@
|# :: @: : : :: :@ :: ::: :::: : :::: : :: : ::::: :: :: :: : :: : : :
:@
|# :: @: : : :: :@ :: ::: :::: : :::: : :: : ::::: :: :: :: : :: : : :
:@
|# :: @: : : :: :@ :: ::: :::: : :::: : :: : ::::: :: :: :: : :: : : :
:@
|# :: @: : : :: :@ :: ::: :::: : :::: : :: : ::::: :: :: :: : :: : : :
:@
|# :: @: : : :: :@ :: ::: :::: : :::: : :: : ::::: :: :: :: : :: : : :
:@
|# :: @: : : :: :@ :: ::: :::: : :::: : :: : ::::: :: :: :: : :: : : :
:@
|# :: @: : : :: :@ :: ::: :::: : :::: : :: : ::::: :: :: :: : :: : : :
:@
|# :: @: : : :: :@ :: ::: :::: : :::: : :: : ::::: :: :: :: : :: : : :
:@
|# :: @: : : :: :@ :: ::: :::: : :::: : :: : ::::: :: :: :: : :: : : :
:@
|# :: @: : : :: :@ :: ::: :::: : :::: : :: : ::::: :: :: :: : :: : : :
:@
|# :: @: : : :: :@ :: ::: :::: : :::: : :: : ::::: :: :: :: : :: : : :
:@
|# :: @: : : :: :@ :: ::: :::: : :::: : :: : ::::: :: :: :: : :: : : :
:@
0
+----------------------------------------------------------------------->Ti
0
12.71
Number of snapshots: 70
Detailed snapshots: [1 (peak), 4, 12, 50, 60]
so it looks like a problem with the setup on gaia.
i installed the latest openmpi and recompiled trilinos 10.4.2.
cedric will update dealii and aspect.
cheers
Thomas
On Tue, Feb 19, 2013 at 1:14 AM, Wolfgang Bangerth
<bangerth at math.tamu.edu>wrote:
>
> > As one more data point: during solution of the Stokes system, the total
> > amount of memory for the program (the VIRT column in 'top') goes up from
> > 7.7 to 8.6 GB, but it drops down to 7.7 GB again at the end of each time
> > step.
>
> As an update, after letting this run over the weekend: memory
> consumption is currently at 7.9 GB. Since it varies during the time
> step, I don't know what the low is over the course of each time step,
> but it's certainly not grown noticeably over the past 72 hours.
>
> Any news from you guys?
>
> Best
> W.
>
>
> --
> ------------------------------------------------------------------------
> Wolfgang Bangerth email: bangerth at math.tamu.edu
> www: http://www.math.tamu.edu/~bangerth/
>
> _______________________________________________
> Aspect-devel mailing list
> Aspect-devel at geodynamics.org
> http://geodynamics.org/cgi-bin/mailman/listinfo/aspect-devel
>
-------------- next part --------------
An HTML attachment was scrubbed...
URL: http://geodynamics.org/pipermail/aspect-devel/attachments/20130219/ea3db330/attachment-0001.htm
-------------- next part --------------
A non-text attachment was scrubbed...
Name: ganglia-memuse-valgrind.png
Type: image/png
Size: 28218 bytes
Desc: not available
Url : http://geodynamics.org/pipermail/aspect-devel/attachments/20130219/ea3db330/attachment-0002.png
-------------- next part --------------
A non-text attachment was scrubbed...
Name: ganglia-memuse.png
Type: image/png
Size: 38931 bytes
Desc: not available
Url : http://geodynamics.org/pipermail/aspect-devel/attachments/20130219/ea3db330/attachment-0003.png
More information about the Aspect-devel
mailing list