Hi Timo and Wolfgang,<div><br></div><div>Thanks for your replies.</div><div>I only launch one process on each node with MPI, and expect TBB/OpenMP to make use of all the CPUs on the nodes.</div><div>It seem aspect is using TBB+MPI and Epetra of Trilinos uses OpenMP+MPI. As Timo suggested TBB is not getting along well with OpenMP, I think that why I have the performance issue. </div>

<div>The TBB+MPI combination of aspect works quite well here, only the solver takes longer time when I enable OpenMP on Trilinos.<br></div><div>Right now I am using Aspect with OpenMP disabled on Trilinos, I think I will stay that way. I will launch more MPI processes to make use of all the CPUs. Just feel sad that this great two layer parallelism doesn't work out together.</div>
<div><br></div><div>Regards,</div><div><br></div><div>Siqi</div><br>On Sunday, September 15, 2013, Timo Heister  wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">

>> While when I enable it, the solver do use more<br>
>> cores (also checked with top, multiple CPU used) but the solver works even<br>
>> slower than the single thread build !!! I wonder if did something wrong in<br>
>> the<br>
>> configuration and you may give me some hint. Thanks.<br>
<br>
We have not experimented with multithreading inside Trilinos and the<br>
combination with deal.II. The big problem is that mixing Intel TBB<br>
(what we are using) with OpenMP in a single program won't work as far<br>
as I know. Both systems will mess with thread affinities and create<br>
threads that are busy-waiting and hogging cores.<br>
This is a big problem in the scientific computing community. For now I<br>
recommend disabling OpenMP (export OMP_NUM_THREADS=1) and using MPI<br>
only.<br>
<br>
<br>
--<br>
Timo Heister<br>
<a href="http://www.math.clemson.edu/~heister/" target="_blank">http://www.math.clemson.edu/~heister/</a><br>
</blockquote>
<br><br>-- <br><div dir="ltr">Siqi Zhang<div>Research Associate</div><div>Department of Earth and Planetary Sciences</div><div>Faculty of Science</div><div>Macquarie University</div><div><br></div><div>E6A, Rm 248</div><div>
Macquarie University</div><div>Macquarie Park, NSW 2113</div></div><br>