Исследование производительности MD Nastran на кластерных системах DEPO Computers и кластере из рабочих станций
Использование метода ACMS (Automated Component Mode Synthesis - автоматического модального синтеза) для решения больших задач

В настоящее время актуален вопрос об использовании высокопроизводительных кластерных систем, а также многоядерных и многопроцессорных систем для решения больших задач статики, например с использованием MD Nastran SOL 101, 106, MARC и т.д., динамики (MD Nastran SOL 103, 108, 112, MARC, MD Adams и т.д.), высоконелинейных быстропротекающих процессов (Dytran, MD Nastran SOL 700). Под большими задачами понимаются задачи размерностью несколько миллионов уравнений (степеней свободы) и более.

Для исследования возможностей программных продуктов MSC по решению задач большой размерности был проведен ряд тестов производительности различных решателей и последовательностей решений на базе аппаратной платформы DEPO Computers, а так же на базе кластера, собранного из рабочих станций.

DEPO Computers - ведущий российский разработчик, производитель и поставщик компьютерной техники и комплексных ИТ-решений. Подробную информацию о компании DEPO Computers можно узнать на сайте компании: http://www.depocomputers.ru.

Метод тестирования

В данной статье рассмотрен вопрос об анализе производительности решения задач по вычислению собственных значений (SOL 103) в MD Nastran 2008r1. Необходимо отметить, что задача по вычислению собственных значений (резонансных частот) является основополагающей при решении задач динамики, в которых используется переход к обобщенным (модальным) координатам и при использовании суперэлементного подхода на основе метода Крейга-Бэмптона для редукции моделей.

С использование обобщенных координат решаются следующие задачи:
- поиск комплексных собственных значений (SOL 110),
- анализ частотного отклика (SOL 111),
- динамика переходных процессов (SOL 112),
- анализ флаттера (SOL 145),
- расчет реакции летательного аппарата в потоке на динамическое воздействие (SOL 146).

В качестве тестовой задачи рассмотрена задача по вычислению собственных значений в диапазоне частот от 0 до 1000 Гц для квадратной пластины 1х1 м, толщиной 1 мм, разбитой на 1 440 000 оболочечных элементов. Размерность задачи составляет более 7,2 миллионов степеней свободы.

Задача выбиралась из соображения, что в рассматриваемый диапазон частот должно войти значительное количество собственных значений. Для данной задачи в рассматриваемом диапазоне количество резонансных частот составило порядка 800 значений.

Задача решалась 2-мя способами - "как есть" и с применением специального метода MSC/MD Nastran - метода автоматического модального синтеза (ACMS).

Метод ACMS реализован в MSC Nastran, начиная с 2001 года, и предназначается для решения больших задач на собственные значения, в которых требуется вычислить значительное количество собственных значений. Как правило, эти задачи требуют значительного объема памяти и вычислительных затрат. К таким задачам относятся задачи поиска собственных значений, решение линейных задач динамики переходного процесса и частотного отклика с использованием метода модальной редукции.

Метод ACMS основан на использовании метода суперэлементов (редукция Крейга-Бэмптона). В автоматическом режиме модель делится на части. Каждая часть редуцируется, получается редуцированная часть - суперэлемент. Полученные суперэлементы автоматически собираются в редуцированную модель-сборку, на основе которой далее производятся быстрые и точные решения задач динамики. На последнем этапе производится операция восстановления результатов для внутренних узлов частей-суперэлементов.

Характеристики кластерной системы DEPO Computers

Тесты проводились на вычислительном кластере DEPO Cluster MSC:

Конфигурация управляющего узла
- Процессор: Intel Xeon 5540 2.53GHz;
- Память: 12Гб;
- Дисковая подсистема: 2 диска SAS емкостью 300 Гб (объединенные в параллельный RAID-массив), 8 дисков SAS емкостью 300 Гб, (объединенные в последовательный RAID-массив);
- RAID контроллер с поддержкой технологии MaxIQ (подробнее о технологии MaxIQ)
- Сеть: Ethernet 1.0 Gbps.

Конфигурация вычислительных узлов
- Процессор: Intel Xeon 5540 2.53GHz;
- Память: 12Гб;
- Дисковая подсистема; 2 диска SAS емкостью 300 Гб;
- Сеть: Ethernet 1.0 Gbps.
- Кластер работает под управлением ОС Linux - openSUSE 11.2 x8664, kernel 2.6.31.5-0.1.1-default.
- Задача решалась в MD Nastran R3.1.

Характеристики кластера из рабочих станций

Использованы четыре рабочие станции, имеющие следующую конфигурацию:
- Память: 8 Гб;
- Дисковая система: 2 диска SATA емкостью 250 Гб (объединенные в последовательный RAID-массив);
- Процессор: Intel Xeon X5450 3.0GHz;
- Сеть: Ethernet 1.0 Gbps;
- Кластер работает под управлением ОС Linux - openSUSE 11.1 x8664, kernel 2.6.27.42-0.1-default.
- Задача решалась в MD Nastran R3.1.

Результаты тестирования на одной машине

Из результатов, представленных на рис.1 видно, что разница в производительности узла кластерной системы DEPO Computers по сравнению с рабочей станцией значительная. Эта разница обусловлена тем, что в рабочей станции использовались диски SATA, производительность которых, по технической спецификации, ниже в 2 раза, чем дисков SAS, используемых в узлах кластерной системы DEPO Computers, а так же в 1,5 раза меньше оперативной памяти.

Использование метода ACMS позволило сократить время решения задачи в 5,0 раз на рабочей станции ив 2,7 раза на узле компьютерной системы DEPO Computers!!!

Рис. 1. Решение тестовой задачи на одном компьютере

Необходимо отметить, что распараллеливание на ядрах процессора (в режиме SMP) не дало значимой эффективности на используемых конфигурациях вычислительных систем и поэтому дальнейшие тесты с использованием режима SMP не проводились.

Использование технологии MaxIQ позволило сократить временные затраты в 1,3 раза.

Время решения задачи без применения метода ACMS на узле кластерной системы DEPO Computers составило 27 ч 43 мин. При подключении эффективной дисковой системы (корзины дисков), время решения этой задачи сократилось на 30% и составило 21 ч 17 мин.

Время решения задачи с применением метода ACMS на узле кластерной системы DEPO Computers составило 10 ч 28 мин. При подключении корзины дисков время решения задачи методом ACMS сократилось на 5% и составило 9 ч 58 мин.

Результаты тестирования на 2-х узловом кластере

Из результатов, представленных на рис.2 видно, что в случае использования двух узлов кластерной системы DEPO Computers при решении задачи без применения метода ACMS производительность увеличилась в 3,9 раза (с 27 ч 43 мин до 8 ч 05 мин) относительно производительности одного узла кластерной системы DEPO Computers.

Рис. 2. Решение тестовой задачи на двухузловом кластере

Время решения задачи с применением метода ACMS сократилось с 10 ч 28 мин до 6 ч 07 мин, т.е. производительность увеличилась в 1,9 раза.

На рис. 2 также показано, что при использовании эффективной корзины дисков на управляющем узле можно добиться сокращения временных затрат при решении задачи без применения ACMS на 7% (с 8 ч 05 мин до 7 ч 35 мин), а при решении задачи с применением метода ACMS на 10% (с 6 ч 07 мин до 5 ч 35 мин).

Результаты тестирования на 4-х узловом кластере

Из результатов, представленных на рис. 3 видно, что в случае использования четырех узлов кластерной системы DEPO Computers при решении задачи без применения метода ACMS производительность увеличилась в 6,2 раза (с 27 ч 43 мин до 4 ч 46 мин) относительно производительности одного узла кластерной системы DEPO Computers.

Рис. 3. Решение тестовой задачи на четырехузловом кластере

Время решения задачи с применением метода ACMS сократилось с 10 ч 28 мин до 4 ч 03 мин, т.е. производительность увеличилась в 2,6 раза.

Также показано, что при использовании эффективной корзины дисков на управляющем узле можно добиться сокращения временных затрат при решении задачи без применения ACMS на 6% (с 4 ч 46 мин до 4 ч 30 мин), а при решении задачи с применением метода ACMS на 15% (с 4 ч 01 мин до 3 ч 30 мин).

Производительность кластера, собранного из четырех рабочих станций при решении задачи без применения метода ACMS увеличилась в 6,8 раза по сравнению с одной рабочей станцией. При использовании метода ACMS на кластере из четырех рабочих станций время решения задачи по сравнению с одной рабочей станцией уменьшилось в 2,2 раза.

Использование технологии MaxIQ на управляющем узле кластера не показало эффективности при решении задач в режиме распараллеливания на узлах кластера.

Результаты тестирования на 8-ми узловом кластере

Из результатов, представленных на рис. 4 видно, что в случае использования восьми узлов кластерной системы DEPO Computers при решении задачи без применения метода ACMS производительность увеличилась в 6,9 раза (с 27 ч 43 мин до 4 ч 02 мин) относительно производительности одного узла кластерной системы DEPO Computers.

Рис. 4. Решение тестовой задачи на восмиузловом кластере

Время решения задачи с применением метода ACMS сократилось с 10 ч 28 мин до 3 ч 16 мин, т.е. производительность увеличилась в 3,2 раза.

Также показано, что при использовании эффективной корзины дисков на управляющем узле можно добиться сокращения временных затрат при решении задачи без применения ACMS на 12% (с 4 ч 02 мин до 3 ч 37 мин), а при решении задачи с применением метода ACMS на 20% (с 3 ч 16 мин до 2 ч 43 мин).

Общие выводы

Высокий прирост производительности при решении задач динамики в MD Nastran обеспечивается при использовании специализированных кластерных систем.

Время решения задачи при использовании восьмиузлового кластера DEPO Computers без применения метода ACMS сократилось в 19,6 раза (с 70 ч 44 мин до 3 ч 37 мин). При использовании метода ACMS и восьмиузлового кластера DEPO Computers время решения задачи удалось сократить в 25,6 раза (70 ч 44 мин до 4 ч 46 мин). Результаты тестов так же показали, что распараллеливание на ядрах процессоров не дает значительного прироста производительности на используемых в тестах конфигурациях вычислительных систем. Применение технологии MaxIQ дает прирост производительности только при решении задачи на одном узле.

Высокопроизводительная дисковая система, расположенная на управляющем узле, при решении задачи в режиме распараллеливания на узлах дает сокращение времени счета примерно на 30 минут во всех случаях. Это обусловлено тем, что на заключительном этапе решения задачи производится сбор всех частей на управляющем узле (время передачи данных по сети составляет около 20 минут), а затем обработка собранных данных с целью получения окончательного результата решения задачи. На обработку данных затрачивается около 35-40 минут при использовании высокопроизводительной дисковой системы и более часа (65-75 минут) без нее.

Важной особенностью при построении высокопроизводительных вычислительных систем является выбор правильной архитектуры кластера, быстрой дисковой системы, высокоскоростного сетевого оборудования, производительных процессоров, достаточного объема оперативной памяти, эффективной операционной системы (Unix/Linux). Максимальную производительность также обеспечивает и использование современной версии системы инженерного анализа MD Nastran.

По вопросам, связанным с построением кластерных систем, можно обращаться к Илье Пинчуку по тел.: (495) 969-22-22, доб. 6649 или е-mail: pinchuk.ilya@depo.ru.

По вопросам, связанным с конфигурированием Linux для решения задач с помощью MD Nastran, возможностям программных продуктов MSC.Software и т.д., можно обращаться к Александру Георгиеву по тел.: (495) 363-06-83, доб. 3119 или e-mail: alexander.georgiev@mscsoftware.com.

Архив новостей