Более четко все эти зависимости можно проследить на графике. В тестировании модели 2 не требовалось определение полной кривой ускорения от количества серверов. Ввиду размеров модели, ее расчет возможен минимум на 3 узлах кластера. В ходе тестов были замерены скорости на 3 и 10 узлах кластера. Полное и процессорное время расчета одной итерации для 2-ой модели на 3 узлах кластера при использовании GbE составило 289 и 121 с соответственно. Для варианта Infiniband времена составили 169 и 168 с. При использовании 10 узлов кластера с использованием Infiniband время расчета составило 89 и 88 с. Данные также приведены ниже в таблице. wall time
solv time
3 servers Gbe
289
121
3 servers IB
169
168
10 servers Gbe
155
51
10 servers IB
88
88
Время одной итерации с Infiniband уменьшилось до 52% от времени в случае расчета с GbE. Технико-экономические аспекты применения Infiniband В случае использования коммерческих программных продуктов, наращивание вычислительных мощностей без учета всех составляющих расходов может привести к необоснованных тратам и потере эффективности всего программно-аппаратного комплекса. Например, при использовании комплекса ANSYS CFX на данной конфигурации кластера с использованием процессоров Intel Nehalem доля стоимости оборудования Infiniband не превышает 5-7% от стоимости всего кластера и программного комплекса. При этом даже на 2-х узлах скорость при применении Infiniband увеличивается на 23%, что обеспечивает полную окупаемость данного решения. Также очевидно, что увеличение скорости расчета с помощью дополнительных узлов на основе Intel Nehalem при применении GbE, имеет предел в районе 3 — 4 кратного прироста. Итоги и рекомендации В случае применения кластеров на основе Intel Nehalem для расчетов гидрогазодинамики в программном комплексе ANSYS CFX 12 (и других подобных), рекомендовано применение сетевого интерконнекта Infiniband DDR начиная с 2 узлов. На примере тестовой задачи 1 показано, что даже при снижении размера расчетной об-
www.ansyssolutions.ru
ласти на один процесс ниже 75 000 гексаэдрических элементов (рекомендовано производителем программного комплекса как минимальное количество элементов на один процесс (используемое ядро процессоров) при параллельном расчете) наблюдается ускорение расчета при повышении количества узлов кластера. При расчете большой модели, включающей в себя различные физические модели и множество областей расчета, время расчета при применении Infiniband DDR также существенно уменьшилось. Однако ускорение расчета второй модели в зависимости от количества узлов кластера показывает несколько меньший рост, чем у первой. В данном случае это может объясняться особенностями параллелизации больших задач, состоящих из множества расчетных областей. Это приводит к увеличению зон перекрытия параллельных частей в расчете, сверх обычных 10-15% до 30-50%. Таким образом, при оценке реальной скорости вычислений необходимо учитывать увеличение расчетных узлов относительно исходной модели. Данное обстоятельство требует отдельного рассмотрения и применения программных мер воздействия — изменения алгоритма разбиения задачи на части, оптимизации расчетной сетки. Необходимо учесть, что наличие в расчете модели радиационного теплообмена не только увеличивает размер оперативной памяти и время расчета, но и требует организации быстрого доступа к файловой структуре в рабочем каталоге. Дополнительно в настройках решателя необходимо использовать увеличенные параметры для выделения памяти, например, Memory allocation factor-Real Stack size = 1.4. В процессе расчета в рабочей директории создаются файлы, содержащие данные трассировки лучей в модели. При достаточно большом количестве радиационных элементов в модели, файлы достигают существенных размеров и для быстрой работы решателя с ними необходимо применять высокоскоростные дисковые системы. В проведенном тесте для рабочей директории был создан скоростной массив из 3 дисков, но ввиду того, что монтирование рабочей директории проводилось стандартными средствами операционной системы nfs mount, доступ к рабочим файлам осуществлялся через интерфейс GbE. Очевидно, это замедлило скорость расчета второй модели и внесло существенную нелинейность в ускорение по узлам кластера. В следующих тестах предполагается использовать высокоскоростное дисковое решение с использованием возможности сети Infiniband для передачи файлов.
ANSYS Advantage. Русская редакция | 13'2010
35