Issuu on Google+


ВСТУПЛЕНИЕ

Время – это посредник между возможным и действительным

Н

а наш взгляд, широкие перспективы открываются перед коммерческими ЦОД, рынок которых в Украине начал формироваться относительно недавно. Совершенно очевидно, что кризисные изменения, побуждающие компании корректировать ИТ и бизнес-стратегии, пойдут этому молодому направлению на пользу, поскольку именно аутсорсинг позволит сократить затраты, связанные с развертыванием ИТ-инфраструктуры, и эффективно контролировать расходы по ее эксплуатации. Строительство и эксплуатация современного датацентра является чрезвычайно сложным техническим и инвестиционным проектом, требующим значительных финансовых затрат. Именно по этой причине в той или иной степени к аутсорсингу ЦОД прибегают компании практически всех секторов экономики, в частности, организации, работающие в сфере банковского и телекоммуникационного бизнеса. Значительное влияние на развитие рынка ЦОД оказывают «облачные вычисления», которые обеспечивают доступ к максимально гибким вычислительным ресурсам и позволяют оптимизировать затраты на их использование. Концепция «облачных вычислений» зиждется на трех китах: SaaS (Software as a service – ПО как услуга), Paas (Platform as a Service – платформа как услуга) и IaaS (Infrastructure as a Service – инфраструктура как услуга). «Облачные вычисления» обеспечивают целый ряд бесспорных преимуществ для современного бизнеса, а именно: широкие возможности виртуализации ресурсов, легкость администрирования программных активов, масштабируемость и пр. Наряду с этим, ключевой тенденцией развития корпоративных информационных систем стала централизация вычислительных ресурсов, которая во многом обусловила столь динамичное развитие рынка центров обработки данных. Во многом именно сложные экономические условия послужили дополнительным стимулом для заказчиков к созданию собственных ЦОД. Быстрая реакция на запросы бизнеса, высокие темпы внедрения необходимых систем, обеспечение непрерывности бизнес-процессов, максимальная доступность ИТ-сервисов, прозрачность и безопасность данных – вот основные характеристики эффективной ИТ-среды. Как выбрать из всего многообразия то решение или услугу, которые подходят именно вам? В данном спецвыпуске редакция PC Week/UE совместно с ведущими украинскими и мировыми экспертами попыталась найти ответы на этот сложный и нетривиальный вопрос.

Наталья Проценко, издатель PC Week/UE

PCWEEK Review 2 (107), 2010

3


СОДЕРЖАНИЕ

Центры обработки данных

«И еще раз об энерго­ эффективности»

8

PCWeek Review

Серверные многоборцы

26

Преимущества конвергентной инфраструктуры

30

Контейнерный ЦОД с конвейера

34

Учредитель и издатель: ООО «СК Украина» Директор: Наталья Проценко Заместитель директора: Тамара Соловей

ЦОД государственной важности

12

РЕДАКЦИЯ Главный редактор: Олег Пилипенко Тел./факс: (380-44) 361-70-57 E-mail: press@skukraine.com

ОТДЕЛ РЕКЛАМЫ

Модернизация корпоративного центра обработки данных ОАО «Укртелеком»

16

Динамический подход к построению датацентра

18

Сетевая инфраструктура ЦОД. Cisco Nexus: использовать или нет?

20

Тел./факс: (380-44) 361-70-57 E-mail: advert@skukraine.com

РАСПРОСТРАНЕНИЕ © СК Украина, 2010 04050, Украина, Киев, ул. Глубочицкая, 17, оф. 206 Издание печатается по лицензионному соглашению с компанией Ziff Davis Publishing Inc. Перепечатка материалов допускается только с разрешения редакции. За содержание рекламных объявлений редакция ответственности не несет. Editorial items appearing in PC Week/UE that were originally published in the U.S. edition of PC Week are the copyright property of Ziff Davis Publishing Inc. Copyright 2010 Ziff Davis Inc. All rights reserved. PC Week is a trademark of Ziff Davis Publishing Holding Inc. Приложение зарегистрировано Министерством юстиции Украины. Свидетельство о регистрации № 13442-2326Р от 03.12.07 PC Week Review выходит шесть раз в год

Безопасность центров обработки данных

22 4

PCWEEK Review 2 ( 107 ), 2010


Центры обработки данных

СОДЕРЖАНИЕ

36

«ЦОД-матрица» от НР

38

Заметки о датацентрах

41

«Бензин ваш – идеи наши»

44

Контроль за энергопотреблением и охлаждением ЦОД

PCWeek Review

ЦОД в ПУМБ: путь к централизации управления

48

50 6

50

ЦОД: тенденции рынка, актуальные проблемы и подходы

56

Конвергентный Ethernet – Converged Enhanced Ethernet (CEE) PCWEEK Review 2 ( 107 ), 2010

PCWEEK Review 3 ( 6 ), 2010

7


PCWeek Review

Центры обработки данных

Центры обработки данных

PCWeek Review

«И еще раз об энергоэффективности» В области построения центров обработки данных АРС by Schneider Electric давно и прочно удерживает пальму первенства. PC Week/UE беседует с Владимиром Дохленко, вице-президентом подразделения IT- бизнес в Украине и Молдове компании АРС by Schneider Electric, о синергии, инновациях, мировом и украинском опыте создания ЦОД. PC Week/UE: Завершился ли полностью процесс интеграции АРС в состав концерна Schneider Electric? Каким образом теперь строятся взаимоотношения между представительством APC by Schneider Electric и ЗАО «Шнейдер Электрик»?

рая была принята на 2009-2011 год. Суть программы в том, чтобы представлять все подразделения Schneider Elecrtic для наших партнеров и заказчиков как единую точку Владимир Дохленко: входа. Это поФактически интегразволит им обеция завершилась в наспечить доступ чале нынешнего года, к объединенпосле которой мы ной экспертизе уже являемся частью компании и реSchneider Elecrtic. Хотя шить широкий сотрудники скорее воскруг задач – от Владимир Дохленко приняли это как некую автоматизации формальность, поскольуправления ку уже более трех лет наши ком- до создания ЦОД, построения пании находятся в одном офисе. мощных систем распределения, Поэтому сам факт перехода был включая трансформаторные подноминальным – мы уже давно станции и другие компоненты. работали как часть большой коЯ хочу отметить, что уже есть манды. ряд крупных проектов, где заМы не только успешно инте- действована экспертиза и решегрировались вместе с компани- ния всех подразделений, котоей Schneider Elecrtic, но и смогли рые входят в компанию Schneider провести интеграцию ресурсов, Elecrtic. Один из примеров таких увеличить наш потенциал для проектов – создание инженерной решения сложнейших задач ав- инфраструктуры для суперкомтоматизации, ЦОД построения и пьютера «Ломоносов» МГУ. передать его нашим партнерам. Речь идет не о простой синергии, PC Week/UE: Насколько, на ваш взгляд, которую все пытаются обычно ис- после объединения компаний расширились кать в подобных случаях, на мой возможности кросс-продаж, и удалось ли вгляд, это качественно новый под- АРС проникнуть на новые рынки? ход в отрасли, который в скором времени станет стандартом. В. Д.: APC является вертикально В настоящее время действует организованным бизнес-подразпрограмма One Schneider, кото- делением, со Schneider Elecrtic

8

у нас равноправный союз и мы интеллектуально обогащаем и дополняем друг друга как с позиций бизнеса, так и в технологическом плане. Благодаря Schneider Elecrtic APC стали позитивно воспринимать в целом ряде рынков, на которых мы прежде не присутствовали, например, это рынок средств автоматизаци. И наоборот, благодаря APC Schneider Elecrtic получил доступ к клиентам на ИТ-рынке. Кроме того, синергия проявляется и в том, что мы активно используем партнерскую сеть Schneider Elecrtic для того, чтобы продвигать наши решения. Появилось много совместных проектов, где компании, которые исторически работали со Schneider Elecrtic, используют оборудование APC. С другой стороны, многие наши партнеры также получили статус партнеров Schneider Elecrtic, это позволило им начать работу в новых сегментах рынка. PC Week/UE: Какие технологии и решения были наиболее востребованными в последнее время? В. Д.: В области создания ЦОД попрежнему пользуются спросом технологии, которые обеспечивают высокую доступность и отказоустойчивость. Их крае­ угольным камнем является модульность. И если раньше нам приходилось объяснять заказ-

PCWEEK Review 2 (107), 2010

9


PCWeek Review

чикам преимущества модульного подхода, то сейчас он воспринимается как стандартный. Другие технологии связаны с изменениями серверного, сетевого оборудования, ростом плотности вычислений и возрастающими требованиями к охлаждению. Востребованность систем внутрирядного кондиционирования связана с новыми задачами функционирования современного серверного оборудования. Наряду с этим, сейчас очень много внимания уделяется к вопросам энергоэффективности, поэтому нашей концепция EcoStruXure являетася тем решением, которое отвечает современным задачам бизнеса и требованиям заказчиков. Отмечу, что проекты, связанные с повышением энергоэффективности возможно реализовать только с помощью комплексного подхода, который и предлагает Schneider Elecrtic, включая эффективное использование ресурсов всех подразделений. PC Week/UE: В каких вертикалях реали­ зуются крупные проекты ЦОД? В. Д.: Строительство ЦОД всегда было сегментом быстрого роста, спрос на них не особенно снижался даже на фоне общего экономического спада. Сейчас мы отмечаем оживление в различных вертикалях: в первую очередь нужно отметить финансовый сектор, объекты Евро-2012, все проекты, связанные с построением инфраструктуры. Но наибольшая динамика прослеживается в области построения коммерческих центров обработки данных. В настоящее время в Украине есть целый ряд уже реализованных проектов и тех, которые очень близки к завершению. Многие инвесторы

10

Центры обработки данных

рассматривают коммерческие ЦОД как альтернативный способ вложения денег. PC Week/UE: Многие заказчики высоко оценивают уровень экспертизы сотрудников APC by Schneider Electric. Повышаете ли вы компетенцию партнеров APC by Schneider Elecrtic в работе со сложными проектами ЦОД или намерены оставлять это экспертное звено за собой?

Центры обработки данных

ет в реализации крупнейших проектов. Datacenter Solution Team, не конкурируя, дополняет недостающие компетенции партнеров при разработке масштабных проектов. У отечественных интеграторов пока еще нет опыта строительства ЦОД уровня США или Западной Европы на десятки мегаватт, тысячи стоек, но это не означает, что из-за этого наши партнеры не должны заниматься реализацией подобных проектов, отдавая все зарубежным системным интеграторам. И здесь наша экспертиза позволит украинским интеграторам повышать свою компетенцию и реализовывать проекты мирового уровня.

В. Д.: Задача менеджера АРС  – быть экспертом для наших заказчиков, если требуется, глубоко вникать в технические детали, поскольку невозможно реализовывать сложные решения без понимания всех задач. Специалисты АРС  знают особенности нашего оборудования, но в то же время они являются неплохими PC Week/UE: Как По моим аналитиками вы считаете, какую субъективпо отношению к долю рынка занимает смежным систе- ным оценкам, АРС в сегменте ЦОД в мам ЦОД, окаУкраине? около зывая консуль70-80% ЦОДов тационную В. Д.: Рынок ЦОД в Украине поддержку. И, очень сложно оцебезусловно, денить, потому что построено тальная прораимеется очень с использоботка, реалимного подсистем ванием реше- и компонентов, зация проекта выполняется совершенно нений APC. нашимисистемравнозначных по ными интеграторами. стоимости. По моим субъекУ нас также существует специ- тивным оценкам, около 70-80% альное подразделение Datacenter ЦОДов в Украине построено с Solutions Team, базирующееся использованием решений APC. в Росии. Ресурсы и опыт этой ЦОД  — это не полигон для экскоманды позволяют разраба- периментов, и заказчики претывать сложнейшие проекты, в красно понимают, что у APC том числе, интегрировать любые накоплен значительный опыт, компоненты, которые необходи- большая инсталлированная мы заказчику, любые подсисте- база, мы обеспечиваем высомы, включая те, которые не вы- кокачественную сервисную пускаются компанией Schneider поддержку. На мой взгляд, Elecrtic, получая экспертизу длительный опыт эксплуавысокого уровня. В России тации, позитивные отзывы Datacenter Solution Team участву- наших заказчиков — это луч-

PCWEEK Review 2 (107), 2010

ший показатель качества и надежности, лучшая реклама наших решений.

инженерных разработок в отрасли. КПД 96% в диапазоне нагрузок свыше 30% без использования каких-либо экорежимов  – это PC Week/UE: Расскажите о флагманских рекордный показатель, позволятехнологиях для ЦОД, которые были раз- ющий сократить операционные работаны APC за последний год. затраты ЦОД на десятки тысяч гривен в квартал. Ведь даже если В. Д.: Стоит отметить энергоэф- номинальное потребление соврефективные ЦОД, хотя я бы назвал менных серверов будет приблиэто не технологией, а подходом к жаться к 90% мощности ИБП, не их созданию. APC первой начала стоит забывать, что большинство поднимать вопрос энергоэффек- современных приложений притивности, о коэффициенте PUE водит к неравномерной нагрузке (Power Usage Efficiency), об этом ИТ-оборудования на протяжении никто раньше не задумывался. В суток и, следовательно, неравното же время тезисы о важности мерному энергопотреблению. энергоэффективноТакже отмечу, го подхода, эконочто 500 кВт Наибольшая мии, ресурсов стали Symmetra PX динамика актуальны период с батареями прослежи­ рецессии. Концепи системой ция EcoStruXure, распределевается предложенная АРС, ния питания в области предполагает исз а ­н и м а е т пользование сбаланплощадь всепостроения сированных с точки го 1,6х1,07м. коммерчезрения использоваОчень суния электроэнергии ских центров щ е с т в е н н о компонентов, котото, что если обработки рые базируются на у заказчика данных. модульных решенирастет серях. Это Symmetra PX, верный парк, внутрирядные системы охлаж- помещение остается прежним. дения, использование энергоэф- Являясь полностью модульным фективных подходов Schneider решением, Symmetra PX поддерElecrtic. Наш целостный подход живает масштабирование по мощпозволяет комплексно взглянуть ности (до 2МВт) и обслуживание на задачу заказчика и предло- при подключенной ИТ нагрузке. жить наиболее оптимальное решение. В России уже есть проек- PC Week/UE: В мировом масштабе APC ты, где заказчик требует жесткого сотрудничает с правительственными струкдостижения коэффициента PUE турами для того, чтобы внедрять новые при реализации проектов, вклю- стандарты и пропагандировать экологичечая данные расчеты в свой бизнес ские подходы к использованию энергии. план по окупаемости ЦОД. Если ли перспективы для такой деятельноИз новых решений, позволя- сти в Украине, где многие считают, что это ющих существенно улучшить отмывание денег и напрасная болтовня? показатель PUE ЦОД, хочу отметить Symmetra PX 250/500 kW. В. Д.: В Украине законодательной Данный ИБП является вершиной поддержки энергоэффективно-

PCWeek Review

сти на государственном уровне нет. За рубежом государство доплачивает операторам, которые используют альтернативные виды энергии. Тем не менее, проекты по альтернативной энергетике в Украине реализуются. Schneider Electric завершает первый этап большого проекта по созданию фермы солнечных батарей в Крыму, общей мощностью 7,5МВт. Это очень масштабный и финансово емкий проект, в эксплуатацию введена первая очередь мощностью 2,5МВт. Сейчас альтернативная энергетика держатся на энтузиастах и на инвесторах, которые видят их перспективу в будущем. С другой стороны наши решения для промышленных предприятий, регулирующие коэффициент мощности, не нуждаются в какой-либо поддержке. Ведь подобное внедрение позволяет за счет полученного экономического эффекта окупить затраченные предприятием на данную систему средства менее чем за один год. PC Week/UE: Назовите наиболее масштабные и интересные проекты, реализованные за последний год в Украине В. Д.: Одним из наиболее ярких является проект создания коммерческого ЦОД компании DeNovo. Можно смело утверждать, что для нашей страны это беспрецедентный по масштабу проект, я думаю, ничего подобного в Украине в ближайшей перспективе не появится. Мы очень гордимся тем, что в результате конкурентной борьбы нам удалось доказать эффективность решений APC, которые были выбраны для реализации этого проекта. PC

11


PCWeek Review

Центры обработки данных

Центры обработки данных

ЦОД государственной важности Год назад для Министерства финансов на ул. Межигорская в Киеве, был запущен новый мощный центр обработки данных, состоящий из двух залов по 78 кв.м. Об уникальных особенностях этого датацентра рассказывает Сергей Михайлович Коваль, заместитель начальника отдела информационного обеспечения Государственной налоговой администрации Украины.

PC Week/UE: Почему возникла задача построения централизованого центра обработки данных для Министерства финансов?

сами Украины невелики. Кроме того, эти помещения строились из расчеСергей Коваль: Ранее та небольшого в основу организации электропотревычислительных пробления и тецессов Минфина была пловыделения, заложена концепция ведь в сравраспределенных манении с серлых вычислительных верами комцентров обработки мутационное данных. Такая органиоборудование Коваль Сергей Михайлович зация процессов имела не является как преимущества, так и недо- настолько энергопотребляющим. статки, причем последних было Более того, для теплоотвода из больше. Кампусная сеть Мин- комутационных комнат испольфина состоит из четырех зда- зовались обычные бытовые конний, расположенных в разных диционеры, недостатки которых районах Киева, объединенных всем известны. оптоволокном. В каждом из этих зданий в коммутационных комнатах были установлены серверы, которые обеспечивали поддержку принятия решений работников министерства. К сожалению, коммутационные комнаты сами по себе очень маленькие, поэтому возмож- Рис. 1 ИБП на 1 МВт марки APC Symmetra ность наращивать Как только появилась возможвычислительные мощности в соответствии с растущими за- ность создания ЦОД в здании дачами управления госфинан- Минфина на улице Межигор-

12

ской, 11, в котором как раз проводилась реконструкция, мы пересмотрели основные концептуальные подходы в организации вычислительных процессов. Таким образом, мы перешли от распределенной к централизованой системе. Дело в том, что во время реконструкции можно было правильно спланировать и проложить всю необходимую инженерную инфраструктуру, без которой невозможна работа датацентра. PC Week/UE: В чем особенность данного ЦОДа? С. К.: Одна из его изюминок состоит в том, что мы взяли под свой полный контроль систему энергообеспечения  – от ввода в здание до конечного потребителя. Опыт показал, что до 90% всех сбоев в работе датацентра происходило из-за некачественного электропитания. При решении этой задачи мы взяли на вооружение комплексный подход. В соответствии с рекомендациями стандарта TIА 942 были проложены два фидера от разных подстанций и установлен централизованный ИБП на 1 МВт марки APC Symmetra. (рис.1) В качестве резервного источника электроэнергии мы запланировали использова-

PCWEEK Review 2 (107), 2010

PCWeek Review

ние дизель-генератора мощ- примененное в данном проек- С. К.: Для обеспечения эфективноностью 1,5 МВт, который спо- те, уникально для Украины в го охлаждения ЦОД мы применисобен обеспечивать питанием целом. ли технологию АРС изолировавсе здание в течение ного коридора горячего 3 часов. Этот аппавоздуха, поскольку это рат потребляет около наиболее оптимальное 300 литров дизельи экономически выгодного топлива в час и ное решение. оснащен топливным Одним из самых резервуаром на 1000 интересных моментов литров. (рис.2) проекта является созПолный контроль дание единой системы системы энергообеспетеплоотвода. Для эточения осуществляется го на чердаке здания не только по отношебыли установлены семь нию к вычислителькрупных чиллеров, коному оборудованию в торые обеспечивают ЦОД, но и на уровне ко- Рис. 2 Дизель-генератор мощностью 1,5 МВт охлаждение всего зданечных потребителей. ния на Межигорской, Дело в том, что когда планиру- PC Week/UE: К помощи каких системных 11. Один специально выделенный ется размещение пользователей интеграторов вы прибегали в процессе ре- чиллер работает только на охлажнового здания, мы под каждое ализации проекта? дение центра обработки данных, помещение рассчитываем но поскольку используется силовую нагрузку. Но, как общий коллектор, то он мопоказывает опыт, в реальжет функционировать соной жизни пользователи вместно с соседними чилне придерживаются наших лерами. Иными словами, в плановых расчетов потреслучае выхода его из строя бления электроэнергии, и или профилактического в результате происходит ремонта для охлаждения так называемый «перекос» ЦОД могут быть задействофаз. Без специального обованы другие чиллеры. рудования выявить место, где происходит перекос, PC Week/UE: Как производитневозможно. Это обусловся управление вычислительным лено тем, что очень трудно центром? заранее спланировать, где будет находится принтер, С. К.: Управление ЦОД мы копир и другая техника, Рис. 3 Устройства распределения питания от фирмы АРС. вынесли за пределы серкоторая потребляет немаверных залов. Присутло электроэнергии. Примествие человека в помещении нение устройства распределения С. К.: Разработку и внедрение дан- датацентра требуется только при питания от АРС в качестве элек- ного проекта взяла на себя ком- установке и монтаже оборудоватрощитовых с автоматами, ко- пания ProNET. Основную часть ния. Все остальные операции, таторые можно отслеживать по IP, консультаций и контроль за ис- кие как включение и выключение позволило нам видеть состояние полнением проекта осуществля- устройства, конфигурирование и оперативно изменять нагрузки ла компания АРС by Schneider BIOS, существляются удаленно. по фазам. (рис.3) Elecrtic. В качестве основы для созМне кажется, что такое редания удаленного системного шение по распределению пи- PC Week/UE: Как построена система ох- терминала мы использовали ситания среди пользователей, лаждения датацентра? стему Raritan. Весь мониторинг

13


PCWeek Review

и управление администратор выполняет в отдельном помещении, отслеживая информацию на больших экранах. PC Week/UE: Сколько человек задействованы в управлении вычислительным центром?

Центры обработки данных

Высокий КПД UPS имеет огромное значение при больших энергозатратах. Те 2-3% преимущества в КПД, которыми обладает APC Symmetra по сравнению с другими решениями на больших мощ-

Рис. 4 Рабочее место центра мониторинга ЦОД

С. К.: Согласования, расчеты и доказательства правильности выбранных решений заняли около 2-3 лет. Приблизительно год я защищал технические решения, которые были положены в осно-

14

5-10 лет мы можем без проблем наращивать вычислительные мощности для удовлетворения растущих задач Министерства финансов Украины.

С. К.: Наиболее важное приложение, которое работает на базе вышеописанного датацентра, — это «АІС Держбюджет», которое позволяет нам создавать государственный бюджет, следить за доходами бюджета и за его исполнением как на уровне сведеного бюджета, так и на уровне местных бюджетов. . PC

ностях позволяет экономить на электроэнергии до сотен тысяч гривен в год. Кроме того, UPS от АРС, построенные на базе дельтапреобразования, выдерживают пиковые нагрузки до 200%. Еще одно очень большое преимущество решений APC состоит в том, что мониторинг и контроль всей инженерной инф р а с т ру к т у ры производится с единой консоли управления.

Рис. 5 Схема проекта построения ЦОД в Министерстве финансов. ву строительства ЦОД. Самые жаркие споры велись по выбору централизованного обеспечения гарантированного питания. Расчеты показали, что именно решение от АРС оказалось наиболее выгодным с точки зрения КПД и экономии электроэнергии.

PCWeek Review

PC Week/UE: Какие задачи сегодня выполняет построенный ЦОД?

С. К.: В свое время мы специально создали отдел поддержки пользователей, там порядка восьми человек. Причем они занимаются не только ЦОДом, но и обеспечивают поддержку пользователей. PC Week/UE: Сколько времени заняла реализация проекта, согласование, расчеты?

Центры обработки данных

PC Week/UE: Насколько маштабируе­ мым является новое решение?

С. К.: Потенциал для наращивания вычислительной мощности огромен: два зала по 12 серверных шкафов. В каждом шкафу возможно установить оборудования до 20 кВт, а также установить около 15 двухъюнитовых серверов. Полагаю, что в течение

PCWEEK Review 2 (107), 2010

15


PCWeek Review Центры обработки данных

Центры обработки данных

Модернизация корпоративного центра обработки данных ОАО «Укртелеком» При проведении модернизации ИТ-сервисов ЦОД одним из ключевых факторов успеха является ответственность и выполнение части работ заказчиком за счет собственных ресурсов.

О

АО «Укртелеком» – современное предприятие с развитой инфраструктурой, которое занимает лидирующие позиции на украинском рынке услуг фиксированной связи и Интернет. Введенный в эксплуатацию в 2007 году территориально-распределённый ЦОД позволил реализовать новый технический стандарт ИТ-сервисов, обеспечивающий деятельность в разрезе «Управления корпорацией» телекоммуникационного оператора национального масштаба. ИТ-сервисы функционируют согласно спроектированной модели системной архитектуры, базирующейся на эталонных моделях компаний мировых лидеров: Microsoft, EMC, Oracle, Cisco, Hewlett-Packard, и образуют высокопроизводительные платформы консолидации вычислительных ресурсов, хранения и защиты данных, управления. Общий объём хранения транзакционных данных составляет более 70 ТБ, количество серверов приложений более 200, серверов баз данных – 40 (8-и, 4-х, 2-х узловые кластеры), количество обслуживаемых корпоративных пользователей – 45 тыс. Стратегически опережая темпы конкурентов в развитии предоставляемых услуг, «Укр­ телеком» в 2009 году приступил к реализации второго этапа

16

эволюции ЦОД – модернизации платформ автоматизированных систем уровня бизнес- и операционной поддержки. Основными критериями выступали: • обработка увеличенного объёма данных, порождаемых новыми услугами и клиентами; • скорость проведения транзакций; • скорость ввода новых услуг; • защита данных и уровень контроля функционирования. Модернизация требовала обеспечения непрерывности функционирования существующих ИТ-сервисов и систем автоматизации. Работы полного технологического цикла модернизации корпоративного ЦОД «Укртелекома» в рамках поставленных задач выполняла компания «ЭС ЭНД ТИ УКРАИНА». Были выполнены проектирование, разработка, модернизация существующих и внедрение новых решений согласно существующему в «Укр­ телекоме» стандарту развития и функционирования ЦОД  – «Перспективной cистемной архитектуры». Модернизация охватила 6 основных, не учитывая взаимосвязанных, ИТ-сервисов. • Системы обработки данных. Уровень развития: увеличение вычислительной мощности, виртуализация серверных ресурсов,

минимизация инженерной инфраструктуры. • Системы хранения данных. Уровень развития: увеличение пропускной способности вводавывода, увеличение объёмов и оптимизация уровней хранения данных. • Резервное копирование и восстановление. Уровень развития: увеличение объёмов гарантированно восстанавливаемых данных, оптимизация систем хранения резервных копий. • Системы управления базами данных. Уровень развития: обеспечение высокопроизводительной и масштабируемой платформы для систем автоматизации. • Интеграция. Уровень развития: обеспечение высокопроизводительной и масштабируемой платформы корпоративной Сервисной шины интеграции приложений и систем автоматизации. • Управление ИТ. Уровень развития: обеспечение масштабного покрытия централизованным управлением компонентов и ресурсов информационной инфраструктуры, а также введение модели управления, делегирования прав и функций и контроля эксплуатационной деятельности. Обеспечивая режим непрерывности модернизации существующих ИТ-сервисов, интегратор разработал и применил PCWEEK Review 2 (107), 2010

процессный подход практики ITIL «Управления выпусками». Была согласована �� сформирована тестовая среда апробации изменений версий программноаппаратных компонентов, разрабатываемых до уровня промышленной эксплуатации. В данном подходе наиболее критическими являются задачи обеспечения плана миграции данных и восстановления. Ввод в промышленную эксплуатацию модернизированного ИТ-сервиса означает переключение в реальном масштабе времени транзакций и функций обслуживания запросов без права остановки или искажения логики и оперативности функционирования того или иного программно-аппаратного комплекса обеспечения жизнедеятельности заказчика. В таких сложных и требовательных к интегратору технологических условиях эксперты «ЭС ЭНД ТИ УКРАИНА» совместно с квалифицированным эксплуатационным штатом сотрудников «Укртелеком» разработали и провели расширенные программы тестирования готовности новых ИТ-сервисов. При проведении работ по вводу в эксплуатацию проводилось планирование с согласованием задействуемых ресурсов и «технологических окон» проведения работ. Решение по применению плана работ принималось при детальном рассмотрении плана возврата в  случае возникновения непредвиденных обстоятельств, приводящих к критичному удлинению работ или к остановке работающих систем в промышленной эксплуатации. Специфика данной деятельности требовала комплементарности при взаимодействии специа листов «ЭС  ЭНД  ТИ УКРАИНА» и «Укртелеком».

При проведении модернизации ИТ-сервисов ЦОД, одним из ключевых факторов успеха является ответственность и выполнение части работ заказчиком собственными ресурсами. Для этого заказчику необходимо поддерживать требуемый уровень квалификации, а деятельность в ИТ должна строиться в соответствии с принятым техническим стандартом развития и эксплуатации ЦОД. «Укртелеком» обладает и тем и другим, без чего, учитывая совокупную сложность процессов модернизации, на успех было бы сложно рассчитывать. Сама возможность проведения успешной модернизации стала ярким показателем правильности реализации сформированной в начале стратегии развития и эксплуатации ЦОД: «Укртелеком», воспользовавшись услугами ИТконсалтинга компаний «ЭС ЭНД ТИ УКРАИНА» и «Майкрософт Украина» при построении корпоративного ЦОД, успешно на протяжении ряда лет применял в своей деятельности адаптированные знания и полученные результаты. При модернизации сервиса «Систем хранения данных» в эксплуатацию была введена дисковая система корпоративного уровня высшего класса ЕМС Symmetrix V-MAX. Архитектура данной системы позволяет защищать и эффективно управлять объемами данных, превышающими 1 ПБ. Интеллектуальная система управления вводом-выводом Symmetrix V-MAX позволила сбалансировать применяемую платформу сервиса «Системы обработки данных» с учётом перспективного её развития. Стало возможным провести дальнейшее распределение данных между существующими

PCWeek Review

системами хранения корпоративного ЦОД для продолжения процесса консолидации сервисов и приложений, с повышением уровня их гарантированного восстановления. Для реализации уровня гарантированной защиты и восстановления данных, в рамках сервиса «Резервное копирование и восстановление» были введены дополнительные компоненты, обеспечивающие реализацию схемы резервного копирования «дискдиск-лента». Данное расширение функционала кроме покрытия основной задачи – сбалансировать возросший объем хранимых данных – позволило сократить время потенциального восстановления данных систем автоматизации, а так же обеспечило дополнительный уровень гибкости интеграции взаимосвязанных систем при использовании одного набора данных. Модернизация сервиса «Управление ИТ» была нацелена на покрытие появившихся новых компонент ресурсов корпоративного ЦОД. Необходимо было достичь уровня контроля (сбора статистики) и управления (проведения конфигураций и накопления базы знаний) программно-аппаратными компонентами ЦОД. Расширение получили также функции автоматизации по распространению стандартных пакетов программного обеспечения и операционных систем. При разработке административной модели сопровождения были сформированы и зафиксированы «паспортами сервисов» основные показатели функционирования ИТ-сервисов. По контролю этих показателей была реализована отчётность и система оповещений сервиса «Управление ИТ» с применением алгоритмов поиска корневых причин. PC

17


PCWeek Review

Центры обработки данных

Центры обработки данных

Динамический подход к построению датацентра Как внедрение технической виртуализации повлияет на технологию и стратегию построения центров обработки данных в ближайшем будущем? Об этом мы говорили с Дмитрием Тиховичем, руководителем предпродажной поддержки в странах СНГ компании VMware. PC Week/UE: Как вы дуктов vCenter оцениваете уровень технои входящие в логической зрелости занего vCenter казчиков в области ЦОД в App­Speed, Site странах СНГ? Recovery Mana­ Дмитрий Тихович: Поger, Capacity IQ, лагаю, что типичный Heartbeat и прозаказчик находится чие. На этой стана самой первой стадии уже не тольдии этого пути. В комко ИТ-служба, но пании VMware урои бизнес-подразвень технологической деления организрелости заказчика зации начинают делят на три стадии. видеть преимуДмитрий Тихович Первая стадия нащества от новозывается IT-production го подхода к ИТ: и подразумевает, что предприятие ресурсы выделяются быстро и широко использует технологию с требуемыми параметрами, отвиртуализации, все продуктив- слеживать их потребление и неные системы виртуализированы, обходимые метрики можно на за исключением критически важ- любом этапе жизненного цикла ных для бизнеса приложений. сервиса. Например, если в конВторая стадия, которую мы це месяца требуется какая-то называем business-production, массовая почтовая рассылка подразумевает виртуализацию и почтовый сервис должен выи критически важных приложе- держивать большие нагрузки, ний. На данной стадии перед то в виртуальной среде можно заказчиком встают вопросы от- практически мгновенно обеспеслеживания производительно- чить требуемую резервацию рести приложений в виртуальных сурсов с нужными параметрами машинах, вопросы тонкой на- времени отклика. стройки инфраструктуры, катаТретья стадия характеризуетстрофоустойчивости и т. д. Не- ся возможностью сдавать в аренобходимость решать эти задачи ду полученные вычислительные подталкивает заказчиков к ис- ресурсы внутренним либо внешпользованию специализирован- ним потребителям. Последние ных инструментов. же, в свою очередь, потребляют VMware предлагает такие ин- эти ресурсы подобно тому, как струменты. Это семейство про- дома человек потребляет воду

18

или электроэнергию. Это так называемая модель «коммунальных вычислений», или, как недавно стали называть ее специалисты, IT-as-a-Service. PC Week/UE: Как подсчитывается стоимость подобных «коммунальных вычислений»? Д. Т.: При использовании виртуальной инфраструктуры это нетривиальная задача. Ведь в случае применения физических серверов стоимость, например, почтового сервиса вычисляется сравнительно просто: затраты на оборудование плюс цена ПО и стоимость поддержки. В виртуальном мире все не так просто. На одном физическом сервере может находиться множество ВМ, однако стоимость сервиса, запущенного в ВМ, не определяется простым делением общей стоимости на количество виртуальных машин. Виртуализированная инфраструктура динамична – для осуществления балансировки нагрузки на физические узлы, ВМ постоянно перезжают с узла на узел, ВМ могут динамически «увеличиваться» – забирать дополнительные ресурсы из пула, или «сжиматься» — отдавать ресурсы в пул, когда они не требуются. Это нужно учитывать в расчетах. Кроме того, необходимо обратить внимание на еще один мо-

PCWEEK Review 2 (107), 2010

мент. Предположим, что к концу года в организации планируют массивную e-mail-кампанию. Чтобы обеспечить достаточный запас мощности для вышеуказанной задачи, ИТ-служба перемещает виртуальную машину с почтовым сервисом на более мощный сервер и в хранилище с более высокой полосой пропускания для поддержания увеличивающегося объема транзакций. В результате стоимость единицы ресурса будет выше, т.к. сервис будет исполняться на более дорогом сервере и СХД. В таком динамическом датацентре очень непросто посчитать стоимость предоставляемых ресурсов. Если заказчик хочет потреблять вычислительные ресурсы по квантам, то как посчитать стоимость кванта? VMware предлагает решение подобной задачи. Специализированный продукт VMware vCenter Chargeback, базируясь на статистике использования ресурсов в виртуализированной инфраструктуре VMware vSphree осуществляет расчет их потребления и предоставляет подробные финансовые отчеты. Начав применять вышеупомянутые технологии, компании смогут сделать шаг навстречу принципу «коммунальных вычислений» в рамках взаимодействия их бизнес- и ИТподразделений. Руководство организации, располагающей подобной виртуализированной, полностью настроенной и отлаженной ИТинфраструктурой, начинает задумываться о том, почему бы не предоставлять вычислительные ресурсы внутренним или внешним потребителям. Например, крупная корпорация может вы-

делить свое ИТ-подразделение в центр по предоставлению ИТуслуг для всего холдинга. Есть и другой вариант: оператор фиксированной или мобильной связи, у которого имеется мощный ЦОД, сможет дополнетельно предоставлять своим заказчикам услугу «ресурсы по требованию». PC Week/UE: Кто будет среди потребителей таких услуг? Д. Т.: Представим себе такую ситуацию: небольшая компания испытывает определенную потребность в ИТ-сервисах, но при этом не имеет достаточных фи«В таком динамическом датацентре виртуальные машины постоянно «переезжают» с одного физического сервера на другой, поэтому намного сложнее посчитать стоимость предоставляемых сервисов.»

нансовых ресурсов для покупки оборудования и лицензий ПО, наем персонала и т. д. Тогда она может обратиться к поставщику ИТ-ресурсов, аналогичному вышеописанному оператору. Однако для внедрения подобных моделей нужно сломать в наших головах существующие стереотипы. Мы относим подобный уровень зрелости ИТ заказчика к третьей, самой высокой стадии, однако практика показывает, что большинство заказчиков в странах СНГ находятся на самой первой стадии консолидации и виртуализации ИТ-ресурсов, поскольку ими движет обходимость сокращения издержек. Сегодня многие компании внедряют виртуализацию в сво-

PCWeek Review

их датацентрах, но лишь небольшая часть заказчиков делает это для критически важных приложений. В то же время в МТС, например, все приложения биллинговой системы работают в виртуальных машинах VMware. Полагаю, что для остальных компаний нужен некий импульс, который подтолкнет их к использованию виртуальных систем. Либо должно пройти какое-то время, пока заказчики убедятся, что виртуальная платформа работает так же надежно, как физическая. PC Week/UE: Расскажите о видении VMware облачных вычислений. Д. Т.: Сейчас с уверенностью можно заявить, что основа облачных вычислений – это платформа виртуализации. Но если мы хотим объединять в «облака» множество собственных территориально распределенных ЦОДов или же формировать гибридное «облако», состоящее из пула собственных вычислительных ресурсов компании и ресурсов внешнего провайдера, то в этом случае нужен некий механизм который будет в состоянии эту задачу решать. Наша новая разработка VMware vCloud Director — это программный пакет, который и позволяет реализовать подобный сервис. В состав продукта также входит компонент VMware vShield Edge, обеспечивающий безопасность облачной инфраструктуры, а также VMware vCenter Chargeback – модуль позволяющий «подсчитывать» потребляемые ресурсы. Данный продукт уже доступен и тестируется рядом наших заказчиков. Да и вобще рынок проявляет значительный интерес к новинке. PC

19


PCWeek Review Центры обработки данных

Центры обработки данных

Сетевая инфраструктура ЦОД. Cisco Nexus: использовать или нет? Вадим Запарованый, ведущий инженер-консультант Департамента сетевых технололгий компании «Инком»

П

оявление возможности виртуализации сервисных ресурсов в свое время стало огромным прорывом в технологиях построения ЦОД. Ведь она позволила уйти от привязки приложений к определенному серверу и его расположению. На фоне общеизвестных сложностей, о которых так много пишут в последнее время, возникающих при построении и в процессе эксплуатации ЦОДа, весьма логично то, что сетевая инфраструктура развивается по тому же пути. Появляются решения виртуализации и в этой сфере или иными словами строятся унифицированные сетевые фабрики. Преимущества построения ЦОД с использованием унифицированной сетевой инфраструкту ры в целом очевидны. Повышается КПД использования ресурсов, стандартизируются процессы и задачи, минимизируется влияние человеческого фактора, что в совокупности приводит к сокращению сроков окупаемости проекта, повышению эффективности и качества предоставляемых сервисов. Достигается этот результат за счет ряда функциональных особенностей, присут-

20

ствующих в новых моделях коммутаторов поддерживающих унифицированный формат. А также вследствие изменения самой архитектуры решений.

«Повышается КПД

кабельной инфраструктуры, из чего следует, что нам требуются большие объемы помещений.

Что представляет собой унифицированная сетевая инфраструктура? Одним предложением мож-

использования ресурсов, но сказать, что это совокупность семейства новых комстандартизируются промутаторов Nexus и нового цессы и задачи, что в со- сетевого адаптера с поддержкой протокола Fibre Channel вокупности приводит over Ethernet. Новое семейство коммутак сокращению сроков торов Nexus, которые пришли окупаемости проекта, по- на смену всем хорошо известным коммутаторам Catalyst вышению эффективно6500, 4900, 3750, состоит из нескольких моделей. сти и качества предоставNexus 7000 – флагман линейки, который позициляемых сервисов» онируется как коммутатор ядра ЦОД, имеет производиНесмотря на то, что техно- тельность 15 Тбит/с, полностью логии развиваются достаточно виртуализированную архитекбыстро, мы успеваем привыкать туру, оптимизация под 10/40/100 к определенным стандартам, в Гбит/с. частности к стандартам в поNexus 5000 – коммутаторы строении ЦОД. Так, мы при- уровня консолидации на уровне выкли к необходимости разде- ЦОД. Имеют порты 10 GE, FC, ления сетевой инфраструктуры FCoE, DCE. на инфраструктуру передачи Nexus 2000 – является по данных и хранения. Ключевой сути выносным модулем Nexus составляющей в ней являются 5000. серверы, которые имеют интерНу и наконец, программный фейсы подключения к каждой из коммутатор встраиваемый этих подсистем. Такое разделе- в среду VMWare – Nexus ние ведет за собой повышенное 1000, который позволяет энергопотребление, увеличение вслед за миграцией прилоPCWEEK Review 2 (107), 2010

жения с одной виртуальной машины на другую, осуществить миграцию сетевых политик, прописанным на порту доступа. Converged Network Adapter (CNA) – это новый сетевой адаптер 10GE с поддержкой Fibre Channel over Ethernet. Данный адаптер позволяет заменить несколько сетевых адаптеров на сервере на один, консолидирует 10GE и FC на едином интерфейсе. Использование вместе данных элементов позволяет сократить фактическое количество коммутаторов в сети, уменьшается количество плат в серверах, уменьшить кабельную инфраструктуру. В целом в два раза сокращается энергопотребление, затраты на охлаж­дение и занимаемая площадь ЦОДа в том числе. Преимущества использования унифицированной сетевой инфраструктуры действительно прозрачны и достижимы. Почему же компании все еще задаются вопросом: «Использовать Cisco Nexus или нет?»

На переговорах мне очень часто задают вопрос... «Ребята, вы же сами строили для нас ЦОД, строили фундаментально и на века»... Конечно, при использовании нового подхода мы сэкономим на энергопотреблении, площадях и т.д. Но что прикажете делать с тем оборудованием, кабельной инфраструктурой, уже купленными и внедренными, которые, по всей видимости, просто придется выкинуть? Сейчас выпускаются новые серверы со встроенн­ыми консолидированными адаптерами, но у нас-то стоят не менее дорогие, но без адаптера… Вопрос финансовой эффективности, безусловно, в данном случае, требует особой внимательности. Вот что можно посоветовать.

Если у вас уже есть ЦОД 1. Считайте ROI. Даже если у вас уже полностью построен ЦОД, затраты на его модернизацию окупаются. Учитывайте затраты на электроэнергию, каналы связи и фонд заработной платы.

PCWeek Review

2. Внедрение можно производить поэтапно. Начать с замены сетевой инфраструктуры в пользу Nexus, к которым подключать имеющиеся системы хранения данных и серверы. После чего постепенно переходить на новые модели серверов со встроенным адаптером. 3. Учитывайте новые функциональные возможности Nexus. Так, в частности, Nexus 7000 обладает новым сервисом TrustSec. Он решает нетривиальную задачу шифрования на уровне L2, при скоростях 10 Гбит/с и выше, столь необходимую при передаче данных между двумя разнесенными ЦОДами. Кроме этого, в новых Nexus с помощью функционала OTV решается задача предупреждения миграции ошибок приложений по магистральной сети между территориально распредиленными ЦОДами. Иными словами, локализация L2 доменов. Каждая из площадок в этом случае, несмотря на то, что ЦОДы связаны между собой по L2, рассматривается как отдельный домен. Поэтому ошибка, возникающая в приложении на одном ЦОДе, здесь же локализируется и решается в рамках только этой площадки, а не «бегает» по магистрали, загружая сеть.

Если вы собираетесь строить новый ЦОД Для вас использование унифицированной инфраструктуры – в целом беспроигрышный вариант. При этом расчет ROI никто не отменял. По-хорошему, он должен предшествовать внедрению любой системы. Особо хочу остановиться на случаях компаний, переживающих процессы слияний и поглощений. Как правило, сделки M&A ведут к практически полной перестройке всей вычислительной инфраструктуры. Это так-

Продолжение на стр 29

21


PCWeek Review Центры обработки данных

Центры обработки данных

Безопасность центров обработки данных В традиционных ЦОДах сегментация сети осуществляется с помощью межсетевых экранов и LAN, в виртуализированных же датацентрах невозможно с  помощью обычных межсетевых экранов обеспечить эффективную сегментацию сетей и изоляцию виртуальных машин, что потенциально делает возможными и необнаруживаемыми атаки с одних виртуальных машин на другие.

З

Денис беЗкоровайный, технический консультант Trend Micro

адачу зак повсеместному щиты даиспользованию тацентров технологий вирнельзя растуализации, комсмат ривать пании проходят в отрыве от путь от традицисовременных ИТонных датацентенденций и новых тров к «частным» парадигм испольоблакам, гибридзования вычислиной архитектуре тельных ресурсов. и, в конечном итоНа способы поге, придут к стираДенис беЗкоровайный строения соврению границ межменных центров ду «публичными» обработки данных огромное облаками и своими собственвлияние оказывает смещение ными ресурсами – облаками акцентов во всей ИТ-отрасли «частными». от традиционных вычислений На каждом этапе эволюции в сторону технологий виртуа- датацентров возникают все нолизации и облачных вычислений. Если предвестниками новой эры была консолидация серверов для достижения эффективной загрузки физических ресурсов, то теперь на повестке дня CIO-такие задачи, как динамическое распределение мощностей, централизованное управление вые проблемы и задачи инфори бесперебойное обслужива- мационной безопасности, котоние; именно в этих областях рые могут серьезно затормозить облачные вычисления пред- переход к следующим ступеням. лагают эффективные инструДавайте рассмотрим текущие менты. По мере приближения проблемы защиты центров обра-

22

ботки данных, а также проблемы, которые будут актуальны в ближайшем будущем. Эксплуатация уязвимостей внутренним или внешним зло­

умышленником. Все приложения и операционные системы, как традиционные так и облачные, содержат уязвимости. Успешное использование уязвимостей может дать злоумышленнику возможность украсть данные, остановить обслуживание и вообще получить полный контроль над скомпрометированной системой. Как правило, обновления от производителя, закрывающие уязвимости, выходят с определенной задержкой (например, «вторники обновлений» от Microsoft), также необходимо время для тестирования обновлений на совместимость с используемыми приложениями, что увеличивает время для осуществления атаки злоумышленниками. Сетевая сегментация. В традиционных ЦОДах

сегментация сети осуществляется с помощью межсетевых экранов и LAN, виртуализированных же датацентрах невозможно с  помощью обычных межсетевых экранов обеспечить PCWEEK Review 2 (107), 2010

эффективную сегментацию сетей и изоляцию виртуальных машин, что потенциально делает возможными и необнаруживаемыми атаки с одних виртуальных машин на другие. • Безопасность вновь созданных виртуальных машин. Легкость и скорость, с которой в виртуализированном ЦОДе могут появляться новые виртуальные машины, иногда влечет за собой несоблюдение корпоративных политик в области информационной безопасности  – ведь если для инсталляции физического сервера требуется множество усилий, согласований и слаженной работы различных подразделений, то создать виртуальную машину сможет любой пользователь, обладающий необходимыми правами, при этом этот пользователь может не озаботиться установкой антивирусного ПО, средств защиты и настройкой обновлений для вновь созданной операционной системы. • Проблема «спящих» машин. Представьте, что в ЦОДе работают виртуальные серверы или рабочие станции (виртуальные рабочие столы – VDI – можно считать следующим витком виртуализации), например, это тестовая среда, используемая только для проверки работоспособность новых версий корпоративного ПО. На сервере установлены все необходимые средства защиты, антивирусное ПО, настроено регулярное обновление ОС и сопутствующих приложений. В интервале между выходом новых версий тестируемого ПО, виртуальные машины выключаются, при этом автоматически устаревают антивирусные сигнатуры, выявляются новые «дырки». При следующем вклю-

PCWeek Review

чении машины с гораздо большей вероятностью могут подвергнуться заражению. • Увеличение рисков, связанных с «облачными» провайдерами услуг. По мере стирания границ между «частными» и «публичными» облаками все большее значение будут играть SLA между компаниями-клиентами и поставщиками облачных сервисов, а также по-новому встанет вопрос доверия к персоналу и инфраструктуре провай-

состоятельны. Например, если все антивирусные клиенты внутри виртуальных машин начнут одновременно выполнять запланированную по расписанию проверку, то суммарная нагрузка на хостовую машинугипервизор приведет к полной неработоспособности всех виртуальных машин, работающих в рамках одного гипервизора.

«На каждом

В силу изменения подходов к построению ЦОД эффективность традиционных средств защиты, таких как аппаратные межсетевые экраны, сетевые средства обнаружения и предотвращения атак и стандартное антивирусное ПО, неуклонно снижается. В новых условиях эффективные средства защиты должны: • учитывать технологии виртуа­лизации и специфичные риски, с ними связанные; • интегрироваться как можно теснее с гипервизорами; • перемещаться вместе с защищаемыми ресурсами между «частными» и «публичными» облаками; • одинаково хорошо защищать множество операционных систем на различных платформах, функционирующих в ЦОД. Примером такого средства защиты, специально спроектированного для защиты физических, виртуальных и облачных датацентров, является продукт Trend Micro Deep Security. Продукт сочетает в себе традиционную архитектуру на базе агентов с применением специализированных средств для защиты виртуализации. Deep

этапе эволюции датацентров возникают все новые проблемы и задачи информационной безопасности»

деров. • Расходование ресурсов на безопасность. Как известно, абсолютная безопасность, даже в случае ее достижения, приведет к полной неработоспособности системы, то есть компаниям всегда приходится идти на компромисс между оптимальным уровнем защищенности и пригодностью системы к использованию персоналом. Самые распространенные средства защиты  – антивирусное ПО – определенным образом сказываются на производительности серверов и рабочих станций, но в будущих виртуализированных датацентрах традиционные антивирусы будут просто не-

Какие средства защиты будут эффективны в условиях ЦОД завтрашнего дня?

23


PCWeek Review Центры обработки данных

Центры обработки данных

PCWeek Review

начало на стр 24

Security Virtual Appliance предназначен для работы в среде VMware Infrastructure и использует программные интерфейсы, такие как VMsafe API и Seraph, для реализации безагентской з а щ и т ы вирт уа льных машин от известных атак и атак «нулевого дня», обнаружения и предотвращения вторжений и загрузки вредоносного ПО, такого как вирусы, трояны и шпионские программы. В состав Trend Micro Deep Security входят следующие защитные модули, помогающие решить основные задачи информационной безопасности в ЦОД: • межсетевой экран, реализующий изоляцию виртуальных машин; • глубокий анализ пакетов, реализующий функции «виртуального патчинга», обнаружения вторжений (IPS) и защиты веб-приложений; • контроль целостности файлов и реестра, позволяющий выявлять подозрительную активность внутри виртуальных машин; • анализ журналов, позволяющий администратору безопасности своевременно получать уведомления о важных события, относящихся к безопасности; • безагентская антивирусная защита. • Deep Security применяет согласованный подход при совместной работе агентской защиты и модуля Deep Security Virtual Appliance – система отслеживает, каким

24

именно образом защищена та или иная виртуальная машина, и, в случае обнаружения агента не использует модуль Virtual Appliance,

избегая дублирования операций. Однако, если система обнаруживает остановку агента внутри гостевой машины, то функции защиты берет на себя Deep Security Virtual Appliance. В случае пере-

новленных виртуальных машин, на которых устарели средства антивирусной защиты и отстутствуют необходимые критические обновления ОС и приложений; • создание новых машин, не соответствующих корпоративной политике безопасности, например, без средств антивирусной защиты – новые машины автоматически защищены с помощью Deep Security Virtual Appliance. Trend Micro Deep Security защищает практически все основные операционные машины, применяемые в современных ЦОД – это большинство вер-

мещения виртуальной машины в «публичное» облако или иную, менее контролируемую среду, то все настройки безопасности, установленные для конкретной виртуальной машины на основе ее роли, продолжают действовать и защищать машину в новой среде, реализуя принцип перемещения средств защиты вместе с защищаемыми ресурсами. • Архитектура Deep Security позволяет избежать рисков, специфичных для виртуальных сред: • включение ранее оста-

сий Windows, Solaris, Linux, также отдельные защитные модули поддерживаются для ОС HP-UX и AIX. Получить консультацию по функциона льны м возмож ност я м продуктов Trend Micro, и х стои мости и способа м приобретени я вы можете у официа льного дистрибутора Trend Micro на территории Украины – компании «Аксофт» - по адресу axoft@axoft.ua и ли по телефону +380 (44) 201- 03- 03. PC PCWEEK Review 2 (107), 2010

же хороший повод перейти на унифицированную инфраструктуру и получить все преимущества.

Особенности внедрения Как и внедрение любой другой системы, реализация проектов по построению унифицированной сетевой инфраструктуры имеет ряд особенностей. Во-первых, нужно помнить о том, что эта архитектура кардинально отличается от используемой ранее. Я бы даже сказал, это совершенно другая идеология. Поэтому наличие опыта у подрядчика, который реализует для вас такой проект, является как никогда критичным. В проекте для «Кредобанка» мы убедились в этом на собственном примере. Во-вторых, для того чтобы систему запустить необходимо про-

вести тщательный аудит текущего состояния. И, конечно же, лучше чтобы это делали профессионалы. В случае с молодыми компаниями, ситуация проще, здесь чаще всего используются бизнес-приложения от мировых производителей, прозрачные и понятные с точки зрения взаимодействия со всей инфраструктурой. Сложнее с большими, опытными компаниями, в которых параллельно работает иногда несколько сотен приложений. Более того, многие из них являются самописными, и подчас сложно найти разработчика или хотя бы человека, который четко может описать, как оно работает. А ведь для того, чтобы корректно сконфигурировать сетевую инфраструктуру в унифицированной среде необходимо четко прописать: как работает приложение, какие задержки для него являются

критичными, какие пакеты данных распространяются, по какому протоколу это приложение работает, кто к нему имеет доступ, а кто не должен иметь доступ, с какими приложениями оно еще взаимодействуют и как. Полученные правила ложатся в основу архитектуры и переносятся на оборудование. Ну и, в-третьих, помните о том, что в этом проекте работы проводятся на стыке нескольких подсистем, различных технологических направлений. По каждому из них работают разные специалисты, которые должны обладать одинаковым уровнем компетенции с одной стороны, но уметь находить общий язык с другой. Не всегда разные подрядчики могут обеспечить единый уровень качества и согласованность по разным подсистемам, гораздо удобнее получать решение из «одних рук». PC

25


PCWeek Review

Центры обработки данных

Серверные многоборцы Олимпийское пятиборье в Древней Греции было не спортом в нынешнем понимании, а способом подготовки атлета как бойца: оценивался комплексный функционал системы. Именно о таких системах-«многоборцах» вообще и Cisco Unified Computing System в частности, пойдет речь в этой статье. Владимир КУРГ, руководитель группы технического развития «Инком»

Р

азвитие серверных технологий в зеркале обзоров и пресс-релизов производителей напоминает пересказ олимпийского девиза «Выше, быстрее, сильнее»: все больше процессоров и ядер, все больше объемы   оперативной памяти, все выше производительность; и spec.org, и tpc.org регистрируют все новые рекорды. Подобная картина наблюдается и с системами хранения данных: с публикацией обзоров новых систем в стиле «еще больше и еще быстрее» и пополнением списка рекордсменов на Storage Performance Council. Вместе с тем, в последние пять лет в IT-индустрии шли интересные, хоть и не слишком заметные технологические процессы. Результатом этих процессов стало появление систем, которые, если продолжать олимпийско-спортивные аналогии, претендуют на рекорды не в узких дисциплинах вроде производительности или объема оперативной памяти на юнит, а в своего рода комплексном многоборье. Напомним, что олимпийское пятиборье в Древней Греции было не спортом в нынешнем понимании, а способом подготовки атлета как бойца. Именно о таких системах-«многоборцах» вообще

26

и Cisco Unified Computing System в частности пойдет речь в этой статье.

Блейд-системы и «виртуализация-1» Первоначальным мотивом создания серверных блейдсистем стала концентрация вычислительной мощности в единице объема: задача весьма актуальная для центров обработки данных, где цена объема или юнита в стойке весьма высока. Экономика в этом случае очень проста: стоимость ЦОДа включая затраты на оборудование помещения и инженерную инфраструктуру, является своего рода налогом на вычислительное ядро и чем больше серверов в единице объема ЦОДа, тем меньше удельные инфраструктурные затраты. Этот фактор был особенно существенным при модернизации ЦОДов; потребности в вычислительных мощностях растут, свободного пространства в стойках становится все меньше, и замена старых серверов на новые, хоть и более производительные, но в том же форм-факторе далеко не всегда решала проблему. Решение в виде выноса в блейд-шасси систем питания и охлаждения отдельных серверов

и принесение в жертву возможностей расширения серверовлезвий по количеству устанавливаемых дисков и разъемов расширения (впрочем, такое пожертвование расширяемостью обернулось на самом деле преимуществом); использование внешних дисковых массивов, подключаемых по протоколу Fibre Channel, позволило увеличить надежность систем за счет выноса данных с локальных жестких дисков и резервирования по схеме N+1. В результате блейд-система стала своего рода однокорпусной мини-стойкой серверов со встроенными резервированными Ethernet и Fibre Channel коммутаторами, системой мониторинга и IP-KVM’ом, улучшенной ремонтопригодностью и, заодно, минимизацией количества кабельных подключений в шкафу. Параллельно с увеличением количества процессоров в единице объема блейд-систем развивались технологии виртуализации. В 2003 году VMware выпустила Virtual Center и VMotion, а Microsoft приобрела компанию Connectix с ее продуктами Virtual PC и Vitual Server. И, наконец, в 2005 года Intel и AMD выпустили первые действительно двухъядерные однокристальные серверные про-

PCWEEK Review 2 (107), 2010

Центры обработки данных

PCWeek Review

Однако такая консолидация 1000V под Vmware vSphere. Одцессоры: гонку тактовых частот CPU сменила «ядерная» гонка. оказалась все же неидеальной: нако и в этом случае остается Эти три составляющих – блейд- пусть и виртуализованные, проблема администрирования систеы высокой плотности, мно- блейд-системы остались стой- двух (Ethernet и FC) сетей в тагоядерные процессоры и вирту- ками серверов в миниатюре ких системах. ализации, как оказалось, крайне с сетями Ethernet и FC, объеди«Виртуализация-2» удачно дополнили друг друга, образовав сиОдновременно стемную платформу с корпоративными для консолидации присерверными системаложений. ми в академическом Повышение мощномире развивались техсти серверов в виртунологии высокопроизальной среде позволило водительных вычислеосуществить экономиний (High Performance чески оправданный пеComputing , HPC). Осореход к сценарию «одно бенностью высокопроприложение в одном изводительных вычисэкземпляре ОС», сущелительных кластеров ственно упрощающий была необходимось программные и систем- Рис. 1 Лишние коммутаторы в витруализованной блейд-системе: ные зависимости, изба- виртуальные гипервизора и физические блейд-сшасси (3 и 4, справа) интенсивного межпроцессного обмена между виться, наконец, от проблем программно-аппаратной няемыми встроенными ком- вычислительными узлами – совместимости за счет того, что мутаторами. И с дополнитель- фактически, пересылки между операционные системы в вирту- ным уровнем коммутации: областями оперативной памяти ализированной среде «видят» между виртуальными Ethernet- в стиле ccNUMA, которые треодинаковые виртуализирован- адаптерами, которые «видят» бовали выделенной сети с гаранопераци- тированной доставкой и крайне ные ресурсы, а гипервизор ра- виртуализованные ботает на стандартизированных онные системы, и физическим малыми задержками. Ответом на это требование серверах-лезвиях, что сократило Ethernet-адаптером сервера натрудоемкость администрирова- ходится виртуальный Ethernet- стала технология Infiniband, первая версия, спецификация ния; работа нескольких ОС со коммутатор гипервизора. В результате, по сравнению которой была опубликована своими приложениями позволила повысить утилизацию ап- с классическими сетями сервер- ITA в 2000 году. Эта технология паратных ресурсов за счет вре- ного ядра, появилось еще два с базовой скоростью 2.5 Гбит/с менного усреднения нагрузки. уровня коммутации: виртуаль- оказалась настолько хороша, Последнее оказалось особенно ные коммутаторы гипервизоров что вскоре стала отраслевым универсального эффективным в случае унасле- каждого сервера и встроенные стандартом дованных приложений, напи- коммутаторы в блейд-шасси. транспорта в в области HPC – от межпроцессного санных без учета паралеллизма И зачастую все эти коммутаторы обеспечения и не способных использовать оказываются от различных про- взаимодействия, включая удавозможности многоядерных изводителей и, соответственно, ленный доступ к памяти (IPC/ систем. И, наконец, за счет тех- управляются программными RDMA) и межузлового транснологий перемещения виртуаль- пакетами, что не упрощает зада- порта IP до доступа к дисковым SCSI-устройствами с использоных машин между различными чу администрирования. физическими серверами (Vmware Пожа луй, единственным ванием RDMA. К 2005 году на рынке появиVmotion и Microsoft Hyper-V Live «монолитным» исключением Migraion) появилась возмож- на сегодняшний день являются лись компан��и, которые предность перераспределения на- блейд-системы c виртуальны- лагали высокопроизводительInfiniband-коммутаторы ми коммутаторами Cisco Nexus ные грузки.

27


PCWeek Review

Центры обработки данных

с унифицированным вво- рош всем, однако у него был один, дом-выводом: в серверы до- но весьма существенный недостаточно было установить 10 статок: это был не Ethernet. Гбит Infiniband-адаптеры (Host Infiniband воспринимался как Channel Adapter, HCA) и подсое- нишевая технология – в то врединить эти серверы к Infiniband- мя как Ethernet был технологией коммутатору с модулямишлюзами в Ethernet LAN и Fibre Channel SAN, чтобы получить систему с универсальным конвергентным транспортом и великолепной управляемостью: на физическом HCA можно было конфигурировать виртуальные Ethernet, Fibre Channel и IB/IPC адаптеры с возможностью оперативного переконфигурирования и управления распределе- Рис. 2 Виртуализация ввода-вывода. нием полос пропускания. В таких системах радикально массовой, имел колоссальную упрощалась архитектура: если инсталлированную базу и, что в классических системах, в том оказалось самым главным, был числе и блейд-серверах, требова- знаком огромному числу спецились три адаптера трех различ- алистов, как разработчикам, так ных сетей – LAN/Ethernet, SAN/ и пользователям, тем более, что FC и IPC, и соответственно, три к этому времени уже появились порта трёх коммутаторов, то в протоколы доступа к системам Infiniband-варианте на один кон- хранения данных в Ethernetвергентный адаптер приходился сетях – iSCSI, iFCP и FCIP. Ододин порт универсального ком- нако эти протоколы имели одну мутатора: cкорость в 10 Гбит, обе- существенную проблему – они спечиваемой Infiniband, c запасом все работали поверх TCP/IPперекрывала суммарную поло- стека, работающего в операционсу 1 Гбит Ethernet и 4 Гбит Fibre ной системе сервера и требовали Chanel адаптеров того времени. строгой приоритизации трафика Неудивительно, что в том же обмена с дисковыми устройства2005 году лидирующая в сетевых ми, что в случае высоких скоротехнологиях Cisco приобрела стей оборачивалось существенкомпанию Topspin, выпускав- ными затратами процессорных шую универсальные Infiniband- ресурсов. Для того, чтобы избакоммутаторы со шлюзами Fibre виться от этой проблемы, во все Channel и Ethernet и, что нема- том же 2005 году в комитет по ловажно, систему управления стандартам IEEE 802 компаниVFrame, то есть целостную систе- ями Intel, Cisco и IBM было пому виртуализации ввода-вывода дано предложение Proposal for для серверных ферм, включив Traffic Differentiation in Ethernet ее в свою продуктовую линейку. Networks приоритизации трафиКазалось бы, Infiniband был хо- ка и обеспечению гарантирован-

28

но доставки пакетов на канальный уровень, т.е. фактически, по переносу свойств Infiniband, обеспечивающих виртуализацию ввода-вывода, в Ethernet. Итогом дальнейших усилий по развитию этого предложения стала разработка протокола группы стандартов, известных сейчас под собирательным названием IEEE 802.1 Data Center Bridging (Data Center Ethernet – DCE в варианте Cisco либо Converged Enhanced Ethernet – CEE по версии IBM) и протокола Fibre Channel over Ethernet. Среди компаний – стартапов, работающих в этой области, одной из первых, представивших работающие прототипы комбинированных DCB Ethernet / FCoE коммутаторов, стала Nuova Systems, приобретенная в 2006 году Cisco.

Cisco UCS: пока вершина эволюции? Опыт, знания и специалисты, полученные в результате приобретения Topspin и Nuova, в сочетании с наработками Cisco сделали свое дело. Хотя в настоящее время у многих производителей в продуктовых линейках присутствуют DCB Ethernet и DCB/FC-коммутаторы, Cisco оказалась первой компанией, которая вывела на рынок законченное и максимально полное на сегодняшний день серверное решение c виртуализацией ввода-вывода – Unified Computing System (Cisco UCS) – серверную систему с единой конвергентной 10 Гбит DCB-сетью, объединяющей LAN и SAN сети и сквозной

PCWEEK Review 2 (107), 2010

Центры обработки данных

системой управления. Следует Virtual Interface Card (VIC) для отметить, что Unified Computing серверов-лезвий B-Series, разSystem не является исключи- работанный для использования тельно блейд-системой: она в стредах с массовой виртуаливключает в себя Top-of-Rack ком- зацией. В такой ситуации, как мутаторы UCS 6100 Series и в ее правило, сетевые интерфейсы состав могут входить и сервера виртуальных машин работают с UCS C-Series в Rack-Mount ис- физическим интерфейсом через виртуальный коммутатор гиполнении. На настоящий момент состав первизора, и пр этом возникают Cisco UCS выглядит следующим две проблемы: во-первых, комобразом: • UCS 6100 Series Fabric Interconnects: DCB Ethernet коммутаторы, доступные в двух вариантах: 20-порто­в ый UCS 6120XP и 40-портовый UCS 6140XP. • UCS 5100 Series Blade Server Chassis: 6 RU шасси, в которое можно установить до восьми серверов-лезвий и два сетевых мо- Рис. 3 Архитектура Cisco UCS дуля fabric extenders. • UCS 2100 Series Fabric мутатор потребляет системные Extenders: сетевые модули, со- ресурсы сервера и, во-вторых, единяющие сервера-лезвия с повышается сложность систеUCS 6100 Fabric Interconnects, мы возникает еще один уровень 4х10 Гбит DCB соединения на коммутации и, соответственно, каждый. объект управления. • Сервера-лезвия B-Series сеВ M81KR VIC эта проблема рий B200, B230, B250 (до 384 GB решена необычным образом: RAM) B440 (до 4-х 8-ядерных адаптер представляется гиперпроцессоров серии Intel Xeon визору в BIOS сервера как 128 7500). независимых PCIe устройств, • Rack-Mount сервера UCS. которые могут быть динамиче• Конвергентне сетевые адап- ски сконфигурированы в качетеры UCS B-Series и C-Series. стве и Ethernet, и Fibre Channel • UCS Manager: система управ- адаптеров, с собственными ления. MAC и WWN адресами. Далее И самыми интересными в для таких «физически-виртуэтом списке являются послед- альных» адаптеров в гипервиние две строки. зоре могут быть сконфигуриСреди конвергентных сете- рованы прямые подключения вых адаптеров, которые исполь- виртуальных машин без зазуются в UCS, технологически действования виртуального наиболее необычным является коммутатора. Создание, модидвухпортовый 10 Гбит M81KR фикация и управление такими

PCWeek Review

адаптерами производится из UCS Manager прозрачно и незаметно для гипервизора, задачи по сетевой конфигурации полностью переносятся из гипервизора в UCS Manager. Такой подход дает еще один эффект: в UCS Manager можно создавать множество виртуальных аппаратных конфигураций системы, оформляя их в виде сервис-профилей под различные задачи и оперативно переключаясь между ними. Например, с дневного обслуживания виртуальной desktopсреды (VDI) на аналитические задачи в рабочее время, т.е. есть предоставлять вычислительную инфраструктуру как сервис (IaaS). И в заключение. В 2009 году в Network World появилась заметка с названием «Cisco UCS: it’s an architecture, stupid!» (Cisco UCS: это архитектура, тормоз!). Это действительно так: серверные системы с конвергентным вводом-выводом, в сочетании с массовой виртуализацией и сквозным управлением действительно представляют собой новую архитектуру, идеально вписывающуюся в парадигму Cloud Computing, и Cisco UCS на сегодняшний день, похоже, является вершиной эволюции таких систем. Чего ожидать в будущем? Появления систем хранения данных, подключаемых по DCB Ethernet, которые устранят необходимость в FC SAN сегментах и момента, когда 40 Гбит DCB Ethernet станет таким же доступным, как доступен сейчас 40 Гбит Infiniband. PC

29


PCWeek Review Центры обработки данных

Преимущества конвергентной инфраструктуры Специалисты компании HP тесно работают с заказчиками и хорошо понимают проблемы, возникающие с «ручным» администрированием ИТ и следованием разрозненным политикам для разных приложений.

в

о многих компаниях ИТинфраструктура долгие годы развивалась стихийно, поэтому исторически сложилось так, что серверы, системы хранения и сетевые устройства покупались и интегрировались без единой стратегии. В результате сегодня довольно часто наблюдается следующая ситуация: вычислительные системы и хранилища «замкнуты» на обслуживание определенных единичных приложений, представляя собой своеобразные технологические «ловушки». Вследствие этого, серверные системы почти всегда загружены лишь частично, кроме того, такими ресурсами сложно управлять. Все это увеличивает стоимость ИТ для организации, при этом до 70% ИТ-бюджета расходуется на операционные расходы, а на внедрение стратегических инноваций остается лишь 30%, чего явно недостаточно. А ведь именно инновации делают компании более конкурентоспособными на рынке. По мере роста сложности ЦОД увеличивается его стоимость, а скорость внедрения бизнесприложений замедляется. Несомненно, что такая модель развития центров обработки дан-

30

Константин Григорцов, технический консультант «HP Украина»

ных (ЦОД) неперспективна, и ее надо менять. В основу бизнеса завтрашнего дня должна лечь конвергентная инфраструктура (КИ). Только благодаря фундаментальным изменениям удастся превратить технологические «ловушки» в пул виртуальных ресурсов, которые можно использовать для различных приложений и сервисов. Конвергентная инфраструктура должна быть виртуализированной, модульной и надежной. Если КИ будет базироваться на пулах виртуальных серверов, систем хранения и сетевой инфраструктуры, то перераспределение единого пула ресурсов поможет решить проблемы производительности и емкости различных приложений. Виртуализация означает гибкость, поэтому ИТ сможет быстрее реагировать на запросы бизнеса. Ресурсы для приложений должны автом��тически выделяться в соответствии с заранее определенными политиками. Автоматизация также управляет резервным копированием и восстановлением, она должна уметь справляться со сбоями питания и активно управлять охлаждением. КИ должна строиться по модульному принципу и на основе

Центры обработки данных

стандартных промышленных технологий. Это упрощает модернизацию и наращивание мощности. Кроме того, гарантирует — то, что вы используете сегодня, будет работать с новыми поколениями оборудования завтра.

Архитектура конвергентной инфраструктуры По версии HP, архитектура КИ состоит из следующих компонентов. • Инфраструктурное операционное окружение. Отвечает за автоматизацию выделения ресурсов и возвращение их в пул. Подразумевается, что эта среда оптимизирована и знает, как работать с отдельными приложениями. • Flex Fabric. Унифицированная сеть и сеть хранения, которая обладает достаточной гибкостью, чтобы соответствовать изменяющейся рабочей нагрузке и перераспределению LAN/SAN при переходе на резервный центр обработки данных. • Пулы виртуальных ресурсов. Обеспечивают возможность извлечения внутренних вычислительных ресурсов и использование внешних для динамической сборки конфигураций, которые требуются для бизнесприложений.

PCWEEK Review 2 (107), 2010

• Smart Energy Grid. Реализует возможность масштабировать и оптимизировать «коммунальную» инфраструктуру для соответствия требованиям приложений, рабочей нагрузки, энергопотребления, производительности и т. д. Рассмотрим каждый из этих компонентов более подробно.

MAC и т. д.) для гибкости и максимальной скорости изменений. • Генерировать отчеты о производительности и других характеристиках. • Каждый компонент должен уметь «рассказывать» о местоположении, энергопотреблении,

Пулы виртуальных ресурсов HP Фактически это набор практик для о б е спечен и я сквозной вирт у а л и з а ц и и Архитектура конвергентной инфраструктуры всех ресурсов ЦОД. Пул увеличивает утилиза- производительности, работоспоцию благодаря высвобождению собности и взаимодействовать с и повторному использованию операционной средой для принявычислительных ресурсов и ем- тия автоматических решений для кости дисков, отвечающих за кон- оптимизации работы. кретную задачу. Кроме того, пул обеспечивает надежность и гибкость для поддержки всевозможных приложений и любых ресурсов. Пулы должны уметь следующее. • Объединять и распределять ресурсы серверов, систем хранения и сети. • Ускорять процесс изменения конфигурации бла­ годаря виртуальным соединениям, которые могут масштабироваться как горизонтально, так и вертикаль- Инфраструктурное операционное окружение но по мере необходимости. • Обеспечивать виртуали• Для упрощения интеграции зацию емкости, процессорной с имеющимся оборудованием, мощности, соединений и уни- будущей модернизации и маскальных характеристик (WWN, штабируемости используется

PCWeek Review

модульный дизайн и открытые стандарты.

Инфраструктурное операционное окружение Специалисты компании HP тесно работают с заказчиками и хорошо понимают проблемы, возникающие с «ручным» администрированием ИТ и следованием разрозненным политикам для разных приложений. HP видит решение этих проблем в использовании инфраструктурного операционного окружения (Infrastructure Operational Environment, IOE). IOE является мозговым центром конвергентной инфра­ структуры, причем центром совместного пользования, позволяющим справиться с основными проблемами в области управления. HP IOE выделяет ресурсы и адаптирует инфраструктуру «на лету», гарантируя, что реакция программно-технических средств на изменение бизнес-требований будет быстрой и предсказуемой. С помощью HP IOE предприятия смогут контролировать и одновременно оптимизировать все элементы инфраструктуры, необходимые для запуска сервиса, включая серверы, системы хранения, сетевые соединения и другие корпоративные ресурсы. Данная среда объединяет инструменты управления жизненным циклом инфраструктуры в

31


PCWeek Review Центры обработки данных

единый командный центр, предо• Восстанавливать физические ставляя новые сервисы в течение серверы HP ProLiant на виртунескольких минут (ранее этот альных машинах в течение пяти процесс занимал недели), а нали- минут, чтобы улучшить произчие последовательной политики водительность и гарантировать поддержания высокой готовно- экономичное восстановление пости и восстановления после сбоев сле сбоев. Непрерывность бизнеспризвано гарантировать высокое процессов повышается благодаря качество обслуживания. автоматическому восстановлеЯдром HP IOE выступает ПО нию и возможности оперативного HP Insight Software, с момента переноса нагрузки на физические выпуска которого было продано или виртуальные серверы в завиуже более миллиона лицензий. симости от доступных в данный Благодаря преимуществам ПО момент ресурсов. HP Insight Software, таким как ав• Выбирать наиболее эффективтоматическое выделение инфра- ное, по совокупности факторов, структурных ресурсов и управле- место для размещения восстанавние их жизненным циклом, среда ливаемых после сбоя ресурсов. HP IOE создаст все необходимые условия для повышения продуктивности работы персонала. При помощи ПО HP Business Technology Optimization клиенты смогут осуществлять автоматизацию, защиту и проверку всех своих гетерогенных технологических и прикладных сред, а также управлять ими. Компания HP усо- Еще один аспект проблем современных датацентров вершенствовала Insight Software, сделав его более • Повышать производительпростым. ПО HP Insight Dynamics ность труда администратора обеспечивает расширенное и сокращать время, необходиуправ­ле­ние инфраструктурой и мое для координации рутинспособно на 40% сократить затра- ных задач путем совместного ты на рутинные работы в ЦОД. развертывания инфраструкОперационная среда инфра- туры и приложений с помоструктуры НР имеет новые функ- щью ПО HP Server Automation, ции, позволяющие предприятиям которое при необходимости следующее. можно сделать составной ча• Легко и без особых затрат стью процедуры выделения внедрять автоматизированные ресурсов для операционной средства выделения ресурсов системы и приложений. и восстановления после сбоев • Тратить на предоставление путем добавления модулей для инфраструктурных ресурсов неуправления и восстановления сколько минут вместо нескольинфраструктуры; ких месяцев. Эта функция теперь

Центры обработки данных

PCWeek Review

распространяется и на бизнескритичные блейд-серверы HP Integrity.

HP FlexFabric Динамическая сеть HP Flex­ Fabric объединяет тысячи серверов и систем хранения в виртуализированную высокопроизводительную сеть. Виртуальная сетевая структура формируется из вычислительных систем, сетевых решений и систем хранения данных, физическое подключение которых к системе осуществляется лишь один раз и впоследствии не меняется. Такой подход дает центрам обработки данных способность масштабироваться в большую или меньшую сторону в соответствии с быстро меняющимися потребностями бизнеса. В рамках HP FlexFabric сочетаются технологии, инструменты управления и экосистемы решений HP ProCurve и HP Virtual Connect (VC). Такое объединение создает условия для переноса интеллектуальных сетевых функций из ядра ближе к серверным подключениям, что способствует повышению производительности, гибкости и интенсивности использования. Впервые сетевые соединения и полоса пропускания могут быть полностью виртуализированы — от сервера до ядра сети. В итоге, предприятия получают решение «сеть как сервис», позволяющее обращаться к ресурсам «на лету». По мере расширения виртуальной архитектуры организациям необходима все более тесная координация между сетевыми администраторами и администраторами серверов, что Продолжение на стр 60

32

PCWEEK Review 2 (107), 2010

33


PCWeek Review Центры обработки данных

Центры обработки данных

Контейнерный ЦОД с конвейера Традиционная инфраструктура ЦОД не рассчитана на максимальную плотность размещения оборудования. Все это приводит к насущной необходимости уменьшения капитальных затрат. Hewlett Packard предложила собственный вариант решения под названием HP Performance Optimized Datacenter (POD).

К

акой датацентр выбрать  – ный вариант решения под назватрадиционный стационар- нием HP Performance Optimized ный или мобильный кон- Datacenter (POD). Это постротейнерный? Для ответа на енный на базе обычного трансэтот вопрос необходимо портного контейнера мобильрассмотреть преимущества и недостатки первого и второго решения. Как известно, традиционные ЦОДы, которые сегодня распространены чаще всего, обладают множеством ограничений. Например, потенциал наращивания вычислительных ресурсов датацентра ограничен Внутреннее пространство пустого POD возможностями энерго­ снабжения, охлаждения и физической площади. Кроме ный ЦОД, позволяющий быстро того, расширение существующе- наращивать емкость и обеспечиго ЦОДа, как правило, привязано вающий наивысшую эффективко времени строительства. ность. Поскольку требуется большая энергоэффективность, то растут Преимущества в сравнении с затраты на оплату электроэнер- традиционным ЦОД гии и подключение дополнительной мощности. Кроме того, традиОсновной плюс HP POD ционная инфраструктура ЦОД заключается в мобильноне рассчитана на максимальную сти данного датацентра даже плотность размещения оборудо- при полной набивке ИТвания. Все это приводит к насущ- оборудованием. Не менее преимуществом ной необходимости уменьшения значимым является малое время разверкапитальных затрат. Есть ли доступное решение тывания — фактически заказвышеуказанных проблем? Спе- чик может получить готовый циалисты компании Hewlett ЦОД через 6 недель после закаPackard предложили собствен- за. Кроме того, такой ЦОД оп-

34

тимален для высоких плотностей, когда энергопотребление доходит до 34 кВт на стойку.

Характеристики 12-метрового POD • 22 стандартных 19” стойки высотой 50U, глубиной 1000 мм. • Высокая плотность, в среднем 27 КВт на стойку (до 35 КВт максимально). • Быстрое развертывание • Энергоэффективность, коэффициент PUE =1.25. • Пакет инфраструктурных сервисов.

Характеристики 6-метрового (20-футового) POD • Десять стоек 50U в комплекте. • Резервированные вентиляторы и теплообменники. • Максимальный вес (без набивки): 5897кг. • Два независимых ввода питания по 145 КВт. До 290 КВт без резервирования. • Рабочие температуры: от -32°С (с укрытием) до + 40°С. • Можно перевозить в полностью собранном виде (включая ИТ-оборудование). • Монтаж оборудования, закупленного вместе с POD, осуществляется на фабрике НР. • По шкале надежности ЦОД относится к Tier2. PCWEEK Review 2 (107), 2010

Вычислительный центр HP укрытия для дополнительной POD обеспечивает отказоустой- защиты. чивый и неотказоустойчивый реВ настоящее время HP расжимы работы. Стандартно центр полагает собственным сборочпоставляется с 22-мя стойками ным производством HP Factory по 50U, то есть общее пространство составляет 1100 юнитов. Трехфазная система распределения питания (Starline) и встроенная система мониторинга BMS с датчиками/сигнализацией (пожар, давление, протечка и т.д.) плюс физическая защита (механическая замки) обеспечивают надежный Механическая диаграмма POD уровень безопасности.

Особенности использования POD

Express, которое в круглогодичном режиме способно собирать до 7 шасси одновременно. В минимальную комплектацию готового шасси входит полная

Контейнерный ЦОД не является полностью самодостаточной системой, он нуждается во внешних коммуникациях: энергопитание (магистральное, ИБП и/или дизель-генератор) и холодная вода (чиллер) для отвода тепла. Для развертывания POD также должна быть подготовлена подходящая площадка. HP POD стандартно работает при темМатрица вариантов поставки POD пературе от 0°C до 40°C, но при правильном планировании способен инфраструктура датацентра без работать и в более суровых ус- серверов: сам контейнер, элекловиях. Для работы при низких трическая часть, система водянотемпературах HP предлагает го охлаждения, теплообменники рассмотреть добавление гли- с вентиляторами, инструменты коля в воду для предотвраще- администрирования системы ния замерзания (при наружной (управление питанием, автомат температуре до -38°C). Но не- аварийного отключения, детекобходимо учесть, что гликоль тор задымления и т.д.) и стойкиуменьшает теплопроводность и «корзины». может снизить мощность POD Возможна полная комплектана 30%. При еще более экстре- ция HP POD по индивидуальномальных температурах или му заказу на фабрике НР, с интеусловиях рекомендуется уста- грацией всего ИТ-оборудования навливать датацентр внутри и дополнительных систем в ре-

PCWeek Review

шение, готовое «под ключ». POD, полностью собранный на фабрике, подвергается перед отгрузкой тщательному тестированию. Стоимость 40-футовой версии без серверной начинки составит порядка $1,5 млн. По подсчетам специалистов HP, это в среднем на 88% дешевле стоимости строительства традиционного помещения под центр обработки данных. Необходимо также учесть, что строительство такого помещения с нуля занимает многие месяцы, а новая сборочная линия позволяет поставить POD заказчику через 6 недель с момента получения заказа. Еще большую экономию обещает величина энергоэффективности (PUE) POD. Для датацентра в развернутом состоянии PUE составляет 1,25, что является очень хорошим показателем.

Инфраструктурные сервисы HP POD Компания НР предлагает обслуживание в течение всего жизненного цикла решения POD. Планирование вычислительного центра и интеграция обеспечивается подразделением HP Critical Facilities. Возможна комплектация POD по индивидуальному заказу, построение, интеграция, тестирование и отгрузка. Шеф-монтаж, который заключается в развертывании, запуске, тестировании на месте, выполняется по месту эксплуатации. При желании заказчика возможны проактивные и бизнес-критичные варианты сервисных контрактов, с выделенной группой технической поддержки. PC

35


PCWeek Review

Центры обработки данных

«ЦОД-матрица» от НР Развитие идеологии адаптивной инфраструктуры HP (Adaptive Infrastructure), предложенной несколько лет назад, получило свое продолжение в интегрированной инфраструктуре Blade System Matrix, которая объединяет аппаратные и программные компоненты в одну систему, формируя тем самым интегрированный пул ресурсов, функционирующих в физической и в виртуальной средах.

П

о мнению экспертов HP, ализацию необходимо не более центр обработки дан- 10 мин, время готовности самой ных должен представ- инфраструктуры составляет 38 лять собой один большой мин, 60 мин потребуется для комплекс, состоящий из установки и настройки бизнеспула вычислений, пула приложений. Таким образом, за сетевых операций и пула хра- 108 мин один подготовленный нения. При этом он должен ра- специалист в состоянии продеботать в рамках очень простой лать работу (внедрение сервера и удобной управляющей обо- приложений Web Logic на базе лочки. Развитие идеоло­гии адаптивной инфра­­ струк­ту­ры HP (Adap­tive Infra­struc­ture), предложенной несколько лет назад, получило свое продолжение в интегрированной инфраструктуре Blade System Matrix, которая объединяет аппаратные и программные компоненты в одну систему, формируя тем самым интегрированный пул Рис. 1 Matrix Solution Brief ресурсов, функционирующих и   физической, и в СУБД Oracle RAC), на которую виртуальной средах. Мощный по классической схеме ушло бы инструментарий управления, в более месяца (33 дня), причем посвою очередь, позволяет компа- надобились бы усилия нескольниям, специализирующимся на ких команд ИТ-сотрудников. ИТ, быстро проектировать, раз- Эксперты HP полагают, что вертывать и оптимизировать при- переход на Matrix позволит комложения. паниям сэкономить до 80% опеНовая платформа предлагает рационных расходов и вернуть совершенно другие временные вложения в течение 8 месяцев. рамки для развертывания и внеБазовым конструктивным дрения решений. На ее иници- элементом начального ком-

36

Центры обработки данных

плекта системы – Starter Kit – служит шасси Blade Systemc7000, обеспечивающее питание, охлаждение, инфраструктуру ввода-вывода и межсоединение для установки обычных серверных лезвий или специализированных лезвий-накопителей. Одно шасси HP Blade Systemc7000 высотой 10U вмещает до 16 модулей половинной высоты или восемь лезвий полной высоты, со всей необходимой инфраструктурой питания и охлаждения, плюс восемь коммутационных модулей (коммутаторов Fibre Channel, Ethernet, Infiniband). Сейчас система комплектуется серверами HP ProLiant BL460cG6 на четырехъядерных процессорах IntelXeon серии 5500 или AMD Opteron (кодовое название Shanghai). В перспективе будет возможен переход на модули с Itanium, в том числе и на основе будущих двухъядерных микросхем Itanium 9100. Многие эксперты полагают, что эти блейд-серверы устанавливают новый стандарт для дата-центров. Оснащенный двумя процессорами, двумя жесткими дисками с возможностью горячей замены, памятью объ-

PCWEEK Review 2 (107), 2010

емом до 96 Гбайт и двухпортовым адаптером 10 Gigabit Ethernet, блейд-сервер половинной высоты BL460c предоставляет ИТ-менеджерам необходимый уровень производительности и возможность расширения для ресурсоемких приложений. Для коммутации используются модули, поддерживающие соединения 10 Gb Ethernet и Fibre Channel с пропускной способностью 8 Гбит/c; допускается использование высоконадежной системы коммутации HP NonStop и нескольких вариантов системы питания. С помощью технологий виртуализации сетевых соединений VirtualConnect ресурсы блейд-серверов матрицы, их дисков, а также полоса пропускания внутренних сетевых каналов 10-гигабитного Ethernet и 8-гигабитного Fibre Channel объединяются в пул и из него распределяются между разными приложениями в зависимости от их потребностей. Напомним, что одна из главных особенностей блейдсерверов Blade Systemsc-Class – это технология Virtual Connect, которую можно использовать как опцию для подключения полки с лезвиями к сети вместо обычного неуправляемого или управляемого коммутатора. В частности, технология Virtual Connect Flex-10 обеспечивает виртуализацию ввода-вывода на уровне сетевой карты NIC (Network Interface Card) каждого сервера. Она позволяет добиться максимальной эффективности использования сетевых ресурсов за счет распределения полосы пропускания одного канала 10 Gigabit Ethernet между четырьмя NIC, которые в терминологии VirtualConnectFlex-10 называются FlexNIC.

Гипервизор виртуальных машин «видит» Flex NIC как обычные физические NIC. Поскольку до четырех Flex NIC могут совместно исполь��овать один 10-гигабитный канал, то им нужен только один соединительный модуль VirtualConnect, в то время как при использовании первой версии этой технологии HP для каждого NIC требовался свой соединительный модуль. Очевидно, что Virtual Connect Flex-10 сокращает расходы на сетевое оборудование и его поддержку, обеспечивая 64 соединения (вместо стандартных 16) Flex NIC в пределах шасси Blade Systemsc7000. Virtual Connect Flex-10 позволяет настроить полосу пропускания для каждого FlexNIC – начиная от 100 Мбит/с и до 10 Гбит/с (с шагом по 100 Мбит/с). Для управления системой предназначен пакет HP Insight Dynamics – Virtual Server Environment (VSE), реализующий функции администрирования физической и виртуальной серверной инфраструктуры. Это ПО позволяет проводить постоянный анализ и оптимизацию всей адаптивной инфраструктуры. Как известно, основное назначение Insight Dynamics – VSE состоит в том, чтобы помочь клиентам добиться максимального эффекта от внедрения виртуализации на серверах HP и свести к минимуму риски, связанные с этим процессом. В  этом решении применен новый тип абстракции серверных ресурсов  – логические серверы, с помощью которых администраторы могут управлять как физическими серверами, так и виртуальными машинами, применяя одни и те же механизмы администрирования. Логический сервер можно

PCWeek Review

создать из отдельного физического сервера, из пула физических ресурсов или из виртуальной машины. Наиболее эффективно применение Insight Dynamics – VSE на платформе Blade Systemc-Class с технологией VirtualConnect, которая позволяет объединить развернутые на лезвиях нескольких шасси логические серверы в пул ресурсов (домен). Сейчас домен Virtual Connect масштабируется до 1000 шасси Blade Systems 7000, а в будущем такой пул можно будет построить в масштабе всего датацентра и даже нескольких площадок, реализовав таким образом катастрофоустойчивое решение. Стоит отметить, что само распределение ресурсов выполняется с помощью новой утилиты с графическим интерфейсом Matrix Orchestration Envi-ronment, которая поставляется вместе с готовыми шаблонами конфигураций под приложения Microsoft, Oracle и SAP лезвий, систем хранения, виртуальных машин и соединений между этими компонентами матрицы. В качестве рекомендуемой систе­м ы хранения вместе с Blade System Matrix предлагается модульный дисковый массив Storage Works EVA (Enterprise Virtual Array) 4400, где проблемы сложности администрирования и высокая стоимость дискового пространства успешно решаются с помощью технологий виртуализации. ПО Storage Works Continuous Access EVA работает на уровне контроллеров массива и реализует технологию удаленной репликации данных, предусматривая защиту хранимой информации от катастроф. PC

37


PCWeek Review

Центры обработки данных

Заметки о датацентрах Делая неоднократные сравнения, специалисты пришли к выводу что датацентры строят для оптмизации затрат и повышения беспрерывной, бесперебойной работы всех его компонентов.

н

еоднократные сравнения привели к выводу, что датацентры строят для оптимизации затрат и повышения беспрерывной, бесперебойной работы всех его компонентов. Сделаем несколько сравнений. Что лучше: • 20 серверных комнат или одна? • 30 кондиционеров или 2? • 60 системных администраторов или 5? • 30 систем гарантированного питания с ДГУ или 2? • Иметь единое ядро дата­ центра и его инфраструктуру или разрозненную архитектуру сервисов. Предполагаем, что все ответы будут склоняться в меньшую сторону, возможно, за некоторым и исключениями. При построении заказчики датацентра руководствуются основными целями: • обезопасить бизнес; • оптимизировать инвестиционные затраты; • обеспечить непрерывность бизне­са (минимизация простоев) и безопасность его построения и обслуживания; • минимизировать человеческий фактор – минимальное количество высококвалифицированного персонала.

38

Мобильный или не мобильный Второй плюс в самом понятии «мобильный», особенно датацентр? В последние годы на рынке появилось немало решений мобильных датацентров: • Mobile Emergency Datacenter от NAAT; • Mobile Data Center (MDC) от SunGard; • InfraStruXure Express и Datapod от АРС; • Модули Portable Modular Data Center (PMDC), Enterprise Modular Data Center (EMDC), High Density Zone (HDZ) от IBM; • Performance Optimized Datacenter (POD) от Hewlett Packard; • ICE Cube от Rackable Systems; • Sun BlackBox от Sun Microsystem и многие, многие другие. Предложенные решения позволяют предоставить датацентры от самых малых, как Mobile Emergency Datacenter (MED) компании NAAT, (ком­ па­н ии удалось втиснуть стойки с ИТ-оборудованием внутрь фургона, смонтированного на базе легкого грузовика), вплоть до конструкторов Portable Modular Dataсenter (PMDC), Enterprise Modular Data Center (EMDC), High Density Zone (HDZ) как у IBM и Datapod у АРС. Немного поразмыслив, можно прийти к выводу, что главный плюс мобильного датацентра  – это реализация проекта в кратчайшие сроки.

Учитывая вышеизложенные факторы, при выборе той или иной технологи построения датацентра всегда необходимо очень точно взвешивать все плюсы и минусы.

Где строить датацентр?

Виталий Оксютенко, начальник отдела поддержки продаж компании Инком Василий Матвеев, начальник отдела построения датацентров компании Инком

Почему строят датацентры?

Центры обработки данных

понятие мобильности становится очень актуальным в случае, если у клиента арендованное помещение. Ведь ни для кого не секрет, что в случае смены владельца помещения есть риск прекращения договора аренды, в итоге мобильность датацентра позволит перенести его в другое, более удобное место в кратчайшие строки. Стоимость одной стойки мобильного датацентра в 1,5 раза больше чем обычного, стационарного датацентра. Также стоит понимать, что «мобильный»   – понятие растяжимое, все-таки внешние электросети и линии связи к такому датацентру в  любом случае необходимо прокладывать. А за счет ограничений по площади (40 футовый контейнер) и нагрузки (до 50 кВатт) почти не позволяет его расширить, расширение приравнивается к покупке еще одного модуля или контейнера. Дополнительный минус – это сервис, т. е. при поломке одной из систем (да, датацентр переходит на использование резервной системы!) из-за ограничений по площади очень проблематично ее восстановление, что тем самым снижается уровень надежности датацентра на время ремонта.

PCWEEK Review 2 (107), 2010

При выборе помещения для датацентра нужно понимать, что это сооружение будет располагаться в этом месте минимум 5-10 лет, и что за эти 5-10 лет оно, скорее всего, увеличит потребл яем у ю мощность, потребует увеличения пропускной способности внешних линий связи и, как следствие, увеличится объем обслуживаемого оборудовани я (серверы, коммутаторы), так и обслуживающего оборудования (кондиционеры, ДГУ). 99% датацентров располагают в черте города, в здании с 1-го и выше этажа, ссылаясь на требования стандарта. Хотя, с другой стороны, почему бы не разместить датацентр в подвале: • аренда помещений дешевле; • укреплять несущую конструкцию практически нет нужды; • охранять проще и дешевле; • доставка и установка оборудования мене трудоемкая (опускать  – легче, чем поднимать). Действительно, есть требование по затопляемости, но в любом случае хоть и при стро-

ительстве датацентра на этаже придется проводить общестроительные работы, довольно часто и по гидроизоляции. Не смущает же никого датацентр Iron Mountain, расположенный на глубине 67 метров в бывшей шахте, высполненный по надежности TIA-IV, или построение датацентра в Хельсинки в пещере под Успенским собором с точно таким же уровнем надежности.

И почему именно в городе? Почему не за городом? Получить дополнительную мощ­ность проще (меньше согласований), аренда или приобретение помещений меньше на порядок, охранять проще и дешевле, установить ДГУ – не является проблемой, проблема одна – это внешние линии связи, их все равно необходимо прокладывать из города.

Правильность проектирования и внедрения ЦОД Датацентр – это помещение, в котором зачем-то устанавливают много коммутационного и серверного оборудования, на котором в свою очередь устанавливают разнообразное программное обеспечение, а также необходимое обо-

PCWeek Review

рудование для его охлаждения и бесперебойного электропитания. Устанавливают все это с одной целью, чтобы обеспечить бизнеспроцессы компании, для которой он строится. Поэтому проектировать датацентр необходимо с верхнего уровня, начиная с изучения бизнес-процессов компаний; от бизнеспроцессов перейти к программному обеспечению обслуживающему эти бизнес-процессы; от программного обеспечения к серверам; от серверов к коммутационному оборудованию; от коммутационного оборудования к мощности, линиям связи и занимаемой площади. Изучив в такой последовательности, мы сможем получить проект датацентра, который будет описывать сверху вниз. 1. Бизнес приложения и сервисы компании; 2. Инфраструктуру систем хранения и обработки данных. 3. Телекоммуникационную инфраструктуру. 4. Инженерной инфраструктуры. Проект для всех указанных разделов обязательно должен описывать пути расширения и если необходимо поэтапное строительство датацентра. Строиться датацентр в любом случае будет с нижнего уровня. 4. Инженерная инфраструктура. 3. Телекоммуникационная инфраструктура. 2. Инфраструктура систем хранения и обработки данных. 1. Бизнес-приложения и сервисы компании.

39


PCWeek Review

Один? Датацентр ��� комплексное решение и построение его должно основываться на комплексном походе. Посудите сами, только по инженерной инфраструктуре необходимо спроектировать и построить, и обеспечить следующее. 1. Экранирование. 2. Фальшпол. 3. Вентиляция и газоудаление. 4. Кондиционирование. 5. Энергообеспечение. 6. Источник бесперебойного питания. 7. ДГУ. 8. Пожаротушение и пожарная сигнализация. 9. Безопасность (система видеоконтроля, система контроля доступа, система охранной сигнализации). 10. Освещение и аварийное освещение. 11. Структурированная кабельная система. 12. Заземление и выравнивание потенциалов. 13. Мониторинг и администрирование. 14. Внешние линии связи и энергообеспечение. 15. Шкафы и стойки. И это без учета строительных работ, еще добавляем серверы и коммутационное оборудование и пытаемся всё это разместить в помещении 500 куб. метров. Трудно получается, а если все это будет монтировать не одна компания а, например, 10? Сколько времени займет согласование оборудования между смежниками, и как у них получится строить датацентр? То, что один (в данном случае имеется ввиду одна компания)

40

Центры обработки данных

будет реализовывать 3-4 месяца (это не оптимистическая оценка), группой компаний будет реализовываться в 2-3 раза дольше, и срок увеличится только за счет согласований между собой*. При реализации проекта по построению датацентра ответственный должен быть один, который отвечает и за проектирование, и за поставку оборудование, и за монтажные работы, и за согласование с государственными и ведомственными органами, а также за поставку коммутационного оборудования, серверов, программного обеспечения, и главное – за полную работоспособность датацентра.

«Инком». Повторимся: датацентр – комплексное решение, и построение его должно основываться на комплексном походе. К этой фразе добавим, что датацентр должен еще и обслуживаться 24 часа в сутки 7 дней в неделю, 365 дней в году. Компания «Инком» предлагает то, что необходимо для комплексного построения датацентра и его эксплуатационного обслуживания. • Аудиты и анализ различного уровня. • Разработка концепций. • Разработка проектной документации. • Поставка полного комплекса оборудования и программного обеспечения. • Монтажные работы. • Услуги сопровождения, а так же гарантии и сервис. Для достижения цели мы применяем комплексный под-

Центры обработки данных

ход, включающий следующие этапы: • аудит и анализ; • разработка оптимальной архитектуры решения; • планирование этапности наращивания; • разработка проектной документации с последующим ее согласованием в государственных учреждениях; • планирование работ; • внедрение; • сдача в эксплуатацию. Результатом нашей деятельности является законченное техническое решение обеспеченное сервисными и гарантийными обязательствами, позволяющее спланировать инвестиции и оценить возможные риски. «Инком» имеет огромный опыт построения разного рода ИТ-ориентированых систем и структур. Мы построили и внедрили в общей сложности 19 тысяч разнообразных по сложности и наполнению систем, из них более 100 датацентров с разными уровнями надежности. Это стало возможным благодаря большому штату специализированных инженеров и значительному количеству монтажного ресурса необходимого для внедрения и реализации систем в разных городах Украины. Их знания и опыт засвидетельствованы сертификатами производителей, благодарственными письмами заказчиков, а также возможностью напрямую получить информацию о квалификации из первых уст. PC *Данные взяты для датацентра с полезной мощность 300 КВатт

PCWEEK Review 2 (107), 2010

PCWeek Review

«Бензин ваш – идеи наши» О самых востребованных ИТ-решениях, об уникальных завершенных проектах, об уроках экономического кризиса и новых идеях PC Week/UE беседует с Юрием Михайловичем Лисецким, генеральным директором «ЭС ЭНД ТИ УКРАИНА».

PC Week/UE: Последние полтора года существенное количество публикаций в прессе было посвящено кризису: проблемам, урокам, последствиям. Как вы думаете, эти обсуждения уже потеряли практический смысл или еще остаются вопросы?

PC Week/UE: Какие критерии послужили бы для вас признаком завершения текущего кризиса? Достижение прежнего уровня бизнеса? Выход на прежние темпы роста?

Ю. Л. Сигналом его окончания в Украине могут служить финансовые показатели основных игроков рынка – совершенно Юрий ЛИСЕЦКИЙ объективный критеЮрий Лисецкий: рий. Как только ИТКризис стал привычной частью компаниям удастся выйти на жизни, и сейчас нет смысла его докризисные результаты, можно активно обсуждать: быть ново- будет говорить о стабилизации стью он уже перестал, а историей или, даже, положительной диеще не стал. То есть, о пробле- намике. Ожидаю, что в Украине мах кризиса говорить поздно, о некоторые ИТ-компании в этом последствиях – рано, а вот раз- году смогут повторить резульмышлять об уроках, наверное, таты 2009 года, и в 2011-ом, возуже можно. можно, выйдут на результаты По моему мнению, кризис 2008 года. преподал только один урок, не И все же, учитывая глобальставший откровением: выжи- ный характер кризиса, я бы, вает сильнейший и лучше под- прежде всего, ориентировался готовленный. Сейчас это так на положительную динамику же актуально, как и в начале макроэкономических показакризиса: пока не устранен ни телей в Украине и в странах – один из факторов, приведших наших основных инвесторах. к кризису – ни на глобальном, Только этот сигнал позволит ни на национальном уровнях. сказать: да, в Украине кризис Поэтому новую волну кризиса заканчивается. Но, даже тогда нельзя исключить, а, значит, и я не ожидаю прежних высоких об окончании кризиса в ИT го- темпов роста – эти времена уже ворить не приходится... не вернутся.

PC Week/UE: На сайте http://www.snt.ua сейчас представлено несколько направлений бизнеса («Решения для бизнеса», «Инфраструктурные решения» и др.). Какие из них были наиболее востребованными за последние полтора года, и вы считаете наиболее перспективными и денежными для дальнейшего развития компании? Ю. Л. Наиболее востребованными, несмотря на кризис, остались серверные платформы и системы хранения данных. Кроме того, мы ощутили рост спроса на «тяжелые», комплексные решения в области ИT-безопасности. Именно на комплексные, а не так называемую «косметическую» безопасность. Кстати, это признак достижения нашим ИТ-рынком очередной стадии зрелости. PC Week/UE: Какие это решения, каких разработчиков? Ю. Л. Традиционно, в проектах, связанных с информационной, в частности, сетевой безопасностью, мы предлагаем решения, базирующиеся на продуктах Cisco, EMC, Websense, Fortinet и других производителей. В последнее время, мы также реализовали ряд проектов с использоанием комплексных решений компании ArcSight, которые оказались востребованными со стороны банков.

41


PCWeek Review

Центры обработки данных

PC Week/UE: Это был спрос со стороны банков или ваша инициатива продвижения ArcSight в банках?

ного корпоративного бизнеса – то, что могут делать считанные компании в Украине.

Ю. Л.: Спрос на эффективные решения в области ИТбезопасности со стороны банков присутствует всегда. Мы изучили, кто из разработчиков предлагает наиболее совершенные, комплексные решения в этой области, обратили внимание на решения ArcSight и презентовали их нашим заказчикам. Оказалось, что эти продукты хорошо отвечают потребностям финансового сектора в Украине.

PC Week/UE: Ландшафт ИТ-рынка изменился за последние пару лет. Какие наиболее существенные изменения вы могли бы обозначить? В чем конкретно это проявляется сегодня?

PC Week/UE: Ваши специалисты уже обладали опытом работы с решениями ArcSight? Ю. Л.: Мы такого опыта не имели, поэтому оперативно разработали и реализовали план по развитию сотрудничества с производителем. Реализация пилотного проекта, написание технического задания и подготовка заняли два с половиной месяца. За это время наши специалисты успели пройти обучение и сертификацию. Первое внедрение мы делали с помощью специалистов ArcSight, второе – абсолютно самостоятельно. Наряду с этим существует спрос в области нашей основной компетенции – комплексных проектов по созданию, модернизации или развитию ИТ-инфраструктуры, включающей серверные решения, системы хранения, сетевое окружение, элементы безопасности. Именно это направление является для нас самым перспективным: мультисервисные сети, территориально распределенные ЦОД и другие масштабные проекты для круп-

Ю.Л.: ИТ-рынок претерпел серьезные изменения на глобальном уровне, но не в Украине.

Коммерческие ЦОДы хорошо себя чувствуют на зрелых во всех отношениях рынках Особого изменения количества игроков не наблюдается, на топпозициях – те же имена, а вот доходы уменьшились. Но эти изменения количественные, а не качественные, поэтому можно сказать, что особых изменений, кроме того, что стало работать сложнее – нет. Отмечу только определенную активизацию деятельности российских ИТ-компаний в Украине в связи с изменением структуры собственности отечественных операторов связи, а также некоторых банков. PC Week/UE: Как вы оцениваете перспективы создания и использования коммерческих ЦОД в нашей стране? Ю. Л.: Если отвечат�� на вопрос кратко, то перспективы создания я оцениваю высоко, а перспективы использования – не очень. Сейчас в Украине многие создают коммерческие ЦОДы,

Центры обработки данных

добились определенных успехов в их построении, – и хотя с США и другими развитыми странами пока не сравнить, – это направление у нас успешно развивается. «Камнем преткновения» на этом рынке является не создание, а как раз использование  – ведь загрузка многих ЦОД не превышает 30%. PC Week/UE: Как вы считаете, чем обусловлена недостаточная загрузка? Ю. Л.: Рядом причин. Например, в США и Европе они используются несравнимо интенсивнее: идея отдать на аутсорсинг все неосновные для бизнеса функции там давно и успешно реализуется. Кроме того, западные или восточно-азиатские банки, отдавая ИТ-задачи на аутсорсинг, уверены в надежном хранении своей информации, поскольку эти процессы подкреплены законодательной базой и реализуются в соответствии с регуляторными требованиями. У нас, как вы понимаете, все обстоит иначе. К тому же, наш рынок пока просто не созрел: нет достаточного спроса на удаленное хранение и обработку данных, и не факт, что он будет быстро расти в обозримом будущем. Наши операторы связи уже построили собственные мощные ЦОДы с достаточными для себя ресурсами. Та же ситуация с банками, которые, к тому же, пока не генерируют сверхбольшие объемы информации: их собственные ЦОДы (иногда и простые серверные комнаты) тоже вполне справляются с актуальными задачами… Коммерческие ЦОДы хорошо себя чувствуют на зрелых во всех отношениях рынках.

PC Week/UE: Расскажите о самых значимых проектах «ЭС ЭНД ТИ УКРАИНА» последнего времени. Ю. Л.: Их немало. В частности, для «Райффайзен Банк Аваль» мы реализуем проект на базе продукта ArcSight ESM. Первый этап проекта мы завершили в прошлом году – заказчик остался доволен результатами – и вот, недавно, мы завершили уже второй этап. Внедренное решение стало одним из ключевых элементов системы мониторинга и управления безопасностью в банке. В этом году мы реализовали очень интересный проект по внедрению системы управления идентификационными данными пользователей (IDM) для компании «Астелит». Решение на базе продукта Sun Java Identity Management System позволило автоматизировать процесс управления учётными записями и предоставления доступа в огромную сеть информационных систем мобильного оператора для более чем тысячи сотрудников компании, а также для внешних пользователей. Заметьте, этот проект также в области ИТ-безопасности, что хорошо иллюстрирует тенденцию, о которой я говорил. Для одного из наших ключевых заказчиков, компании «Киевстар», мы реализовали в этом году целый ряд интересных проектов. Например, весной мы завершили первый этап строительства сети беспроводного доступа для использования на участках «последней мили» сети фиксированного доступа. Эта сеть беспроводного доступа позволяет оператору предоставлять абонентам услуги передачи данных в условиях отсутствия

проводной инфраструктуры со скоростью до 10 Мбит/с. В этом году мы модернизировали ядро IP/MPLS сети компании «Киевстар». Мы заменили маршрутизаторы класса GSR, производства Cisco, на более производительное решение этого же производителя: CRS-1. Кстати, внедрение маршрутизаторов этого класса стало первым в Украине. Благодаря этому выросла общая пропускная способность ядра сети в 4 раза – важный фактор готовности к внедрению услуг 3G/4G поколений. Что интересно, оборудование GSR мы использовали для модернизации пограничных маршрутизаторов: установили 4 точки терминирования международных Интернет-каналов, и довели их пропускную способность до 10 Gbps. Так мы достигли сразу нескольких целей: повысили технические возможности оператора и позволили ему сохранить ранее сделанные инвестиции. Кроме того, в этом году мы продлили контракт на техническую поддержку DWDM и IP/MPLS сети мобильного оператора. Компания «Киевстар» всегда была новатором в области ИТ: первой в Украине приобрела суперкомпьютер НP Superdome, первой внедрила собственные биллинговые системы. Новаторскую традицию она поддержала и в этом году – вновь при нашем участии. Мобильный оператор приобрел для своей финансовоаналитической системы комплекс хранения и обработки данных Oracle Exadata. Этот продукт совместной работы компаний Oracle и Sun Microsystems является на сегодня самым быстрым в мире комплексом для онлайн обработки транзакций, а его внедрение для «Киевстар» станет

PCWeek Review

первым не только в Украине, но и в СНГ. Необходимо упомянуть еще один проект, который мы начали еще в прошлом году, и активно реализуем в течение всего 2010 года. Это масштабный проект по созданию единой системной ИT-инфраструктуры Донбасской топливно-энергетической компании (ДТЭК), входящей в группу «СКМ». ДТЭК представляет собой вертикальноинтегрированную компанию из 19 предприятий, создающих производственную цепочку от добычи угля до генерации и дистрибуции электроэнергии, и на которых работает более 52 тысяч сотрудников. И вот, для этой компании с разнородной структурой мы централизуем ИТ-инфраструктуру на основе технологий Microsoft, повышаем стабильность функционирования ее компонент и уровень доступности ИТ-сервисов для пользователей. Особенностью данного проекта стали масштаб внедрения, охватывающий все 19 предприятий компании, а также количество внедряемых ИТ-сервисов – более 20. PC Week/UE: Какие у вас есть идеи, планы в отношении развития новых направлений, применения новых технологий? Ю. Л.: Помните, в «Золотом теленке» И.Ильфа и Е.Петрова, прозвучала знаменитая фраза Бендера: «Бензин ваш – идеи наши». Для воплощения любой идеи нужна материальная база, а в нынешних экономических условиях «площадь» этой базы у многих сильно уменьшилась. Тем более, системным интеграторам просто нет особого смысла работать на далекую перспективу – никто не знает, как будет Продолжение на стр 61

42

PCWEEK Review 2 (107), 2010

43


PCWeek Review

Центры обработки данных

Контроль за энергопотреблением и охлаждением ЦОД По мере стремительного роста цен на электроэнергию технологии, применяемые в процессорах и устройствах памяти, превратили производительность в избыточный ресурс, и весьма высоким стало значение электроэнергии и охлаждения.

Плотность усложняет проблему Вопрос электропитания и охла­ждения не зависит от форм-фактора. Однако потребность в них быстро растет из-за большей плотности серверов и процессоров. В настоящее время плотность информационного центра ежегодно увеличивается в среднем на 15%—20%. Клиенты, которые используют блейд-серверы, одними из первых ощутили остроту проблемы охлаждения и электропитания в условиях высокой плотности. За последние десять лет расходы на электроэнергию выросли более чем вдвое, усилив нагрузку на системы охлаждения и электропитания. По данным Американского общества инженеров по отоплению, охлаждению и кондиционированию воздуха, среднее энергопотребление на единицу площади для серверов увеличилась за последние десять лет в десять раз. Поэтому каждый сэкономленный ватт превращается в значительную экономию для предприятия. Возьмем 100 серверных стоек, заполненных серверами. Каждая стойка, потребляющая 12—13 киловатт, расходует на

44

серверы 1,3 мегаватт электричества в час. Количество электроэнергии, необходимой на охлаждение, практически равно электроэнергии, потребляемой самим аппаратным обеспечением. Следовательно, система кондиционирования воздуха также использует 1,3 мегаватт электричества. Если 1 киловатт/час стоит $0,1 при круглосуточном потреблении, то в год за 1,3 мегаватт начисляется приблизительно $1,2 млн. Это очень значительная сумма. Вот почему расходы на электричество требуется срочно сокращать.

Уравнение для электропитания, тепла и охлаждения Чтобы соответствовать требованиям и ограничениям по потреблению энергии и охлаждению в каждом информационном центре, важно помнить о количестве выделяемого тепла на центр данных или серверное поме- щение. Для этого необходимо определить, какова критическая нагрузка, для которой можно обеспечить электропитание? Сколько мощности можно охладить, прежде чем начнутся сбои и простои? Сколько вычислительной мощности можно себе позволить до тех пор,

Центры обработки данных

пока не возникнет потребность реструктуризации информационного центра из-за недостаточного электропитания и охлаждения? К сожалению, многие информационные центры не могут разорвать этот замкнутый круг: в ходе работы система охлаждения серверов сама нагревается, таким образом, происходит образование тепла при его отводе. Эта проблема возникает независимо от формфактора — стоечный, башенный сервер или блейд — и решать ее приходится всем информационным центрам. Поскольку законы физики изменить невозможно, необходимо привести в к оптимальному балансу физические показатели тепла, производительности и плотности. Вот почему НР разработала технологию Thermal Logic, инновационную технологическую стратегию, которая встраивается в блейд-системы HP BladeSystem следующего поколения и обеспечивает баланс между потреблением электроэнергии и охлаждением, повышая эффективность информационного ц��нтра. Сейчас во многих информационных центрах расходы на электроэнергию составляют треть

PCWEEK Review 2 (107), 2010

эксплуатационных расходов. В настоящее время на каждый квадратный фут пространства, занимаемый вычислительным оборудованием, приходится три квадратных фута пространства, отведенного под систему охлаждения, что в шесть раз больше, чем 10 лет назад. За последние три года среднее потребление электроэнергии на стойку выросло вдвое. До 50% расходов информа ционного центра приходятся на электричество и оборудование для охлаждения. В среднем ежегодные коммунальные расходы информационного центра площадью 100 000 квадратных футов достигают $5,9 млн. (Эдвард Коплин, руководитель инженерной компании Jack Dale Associates).

Теперь есть возможность виртуализировать электроэнергию и охлаждение. Технология HP Thermal Logic позволяет достичь этой цели благодаря нескольким инновационным решениям, которые интегрированы в полку HP BladeSystem, и ключевым функциям, обеспечивающим контроль и оптимизацию потребления электроэнергии и охлаждения.

HP Thermal Logic — «экономайзер» электричества Чтобы решить острую проблему роста температуры и затрат на электроРис. 1 Вентиляторы HP Active Cool энергию, компания НР поставила перед собой смеHP Thermal Logic позволяет лую цель: дать своим клиентам отслеживать, объединять, совозможность контролировать вместно использовать и соотпотребление электроэнергии и носить потребление электроохлаждение в качестве нового энергии с потребностями в ней. типа ресурсов, чтобы оптимизи- Также она позволяет приводить ровать эффективное использо- к балансу производительность, вание электричества для любого обеспечение электроэнергией объема работы. Вероятно, мно- и охлаждение в соответствии гим знакомо понятие виртуали- с выполняемой задачей и огразации на уровне серверов, кото- ничивать потребление элекрое подразумевает объединение тричества и охлаждение, чтобы вычислительных ресурсов в пул обеспечить необходимую прои их совместное использование. изводительность, но при раци-

PCWeek Review

ональном расходовании ресурсов. Можно даже задать порог потребления электроэнергии и охлаждения, чтобы обеспечить максимальный или оптимальный уровень производительности, а также автоматически увеличивать и контролировать охлаждение, поддерживая его на достаточном уровне. Здесь есть все для комплексного управления электропотреблением и охлаждением.

Превращение плотности в преимущество Плотность, которая ранее мешала охлаждению, превращается в преимущество благодаря технологии HP Thermal Logic, вентиляторам HP Active Cool и архитектуре HP PARSEC. С их помощью больший поток воздуха направляется на те блейд-серверы, которым это нужно, и при этом расходуется меньше электроэнергии, чем для обычных стоечных серверов. В действительности при использовании технологии HP Thermal Logic корпусу HP BladeSystem требуется до 50% меньше потока воздуха, и до 70% меньше электроэнергии на охлаждение, чем тому же количеству стоечных серверов, которые, помимо этого, занимают больше драгоценного пространства, чем полка НР BladeSystem. Технология HP BladeSystem независимо от конфигурации обеспечивает экономию времени и электроэнергии, поскольку она

45


PCWeek Review

эффективнее использует электроэнергию и охлаждение, требует меньше времени на управление, ее проще изменять, и она всегда оказывает меньшее воздействие на остальные части информационного центра.

Направленное охлаждение предотвращает нерациональное расходование Разрабатывая Thermal Logic, специалисты HP рассматривали обеспечение электроэнергией и охлаждение не отдельных стоек, а целого информационного центра. Каждый объект в информационном центре влияет на все остальные объекты. Если до максимума повышается охлаждение целой полки из-за одного нагруженного блейд-сервера, также начинают охлаждаться прилегающие стойки и ряды, что приводит к излишнему расходованию электричества. В HP BladeSystem применяется многозонная архитектура, где в каждую серверную полку встроено множество датчиков. Это позволяет распределять электроэнергию и контролиро- вать охлаждение областей с разной плотностью. В отличие от вентиляторов в обычных серверах, HP Thermal Logic требуется на 50% меньше потока воздуха, а на охлаждение того же количества блейд-серверов расходуется до 70% меньше электричества. Наблюдение и контроль HP Thermal Logic обеспечивают сотни встроенных датчиков, расположенных по всей полке. Они передают данные о температуре

46

Центры обработки данных

на модуль управления Onboard Administrator и HP Systems Insight Manager. Благодаря этому можно легко отслеживать температуру каждой полки в каждой стойке, температуру воздуха внутри и снаружи, а также общее энергопотребление компонентов. Системный администратор получает все

данные, необходимые для обеспечения потребностей системы, и может вручную или автоматически управлять температурными порогами. Он может самостоятельно выбирать уровень контроля, достаточный для поддержания баланса между энергопотреблением, температурой, плотностью и производительностью.

Распределение всего объема электроэнергии как общего ресурса

Новая полка HP BladeSystem c-Class со встроенной технологией HP Thermal Logic создавалась с целью экономии электроэнергии и максимального охлаждения, что обеспечило более высокую производительность на каждый использованный киловатт. Так как в стойку помещается больше серверов, для нее используется столько же или меньше электроэнергии и охлаждения, а также меньше составных частей. Большая плотность позволяет сократить количество кабелей, которые затрудняют потоку воздуха доступ к полкам и стойкам. В результате на квадратный метр информационного центра требуется меньшее охлаждение. Когда потребляется меньше электричества, образуется меньше тепла, и снижается потребность в кондиционировании воздуха, сокращается количество стоек, и, следовательно, требуется меньше пространства.

Центры обработки данных

HP Dynamic Power Saver оптимизирует энергопотребление, используя только те блоки питания, которые обеспечивают потребности консолидированной инфраструктуры. Так как максимальная эффективность блоков питания достигается при высоких нагрузках, этот способ позволяет поддерживать их работу на оптимальном уровне, одновременно обеспечивая избыточность этих устройств. Решение HP Dynamic Power Saver постоянно работает в фоновом режиме, обеспечивая распределение всей доступной электроэнергии. Таким образом, поддерживается производительность системы при высоких нагрузках и экономия электричества при низких нагрузках. Чтобы добиться от данной стратегии максимального распределения электроэнергии, был создан регулятор энергопотребления HP Power Regulator, работающий на уровне процессоров. Он позволяет более точно соотносить энергопотребление про-

PCWEEK Review 2 (107), 2010

цессоров с общей нагрузкой. Вместе с HP Dynamic Power Saver это решение позволяет повысить эффективность использования электроэнергии, а HP Power Regulator одновременно дает возможность сокращать потребление электроэнергии процессорами и экономить еще больше электричества.

Вентиляторы HP Active Cool для эффективного охлаждения Новые вентиляторы HP Active Cool разработаны с применением инновационных техно­логий, позволяющих охлаждать 16 блейдсерверов, затрачивая всего 100 ватт. Конструкция вентилятора основана на технологии, применяемой в двигателях самолетов. Скорость вращения лопастей вентилятора достигает 217 км/ч, что создает высокое давление и скорость воздушного потока, но при этом потребляется меньше электричества, чем в обычных вентиляторах.

Сервисы HP Smart Power and Cooling Услуги интеллектуального энергообеспечения и охлаждения HP Smart Power and Cooling помогут максимально эффективно использовать информационный центр. С помощью этих услуг информационный центр можно сделать более компактным и экономным в плане энергопотребления. В число этих услуг входит планирование размещения вычислительных ресурсов, улучшение конфигурации охлаждающих систем, таких как кондиционирование воздуха, и размещение вентиляционных решеток. В результате можно будет эффективнее управлять ростом

и избежать отказов системы, связанных с недостаточным энергопотреблением или охлаждением.

Самоохлаждаемая стойка HP Modular Cooling Система модульного охлаждения HP Modular Cooling — это самоохлаждаемая стойка, созданная для датацентров с высокой плотностью. Новая технология охлаждения НР позволяет одной стойке отводить до 30 кВт тепла, обеспечивая охлаждение при такой плотности аппаратного обеспечения и энергопотреблении, которые раньше были практически невозможны. HP Modular Cooling разрабатывалась с тем, чтобы дополнить традиционную систему охлаждения информационного центра и создать условия для повышения вычислительной мощности без дополнительного теплообразования Кроме этого, увеличение количества оборудования в стойке в три раза, в терминах киловатт, позволяет значительно продлить срок жизни информационного центра.

Комплексный подход НР к энергообеспечению и охлаждению Полка и стойка • Постоянный температурный мониторинг, предоставляющий данные о температуре, энергопотреблении и охлаждении в режиме реального времени. • В��нтиляторы HP Active Cool, созданные на основе запатентованной технологии НР, оптимизируют воздушный поток, уровень шума, энергопотребление и производительность. • Архитектура HP PARSEC для параллельного избыточно-

PCWeek Review

го масштабируемого воздушного потока. • Модульная система охлаждения HP Modular Cooling с технологией водного охлаждения, в три раза более эффективная, чем традиционные стойки и без дополнительного теплообразования. Блейд-сервер • Слабонагревающиеся двухядерные и многоядерные процессоры. • HP Power Regulator адаптирует энергопотребление процессора к потребностям исполняемых приложений. • HP Dynamic Power Saver перераспределяет нагрузки для максимальной эффективности и надежности, сохраняя избыточность блоков питания. • Элементы управления Integrated Lights Out (iLO) ускоряют переход к регулируемому энергопотреблению. • Виртуализация на уровне сервера для повышения производительности относительно энергопотребления. Информационный центр • Комплексные услуги включают теплорегуляцию HP Thermal Modeling и повышение эффективности информационного центра. • Услуга быстрой оценки позволяет определить основные параметры окружающей среды. • Промежуточная оценка касается кондиционирования воздуха, влияния препятствий и направления потоков воздуха. • В рамках комплексной оценки анализируются динамический поток жидкости и применяются технологии термального моделирования. PC

47


PCWeek Review

Центры обработки данных

Центры обработки данных

ЦОД в ПУМБ: путь к централизации управления ИТ Проектирование центра обработки данных было начато в сентябре 2008 года и было закончено в полном объеме в мае 2009 года. По окончании проектирования проект был отдан на комплексную государственную экспертизу и получил положительное заключение.

Л

етом 2008 года руководством публичного акционерного общества «ПУМБ» было принято решение о создании основного центра обработки данных на территории центрального офиса. Данное решение было принято для обеспечения высокого уровня безопасности всех информационных баз данных банка. Для определения организацииисполнителя по данному проекту был проведен тендер, в результате которого компания ЗАО «Инком» была признана победителем. Проектирование центра обработки данных было начато в сентябре 2008 года и закончено в полном объеме в мае 2009 года. По окончании проектирования проект был отдан на комплексную государственную экспертизу и получил положительное заключение. К сожалению, из-за задержки сроков работы были начаты еще на этапе проектирования в феврале 2009 года. Комплекс ЦОД был сдан в опытную эксплуатацию в сентябре 2009 года. Окончательная сдача в эксплуатацию состоялась в ноябре 2009 года. ЦОД ПАО «ПУМБ» построен в соответствии с TIA/EIA-942 и предназначен для бесперебойного функционирования 24х7х365 и не имеет единой точки «отказа». Все

48

оборудование выполнено с минимальной отказоустойчивостью N+1. Отдельные подсистемы имеют более высокую отказоустойчивость: ИБП – 2N, система электроснабжения 2N+1. Весь комплекс ЦОД имеет отдельное резервирование по электропитанию, которое обеспечивает дизель генераторная установка мощностью 400 кВА. Время автономной работы ИТ-оборудования составляет 30 мин за счет ИБП. При проектировании были учтены пожелания ПУМБ о возможности наращивания мощности ЦОД. В проекте была заложена первоначальная мощность ИТоборудования 50 кВт с возможностью расширения до 100 кВт. Уже летом 2010 года банк начал наращивать мощность комплекса ЦОД. В ходе реализации проекта были построены следующие подсистемы.

Инженерная инфраструктура ЦОД Основой построения ИИ ЦОД является оборудование АРС InfraStruXure тип B по схеме резервирования 2N н. Оборудование АРС, применялось для построения систем – ИБП, распределения питания, внутреннего кондиционирование, система мониторинга и диспетчеризации, шкафное оборудование. Си-

стема распределения питания выполнена с использованием управляемых стоечных блоков розеток, что позволяет контролировать состояние питания и управлять им на уровне шкафов.

Система активного мониторинга для обеспечения безопасности и контроля состояния среды (для защиты от физических факторов риска) Для обеспечения разграничения доступа к различным сервисам согласно требованиям Национального банка Украины система контроля доступа была выполнена с использованием решений АРС NetBotz, при этом разграничение доступа выполнено на уровне шкафов. Установленное оборудование позволяет контролировать микроклимат в помещениях ЦОД и в случае отклонения от заданных пользователями параметров автоматически реагировать и восстанавливать уровень влажности и температуры. В серверном помещении предусмотрена система защиты от затоплений, датчики которой подключены к оборудованию APC InRow RC. В случае протечки оборудования после срабатывания датчиков прекращается подача жидкости в неисправный блок кондиционирования.

PCWEEK Review 2 (107), 2010

Кондиционирование Внутри серверной кондиционирование выполнено по принципу «горячих» и «холодных» коридоров, с использованием внутрирядных кондиционеров АРС InRow RC 103. Хладагентом системы была выбрана водно-гликолиевая смесь. В качестве внешнего холодильного оборудования в теплое время года используются чиллеры. При снижении температуры наружного воздуха до 5 гр., система автоматически переключается на сухие градирни, расположенные с внешней стороны здания, принцип работы которых подразумевает использование температуры внешнего воздуха для охлаждения ЦОД. Электрообеспечение Одной из наиболее интересных «изюминок» ЦОД является его система электрообеспечения, построенная по схеме резервирования 2(N+1). Система электрообеспечения ЦОД построена по схеме резервирования 2(N+1) и обеспечивает возможность гибкого масштабирования (Использовано 2 ИБП Symmetra PX по 64 кВт N+1). Питание ЦОД подается от двух независимых (резервируемых) вводов от ТП. Кроме того вводы дополнительно резервируются ДГУ. Система электроснабжения оборудована современными средствами автоматики, наряду с этим информация о всех переключениях в системе ЭО ЦОД передается в систему диспетчеризации. При проведении комплексной государственной экспертизы эксперты единодушно признали систему электрообеспечения в ЦОДе ПУМБ одной из лучших в городе.

СКС ЦОД Первого Украинского Международного банка не является автономным и отдельно стоящим центром. Таким образом, СКС ЦОД соединена со всеми важнейшими телекоммуникационными узлами банка. СКС ЦОД построена на базе оборудования АМР Tyco, и является предынтеллектуальной, т.е. в будущем она может быть расширена до уровня интеллектуальной СКС. Диспетчеризация Система построена на APC ISX Central и NetBotz. В систему диспетчеризации приходят данные со всех элементов и подсистем ЦОД. Для эффективной работы выполнена визуализация получаемой информации на цифровую стену в кабинете обслуживающего персонала ЦОД. Данная цифровая стена своевременно информирует диспетчеров об изменениях параметров и всего оборудования ЦОД и смежных систем. Также система обеспечивает удаленный просмотр и контроль событий с любого удаленного рабочего места в сети банка или через Интернет. Система автоматического пожаротушения В серверном помещении ЦОД выполнена система автоматического газового пожаротушения на базе газа FN-200. Данный газ является безопасным по воздействию на окружающую среду. Система видеонаблюдения В помещениях ЦОД выполнена система видеонаблюдения, позволяющая контролировать перемещения, как в серверном помещении так и во всех технических помещениях комплекса.

PCWeek Review

Система NetBotz и позволяет операторам диспетчерского центра контролировать присутствие и действия персонала ЦОД. Данная система подключена к системе диспетчеризации, посредством нее возможно не только контролировать действия внутри помещения, она также оповещает о наличии движения внутри ЦОД во избежание несанкционированного доступа и действий в помещении (наблюдение осуществляет служба охраны. Используется независимая система видеонаблюдения.

Вентиляция и пароувлажнение Для обновления воздуха в помещениях комплекса была выполнена приточно-вытяжная вентиляция всех помещений (независимые друг от друга: для серверной и для остальных помещений). Дополнительно для обеспечения микроклимата в серверном помещении была реализована система пароувлажнения. Одним из неформальных требований заказчика было выполнение эстетических требований при построении ЦОД. Для выполнения данного пожелания было выполнено несколько мероприятий. 1. В серверном помещении выполнен фальшпол с целью организации кабельных линий (и системы циркуляции хладагента) в подпольном пространстве (фальшпол выполнен не для эстетики, а для прокладки коммуникаций). 2. Была произведена внутренняя отделка экрана серверного помещения под стиль офисных помещений. 3. Все видимые коммуникации и трубы снаружи и внутри помещений были выполнены в декоративных конструктивах для придания эстетического вида. PC 49


PCWeek Review Центры обработки данных

ЦОД: тенденции рынка, актуальные проблемы и подходы Чем сегодня «дышит» ��ынок датацентров, каковы основные тенденции и проблемы при построении и эксплуатации ЦОД? Мы попытались узнать это, у специалистов системных интеграторов, вендоров и дистрибуторов. Как бы вы охарактеризовали круг современной проблематики ЦОД? Какие вопросы в нее входят и какие из них наиболее актуальны сегодня?

планировка объекта, охлаждение, обеспечение энергоэффективности, отказоустойчивости и другие, носят более технический и прогнозируемый характер, поэтому решать их намного легче.

Extreme Networks Борис Гермашев, глава представительства Extreme Networks в России Все более масштабное использование виртуализации приводит к лавинообразному увеличению плотности устанавливаемого оборудования. Как следствие, многократно усложняются все типичные задачи при проектировании ЦОД  – от обеспечения бесперебойного питания и охлаждения до построения гибкой сетевой инфраструктуры и систем безопасности. Виртуализация также принудительно привносит требования по поддержке динамического изменения конфигурации и нагрузки, что до этого было нетипично для обычно статичных решений ЦОД.

«Sitronics Информационные технологии» Говорить о проблематике можно очень долго. Достаточно вспомнить множество примеров проблем, которые становились краеугольными камнями на пути создания и эксплуатации ЦОД, потом их успешно решали, и эти решения давали качественный скачок всему направлению. Например, внедрение виртуализации позволило решить проблему роста площади серверных помещений и нерационального расхода электроэнергии; использование энергоэффективных технологий кондиционирования позволило уменьшить затраты на содержание ЦОД и т.д.

SIBIS Денис Кривов, редактор ITPartner В первую очередь, это наличие необходимых свободных электрических мощностей на ближайших подстанциях энергосетей и выбор соответствующей площадки. Остальные вопросы, такие как

50

System Integration Service Солтыс Валерий Федорович, коммерческий директор Очень сложно найти подходящее помещение и, как правило, помещение для ЦОД заказчики строят специально. На этапе проектирования помещения просчитывается рабочая и максимальная мощность ЦОД, подводятся все необходимые коммуникации и т.д. И одна из существенных про-

Центры обработки данных

блем – обеспечение достаточной мощности электропитания ЦОД, особенно в больших городах АМИ Александр Лагоденко, руководитель проектов управления сетевых решений и телекоммуникаций Сегодняшнюю ситуацию на рынке ЦОД можно охарактеризовать как затишье, оно временное, и через некоторое время проявится отложенный спрос, поскольку компании снова начнут ощущать острую необходимость в расширении и создании конкурентных преимуществ своего бизнеса, а это невозможно без оптимизации бизнес-процессов. «Бакотек» Олег Ляшенко, менеджер по развитию бизнеса Актуальная проблема при проектировании и модернизации ЦОД  – это анализ информационных систем, бизнес-задач которые будут «жить» в ЦОДе. Без такой процедуры ЦОД – это всего лишь это набор технологически правильно интегрированного оборудования, чего, конечно же, недостаточно для его эффективного использования. Кроме того, в последнее время очень актуальна проблема правильного выбора решения для объединения терри-

PCWEEK Review 2 (107), 2010

ториально распределенных центров обработки данных в единую систему. «МУК» Вадим Ленков, коммерческий директор Существует проблематика ЦОД, которая всегда была и остается актуальной. Основополагающие вопросы связаны с доступностью ИТ-сервисов, защитой и хранением данных. Наиболее актуальные задачи в связи с кризисом следующие. • Гибкость инфраструктуры. В период кризиса бизнес изменяется, и инфраструктуре приходится подстраиваться под новые запросы бизнеса. Эти изменения должны быть динамичными — нельзя ждать и останавливать бизнес-процессы, пока будут происходить изменения в инфраструктуре. • Повышение эффективности использования ресурсов. Заказчик вполне справедливо желает, чтобы его инфраструктура давала максимальную отдачу. • В целом наблюдается изменение облика ЦОД. Если раньше основу ЦОД составляли в основном крупные и дорогие серверные решения, но теперь возросло количество относительно бюджетных систем. В связи с повсеместным использованием виртуализации вычислений большое значение для ЦОД приобрели системы хранения данных и средства резервного копирования. Какие категории заказчиков применяют ЦОД (по размерам, отраслям)? Для решения каких задач? SIBIS Основными заказчиками, использующими ЦОД, традиционно являются банки, страховые

компании и retail. Также они очень востребованы в промышленности и энергетике. Эти структуры оперируют большими массивами данных, и их деятельность напрямую зависит от обработки информации. Самые распространенные задачи заказчиков, это, как правило, создание резервных ЦОД и размещение таких приложений как интернет-банкинг, SAP, CRM, core banking system и сервисы баз данных. «МУК» ЦОД сегодня применяет одна категория заказчиков – это заказчики, прибыли которых позволяют вкладывать средства в оптимизацию и увеличение надежности ИТ. В первую очередь, это телекоммуникационный и финансовый сектор. «АМИ» Условно заказчиков можно разделить на категориям востребованности ЦОД разных уровней. ЦОД первого уровня (Tier 1) не имеет резервируемых систем, а потому все плановые и внеплановые работы неминуемо оборачиваются простоями. ЦОД первого уровня (Tier 1) востребован: • средним и малым бизнесом, где ИТ обслуживают в первую очередь внутренние процессы компании. • и н терне т-ориен т и рова нным бизнесом на начальном этапе развития, при отсутствии серьезных штрафов за качество предоставляемого сервиса. ЦОД второго уровня (Tier II) востребован: • мелким бизнесом, чьи требования к ИТ-системам обычно ограничены рамками работоспособности на протяжении нормального рабочего времени («5Х8»), когда есть возможность

PCWeek Review

производить плановую остановку ИТ-систем для проведения регламентных работ. • коммерческими фирмами, работающими, например, в области разработки ПО, которые, как правило, не предоставляют каких-либо услуг в режиме «онлайн». ЦОД третьего уровня (Tier III) востребован: • компаниями, обслуживающими как внутренних, так и внешних заказчиков в режиме «7Х24». • структурами, чьи ИТ-системы поддерживают автоматизированные бизнес-процессы, так что простой ИТ-систем имеет заметное влияние на бизнес. • компаниями, чьи сотрудники и заказчики находятся в многочисленных часовых поясах и регионах. В ЦОД четвертого уровня (Tier IV) непрерывное функционирование поддерживается автоматически. Датацентр четвертого уровня востребован: • предприятиями с присутствием на международных рынках, предоставляющими свои услуги в режиме «24х365» в высококонкурентном рыночном окружении. • компаниями, занимающимися электронной коммерцией, финансовыми транзакциями. • крупными глобальными компании, чьи сотрудники и заказчики находятся в многочисленных регионах, и их доступ к ИТ-ресурсам дает заметное конкурентное преимущество. System Integration Service Если мы говорим именно о ЦОД в классическом исполнении, а не о серверных комнатах, это крупные финансовые, промышленные и государственные организации. Задачи в основном стандартные:

51


PCWeek Review Центры обработки данных

необходимость консолидации больших массивов данных для аналитической обработки, оптимизация обслуживания инфраструктур, повышение надежности и производительности ресурсов. «Бакотек» ЦОД  – это платформа обеспечивающая соответствие определенным требованиям к эксплуатации и развитию информационной инфраструктуры, независимо от отрасли применения и выполняемых задач. Основные заказчики, конечно, в сегменте Enterprise. «Sitronics Информационные технологии» Центры обработки данных использует любая компания на определенном этапе зрелости, когда требуется надежность и стабильность функционирования бизнеспроцессов, которые сейчас тесно связаны с применением информационных технологий. Если готовить об активности, то на сегодня наиболее активен финансовый сектор. К примеру, мы во втором квартале завершили проект для АО «СБЕРБАНК РОССИИ» (Украина). В рамках, которого наши специалисты выполнили весь комплекс работ по созданию ЦОД: от проектирования до комплексной реализации. Каковы сегодня наиболее характерные тенденции рынка ЦОД с точки зрения технологий? SIBIS Можно выделить две глобальных тенденции: виртуализация и повышение энергоэффективности.

52

«МУК» В сфере инфраструктуры ЦОД основными тенденциями были и остаются оптимизация и увеличение надежности. Все, что происходит с технологиями, сегодня направлено на реализацию этих тенденций. «АМИ» Одной из основных тенденций сегодня является поэтапная многоуровневая концепция организации ЦОД в соответствии с ростом потребностей заказчика: наращивание производительности и мощности систем хранения и обработки данных происходит только тогда, когда существующие возможности уже исчерпаны. Это позволяет сократить финансовые вложения и стоимость эксплуатации вычислительного центра. System Integration Service Виртуализация и консолидация вычислительных ресурсов – основные технологии, используемые при создании датацентра. Значительную роль также играют технологии, обеспечивающие высокую доступность критически важных IТ-сервисов и безопасность ЦОД. Extreme Networks С точки зрения сетевых технологий нельзя не отметить появление стандартов 40Гбит и 100Гбит. Стоимость 40Гбит ненамного превышает стоимость 10Гбит каналов, что приведет к достаточно быстрому появлению этой технологии в ЦОД. Также такие скорости совместно с конвергентным Ethernet позволят использовать единые каналы единой сети вместо разрозненных сетей прошлого таких, как Fibre Channel или Infiniband.

Центры обработки данных

«Бакотек» Вопрос можно разделить на два: технологии для повышения эффективности ЦОД как инженерного сооружения и технологии эффективности датацентра как информационной системы. В первом случае, это прецизионное кондиционирование, горячая замена оборудования, во втором – виртуализация. «Sitronics Информационные технологии» Это, во-первых, развитие энергоэффективности всех элементов инженерной и ИТинфраструктур. Во-вторых, их адаптивность под многостадийность развития центра обработки данных. Как используются в ЦОД новые архитектурно-технологические подходы и бизнес-модели (SOA, виртуализация, cloud computing, SaaS)? SIBIS Каждый из них заслуживает отдельного обсуждения. Но все они имеют одну цель – сделать ЦОД заказчика более экономичным и гибким, превратив его в доходный актив. При этом осуществляется экономия особо важных ресурсов – пространства и электроэнергии, а также и других, в зависимости от специфики проекта. Помимо этого, повышается эффективность и управляемость объекта. «АМИ» Наиболее часто в современных датацентрах применяется технология виртуализации. Такой подход позволяет вывести на новый уровень гибкость ИТ-ресурсов и их адаптивность к текущим задачам за счет значительного сокращения вре-

PCWEEK Review 2 (107), 2010

мени развертывания новых ИТ-сервисов по сравнению с вариантом использования физических серверов. SaaS можно считать уже прижившимся компонентом в виде хостинга определенных приложений (CRM, антивирус, средство коллективной работы и др.) и дальнейшее его развитие видится в расширении перечня предоставляемых сервисов. «Бакотек» Если придерживаться четких формулировок, то нужно говорить так : • виртуализация используется в датацентрах и существенно повышает его эффективность; • датацентры используются для организации вычислений в соответствии с методологиями cloud computing и SaaS, при этом пользователь даже может не догадываться о том, что ЦОД существует; • вычислительный центр не имеет непосредственного отношения к SOA т.к. это архитектура проектирования бизнес-приложений, но интеграция SOA-приложений в вычислительных центрах значительно повышает их эффективность и доступность. «citronics Информационные технологии» Виртуализация стремительно внедрялась и в докризисные времена. С наступлением кризиса ее стали активно внедрять, особенно в эпоху кризиса, когда ИТ-инфраструктуру не строили, а приводили в порядок существующую, тщательно оптимизируя ее. Облачные вычисления  – все еще область фантастики. Да, многие отечественные компании готовы предоставить облачные вычисления как сервис, но заказчик и

к нему не готовы психологически и законодательно, нежели технически. Ваш прогноз развития ЦОД на 2010-11 гг.? SIBIS Центры обработки данных будут строить, причем еще активнее. Очевидна тенденция усложнения проектов по созданию ЦОД при таких же или даже меньших затратах. Кроме этого, можно отметить, что и заказчики, и профессиональные игроки этого сектора ИT-рынка учатся лучше оценивать стоимость владения таким активом. «МУК» Основным фактором, сдерживающим развитие ЦОД в Украине, является дефицит свободных энергомощностей. Не меньшее влияние оказывает и рост тарифов на электроэнергию. Мы искренне надеемся на дальнейшее развитие рынка. «АМИ» В 2010-11 гг., безусловно, бюджеты расходов на ИТ не достигнут докризисного уровня, следовательно, внимание заказчиков, уже имеющих ЦОД, будет обращено в сторону их модернизации и масштабирования. Значительная часть компаний, ранее планировавших построение датацентра, могут рассматривать различные варианты: от аренды стоек до полного аутсорсинга. В свете общей тенденции снижения затрат на ИТ на первый план выйдут вопросы повышения эффективности эксплуатации ЦОД, сокращения энергопотребления, использования технологии виртуализации.

PCWeek Review

System Integration Service На территории Украины начинает набирать обороты спрос на аутсорсинг услуг датацентров. Наиболее распространенным является механизм co-location  – размещение оборудования заказчика на арендованных площадях с гарантированным электропитанием, охлаждением, каналами связи, уровнем безопасности, т.е. с полной инфраструктурой ЦОД. Но, к сожалению, количество компаний, качественно предоставляющих данную услугу в Украине можно сосчитать на пальцах одной руки, да и все они находятся в Киеве. «Бакотек» Перспектива развития ЦОД в основном связана со строительством коммерческих датацентров и развитием моделей SaaS, PaaS, IaaS и cloud computing. Здесь, поскольку рынок только стартует, нужно ожидать многократный рост. Кроме того, эта сторона развития ЦОД даст импульс новым направлениям деятельности ITкомпаний, таким как cloud provider и IT-специалистов, cloud broker. Основное препятствие – это традиционное недоверие наших заказчиков к услугам аутсорсинга. «Sitronics Информационные технологии» Можно прогнозировать рост построения новых ЦОД примерно на 20-30% и 30-40% рост коммерческих ЦОД. Последнее актуально, если будут решены правовые вопросы с размещением оборудования финансового сектора в коммерческих ЦОД. Доля рынка мобильных ЦОД все еще очень малая, однако, свою нишу данные решения имеют  – это организации с иностранным капиталом,

53


PCWeek Review Центры обработки данных

которые стремительно развивают свой бизнес на новом рынке. Возможность быстро развернуть и перевезти ИТ-инфраструктуру позволит сэкономить время и деньги в сжатые сроки развернуть сервисы, для которых необходим ЦОД. Каковы основные подходы к созданию ЦОД? SIBIS Если не углубляться в бесконечное количество деталей, то нужно сфокусироваться на практичности и детальном прогнозировании. Это слишком сложный и дорогостоящий проект для любого бизнеса, поэтому необдуманные и плохо подготовленные шаги здесь непозволительны. На первом плане находится профессиональное управление таким проектом, использование ценного опыта проверенных и надежных решений, глубокая техническая экспертиза. «МУК» Выделяются три подхода к созданию ЦОД. Первый из них  — строительство датацентра, соответствующего требованиям заказчика в специально выделенном помещении. Второй подход — типовой ЦОД, или ЦОД из коробки. Многим заказчикам удобно ткнуть пальцем в чей-то ЦОД и сказать подрядчику: «Хочу такой-же». К этому подходу относятся и мобильные центры, представленные такими производителями как HP, APC и IBM. Третий подход — комбинированный. Он подразумевает строительство кастомизированного ЦОД из типовых блочных решений.

54

System Integration Service Современный ЦОД – это обеспечение высокой надежности, безопасности и эффективности хранения и обработки данных. Основное внимание надежности уделяется на этапе построения инженерной инфраструктуры. Cоздание датацентра требует подходящего помещения, обеспечения гарантированного и резервного электропитания, организации охлаждения, надежной противопожарной системы, а также внедрения системы мониторинга. Акцент на безопасности делается на этапе создания сетевой инфраструктуры ЦОД, а высокая эффективность достижима на уровне его ядра. И еще очень важный фактор — обслуживание ЦОД должно выполняться силами высококвалифицированного персонала. «Бакотек» Централизованный, распределенный и мобильный ЦОД. В первом случае все ресурсы, в т.ч. резервное оборудование, сосредоточены в одном месте, во втором используется принцип территориального распределения ресурсов с целью повышения производительности и катастрофоустойчивости. И в последнем ко всей класссической начинке ЦОД добавляется контейнер и … автомобильное шасси. «Sitronics Информационные технологии» Создание ЦОД – задача трудоемкая с высокой долей профессиональной интуиции, основанной на синергии опыта и знаний. Более того, результата добиться легче, когда подобными качествами наделена команда не только интегратора, но и

Центры обработки данных

клиента – ведь чем лучше будут сформированы цели и желаемый результат, тем легче подобрать наиболее оптимальное решение, удовлетворяющее клиента. Можно ли сегодня говорить о подходах к созданию ИТ-инфраструктуры ЦОД и не-ЦОД? В чем их различия? SIBIS В отношении крупных корпораций так говорить можно. Например, распределенная инфраструктура телекоммуникационных компаний обладает своими индивидуальными особенностями. Однако всегда имеет смысл задумываться о консолидации ИТ-инфраструктуры, и при решении этой задачи реализация концепции ЦОД является вполне естественной. «АМИ» Есть определенные критерии, которым должна соответ��твовать ИТ-инфраструктура ЦОД. Таким критериям удовлетворяет целостный, управляемый и масштабируемый программно-аппаратный комплекс, предназначенный для предоставления ИТ-сервисов требуемого качества. Вычислительный центр, который не соответствует этим требованиям, как правило, представляет собой разрозненные островки аппаратно-программных комплексов, не позволяющих добиться предсказуемого уровня отказоустойчивости и качества сервисов. System Integration Service Говоря о подходах к созданию IТ-инфраструктуры «не-ЦОД», мы рассматриваем построение сетевой инфраструктуры, возможность использования теле-

PCWEEK Review 2 (107), 2010

фонии и использование охранных систем здания. Построение же ИT-инфра­ структуры ЦОД подразумевает комплекс инженерных, программных и аппаратных компонентов, обеспечивающий еди­ный целостный информационный ресурс предприятия. Extreme Networks На примере сетевой инфраструктуры видно основное существенное отличие решения для ЦОД от, предположим, сетевого решения для корпоративной среды. Многие похожие задачи приобретают в датацентре масштаб на несколько порядков больше. Например, динамическое и автоматическое изменение конфигурации сети важно и при перемещении сотрудников на новые рабочие места внутри офисного здания. Но в ЦОДе такие события происходят постоянно, так как виртуальные машины постоянно мигрируют с одного сервера на другой. И если в офисной сети можно попытаться обойтись без автоматизации и вручную перенастраивать сеть, то в ЦОДе это уже невозможно. Это также относится, например, и к количеству пользователей сети, которых в датацентре может быть десятки и сотни тысяч из-за многочисленных виртуальных машин. «Sitronics Информационные технологии» Сложно ответить на такой вопрос однозначно. Есть базовый стандарт TIA-942, определяющий уровни надежности ЦОД (TIER I-IV), есть определенные требования к каждому из них. Причем эти требования как фундаментальные (описывающие

требования к резервированию и размещению оборудования ЦОД), так и вспомогательные – например, угол наклона крыши, расположение мест охраны, организации парковки автомобилей и т.д. Можно идти по такому пути, руководствуясь отраслевыми стандартами, изучая лучшие практики успешно реализованных проектов по всему миру, и тогда на выходе с большой вероятностью получим ожидаемый планируемый результат. Но можно не учитывать мировой опыт и стандартны – тогда это уже вопрос фортуны. Стоит ли говорить, что заказчик вряд ли поставит на кон бюджет в десятки миллионов долларов? PC начало на стр 36

позволяет снизить затраты и оптимизировать их работу.

HP Data Center Smart Grid Технология HP FlexFabric обеспечивает такую координацию, одновременно консолидируя несколько протоколов в единую сетевую структуру и, тем самым, создавая условия для того, чтобы структура сети становилась менее сложной, а затраты сокращались. Подход, основанный на однократном физическом подключении устройств, сводит воедино сети Ethernet и сети хранения. В результате, сетевые соединения и пропускная способность легче адаптируются к изменениям рабочих нагрузок. Набор практик для управления и автоматизации процессов распределения энергии в датацентрах HP Data Center Smart Grid содержит решения по балансировке нагрузки и автоматическому управлению энергоснабжением. Благодаря технологиям HP

PCWeek Review

Data Center Environmental Edge and HP Thermal Logic есть возможность сократить расходы на электричество и охлаждение, а вследствие активного мониторинга аппаратного обеспечения и возможности перемещения нагрузки в пределах виртуальных пулов появляется шанс снизить затраты на оборудование. HP Data Center Smart Grid позволяет увеличить срок службы инженерной инфраструктуры ЦОД и повысить надежность ЦОД путем оптимизации потребляемой мощности и эффективности систем охлаждения. Кроме того, он дает возможность получить полное представление и контроль над потреблением электроэнергии и затратами на поддержание инженерной инфраструктуры. PC начало на стр 47

выглядеть рынок даже через 2-3 года. Поэтому вряд ли кто-то будет инвестировать средства в развитие продукта или направления, которое может быть востребовано через 3 года – ведь эти 3 года еще надо прожить. Планирование на такой срок могут и должны себе позволить производители. У них есть Research&Development (научноисследовательские и опытноконструкторские работы), у них производство, огромные обороты, а мы внедряем то, что они разрабатывают и производят. Производители мыслят и действуют как стратеги, а системные интеграторы как тактики. И наша тактика состоит в том, чтобы, зная потребности заказчиков и возможности вендоров, оперативно корректировать портфель предлагаемых решений и услуг. В сущности, на мой взгляд, это и есть рецепт работы системного интегратора. PC

55


PCWeek Review

Центры обработки данных

Конвергентный Ethernet – Converged Enhanced Ethernet (CEE) Большинство экспертов уверены в том, что технология Ethernet станет основой для построения единой, конвергентной сетевой инфраструктуры ЦОД. В документе обсуждается, какие усовершенствования необходимы для ее использвания в этом качестве.

Введение

П

ереход в центрах обработки данных (ЦОД) от нескольких разнотипных сетей к единой инфраструктуре на основе уни-фицированной технологии позволит значительно сократить затраты (потребуется меньше сетевых адаптеров в серверах, меньше кабелей, меньше коммутаторов) и упростить управление.Такая конвергентная инфраструктура должна соответствовать требованиям, предъявляемым к передаче трафика сетями хранения данных (SAN) и высокопроизводительными вычислительными кластерами (HPCC), вместе с тем обеспечивая эффективный транспорт традиционного трафика ЛВС. Сетевая индустрия выбрала Ethernet в качестве унифицированной технологии для конвергентных сетей ЦОД. Институт IEEE разрабатывает стандарты, которые должны обеспечить гарантированную полосу пропускания и контроль потока для трафика с учетом его приоритета, атакже более тонкие механизмы управления потоками. Со всеми этими нововведениями Ethernet сможет заменить в ЦОД существующие сети Fibre Channel и Infiniband, а также су-

56

щественно повысить производительность работы новых SANсистем на основе iSCSI. Поддержка мобильности виртуальных машин, технология FCoE (Fibre Channel over Ethernet) и другие новые приложения требуют построения крупномасштабных сетей, функционирующих на уровне 2 (L2). Для пересылки трафика по нескольким путям на уровне 2 институт IEEE и организация IETF разрабатывают ряд дополнительных стандартов.

Эффективное масштабирование Во многих ЦОД одновременно функционируют три типа сетей, построенные на базе трех различных технологий: • ЛВС: Ethernet • SAN: Fibre Channel • HPCC: Infiniband Постоянно совершенствуясь, Ethernet превратилась сегодня в наиболее масштабируемую и экономически эффективную технологию для построения сетей TCP/IP. Fibre Channel, «жизнь» которой начиналась в качестве канальной технологии для мэйнфреймов, ориентирована на построение масштабируемых и обладающих малой задержкой сетей SAN. Наконец, технология Infiniband оптими-

Центры обработки данных

зирована для обеспечения высокоскоростной связи с малой задержкой между компьютерами внутри высокопроизводительного кластера. Серьезным препятствием u1085 на пути масштабирования сетей ЦОД – как в части увеличения числа серверов (физических и логических), так и в части повышения пропускной способности инфраструктуры – являются высокие расходы, связанные с внедрением нескольких сетевых технологий и обслуживанием соответствующего оборудования. Традиционный подход требует установки в серверы нескольких сетевых адаптеров, инсталляцию множества разнотипных коммутаторов, дублирование кабельной проводки. С каждой сетевой технологией связаны свои приемы управления, необходим специально обученный персонал, что увеличивает эксплуатационные расходы. Переход к унифицированной сетевой инфраструктуре ЦОД сократит капитальные и эксплуатационные расходы, но она должна соответствовать уникальным требованиям, предъявляемым системами ЛВС, SAN и HPCC. Трафик ЛВС меньше всего «привередлив» к характеристикам сети, но активно задействует свойственные

PCWEEK Review 2 (107), 2010

Ethernet технологии широковещательной/групповой рассылки, виртуальных ЛВС (VLAN), инсталляции по принципу plugand-play. Трафику SAN (особенно Fibre Channel) необходима малая задержка и передача без потерь пакетов. А трафику HPCC требуется еще меньшая задержка и широкая полоса пропускания. Последние достижения в области технологии iSCSI привели к тому, что все больше заказчиков рассматривают ее как надежное решение для сетей SAN. Благодаря своей чрезвычайной гибкости, Ethernet сегодня доминирует в большинстве сетевых сред, а поддерживающее эту технологию оборудование выпускается в огромных объемах. Представленные сегодня решения обеспечивают скорость 10 Гбит/с (на один канал), в ближайшем будущем нас ожидают 40- и 100-Гбит/с продукты, а в более отдаленной перспективе не исключено появление терабитного варианта Ethernet. Эти и другие причины привели к тому, что Ethernet рассматривается в качестве основного кандидата для конвергентной инфраструктуры ЦОД.

Стандарты IEEE 802.1 DCB Комитет IEEE 802.1 отвечает за стандарты, определяющие функциональность сетевых мостов Ethernet. Его группа 802.1 DCB (Data Center Bridging) взяла на себя задачу по разработке нескольких усовершенствований, которые бы сделали Ethernet более подходящим для поддержки приложений SAN и HPCC в ЦОД. Эти усовершенствования можно разделить на три описанные ниже группы.

802.1Qaz Enhanced Transmission Selection и DCB Exchange Protocol Стандарт 802.1Qaz состоит из двух отдельных компонентов. Enhanced Transmission Selection (ETS) – это расширение давно известного механизма обработки очередей (802.1Q) с учетом приоритета трафика. Новая технология дает возможность гарантировать для приоритетных групп не только первоочередную обработку их трафика, но и определенную полосу пропускания. Пользу этой функции проиллюстрируем следующим примером: трафику SAN может быть достаточно 25% пропускной способности канала подключения сервера, но зато его передача должна осуществляться с низкой задержкой и наивысшим уровнем приоритета; с другой стороны, трафику ЛВС потребуется минимум 60% пропускной способности того же канала, но он более толерантен к задержке, а потому может обрабатываться с более низким приоритетом. Базовая функциональность 802.1Q сводится только к соблюдению приори-тетов обработки разнотипного трафика.­ Технология ETS обеспечивает управление выделением полосы пропускания, например, с использованием алгоритма WFQ. Протокол DCB Exchange Protocol (DCBx) является расширением протокола LLDP, реализующим автоматический обмен между соседними коммутаторами параметрами, необходимыми для работы алгоритмов DCB. Механизм предусматривает согласование параметров и выявление каких-либо нестыковок.

802.1Qbb Priority-based Flow Control Низшие уровни сети Fibre Channel реализуют контроль по-

PCWeek Review

токов на каждом звене передачи (link-by-link), что гарантирует передачу трафика без потерь и с низкой задержкой. Соответственно, верхние уровни сети не имеют механизмов для повторной передачи кадров в случае их потери (такие механизмы предусмотрены протоколом TCP). Если трафик с верхних уровней Fibre Channel пустить через сеть Ethernet (FCoE), но при этом не предусмотреть дополнительных мер, обеспечивающих передачу без потерь, работа систем будет нарушена. Системам на базе технологии iSCSI, которая располагается сверху стека TCP/IP, не столь критичны потери в сети, но их отсутствие однозначно улучшит работу таких систем. В коммутаторах Ethernet уже довольно давно поддерживается 802.3x PAUSE – простой протокол для контроля потоков на каждом звене передачи. Его существенный недостаток связан с опасностью блокировки большого числа коммутаторов на периферии сети из-за задержки первых пакетов в очередях (Head-Of-Line, HOL): как только вышележащий коммутатор определяет, что одна из его очередей перегружена, он направляет сообщение PAUSE нижележащим коммутаторам, те блокируют свои очереди и направляют сообщения PAUSE дальше. Технология 802.1Qbb позволяет применять механизм 802.3x к группам с определенным приоритетом: в случае перегрузки очереди, обслуживающей трафик с данным приоритетом, будет приостановлено поступление только тех кадров, которые имеют такой же приоритет – остальной трафик затронут не будет. Эта технология

57


PCWeek Review

особенно хорошо подходит для защиты ресурсов буферов небольшого размера, выделенных для обслуживания трафика, которому необходимо гарантировать малую задержку. При перегрузке такого буфера сообщения о приостановке передачи будут распространяться от одного коммутатора к другому, пока не достигнут источника трафика. 802.1Qbb – один из алгоритмов, необходимых для реализации коммутирующей сети, обеспечивающей транспорт без потери пакетов.

802.1Qau Congestion Notification Хотя технология 802.1Qbb дает возможность реализовать для приоритетных групп передачу без потерь, она не всег-да устраняется u1087 проблему блокировок HOL. Для достижения более высокой пропускной способности требуется усовершенствованный алгоритм управления потоком. Технология 802.1Qau Congestion Notification (QCN) позволяет промежуточным коммутаторам в сети идентифицировать потоки трафика, которые приводят к перегрузке очередей, и рассылать уведомления BCN (Backwards Congestion Notification) источникам этих потоков, дабы те снизили скорость посылки пакетов. Это дает возможность более тонко управлять потоками в сети и оптимизировать использование ее ресурсов, обеспечивая транспорт с низкой задержкой и без потерь. Но надо иметь в виду, что улучшения обстановки в сети, связанные с реакцией источников трафика на уведомления BCN, будет ощущаться только через промежуток, равный

58

Центры обработки данных

двойному времени прохождения пакетов от коммутатора до источника, поэтому описанный механизм эффективен только в локальных сетях.

Дополнительные технологии CEE Помимо описанных выше трех стандартов группы 802.1 DCB, в процессе разработки и стандартизации имеются и другие технологии, нацеленные на решение сетевых задач ЦОД следующего поколения. Передача по нескольким путям на уровне 2 (L2 Multi-path) Активная топология сети Ethernet должна иметь структуру типа «дерево», поскольку в кадрах Ethernet отсутствует поле «время жизни» (TTL), а значит, попав в сетевую петлю, они будут кружить по ней вечно. Для реализации топологии «дерево» обычно применяют один из вариантов протокола STP (Spanning Tree Protocol), а для функционирования Ethernet в физических кольцах  – протоколы типа EAPS. Оба названных механизма блокируют часть портов Ethernet, чтобы предотвратить зацикливание трафика. Топология «дерево» имеет серьезные ограничения: она непозволяет задействовать сразу несколько путей доставки трафика и снижает эффективность использования имеющихся сетевых ресурсов. Технологии IP-маршрутизации обеспечивают преимущества доступности множества путей доставки трафика без опасности «вечного» зацикливания, но для таких приложений, как FCoE и мобильность виртуальных машин, необходимы коммутируемые соединения L2. Таким образом, возникает

Центры обработки данных

PCWeek Review

задача поддержки множества путей в сети L2 Ethernet. Для решения этой задачи комитет IEEE 802.1 разрабатывает протокол 802.1aq Shortest Path Bridging (SPB), а организация IETF – TRILL (Transparent Interconnection of Lots of Links). Технология SPB не требует изменений привычных атрибутов, применяемых для пересылки кадров Ethernet, а TRILL вводит в кадры новый ярлык, включающий поле TTL, что и позволяет защитить от образования петель.

Заключение По причинам, названным выше, Ethernet доминирует в современных сетях. Как ранее голосовые приложения, сегодня системы хранения данных переводятся на работу через стандартные сети Ethernet. Построение сетей SAN на базе iSCSI получает все большую популярность благодаря высокой производительности этой технологии и появлению интерфейсов 10 Гбит/с. С разработкой технологии FCoE системы Fibre Channel тоже начали миграцию в сети Ethernet, что обеспечивает сокращение стоимости и упрощение обслуживания технических решений. Существующие инсталляции Fibre Channel останутся частью сетевой инфраструктуры ЦОД, однако в новых проектах специалисты все чаще будут обращаться к решениям iSCSI и FCoE. Конвергенция разнотипных сетей на базе Ethernet неизбежна, а технологии iSCSI и FCoE в конечно итоги «переведут» системы хранения данных в сеть Ethernet. PC

PCWEEK Review 2 (107), 2010

59



PCWeek/UE Review #2 (206) 2010