Журнал "Компьютерра" №771

ТЕХНОЛОГИИ: Апгрейд погоды

Автор: Александр Бумагин

В декабре прошлого года в Главном вычислительном центре Гидрометцентра России был запущен суперкомпьютер, который считает в десять тысяч раз быстрее своего предшественника. Похоже, теперь у нас есть надежда, что прогнозы погоды будут точнее…

Впрочем, злые шутки над синоптиками не совсем справедливы. Это ведь испорченные неточным прогнозом выходные запоминаются надолго, а вот то, что прогноз гораздо чаще совпадает с действительностью, мы, как правило, не замечаем. А искусство предсказания погоды уже давно не сводится к наблюдению за ласточками и облаками на закате. Точность прогнозов Росгидрометцентра на сутки вперед превышает 95%, на послезавтра - составляет около 90%, на третьи сутки - около 80% [Интересно, какова сравнительная эффективность прогнозов по народным приметам?]. Но долгосрочные прогнозы, увы, по-прежнему оставляют желать лучшего. Поведение земной атмосферы плохо поддается моделированию, и дело тут не только в слабости вычислительной техники, но и в несовершенстве используемых для расчетов моделей.

Тем не менее именно компьютеры, ставшие доступными синоптикам в последние полвека, позволили заглядывать в будущее. С той или иной степенью уверенности.

История "погодных" компьютеров

О том, как менялось с годами техническое оснащение ГВЦ, мы поговорили с его директором ВЛАДИМИРОМ АНЦЫПОВИЧЕМ (на фото справа). Сам Анцыпович работает с Гидрометцентром больше сорока лет, еще школьником проходил здесь производственную практику в середине шестидесятых.

Ученым уже тогда было ясно, что прогноз погоды - это сложнейшая вычислительная задача. В то время в Гидрометцентре развивались численные методы, и появлялись первые оперативные прогностические технологии с использованием математических моделей. Над этим работала целая плеяда сильных математиков.

Автором первой оперативной численной модели был Соломон Львович Белоусов.

Он начинал свои работы в вычислительном центре МГУ на ламповой ЭВМ М20 с быстродействием 20 тысяч операций в секунду. В 1962 году такая же машина появилась и в Гидрометцентре, и началось строительство здания под вычислительный центр. Вскоре Гидрометцентр получил машину М220, затем - М222 (около 30 тысяч операций в секунду). Для тех дней это были очень хорошие мощности.

Быстродействие же любого современного домашнего компьютера синоптикам тогда и не снилось [Знали бы они, какие мощности будут работать вхолостую при неспешном наборе статей в текстовом редакторе].

На смену первым ЭВМ Гидрометцентра пришел компьютер "Весна" (200 тысяч операций в секунду), а за ним - БЭСМ-6 с быстродействием в один миллион операций в секунду. В 1975 году была сделана попытка закупить американскую машину CDC 7600 (10 млн. операций в секунду). Конструктором того суперкомпьютера был Сеймур Крэй, позднее основавший фирму Cray Research. "К сожалению, по политическим причинам в приобретении нам было отказано, - рассказывает Анцыпович. - Контракт изменился, и в действительности была куплена машина Cyber 172. Хотели приобрести две такие машины, но со второй не сложилось".

В следующие годы в Гидрометцентре использовались разные ЭВМ производительностью 3–20 млн. операций в секунду, среди которых были Comparex, Hitachi и ЕС 1060–1066. "Собирались ставить "Эльбрус", - говорит Анцыпович, - и даже начали готовить производственные площади и мощности, но получил одобрение проект поставки Cray Y-MP".

Впрочем, одного суперкомпьютера синоптикам мало. Центр всегда нуждался в машинах классом пониже для решения логических и телекоммуникационных задач. С появлением транзисторных ЭВМ, эксплуатационные характеристики которых были существенно слабее, чем у ламповых машин, это стало возможным, и потому в разное время на оперативные прогностические технологии работали компьютеры семейств "Минск", СМ, ЕС.

С появлением транзисторных ЭВМ второго поколения в системе Росгидромета стала развиваться сеть вычислительных центров.

По словам Анцыповича, вычислительный центр Гидрометцентра России долгое время был уникальным в части организации круглосуточной оперативной эксплуатации ЭВМ. "Нам приходилось добиваться надежности работы технологических схем с минимальным потребным временем непрерывного счета не менее одного часа, - вспоминает директор. - При этом, например, для М-20 "паспортная" наработка на отказ составляла лишь пятнадцать минут". Все ЭВМ в центре работали больше того срока, на который они были рассчитаны, а потому промышленность была заинтересована в установке первых серийных образцов новых компьютеров именно здесь, ведь в Гидрометцентре ЭВМ доводились "до ума". Вот только с комплексом Cray Y-MP все получилось наоборот.

Переход на кластеры

Cray Y-MP производительностью 2,4 Гфлопс превосходил Hitachi 3033, бывший на вооружении Гидрометцентра в 1996 году, в триста раз, но за четыре года подготовки к сделке этот компьютер от Cray Research из первой сотни Тор 500 переместился за пределы рейтинга. Кроме того, спустя три года по финансовым причинам пришлось продолжать использование Cray Y-MP без поддержки со стороны производителя. "За восемь лет эксплуатации мы перебрали все узлы компьютера, - рассказывает Анцыпович, - пытаясь за счет избыточности конструкции заставить его работать, но в конце концов, даже с к рытых резервов стало не хватать: комплекс остановился". Русский Cray, кстати, продержался дольше других экземпляров той же модели и был последним, умершим на боевом посту. Благодаря тому что модель Y-MP была снята с производства, удалось с существенной скидкой закупить двухлетний запас ЗИПа, а в качестве модуля поддержки - первый для вычислительного центра кластер. Произошло это в 2003 году, и с того времени в Гидрометцентре начались эксперименты по использованию кластеров в расчетах прогнозов погоды.

В те же годы стартовал федеральный проект модернизации организаций и учреждений Росгидромета, предусматривавший обновление основных вычислительных мощностей подразделений. У Главного вычислительного центра были давние связи с компаниями-производителями, и после принятия решения о модернизации многие из них включились в работу по исследованию используемых в центре алгоритмов. IBM, Hewlett-Packard, SGI, NEC, Intel, Bull, Sun и другие создавали на территории центра экспериментальные стенды, предоставляли ресурсы своих вычислительных комплексов, в результате чего сотрудникам ГВЦ удалось сформулировать технические требования к закупаемым комплексам.

К закупке вычислительной техники Центр мог подойти с трех разных сторон. Можно было по минимальной цене купить то, что предлагает рынок. "Конечно, термин "минимальная цена" не стоит считать синонимом слова "плохо", - уточняет Анцыпович. - Просто это самые распространенные решения, ресурсы которых на конкретных задачах могут использоваться не слишком эффективно". Второй путь лежит через заказ уникального компьютера под конкретную задачу, но такие комплексы, очевидно, дороги. Третий же вариант учитывает преобладание в расчетах определенных алгоритмов. Среди "массовых" решений выбирается то, при котором достигается максимальная эффективность именно на таких задачах, а не быстродействие, показываемое в абстрактных тестах. Этот подход на задачах моделирования атмосферных процессов лучше всего устраивал заказчика по соотношению цена/качество, поэтому и был выбран.

"Кроме того, мы ориентировались на решения со скалярными процессорами, говорит Анцыпович, - поскольку векторные процессоры, хоть они и эффективнее для наших задач, уже вытеснялись с рынка". К сожалению, обоснование и согласование такого ограничения заняло два года, и процедуры, через которые проходила конкурсная документация, практически блокировали обновление сформулированных технических требований.

В результате конкурсного отбора, в котором победила компания IBS, для центра в Москве был закуплен комплекс из двух кластеров. Основным средством для расчета оперативных прогнозов станет кластер SGI Alltix 4700. Он имеет пиковую производительность 11 Тфлопс и состоит из 832 процессоров Intel Itanium 2 9140М с оперативной памятью по 4 Гбайт на каждое процессорное ядро. Конструктивно в одном узле суперкомпьютера объединено 128 процессорных ядер - такая конфигурация, по словам Анцыповича, наиболее эффективна на основных вычислительных алгоритмах, используемых при моделировании атмосферных процессов.

Второй кластер SGI Alltix ICE на базе процессоров Intel Xeon е5440 обладает пиковой производительностью 16 Тфлопс. Этот компьютер, несмотря на большую пиковую мощность, в оперативных расчетах менее эффективен и будет использован для остальных вычислительных задач. По общей производительности - 27 Тфлопс - комплекс превосходит предыдущий "штатный" суперкомпьютер Cray Y-MP в десять тысяч раз.

В настоящее время оборудование смонтировано, и начались эксперименты с прогностическими моделями нового класса. В течение года Гидрометцентр России и ГВЦ Росгидромета планируют полностью перевести оперативные технологии на новый комплекс. Параллельно с этим начнутся работы над моделями следующего поколения, для которых потребуется следующая модернизация вычислительных ресурсов.

С момента остановки комплекса Cray Y-MP расчет оперативных прогнозов был переведен на временные решения: серверы на базе процессоров Intel Xeon и кластер из четырех двухпроцессорных серверов на базе процессоров Intel Itanium 2. В арсенале ГВЦ Росгидромета имеется также ряд серверов на базе тех же процессоров. Эта техника - по сути, та самая тестовая лаборатория, на которой проводился анализ имеющихся в мире кластерных решений. Общая производительность этих компьютеров - примерно 100 Гфлопс.

"Если сравнивать новые закупленные мощности с мощностями других мировых метеорологических центров, - говорит Анцыпович, - мы уверенно занимаем второе место. Если говорить о метеорологических центрах ВМО всех рангов, то с вводом нового комплекса мы тоже оказываемся в серединке". Однако быть в середнячках Гидрометцентру остается не долго. По словам Анцыповича, в ближайшие год-два многие метеоцентры проведут модернизацию своих суперкомпьютеров, повысив их производительность на порядок и более. Идет своеобразная игра в догонялки. Национальный метеорологический центр США к моменту начала разработки проекта по закупке нового суперкомпьютера для ВЦ Гидрометцентра уже обладал двумя кластерами по 12–13 Тфлопс. А сейчас производительность американского комплекса превышает 90 Тфлопс [Разница в производительности не определяет разницу в точности прогнозов, ведь многое решают и конкретные алгоритмы счета. Если же говорить о самых точных прогнозах, то в метеосообществе признанным лидером является Европейский центр среднесрочных прогнозов погоды, базирующийся в Англии (г. Рэдинг)].

Прогноз на прогнозы

После того как оперативные прогнозы погоды будут считаться на новой машине, мы станем получать данные о погоде совсем другого уровня. Сегодня Гидрометцентр дает прогноз на пять-семь суток.

"Точность на первые двадцать четыре часа сейчас наивысшая, - говорит Анцыпович. - А стопроцентного совпадения не может быть даже теоретически. Даже через год, когда наши вычислительные мощности заметно возрастут, и мы сможем давать прогноз на семь-десять суток, выигрыш в первых сутках достигнет лишь доли процента: повышение дается тут очень трудно. А вот "хвост" существенно улучшится. Мы ожидаем, что прогноз на пятые сутки по качеству будет таким же, как сейчас на третьи".

Также повысится детализация прогноза. Сегодня московский Гидрометцентр рассчитывает прогноз по всей планете с шагом 150 километров. Ожидаемые через год модели, охватывающие весь земной шар, будут считать с шагом 40 километров, а по территории России - 14–15 километров. Для такого мегаполиса, как Москва, с использованием так называемых мезомасштабных моделей разрешение возрастет до трех-пяти километров, то есть можно будет давать прогнозы по каждому району города в отдельности.

ВЦ Гидрометцентра уже приступил к проработке очередной модернизации. В следующем поколении суперкомпьютеров, по словам Анцыповича, непременно будут использоваться всевозможные ускорители, дополняющие многопроцессорные системы. "Эта идеология используется в проектах СКИФ, - говорит он. - Кластер плюс ускоритель - к этому сейчас многие приходят. Нам нужно понять, как и какие ускорители лучше применять в наших алгоритмах". Кроме того, перед Гидрометцентром серьезно встал вопрос энергопотребления будущих вычислительных комплексов, так как организация вплотную подошла к максимально разрешенному ей уровню потребления электроэнергии. Вот таким забавным образом работа Гидрометцентра вскоре может оказаться связанной с энергетическим кризисом, поддающимся прогнозированию еще хуже, чем погода.

Центр стоит, служба идет

Прогноз погоды невозможно сделать на основании наблюдений только на территории своей страны, так как по экономическим и политическим причинам ни одна страна мира не может содержать метеорологическую сеть, охватывающую весь земной шар. Всемирная метеорологическая организация (ВМО) объединяет ресурсы всех стран, обеспечивая обмен данными наблюдений и распространение результатов оперативных прогностических моделей в мощных центрах обработки. С учетом того, что далеко не все страны имеют возможность создавать такие центры (их в мире около двух десятков), участие национальных метеорологических служб в ВМО позволяет снабдить информацией всех, кто в ней нуждается. На стол любого синоптика в любой стране мира ложатся карты не только своего национального центра обработки данных, тем самым технологии подготовки прогностической информации хорошо зарезервированы. Даже если один из центров обработки информации по какой-либо причине временно не может выдавать прогнозы, перебоев с ними все равно не бывает.

В вычислительных подразделениях Росгидромета, в функции которых входит оперативная обработка гидрометеорологической информации, можно выделить три уровня. Центр федерального уровня, самый мощный, находится в Москве. Одновременно он является и одним из трех мировых метеорологических центров ВМО. Два других находятся в Вашингтоне и Мельбурне. Второй уровень в иерархии вычислительных центров Росгидромета - Новосибирский и Хабаровский центры, которые относятся к Региональным метеорологическим специализированным центрам ВМО. Их специализация - прогноз по соответствующему региону; кроме того, они являются дублерами московского центра в обеспечении прогностических расчетов по территории России. Помимо этих центров есть девяносто четыре прогностических центра, занимающиеся интерпретацией расчетов. Там решаются задачи визуализации данных, полученных от российских и зарубежных центров оперативного моделирования.

Борьба с локальным потеплением

Рассказать о том, как охлаждается эта махина, мы попросили системного архитектора из компании IBS СЕРГЕЯ ДИКОГО.

- Вариантов охлаждения суперкомпьютеров существует великое множество, а их выбор зависит от особенностей охлаждаемого оборудования. Например, Cray Y-MP охлаждался жидким фреоном температурой минус 20–40 градусов, подводившимся непосредственно к платам.

Этот случай экстремальный, такой подход сейчас непопулярен.

Мощность суперкомпьютеров и центров обработки данных (ЦОД) быстро растет, но и технологии не стоят на месте - количество тепла, выделяемого на один бит обрабатываемой информации, постоянно снижается. В итоге суммарное тепловыделение вычислительного комплекса и потребляемая им электрическая мощность в среднем остаются примерно на одном и том же уровне.

Базовый вариант охлаждения для ЦОД - воздушное охлаждение. Воздух прогоняется из "холодного" коридора в "горячий", а устанавливаемые в зале кондиционеры обеспечивают забор воздуха из "горячих" коридоров, охлаждение и подачу в "холодные" коридоры. При мощностях больше 8–9 кВт на стойку требуются дополнительные охлаждающие устройства, устанавливаемые непосредственно в стойках, иначе воздух в зале приходилось бы прогонять с чрезмерно большой скоростью, что влечет за собой большие энергозатраты, да и не всегда это в принципе можно сделать. В нашем случае используются так называемые "холодные двери" на серверных стойках.

Они представляют собой специальные радиаторы, в которые подается вода, и весь воздух, проходящий через стойку, прогоняется через них.

В обычных ЦОД используются одноконтурные системы - на основе сплиткондиционеров, только прецизионных. Внешняя и внутренняя части таких систем соединены фреоновым контуром. Главная сложность этого проекта заключалась в том, что система охлаждения должна снабжать комплекс охлажденной водой. Кроме того, к ней предъявляются повышенные требования по мощности и по надежности работы. Поэтому в нашей системе реализован не один, а три последовательных контура охлаждения: вода, фреон и водогликолевый антифриз (аналог тосола). Система обеспечивает отвод 320 кВт тепла.

А потребляемая ею электрическая мощность вдвое-втрое меньше. По требованию заказчика система охлаждения предельно отказоустойчива. Главные компоненты имеют двойное или тройное резервирование. В каждом контуре имеется по два-три насоса, в системе установлено три холодильные машины, три сухих охладителя, три прецизионных кондиционера и так далее, вплоть до труб, которые идут в помещение суперкомпьютера.

Особенностью системы является наличие в ней экономичного режима.

У нас в стране среднегодовая температура близка к нулю, то есть значительную часть года наружная температура ниже требуемой температуры в машинном зале. Обычно кондиционеры предназначены для того, чтобы выбрасывать нагретый воздух в еще более нагретую атмосферу, и гонять их зимой нерационально. В нашей же системе имеются теплообменники, позволяющие передавать тепло непосредственно от воды во внешний контур без использования холодильных машин (так называемый режим свободного охлаждения). Этот режим включается автоматически при наружной температуре ниже пяти градусов, что позволяет снизить энергопотребление охлаждающего оборудования в два-три раза.

Также в системе охлаждения предусмотрен специальный режим на случай отключения электропитания. Время поддержки работы в режиме отключения электросети составляет пятнадцать минут, чего достаточно для принятия решения об остановке комплекса и проведения всех необходимых в данном случае процедур. Однако в течение этого времени нужно продолжать поддерживать заданную температуру в помещении комплекса и в помещении ИБП. Чтобы снизить нагрузку на ИБП и увеличить время поддержки при работе на батареях, система охлаждения при отключении питания переходит в режим минимального энергопотребления, в котором работают только автоматика, циркуляционные насосы и вентиляторы прецизионных кондиционеров и фанкойлов. Чтобы обеспечить снабжение холодной водой в этот период, во внутреннем контуре предусмотрены емкости, содержащие необходимый запас охлажденной воды. Таким образом, система продолжает охлаждать комплекс, не нагружая ИБП прожорливыми холодильными машинами и сухими охладителями.

Стоимость такой системы составляет порядка двух миллионов долларов.