Создание национальной Grid- инфраструктуры

Проект № ИТ / 506 - 2007: от 22 августа 2007 «Создание национальной Grid-инфраструктуры для обеспечения научных исследований»

Проект Ugrid (www.grid.kpi.ua) посвящена построению сегмента МОНУ национальной Grid - инфраструктуры с соответствующими услугами для предоставления возможности отечественным научным работникам плодотворно сотрудничать в Европейском научном пространстве (European Research Area, ERA) и способствовать созданию экономики информационного общества , основанной на знаниях, путем внедрения научных концепций Grid и наиболее весомых научных приложений, которые используются в Grid - среде [3,4]. Проект Ugrid выполнялся временным научным коллективом, в состав которого вошли представители таких отечественных организаций:
• Национальный технический университет Украины "Киевский политехнический институт" (НТУУ "КПИ"),
• Институт проблем моделирования в энергетике имени Г.Е. Пухова НАНУ (ИПМЭ),
• Харьковский национальный университет радиоэлектроники (ХНУРЭ),
• Львовский национальный технический университет "Львовская политехника" (НУЛП),
• Запорожский национальный технический университет (ЗНТУ),
• Донецкий национальный политехнический институт (ДонНПИ),
• Днепропетровский национальный горный университет (ДНГУ),
• Предприятие ЮСТАР,
• Государственное предприятие "Львовский научно-исследовательский радиотехнический институт"
(ЛНИРИ),
На основе изучения современного состояния и тенденций развития существующих решений, внедренных в европейских и мировых проектах Grid-сред, за два года выполнения проекта Ugrid построено образовательный сегмент национальной Grid-инфраструктуры. В него входят базовый ресурсно-операционный центр (БРОЦ) на базе НТУУ « КПИ », где функционируют Центр суперкомпьютерных вычислений с мощным кластером (www.hpcc.org.ua) и Мировой Центр Данных" Геоинформатика и постоянное развитие "(www.wdc.org.ua), а также пять региональных ресурсно- операционных центров (РРОЦ) в Харькове, Донецке, Днепропетровске, Запорожье и Львове.

Основные результаты проведенных исследований

Выполнение проекта Ugrid осуществлялось в соответствии с календарным планом работ, состоящим из 4-х этапов. Ниже рассматриваются основные достижения в течение каждого этапа.

Первый этап работы (УИ.2007 - ИХ.2007):
• проведен анализ концепции, архитектуры и ресурсов современных Grid-систем, систематизированы сведения о методах построения архитектуры распределенных систем с использованием технологии Grid;
• построено Grid-инфраструктуру сегмента МОНУ с 6-ю ресурсно - операционными центрами (в Киеве, Харькове, Донецке, Днепропетровске, Запорожье и Львове) и начато удаленное обслуживание будущих пользователей - ученых из университетов и научных учреждений Украины. Конечно, эта начальная Grid-инфраструктура может достраиваться, а число ее центров и разработчиков из организаций МОНУ и академических институтов НАНУ будет расти. Этому способствует фрактальность Grid-инфраструктуры, то есть такое ее свойство, когда система подобна самой себе на каждом, разном по масштабу участке;
• в июне 2007 года подписано Соглашение с европейской организацией DANTE о подключении Национальной научно-образовательной сети УРАН (www.uran.net.ua) к Европейской сети GEANT-2. Сеть УРАН (URAN - Ukrainian Research and Academic Network) создана усилиями Министерства образования и науки Украины (МОНУ) и Национальной Академии наук Украины (НАНУ) для обеспечения учреждений, организаций и физических лиц в сферах образования, науки и культуры Украины информационными услугами на базе Интернет - технологий для реализации профессиональных нужд и развития этих отраслей. Главный центр управления сетью находится в Киеве, а региональные центры - в крупнейших научно-образовательных центрах Украины ( Харькове, Днепропетровске, Донецке, Одессе, Львове, Симферополе, Хмельницком).

Рис.1. Сеть УРАН

Второй этап работы (Х.2007 - ХИИ.2007):

• проведено сравнительный анализ составляющих компонентов известных пакетов промежуточного Grid-программного обеспечения, на основе которого предложено использовать в создании Grid-среды ПГЗ gLite. Он имеет широкий набор услуг, поддерживает сервисно-ориентированную архитектуру, широко применяется в европейских проектах, имеет достаточные возможности по модернизации и созданию дополнительной функциональности. Рассмотрены основные пути решения проблемы интероперабельности существующих ПГЗ.
• создан и вступил в действие трехъязычный информационный сайт проекта (www.grid.ntu-kpi.kiev.ua), информационные ресурсы которого уже превзошли 80 Мб. Подобные сайты созданы и в региональных ресурсных центрах, например, в Харькове (www.grid.kture.kharkov.ua);
• достигнута договоренность с европейской организацией EUGridPMA о создании в Украине Сертификационного центра, ответственного за регистрацию Grid-ресурсов, регистрацию виртуальных организаций (ВО) и пользователей.
• достигнута договоренность с НАНУ и начато объединение существующих сегментов научной и образовательной вычислительной и коммуникационной инфраструктуры НАНУ и МОНУ в единую Украинскую Национальную Grid-инициативу (UNGI), которая интегрирована в Европейскую Grid - инфраструктуру EGEE (Enabling Grids for E-sciencE) и EGI (European Grid Iniriatives) [5]

Третий этап работы (VI.2008 - IIX.2008):
• проведено подключение кластеров ИТФ НАНУ и НТУУ «КПИ» на основе ПГЗ NorduGrid для изучения технологий виртуализации вычислительных ресурсов страны с одновременным подключением к кластеру НТУУ «КПИ» 5-ти ресурсно - операционных центров. Согласована совместная учебная программа подготовки по Grid-технологиям с университетами Кореи через организацию KOICA в украинско-корейском Центра ИТ, реализация которой уже начата;
• в январе 2008 года начал деятельность Сертификационный центр открытых ключей для предоставления украинским пользователям доступа к европейским ресурсам и хранилищам данных. (Www.сa.ugrid.org). Этот центр обслуживает сейчас пользователей обеих сегментов Grid-инфраструктуры Украины (академического и образовательного);
• разработан портал доступа SDGrid (www.sdgrid.org.ua) к Grid-инфраструктуре как единой точке доступа пользователей к различным информационным ресурсам и программ, который будет задействован в ресурсно - операционных центрах для обслуживания и обучения пользователей. Grid портал представляет собой программно-аппаратный комплекс, основными функциями которого является постановка задач на вычисление в Grid-инфраструктуре, мониторинг состояния вычислительных ресурсов и ресурсов хранения данных, управление ресурсами и политиками безопасности Grid-инфраструктуры, обучение пользователей, предоставление доступа к другим Grid-системам, построение виртуальных организаций и другое. Основанный на Gridsphere с приложениями для поддержки ПГЗ gLite, Globus 2 / 4, причем Gridsphere обеспечивает разработчиков чрезвычайно эффективным механизмом в создании новых программ, использующих систему портлетов (рис.2)
2 Рис.2. Страница Grid-портала

Четвертый этап работы (Х.2008-ХИИ.2008):

• исследована методология использования Grid-технологий в высшей школе и создана экспериментальная учебная программа по Grid-курсу; начата магистерская подготовка по направлению «Grid-технологии в науке и образовании». (Политехника. 2008) и «Применение Grid-технологии в науке» (Политехника, 2009) [6,7] и образовании, начата подготовка соответствующего учебника совместным авторским коллективом специалистов МОНУ и НАНУ, организованно дипломное проектирование магистров и специалистов по Grid-технологиям и результаты лучших работ отображены на сайте проекта (www.grid.ntu-kpi.kiev.ua/) в разделе "Подготовка кадров для грид-технологий";
• на базе разработанного портала SDGrid создана виртуальная учебная Grid-система, с помощью которой можно получить первый опыт работы в Grid-среде. Также на базе портала SDGrid разработана виртуальная лаборатория для демонстрации возможностей технологий Grid, в состав которой входят пять территориально-разнесенных серверов: Web-сервер, сервер MyProxy, сервер Cа (Сертификационный центр), НРС-сервер вычислительного ресурса, сервер мониторинга и резервного копирования, предназначенный для сбора статистики о состоянии серверов учебной Grid-системы. С помощью этой виртуальной лаборатории можно получить первый опыт работы в Grid-среде. Этот опыт включает регистрацию и получение сертификата MyProxy, просмотр файлов в каталоге, навигацию в пределах каталога, формирование и запуск задач, отслеживание состояния их выполнения и т.п.
• Grid-сегмент МОНУ [8,9], (в отличие от Grid-сегмента НАНУ [10], который является Grid вычислительного типа - Computing Grid), можно отнести к Grid информационному типу (Data Grid), так как проект Ugrid главным образом связан с обеспечением обслуживания Украинского Мирового Центра Данных «Устойчивое развитие и геофизика» (УСЦД), предоставляя его клиентам удаленный доступ к мировым хранилищам научных данных, возможности эффективного совместного использования компьютеров, уникальных экспериментальных установок и приборов (www.wdc.org.ua).
УСЦД является составной частью системы Мировых Центров Данных (рис.3), которая создана и поддерживается Международным Советом по науке. Она собирает, хранит и обменивается данными с другими центрами по следующим направлениям: исследование устойчивого развития и глобализации, физика твердой Земли, солнечно-земная физика и другие

Рис.3. Размещение МЦД в мире

Карта с динамикой

Вычислительные ресурсы. Хотя официальное финансирование проекта Ugrid начато только во второй половине 2007 года, работы по его выполнению были начаты сразу же после утверждения Государственной программы. Так уже в октябре 2006 года состоялось в присутствии президента Украины В.А. Ющенка торжественное открытие Центра суперкомпьютерных вычислений и УСЦД. А еще раньше, в апреле 2006 года были установлены партнерские отношения с исполнителями европейского проекта BalticGrid.
Сегодня после уже третьей модернизации производительные сит кластера НТУУ «КПИ» составляет 5, 83 Тфлопс \с, тоесть 5,83 миллиардов операций в секунду. Он насчитывает 44 узла с двумя четырех ядерными процессорами Intel Xeon E5440 (2.83ГГц и 8 Гб оперативной памяти в каждом) и 78 узлов с двумя двух ядерными процессорами Intel Xeon 5160 (3.00ГГц и 4 Гб оперативной памяти в каждом), т.е. в целом 624 вычислительных ядер. При этом использована сеть обмена данными InfiniBand и операционная система Linux CentOS release 5.2.
Отличием кластера НТУУ «КПИ» является дополнительная система с 128 ядрами, т.е. с 16-тью двумя четырех ядерными процессорами Intel Xeon E5345 (2.33 ГГц, 8 Гб оперативной памяти и диском емкостью 500 Гб в каждом), на которой установлена операционная система MS Windows Server 2008 HPC Edition. Таким образом, впервые в Украине пользователям, работающим с ОС Windows и с соответствующими прикладными программами, предоставляется возможность использовать параллельные вычисления с помощью распараллеливания MS MPI 2.0.1551.
Кластер Института кибернетики СКИТ-3 со своими 5, 32 Тфлопс\с немного уступает нашему. Но то, чей кластер - ИК НАНУ или НТУУ «КПИ» - производительнее сейчас для потребителей страны не имеет значения, потому что оба они вместе с другими отечественными кластерами объединены в одну Грид-сеть, задачи на вычисление для которой распределяются автоматически менеджером ресурсов с учетом размера задачи и наличия свободных вычислительных ресурсов. Как раз в этой виртуализации ресурсов состоит одно из преимуществ построенной Grid-инфраструктуры.
Пока пользователи обеспечиваются системой распараллеливания вычислений OpenMPI 1.2.8, компиляторами C + +: intel 10.1, gcc 4.1.2, прикладным ПО: типа GROMACS 4.0.2 (анализатор динамики молекул), GEMESS (анализатор структур кристаллов), fftw 3.2 (библиотека подпрограмм для вычисления дискретного преобразования Фурье) Включение кластера НТУУ «КПИ» в Grid-инфраструктуру позволяет его клиентам использовать ППЗ типа MATHEMATIСA и GAUSSIAN (комплекс программ определения орбитальной плотности молекул), приобретенный Институтом теоретической физики (ИТФ) для академического сегмента Grid-инфраструктуры. 
В ближайшее время мы ожидает получение параллельных версий программ ANSYS (реализация метода конечных элементов) и MATLAB от своих корейских партнеров по соглашению о создании совместного Украинско-корейского Центра информационных технологий. 

Научные исследования. Все организации - участники проекта (кроме обязанностей по организации ресурсно-операционных центров, обеспечения их функционирования, подготовки и поддержки пользователей), проводили научные исследования в области совместимости промежуточного программного слоя различных Grid-инфраструктур; обеспечения сквозной информационной безопасности при объединении национальных Grid-инфраструктур или их сегментов, разработки дополнительных сервисов для расширения круга возможных пользователей (кроме науки) с представителей разных слоев общества: инженерии, бизнеса, социальной сферы и т.д. Подробнее исследования, проводившиеся, выглядят следующим образом: 
• НТУУ «КПИ» - создание портала знаний, исследование совместимости (interoperability) промежуточного программного слоя, создания Grid-ориентированного программного обеспечения для моделирования современных микро-электронно-механических систем (МЭМС); 
• НТУ “Львовская политехника” - создание мощной системы хранения данных с использованием системы IBM BladeCenter QS21, состоящей из 14 вычислительных блейд-серверов на базе процессоров Cell и одного координирующего узла; 
•ЗНТУ (Запорожский национальный технический университет) - исследование параллельных структур генетических алгоритмов с помощью параллельно реализованных многослойных нейронных сетей и применения кластера для непосредственного построения нейронной сети, построение и реализация алгоритма распараллеленого реплика-метода, базирующегося на молекулярно-динамическом подходе моделирования поверхностной термоактивированной диффузии в секундном диапазоне модельного времени; 
• ХНУРЭ (Харьковский национальный университет радиоэлектроники) - исследование использования Grid для построения распределенных имитационных систем моделирования, построение программного обеспечения для тестирования производительности библиотеки PVM; 
• ИПМЭ НАНУ (Институт проблем моделирования в энергетике) - исследование методов использования Grid-технологии для решения технологических задач в энергетике; исследования методов эффективного обмена информацией между узлами системы в HPC-кластере распределенного доступа; методов использования реконфигурируемых вычислений в Grid-компьютинге; численное моделирование нестационарных взаимосвязанных электромагнитных, тепловых и гидромеханических процессов в электромагнитных системах на примере исследования динамики процесса взаимодействия равновесной воздушной плазмы с металлическим электродом (плазмоелектродной системы); разработка математических моделей и комплекса программ, позволяющих исследовать процессы тепло-массо-переноса в технологических каналах реактора РБМК-1000 при различных режимах его работы и во время разрушения реактора, а также в объекте «Укрытие» и др.

Следующие этапы. Для предоставления исследователям возможности использования ресурсов Grid при проведении вычислений в привычных для них рабочих средах, установленных на персональных компьютерах, на кластере НТУУ «КПИ» установлено программное обеспечение NetSolve MATLAB / Mathematica / Fortran / C. Пользователь не заботится теперь о том, где находится, как обнаруживается и вызывается нужный ему Grid-ресурс, он только указывает те критерии, по которым необходимо подобрать ему этот ресурс, и взаимодействует дальше с этим ресурсом так же, как и с локальными ресурсами (процедурами, классами, программами) его рабочей среды. 
Понимая, что вопрос наполнения национальной Grid-инфраструктуры приложениями параллельных вычислений в различных областях современной науки и техники приобретает в Украине особое значение, исполнители проекта Ugrid планируют уделить ему особое внимание на следующем этапе выполнения Государственной программы ИКТ. В частности предполагается использование семантического Web-портала знаний для обеспечения доступа к национальным и мировым информационным ресурсам. 
По результатам проведенных исследований опубликовано более 36 научных работ и тезисов докладов на различных конференциях, среди которых одним из выдающихся была 21-я конференция CODATA 2008: "SCIENTIFIC INFORMATION FOR SOCIETY - FROM TODAY TO THE FUTURE", посвящена использованию научных данных в сегодняшнем обществе и обществе будущего. Несколько секций этой конференции были посвящены подведению итогов исследований по Grid-проектам, выполненным организациями НАНУ и МОНУ [7-10], и на этих отчетах присутствовал доктор Роберт Джонс из ЦЕРН, директор крупнейшего в мире Grid-проекта EGEE (Enabling Grids for E -Sciencе - Grid-нфраструктуры для е-науки), который в своем пленарном докладе высоко оценил состояние Grid-разработок в Украине. 
В 2008 году были одобрены главные принципы новой Государственной программы по внедрению и применению Grid-технологий в Украине на 2009-2013 годы, заказчиками которой впервые в истории страны сообща выступили Национальная Академия наук Украины (НАНУ) и Министерство образования и науки Украины (МОНУ), а сама Государственная программа начата с 2009 года. 

Литература
1. Zgurovsky. M. Z. Development of Educational and Research Segment of Information Society in Ukraine. - //Proc. WSIS .-Tunis.- 2004.-P.103-107.
2. Zgurovsky. M. Z. Development of Educational and Research Segment of Information Society in Ukraine. –//Системні дослідження та інформаційні технології.-Київ.-2006.=№1.-С.7-17.
3. Петренко А.І. Національна Grid - інфраструктура для забезпечення наукових досліджень і освіти.- // Системні дослідження і інформаційні технологіі, -Київ.- №1- 2008..-C.79-92.
4. Zgurovsky M.Z. Impact of the Information Society on Sustainable Development: Global and Regional Aspects.- Data Science Journal, Volume 6, Supplement, 11 March 2007
5. Zagorodny A., Zgurovsky M. , Zinovjev G. , Petrenko A. , Martynov E. Integrating Ukraine into European Grid Infrastructure.- // Системні дослідження і інформаційні технології. - , -Київ.- №3- 2009..
6. Петренко А.І. Вступ до Grid технологій в науці і освіті (навчальний посібник).-Київ.-Політехніка.-2008.-120 с.
7.. Петренко А.І. Застосування Grid технологій в науці і освіті .-Київ.-Політехніка.-2009.-144 с.
8. Petrenko A.I.”Development of GRID-infrastructure\for Educational and Research segment of Information Society in Ukraine with focus on Ecological monitoring and Telemedicine”. - Data Science Journal, Volume 6, Supplement, 14 April 2007
9. Petrenko A., Velichkevich S., Alenin O. Educational segment of Ukrainian Grid infrastructure.- // Proc. of the 21-ST codata Conference.-Kiev.-3-8 Octomber 2008.
10. Zinovjev G., Martynov E., Svistunov S. Academic segment of Ukrainian Grid infrastructure,- // Proc. of the 21-ST codata Conference.-Kiev.-3-8 Octomber 2008

Ukrainian (UA)Russian (CIS)English (United Kingdom)