Проект ИПСА НТУУ "КПИ" на 2010 год

Так как Институт прикладного системного анализа (ИПСА) НТУУ «КПИ» имеет двойное подчинение НАНУ и МОНУ, то он имел право принимать участие в конкурсе проектов, проводимом Национальной академией наук Украины, и выиграл грант под проект № 2258/10 от 27 июля 2010 г. «Меры поддержки функционирования национальной грид-инфраструктуры и обучение и тренинг системных администраторов» 
Основные результаты работы: 
1. Была создана учебная грид-инфраструктура для проведения тренингов по подготовке пользователей и администраторов ППС gLite (рис.1). Для поддержки удаленных пользователей развернута система дистанционного проведения on-line семинаров.


Рис.1. Структура учебной грид- системы
В тестовую инфраструктуру входят следующие компоненты: 
* Тестовый CA - для выдачи сертификатов пользователей и узлов, а также для подтверждения их подлинности; 
* Wiki - сервер с документацией; 
* Хранилище данных - для хранения репозитория пакетов, необходимых для установки сервисов ППС gLite, предоставление ресурсов хранения задачам грид. 
* Системы виртуализации OpenVZ - для работы виртуальных машин с сервисами ППС gLite. 
* Рабочие места - для доступа к ресурсам грид на базе ППС gLite. 
Подготовлен и проведен один тренинг для администраторов (октябрь 2010) и один для пользователей (ноябрь 2010) совместно с инфраструктурой Учебного Центра ОИЯИ (Дубна, Россия). 
2. Выполнена оптимизация параметров системы управления задачами alien (ЦЕРН) с целью эффективного использования вычислительных ресурсов кластера НТУУ «КПИ» для решения задач из института ядерных исследований (ЦЕРН, Швейцария). На основе анализа специфики проблемной области выбрано, установлено и настроено систему мониторинга сервисов и узлов alien, протестировано систему мониторинга. 
3. Разработана автоматизированная система обеспечения процесса получения сертификатов пользователями Грид в Украине на основе обновленного сайта UGRID CA. Создано версии сайта на трех языках: английском, украинском и русском, а также страницы со статистикой и детальными инструкциями для грид-пользователей о получении сертификатов. Проведено онлайн консультации пользователей, планирующих получить и работать с сертификатами. Открыт один регистрационный пункт (RA) в городе Львов. 
4.Внедрено информационную службу регистрации и поддержки виртуальных организаций VOMS на базе суперкомпьютерного центра НТУУ «КПИ».

Программа курсов для администраторов ППС gLite

Занятие № 1. 
Теория. 
1. Введение в Грид вычисления. 
1. Ведение в ППС gLite. 
2. Структура gLite. Схема взаимодействия узлов gLite, функции модулей. 
Практика. 
1. Установить ОС Centos на узле (ах). 
2. Выполнить первоначальные настройки ОС. 
3. Выполнить установку OpenVZ. 
4. Создать контейнер для виртуальной машины. 
5. Выполнить первоначальные настройки ОС виртуальной машины. 

Занятие № 2 
Теория. 
1. Что такое виртуальная Организация? 
2. Что такое SSL-сертификаты и как с ними работать? 
Практика. 
1. Создать копию исходного контейнера для виртуальной машины. 
2. Выполнить настройки ОС виртуальной машины. 
3. Установить VOMS. 
4. Установить MTA (sendmail, exim, postfix). 
5. Установить агент доставки почты Dovecot. 
6. Настроить VOMS. 
7. Проверить работу VOMS. 

Занятие № 3 
Теория 
1. Интерфейс (UI). 
Практика. 
1. Создать копию исходного контейнера для виртуальной машины. 
2. Установить UI. 
3. Настроить UI. 
6. Проверить работу UI. 

Занятие № 4 
Теория. 
1. Вычислительный элемент (CE). 
2. Информационная система сайта (SiteBDII). 
3. Рабочий узел (WN). 
Практика 
1. Создать копию исходного контейнера для виртуальной машины. 
2. Выполнить настройки ОС виртуальной машины. 
3. Установить CE и SiteBDII. 
4. Настроить CE и SiteBDII. 
5. Проверить работу CE и SiteBDII. 
6. Создать копию исходного контейнера для виртуальной машины. 
7. Выполнить настройки ОС виртуальной машины. 
8. Установить WN. 
9. Настроить WN. 
10. Проверить работу WN.

Занятие № 5 
Теория 
1. Элемент хранилище (SE). 
2. Каталог файлов LCG (LFC). 
Практика 
1. Создать копию исходного контейнера для виртуальной машины. 
2. Выполнить настройки ОС виртуальной машины. 
3. Установить SE. 
4. Настроить SE. 
5. Проверить работу SE. 
6. Создать копию исходного контейнера для виртуальной машины. 
7. Выполнить настройки ОС виртуальной машины. 
8. Установить LFC. 
9. Настроить LFC. 
10. Проверить работу LFC. 

Занятие № 6 
Теория 
1. Главная информационная система (TopBDII). 
2. Система управления нагрузкой (WMS и LB). 
Практика 
1. Создать копию исходного контейнера для виртуальной машины. 
2. Выполнить настройки ОС виртуальной машины. 
3. Установить TopBDII. 
4. Настроить TopBDII. 
5. Проверить TopBDII. 
1. Создать копию исходного контейнера для виртуальной машины. 
2. Выполнить настройки ОС виртуальной машины. 
3. Установить WMS и LB. 
4. Настроить WMS и LB. 
5. Проверить работу WMS и LB. 

Занятие № 7 
Теория 
1. Язык описания заданий (JDL). 
Практика 
1. Запуск тестового задания. 
2. Проверка состояния задачи. 
3. Получения результатов. 

Программа курсов для пользователей ППС gLite.

Занятие № 1. 
Теория. 
1. Введение в Грид вычисления. 
1. Ведение в ППС gLite. 
2. Структура gLite. Схема взаимодействия узлов gLite, функции модулей. 
Практика. 
1. Сгенерировать запрос на персональный сертификат. 
2. Экспортировать персональный сертификат в браузер. 
3. Зарегистрироваться в учебной виртуальной организации. 

Занятие № 2 
Теория. 
1. Что такое виртуальная Организация? 
2. Что такое SSL-сертификаты и как с ними работать? 
3. Интерфейс (UI). 
Практика. 
1. Зарегистрироваться под своим аккаунтом на UI. 
2. Создать каталог. Globus в своем домашнем каталоге. 
3. Скопировать в каталог. Globus файлы с сертификатом и закрытым ключом, установив, соответствующие права доступа к этим файлам. 
4. Создать временный сертификат пользователя. 

Занятие № 3 
Теория. 
1. Вычислительный элемент (CE). 
2. Информационная система сайта (SiteBDII). 
3. Рабочий узел (WN). 
4. Главная информационная система (TopBDII). 
Практика 
1. Вывести список всех CE, доступных для пользователей учебной виртуальной организации. 
2. Вывести список всех SE, доступных для пользователей учебной виртуальной организации. 
3. Вывести список процессоров, операционных систем, количество свободных процессоров и всех программных пакетов, установленных на CE, доступных для пользователей учебной виртуальной организации. 

Занятие № 4 
Теория 
1. Язык описания заданий (JDL). 
2. Запуск задач в грид. 
Практика 
1. Скопировать в домашний каталог пользователя на UI код программы на С. 
2. Скомпилировать программу для запуска на WN. 
3. Протестировать запуск программы на UI. 
4. Написать JDL для запуска программы в грид. 

Занятие № 5 
Теория 
1.Система управления данными. 
2. Элемент хранилище (SE). 
3. Каталог файлов LCG (LFC). 
Практика 
1. Изучить команды LFC-* и LCG-* для работы с системой управления данными. 
2. Изучить команды для работы c GridFTP. 
3. Изучить команды для работы с RFIO. 
4. Изучить команды для работы с SRM. 

Занятие № 6 
Теория 
1.Тип задач в gLite. 
2. Система управления нагрузкой. 
3. Этапы выполнения задач. 
Практика 
1. Запуск задания типа DAG. 
2. Проверка состояния задачи. 
3. Получения результатов. 

Слушатели создали 6 автономных инфраструктур gLite версии 3.1, каждая из которых состояла из достаточного набора сервисов, необходимых для полноценной работы: VOMS, UI, TopBDII, CE, WN, LFC, SE, WMS. Каждая инфраструктура была построена на базе одной из операционных систем: Scientific Linux CERN SLC 4.5 i386 или CentOS 4.8 i386. Впоследствии вычислительные ресурсы всех инфраструктур были объединены в одну виртуальную организацию для запуска тестовых заданий. 

Отзывы некоторых слушателей

Рябцев Андрей Владимирович
ИФ НАНУ
Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript

Очень понравилось, профессиональное изложение материала, очень полезная акция.
С уважением,
Рябцев Андрей

Мельничук Василий Михайлович
Институт проблем математических машин и систем.
vamel.fin @ gmail.com

Тренинг был очень полезным.
Изложение материала было хорошим.
Пожелания на будущее: 1 неделя - это немного маловато, лучше увеличить количество дней, еще хорошо бы иметь приблизительный список команд, которые надо выполнять.
Очень благодарен за тренинг! С уважением,
Мельничук Василий

Геннадий Парусимов:
механико-математического факультет КНУ имени Тараса Шевченко
gennadiy.parusimov @ univ.kiev.ua

Тренинг очень полезен, благодарен за такую возможность.
Изложение материала - хорошо, но надо иметь начальные знания Linux-подобных ОС.
С уважением, Геннадий Парусимов

Ukrainian (UA)Russian (CIS)English (United Kingdom)