Проект ІПСА НТУУ»КПІ» на 2010 рік

Оскільки Інститут прикладного системного аналізу (ІПСА) НТУУ «КПІ» має подвійне підпорядкування до НАНУ і МОНУ, то він мав право приймати участь в конкурсі проектів, що проводила Національна академія наук України, і виграв грант під проект № 2258/10 від 27 липня 2010 р «Заходи підтримки функціонування національної грід-інфраструктури і навчання та тренінгу системних адміністраторів»

Основні результати роботи:

1. Було створено навчальну грід- інфраструктуру для проведення тренінгів з підготовки користувачів та адміністраторів ППЗ gLite (рис.1). Для підтримки віддалених користувачів розгорнуто систему дистанційного проведення on-line семінарів.

2-3-1
Рис.1. Структура навчальної грід- системи
У тестову інфраструктуру входять наступні компоненти:
* Тестовий CA - для видачі сертифікатів користувачів і вузлів, а також для підтвердження їхньої автентичності;
* Wiki - сервер з документацією;
* Сховище даних - для зберігання репозиторію пакетів, необхідних для установки сервісів ППЗ gLite, надання ресурсів зберігання завданням грід.
* Системи віртуалізації OpenVZ - для роботи віртуальних машин із сервісами ППЗ gLite.
* Робочі місця - для доступу до ресурсів грід на базі ППЗ gLite. 

Підготовлено та проведено один тренінг для адміністраторів (жовтень 2010) і один для користувачів (листопад 2010) спільно з інфраструктурою Навчального Центру ОІЯД (Дубна, Росія).

2. Виконана оптимізація параметрів системи управління завданнями alien (ЦЕРН) з метою ефективного використання обчислювальних ресурсів кластера НТУУ «КПІ» для рішення задач з інституту ядерних досліджень (ЦЕРН, Швейцарія). На основі аналізу специфіки проблемної області вибрано, встановлено та налаштовано систему моніторингу сервісів і вузлів alien, протестовано систему моніторингу.
3. Розроблено автоматизовану систему забезпечення процесу отримання сертифікатів користувачів грід в Україні на основі оновленого сайту UGRID CA. Створено версії сайту трьома мовами: англійською, українською та російською, а також сторінки зі статистикою та детальними інструкціями для грід- користувачів щодо отримання сертифікатів. Проведено онлайн консультації користувачів, що планують отримати та працювати з сертифікатами. Відкрито один регістраційний пункт (RA) в місті Львів.
4.Впроваджено інформаційну службу реєстрації і підтримки віртуальних організацій VOMS на базі суперкомп’ютерного центру НТУУ «КПІ».

Програма курсів для адміністраторів ППЗ gLite

Заняття № 1.

Теорія.

1. Введення в Грід обчислення. 
2. Ведення в ППЗ gLite.
3. Структура gLite. Схема взаємодії вузлів gLite, функції модулів.

Практика.

1. Установити ОС Centos на вузлі(ах).
2. Виконати початкове настроювання ОС.
3. Виконати установку OpenVZ.
4. Створити контейнер для віртуальної машини.
5. Виконати початкове настроювання ОС віртуальної машини.

Заняття № 2

Теорія.

1. Що таке Віртуальна Організація?
2. Що таке SSL-Сертифікати і як з ними працювати?

Практика.

1. Створити копію вихідного контейнера для віртуальної машини.
2. Виконати настроювання ОС віртуальної машини.
3. Установити VOMS.
4. Установити MTA (sendmail, exim, postfix).
5. Установити агент доставки пошти Dovecot.
6. Настроїти VOMS.
7. Перевірити роботу VOMS.

Заняття № 3

Теорія

1. Інтерфейс користувача (UI).

Практика.

1. Створити копію вихідного контейнера для віртуальної машини.
2. Установити UI.
3. Настроїти UI.
4. Перевірити роботу UI.

Заняття № 4

Теорія.

1. Обчислювальний елемент (CE).
2. Інформаційна система сайту (SiteBDII).
3. Робочий вузол (WN).

Практика

1. Створити копію вихідного контейнера для віртуальної машини.
2. Виконати настроювання ОС віртуальної машини.
3. Установити CE і SiteBDII.
4. Настроїти CE і SiteBDII.
5. Перевірити роботу CE і SiteBDII.
6. Створити копію вихідного контейнера для віртуальної машини.
7. Виконати настроювання ОС віртуальної машини.
8. Установити WN.
9. Настроїти WN.
10. Перевірити роботу WN.

Заняття № 5

Теорія

1. Елемент сховище (SE).
2. Каталог файлів LCG (LFC).

Практика

1. Створити копію вихідного контейнера для віртуальної машини.
2. Виконати настроювання ОС віртуальної машини.
3. Установити SE.
4. Настроїти SE.
5. Перевірити роботу SE.
6. Створити копію вихідного контейнера для віртуальної машини.
7. Виконати настроювання ОС віртуальної машини.
8. Установити LFC.
9. Настроїти LFC.
10. Перевірити роботу LFC.

Заняття № 6

Теорія

1. Головна інформаційна система (TopBDII).
2. Система керування навантаженням (WMS і LB).

Практика

1. Створити копію вихідного контейнера для віртуальної машини.
2. Виконати настроювання ОС віртуальної машини.
3. Установити TopBDII.
4. Настроїти TopBDII.
5. Перевірити TopBDII.

1. Створити копію вихідного контейнера для віртуальної машини.
2. Виконати настроювання ОС віртуальної машини.
3. Установити WMS і LB.
4. Настроїти WMS і LB.
5. Перевірити роботу WMS і LB.

Заняття № 7

Теорія

1. Мова опису завдань (JDL).

Практика

1. Запуск тестового завдання.
2. Перевірка стану завдання.
3. Одержання результатів.

Програма курсів для користувачів ППЗ gLite.


Заняття № 1.

Теорія.

1. Введення в Грід обчислення. 
2. Ведення в ППЗ gLite.
3. Структура gLite. Схема взаємодії вузлів gLite, функції модулів.

Практика.

1. Згенерувати запит на персональний сертифікат.
2. Експортувати персональний сертифікат у браузер.
3. Зареєструватися в навчальній віртуальній організації. 

Заняття № 2

Теорія.

1. Що таке Віртуальна Організація?
2. Що таке SSL-Сертифікати і як з ними працювати?
3. Інтерфейс користувача (UI).

Практика.

1. Зареєструватися під своїм обліковим записом на UI.
2. Створити каталог .globus у своєму домашньому каталозі.
3. Скопіювати в каталог .globus файли із сертифікатом і закритим ключем, установивши, що відповідають права доступу до цих файлів.
4. Створити тимчасовий сертифікат користувача.

Заняття № 3

Теорія.

1. Обчислювальний елемент (CE).
2. Інформаційна система сайту (SiteBDII).
3. Робочий вузол (WN).
4. Головна інформаційна система (TopBDII).

Практика

1. Вивести список всіх CE, доступних для користувачів навчальної віртуальної організації.
2. Вивести список всіх SE, доступних для користувачів навчальної віртуальної організації.
3. Вивести список процесорів, операційних систем, кількість вільних процесорів і всіх програмних пакетів, установлених на CE, доступних для користувачів навчальної віртуальної організації.

Заняття № 4

Теорія

1. Мова опису завдань (JDL).
2. Запуск завдань у грід.

Практика

1. Скопіювати в домашній каталог користувача на UI код програми на С.
2. Скомпілювати програму для запуску на WN.
3. Протестувати запуск програми на UI.
4. Написати JDL для запуску програми в грід.

Заняття № 5

Теорія

1.Система керування даними. 
2. Елемент сховище (SE).
3. Каталог файлів LCG (LFC).

Практика

1. Вивчити команди LFC-* і LCG-* для роботи із системою керування даними.
2. Вивчити команди для роботи c GridFTP.
3. Вивчити команди для роботи з RFIO.
4. Вивчити команди для роботи з SRM.

Заняття № 6

Теорія

1.Типи завдань в gLite.
2. Система керування навантаженням.
3. Етапи виконання завдань.

Практика

1. Запуск завдання типу DAG.
2. Перевірка стану завдання.
3. Одержання результатів.


Слухачі створили 6 автономних інфраструктур gLite версії 3.1, кожна із яких складалась з достатнього набору сервісів, необхідних для повноцінної роботи: VOMS, UI, TopBDII, CE, WN, LFC, SE, WMS. Кожна інфраструктура була побудована на базі однієї з операційних систем: Scientific Linux CERN SLC 4.5 i386 або CentOS 4.8 i386. Згодом обчислювальні ресурси всіх інфраструктур були об’єднані в одну віртуальну організацію для запуску тестових завдань.

Відгуки деяких слухачів
Рябцев Андрій Володимирович
ИФ НАНУ 
Ця електронна адреса захищена від спам-ботів, Вам потрібно включити JavaScript для перегляду

Дуже сподобалось, професійне викладення матеріалу, дуже корисна акція…
З повагою,
Рябцев Андрій 

Мельничук Василь Михайлович
Інститут проблем математичних машин і систем.
Ця електронна адреса захищена від спам-ботів, Вам потрібно включити JavaScript для перегляду

Тренінг був дуже корисним. 
Викладення матеріалу було добрим.
Побажання на майбутнє: 1 тиждень - це трохи замало, краще збільшити кількість днів; ще добре було б мати приблизний перелік команд, які треба виконувати.
Дуже вдячний за тренінг!
З повагою,
Мельничук Василь

Геннадій Парусимов:
механіко-математичного факультет КНУ імені Тараса Шевченка
Ця електронна адреса захищена від спам-ботів, Вам потрібно включити JavaScript для перегляду

Тренінг дуже корисний, вдячний за таку можливість.
Викладення матеріалу – добре, але треба мати початкові знання Linux-подібних ОС.
З повагою,
Геннадій Парусимов

Ukrainian (UA)Russian (CIS)English (United Kingdom)