Проекти ІПСА НТУУ «КПІ» на 2011 рік по лінії НАНУ

За результатами конкурсу з Державної програми впровадження грід- технологій, проведеному НАНУ в березні 2011 р., серед інших переможців є наступні проекти  ІПСА НТУУ «КПІ» :

Проект 1. «Створення  практикуму з грід-технологій і   розподілених обчислень та обробки даних для  підготовки користувачів  і адміністраторів грід-кластерів »


Відповідність завданням Програми:
Розділ 6 : Організаційне та методичне забезпечення підготовки фахівців для роботи  в грід-середовищі і застосування грід-технологій в науці, освіті та інших галузях.

Мета проекту:
Оскільки грід  - технології  є досить новим напрямком в інформаційних технологіях, в Україні бракує фахівців, які б могли широко впроваджувати їх в наукових і інших установах і відомствах. Тому Постановою Ради Міністрів  України в 2010 році була з ініціативи ІПСА НАНУ введена нова спеціальність «Системне проектування» з напрямку «Комп’ютерні науки»  для підготовки фахівців у сфері застосувань розподілених інтелектуальних середовищ і , зокрема,  грід- технологій в науці, освіті та інших галузях. Зараз проводяться  доопрацювання  концепції і  розроблення базового навчально-методичного забезпечення цією спеціальності: навчальних і робочих планів базових дисциплін; створення і видання підручників  посібників, створення навчальної грід-системи та відповідної лабораторної бази, впровадження і підтримка  спільної  програми магістерської  підготовки МОНМС і НАНУ з грід- технологій.

Метою проекту є створення  практикуму з грід – технологій з розподілених обчислень та обробки даних, який сприятиме прискоренню підготовки фахівців з розподілених інтелектуальних середовищ та  паралельних та розподілених обчислень, навчанню системних адміністраторів роботі з цими новими засобами, навчанню основам програмування і створення прикладних додатків для розподілених обчислень  що потребують для свого функціонування великих комп’ютерних ресурсів. Він  складається з виконання циклу експериментальних  досліджень, націлених на набуття практичних навичок використання грід – технології для вирішення науково – практичних завдань.

У результаті виконання  практикуму слухачі  повинні:
- знати: основи грід – технологій, які дозволяють об’єднати обчислювальні ресурси та ресурси зберігання даних в єдину систему, архітектуру національної грід – інфраструктури, принципи функціонування основних складових грід – системи, технологію підготовки завдань для використання грід – середовища;
- уміти: вибирати і використовувати проміжне програмне забезпечення для вирішення науково – практичних завдань, адаптувати пакети прикладних програм до середовища Грід, використовувати вхідні мови для опису завдання і даних, відслідковувати та коректувати хід обчислювального процесу під час числового експерименту чи процесу моделювання;
- набути навички практичного використання найбільш поширеного проміжного програмного забезпечення NorduGrid ARC,   gLite 3.1 та 3.2.

На базі цього лабораторного практикуму  планується регулярно проводити  семінари для користувачів і адміністраторів грід- сайтів.

Отримані результати:
В результаті виконання проекту в 2011 році створено програмний міждисциплінарний  практикум з наступними експериментальними дослідженнями, що проводять слухачі на базі існуючої навчальної грід-системи при вирішенні заданої індивідуальної задачі:
- робота на обчислювальному кластері з використанням локальної системи управління  PBS для вивчення технології віддаленого доступу до ресурсів багатопроцесорної обчислювальної системи та набуття практичних знань та навичок компіляції та запуску простих програм з використанням системи управління кластера;
- отримання  сертифікату користувача, для чого користувач вчиться генерувати пару ключів: відкритий ключ (як частина сертифікату) та закритий ключ (для підпису сертифікату); отримувати сертифікат, створювати проксі-сертифікат та користуватися їм;
- вивчення технології видаленого доступу до грід-ресурсів, що працює під управлінням проміжного програмного забезпечення ARC , коли користувач, використовуючи обчислювальний кластер під управлінням UNIX - сумісною ОС, розробляє файл завдання на мові xRSL для запуску через ППЗГ ARC згідно варіанта завдання,запускає задачу з сервера доступу, попередньо створивши проксі-сертифікат, під час виконання задачі перевіряє її статус;
- вивчення технології віддаленого доступу до грід-ресурсів, що працює під управлінням проміжного програмного забезпечення gLite, коли користувач  розробляє файл завдання на мові JDL для запуску через ППЗГ gLite згідно варіанта завдання,запускає задачу з сервера доступу, попередньо створивши проксі-сертифікат,перевіряє її статус під час виконання , отримує  результати виконання і аналізує їх;
- вивчення побудови інформаційної системи і системи моніторингу промислових грід - систем, що працюють під управління проміжного програмного забезпечення gLite і ARC і вирішують задачу збору і управління даними про стан гріда, отримуючи інформацію від безлічі розподілених джерел - постачальників. Підсистема призначена для постійного контролю функціонування грід-системи і забезпечення своєчасного реагування на виникаючі проблеми.
Таким чином, з  допомогою лабораторного практикуму можна, отримавши  сертифікат,  готувати свої задачі для запуску, вибирати обчислювальний елемент, на якому виконуватиметься завдання, контролювати процес виконання, проглядати результати виконання завдання і зберігати вихідні файли на комп'ютері користувача.

Здійснено видання запропонованого лабораторного практикуму з грифом Міністерства освіти і науки, молоді і спорту.


 

Проект 2.  «Розвиток окремих сервісів розподіленого базового координаційного грід-центру національного рівня в Інституті прикладного системного аналізу НАНУ»


Відповідність завданням Програми:
Завдання 2.4:  Відкриття регіональних філій Центру Сертифікації і надання міжнародних сертифікатів наявним національним грід- ресурсам і користувачам.
Завдання 2.2 :   Створення систем тестування, моніторингу та обліку використання грід-ресурсів.


Мета проекту:
Однією з вимог до грід національного рівня є наявність Центру Сертифікації (СА, Certification Authority). СА видає грід-сертификати, які є "паспортом" для для усіх учасників грід (користувачів, вузлів, сервісів).  Це враховано в  «Положенні про Український Національний Грід (УНГ)» , де до основних складових грід- інфраструктури України віднесено Центр сертифікації користувачів і грід-сайтів (СА) з регіональними філіями (РА).
Центр СА працює відповідно до протоколів і правил сертифікації користувачів національної грід-інфраструктури, встановлених європейською організацією EUGridPMA , і надає послуги видачі, підтримки та верифікації сертифікатів користувачів національної грід-інфраструктури; видачі, підтримки та верифікації сертифікатів вузлів грід-сайта   та сервісів грід-сайта   в  національній грід-інфраструктурі; забезпечує надійну безвідмовну роботу інформаційної системи; забезпечує дотримання вимог інформаційної безпеки; створює філіали центру сертифікації користувачів національної грід-інфраструктури в регіональних та інших центрах.

Метою проекту є заходи підтримки функціонування і розвитку Центру сертифікації користувачів і грід-сайтів з регіональними філіями (СА), міжвідомчого за своїм призначенням й історією створення, в  національній грід- інфраструктурі в січні 2008 року.   Згідно з правилами EUGridPMA і політиці видачі сертифікатів до акредитованого СА пред'являються жорсткі вимоги за доступністю сервісу, часу реакції на заявки користувачів, моніторингу безпеки, аудиту.

Очікувані результати:

1) Відкриття центрів реєстрації у великих обласних центрах.
При першому отриманні сертифікату, а також раз на 3 роки у разі продовження сертифікату, користувачеві необхідно особисто з'явитися в СА (РА). Нині є 3 RA - в Києві, Харкові і Львові. Планується відкриття ще декількох RA (у Сімферополі і Донецьку ). До кінця 2012 року бажано забезпечити наявність RA в кожному обласному центрі, в якому є грід-користувачі.
2) Проведення одноденних експрес - курсів для існуючих співробітників RA.
Проведення таких курсів спрямоване на підвищення кваліфікації співробітників центрів реєстрації, роз'яснення правил роботи із запитами користувачів, взаємодії CA і RA.
3) Проведення онлайн - семінарів для користувачів.
Семінари орієнтовані на нових користувачів, охочих отримати сертифікат, а також на існуючих користувачів, що стикаються з труднощами при використанні сертифікату в грід. Необхідність роз'яснювати користувачам правила роботи з сертифікатами зафіксована в "політиці видачі сертифікатів UGRID CA" (https://ca.ugrid.org/docs/UGRID _CP_CPS_1.4.pdf), яка заснована на нормативних документах EUGridPMA (зокрема http://www.eugridpma.org/guidelines/IGTF-AP-classic- 4-2.pdf і RFC 3647 ,http://www.ietf.org/rfc/rfc 3647.txt).
4) Підвищення рівня якості обслуговування користувачів за допомогою впровадження IP -телефонії.
Впровадження нових технологій дозволить більш оперативно реагувати на запити користувачів, знизить витрати на міжміські переговори, спростить проведення дистанційних семінарів.
5) Переробка "правил видачі сертифікатів" і інших документів.
Для підтвердження акредитації і продовження подальшої роботи необхідно привести "правила видачі сертифікатів" і інші документи у відповідність з вимогами EUGridPMA і національним законодавством, які змінилися в 2010 році.
6) Розробка нормативної документації і посадових інструкцій для RA - і CA - операторів
Для відповідності нормам EUGridPMA для роботи СА- і  RA -операторов, особливо в області взаємодії між CA і RA, необхідно створити чіткі правила.
7) Проведення внутрішніх аудитів
У відповідність з вимогами EUGridPMA необхідно проводити внутрішні аудити як мінімум раз на рік. Необхідність проводити аудити зафіксована "політиці видачі сертифікатів UGRID CA" (https://ca.ugrid.org/docs/UGRID_CP_CPS_1.4.pdf), яка заснована на нормативних документах EUGridPMA (зокрема  http://www.eugridpma.org/guidelines/IGTF-AP-classic- 4-2.pdf і RFC 3647 http://www.ietf.org/rfc/rfc 3647.txt).
8) Підготовка до зовнішнього аудиту
У відповідності з вимогами акредитований Центр Сертифікації має бути готовий до проведення аудиту представниками EUGridPMA. Виявлені серйозні недоліки в організації роботи Центру Сертифікації можуть привести до припинення його акредитації.
При проведенні внутрішнього аудиту були виявлені певні невідповідності нормам EUGridPMA в роботі CA, які мають бути виправлені в першому півріччі 2011 року. Повторне проведення внутрішнього аудиту заплановане на квітень 2011 року. Доповідь в EUGridPMA і представлення результатів - під час конференції в Празі 11-13 травня 2011 року.
9) Перехід на новий кореневий сертифікат.
У зв'язку із закінченням  (у січні 2013 р.) терміну дії кореневого сертифікату UGRID CA необхідно не менше чим за рік почати процедуру переходу на новий кореневий сертифікат.


Внаслідок виконання цього проекту забезпечена європейська якість грід- сервісу  обслуговування вітчизняних користувачів через міжвідомчий Центр сертифікації користувачів і грід-сайтів з регіональними філіями (СА). Сам центр СА може плідно співпрацювати з іншими національними центрами СА, а його працівники відвідувати щорічні зібрання представників європейських СА для звіту і обміну досвідом. За вимогами  організації  EUGridPMA обов'язкова участь хоч би одного представника від кожного національного акредитованого СА в таких зібраннях (http://www.eugridpma .org/meetings/)

Статистика видачі сертифікатів за роками наступна: 2008 р. - 68 шт., 2009 р. – 184 шт.  і 2010 р. – 243 шт. Як правило, сертифікат видається терміном  на  1 рік.  У зв'язку із зростанням інтересу наукового співтовариства до грід-технологій в 2011-2012 роках передбачається значне збільшення числа користувачів, яким буде потрібно грід-сертифікати .У Великобританії, наприклад, з 2002 року видано близько 25000 сертифікатів, з яких дійсних на даний момент близько 9000.


Проект 3.  «Створення і впровадження навчально-методичного забезпечення для цільової підготовки магістрів в галузі  грід-технологій для інститутів НАНУ»

Відповідність завданням Програми:
Розділ 6 : Організаційне та методичне забезпечення підготовки фахівців для роботи  в грід-середовищі і застосування грід-технологій в науці, освіті та інших галузях.

Мета проекту:
Метою проекту є організація спільної підготовки фахівців з грід-технологій  силами НАНУ-КПІ, кадрове забезпечення з використання таких технологій в академічних інститутах на базі нової спеціальності «Системне проектування» з напрямку «Комп’ютерні науки», введеною Постановою Кабінету Міністрів України в 2010 році  з ініціативи ІПСА НАНУ.
Системне проектування – це міждисциплінарна методологія побудови інтелектуальних середовищ, призначених для розв’язування задач дослідження  складних об’єктів (систем, процесів) різної фізичної природи комп’ютерними засобами та за активною участю людей (експертів, аналітиків, інженерів, дослідників). Об’єктом дослідження в системному проектуванні є різноманітні об’єкти, які підпадають під категорію складних систем та процесів, скажімо, такі, як інформаційні середовища (наприклад, розподілені комп’ютерні системи, семантичні Веб- та Грід-мережі), об’єкти наукових досліджень (наприклад, космічні або  біологічні об’єкти), складні технічні системи (наприклад, інтегральні електронні схеми або гібридні вбудовані електронно-механічні системи), екологічні системи, технологічні або бізнес-процеси  тощо.
Спільна цільова підготовка  фахівців з грід-обчислень для інститутів НАНУ базується на:
а)  навчально-методичному забезпеченні  (навчальних програмах, текстах лекцій, комп’ютерних практикумах та інше);
б) існуючій навчальній грід-інфраструктурі;
в) уніфікованому програмному забезпеченні проміжного рівня (UMD - Unified Middleware Distribution) і засобах уніфікованого доступу до грід-сервісів навчальної грід-інфраструктури;
г) проведенні практик  в інститутах НАНУ і магістерських досліджень з тематики НАНУ.

Змістовна частина цільової підготовки магістрів включає розділи:
а) парадигми і методи розподілених обчислень і процесів обробки даних;
б) ПЗ проміжного рівня грід-системи  (ПЗПР);
в) технології хмарних обчислень;
г) семантичне  моделювання в грід-середовищі;
д) організаційно-методичне забезпечення грід-систем.
Наукові дослідження магістрів спеціальності „Системне проектування”  будуть виконуватися за тематикою академічних інститутів на базі ННК «Інститут прикладного системного аналізу»  з використанням ресурсів національної грід- інфраструктури України та українського Світового Центру Даних, поєднаного з мережею подібних Світових Центрів 52-х країн світу.

Очікувані результати:

Внаслідок виконання цього проекту  буде створена навчально-методична і наукова база для підготовки і перепідготовки фахівців, здатних забезпечити  функціонування   грід-середовища і застосування грід- технологій в науці, освіті та інших галузях.
Наукова і науково- технічна продукція, створення якої передбачено проектом, включатиме:
1) Навчальні програми з базових  і вибіркових дисципліни магістерської підготовки: «Грід і хмарні розподілені середовища високопродуктивних паралельних обчислень», «Інтелектуальна обробка даних в розподілених  інформаційних середовищах», «Семантичні Веб- та Грід- сервіси», «Пошук і попередня підготовка даних», «Розподілені системи прийняття рішень і логічних висновків», «Багатомодальний інтерфейс користувача», «Засоби моделювання розподілених систем обробки даних».
2)  «Фізтехівську» методику проведення  практик  і  досліджень в установах НАНУ з залученням вчених академічних інститутів до керівництва магістерськими дослідженнями, зокрема, Інституту теоретичної фізики (ІТФ), Інституту молекулярної біології і генетики (ІМБіГ) та інших.
3) Навчальну  грід-систему на базі ПЗПР (UMD - Unified Middleware Distribution) проекту EMI (European Middleware Initiative)  для  набуття фахівцями різних спеціальностей досвіду роботи в грід-середовищі, включаючи методику і матеріали тренінгу, що впроваджуються  в Європейській програмі EGІ. ПЗПР UMD  є спільним узгодженим продуктом  розробників ARC, gLite, dCache and UNICORE.
4) Підготовку і видання навчального посібника «Практикум з використання  грід – системи під керуванням проміжного програмного забезпечення UMD в наукових дослідженнях » спільним авторським колективом з представників НАНУ і МОНМС.

Ukrainian (UA)Russian (CIS)English (United Kingdom)