Створення національної Grid- інфраструктури

Проект № ІТ /506 - 2007 : від 22 серпня 2007 року «Створення національної Grid- інфраструктури для забезпечення наукових досліджень»
Проект Ugrid присвячено побудові сегменту МОНУ національної Grid - інфраструктури з відповідними послугами для надання можливості вітчизняним науковцям плідно співпрацювати в Європейському науковому просторі (European Research Area, ERA) і сприяти створенню економіки інформаційного суспільства, заснованої на знаннях, через впровадження наукових концепцій Grid і найбільш вагомих наукових додатків, які використовуються в Grid – середовищі [3,4]. Проект Ugrid виконувався тимчасовим науковим колективом, в склад якого увійшли представники таких вітчизняних організацій:
• Національний технічний університет України „Київський політехнічний інститут” (НТУУ „КПІ”),
• Інститут проблем моделювання в енергетиці імені Г.Є. Пухова НАНУ (ІПМЕ),
• Харківський національний університет радіоелектроніки (ХНУРЕ),
• Львівський національний технічний університет „Львівська політехніка”( НУЛП),
• Запорізький національний технічний університет ( ЗНТУ),
• Донецький національний політехнічний інститут (ДонНПІ),
• Дніпропетровський національний гірничий університет (ДНГУ),
• Підприємство ЮСТАР,
• Державне підприємство ”Львівський науково-дослідний радіотехнічний інститут”
(ЛНДРІ),
За два роки виконання проекту Ugrid на основі вивчення сучасного стану та тенденцій розвитку існуючих рішень, впроваджених у європейських та світових проектах Grid-середовищ, побудований освітянський сегмент національної Grid-інфраструктури, в який входять базовий ресурсно-операційного центр (БРОЦ) на базі НТУУ «КПІ», де функціонують Центр суперкомп’ютерних обчислень з потужнім кластером (www.hpcc.kpi.ua) і Світовий Центр Даних “Геоінформатика і сталий розвито “ (www.wdc.kpi.ua), а також п’ять регіональних ресурсно-операційних центрів (РРОЦ) в Харкові, Донецьку, Дніпропетровську, Запоріжжі і Львові

Основні результати проведених досліджень

Виконання проекту Ugrid здійснювалося за календарного плану робіт , який складався з 4-х етапів. Нижче розглядаються основні досягнення протягом кожного етапу.
Перший етап роботи (УІ.2007 - ІХ.2007):
• проведено аналіз концепції, архітектури та ресурсів сучасних Grid-систем , систематизовано відомості про методи побудови архітектури розподілених систем з використанням технології Grid;
• побудовано Grid-інфраструктуру сегменту МОНУ з 6-тю ресурсно - операційними центрами (в Києві, Харкові, Донецьку, Дніпропетровську, Запоріжжі і Львові) і розпочато віддалене обслуговування майбутніх користувачів-науковців з університетів та наукових установ України. Звичайно, що ця початкова Grid-інфраструктура може добудовуватися, а число її центрів і розробників з організацій МОНУ і академічних інститутів НАНУ буде зростати. Цьому сприяє фрактальність Grid-інфраструктури, тобто така її властивість, коли система подібна самій собі на кожній, різній за масштабом ділянці;
• у червні 2007 року підписана Угода з європейською організацією DANTE про підключення Національної науково-освітньої мережі УРАН (www.uran.net.ua) до Європейської мережі GEANT-2. Мережа УРАН (URAN - Ukrainian Research and Academic Network) створена зусиллями Міністерства освіти і науки України (МОНУ) і Національної Академії наук України (НАНУ) для забезпечення установ, організацій і фізичних осіб в сферах освіти, науки і культури України інформаційними послугами на базі Інтернет - технологій для реалізації професійних потреб і розвитку цих галузей. Головний центр управління мережею міститься в Києві, а регіональні центри - в найбільших науково-освітніх центрах України - Харкові, Дніпропетровську, Донецьку, Одесі, Львові, Сімферополі, Хмельницькому.

1
Рис.1. Мережа УРАН

Другий етап роботи ( Х.2007 – ХІІ.2007):
• проведено порівняльний аналіз складових компонентів відомих пакетів проміжного Grid- програмного забезпечення, на основі якого зроблено пропозицію використати у створенні Grid-середовища ПГЗ gLite, яке має широкий набір послуг, підтримує сервісно-орієнтовану архітектуру, широко застосоване у європейських проектах, має достатні можливості з модернізації та створенню додаткової функціональності; розглянуті основні шляхи подолання проблеми інтероперабельності різних існуючих ПГЗ.
• створений і вступив в дію тримовний інформаційний сайт проекту (www.grid.kpi.ua), інформаційні ресурси якого вже перевершили 80 Мб. Подібні сайти створені і в регіональних ресурсних центрах, наприклад, у Харкові (www.grid.kture.kharkov.ua);
• досягнута домовленість з європейською організацію EUGridPMA про створення в Україні Сертифікаційного центру, відповідального за реєстрацію Grid-ресурсів, реєстрацію віртуальних організацій (ВО) і користувачів,
• досягнута домовленість з НАНУ і розпочате об’єднання існуючих сегментів наукової й освітньої обчислювальної і комунікаційної інфраструктури НАНУ і МОНУ в єдину Українську Національну Grid - ініціативу (UNGI), яка інтегрована в Європейську Grid – інфраструктуру EGEE (Enabling Grids for E-sciencE) і EGI (European Grid Iniriatives) [5]
Третій етап роботи ( УІ..2008 – ІХ.2008):
• проведено підключення кластерів ІТФ НАНУ і НТУУ «КПІ» на основі ПГЗ NorduGrid для вивчення технологій віртуалізації обчислювальних ресурсів країни з одночасним підключенням до кластеру НТУУ «КПІ» 5-ти ресурсно - операційних центрів. Погоджена спільна учбова програма підготовки з Grid - технологій з університетами Кореї через організацію KOICA в Українсько-корейському Центру ІТ, реалізація якої вже розпочата;
• у січні 2008 року розпочав діяльність Сертифікаційний центр відкритих ключів для надання українським користувачам доступу до європейських ресурсів і сховищ даних. (www.сa.ugrid.org). Цей центр обслуговує зараз користувачів обох сегментів Grid-інфраструктури України ( академічного і освітянського);
• розроблено портал доступу SDGrid (www.sdgrid.org.ua) до Grid-інфраструктури як єдиної точки доступу користувачів до різнорідних інформаційних ресурсів і програм, який буде задіяний в ресурсно - операційних центрах для обслуговування і навчання користувачів. Grid портал являє собою програмно-апаратний комплекс, основними функціями якого є постановка завдань на обчислення у Grid-інфраструктурі, моніторинг стану обчислювальних ресурсів та ресурсів збереження даних, керування ресурсами та політиками безпеки Grid- інфраструктури, навчання користувачів, надання доступу до інших Grid-систем, побудова віртуальних організацій та інше. Заснований на Gridsphere з додатками для підтримки ПГЗ gLite, Globus 2/4, при чому Gridsphere забезпечує розробників надзвичайно ефективним механізмом в створенні нових програм, що використовують систему портлетів (рис.2)

2 Рис.2. Сторінка Grid- порталу

Четвертий етап роботи ( Х.2008 -ХІІ.2008):
• досліджена методологія використання Grid-технологій в вищій школі і створена експериментальна учбова програма з Grid-курсу; розпочата магістерська підготовка з напрямку «Grid-технології в науці і освіті». (Політехніка. 2008) і « Застосування Grid- технології в науці»( Політехніка, 2009) [6,7] і освіті розпочата підготовка відповідного підручника спільним авторським колективом фахівців МОНУ і НАНУ, організоване дипломне проектування магістрів і спеціалістів з Grid-технологій і результати найкращих робіт відображені на сайті проекту (www.grid.kpi.ua) в розділі "Підготовка кадрів для грід-технологій";  
• на базі розробленого порталу SDGrid створена віртуальна учбова Grid-система, за допомогою якої можна отримати перший досвід роботи в Grid-середовищі. Також на базі порталу SDGrid розроблена віртуальна лабораторія для демонстрації можливостей технологій Grid, в склад якої входять п’ять територіально-рознесених серверів: Web-сервер, сервер MyProxy, сервер CА (Сертифікаційний центр), НРС-сервер обчислювального ресурсу, сервер моніторингу і резервного копіювання, призначений для збору статистики про стан серверів учбової Grid-системи. За допомогою цієї віртуальної лабораторії можна отримати перший досвід роботи в Grid-середовищі. Цей досвід включає реєстрацію і отримання сертифікату MyProxy, проглядання файлів у каталозі, навігацію в межах каталогу, формування і запуск завдань, відстеження стану їх виконання тощо.
• Grid-сегмент МОНУ [8,9] (на відміну від Grid-сегменту НАНУ[10], який є Grid обчислювального типу - Computing Grid) можна віднести до Grid інформаційного типу (Data Grid), тому що проект Ugrid головним чином пов’язаний з забезпеченням обслуговування Українського Світового Центру Даних « Сталий розвиток і геофізика» (УСЦД), надаючи його клієнтам віддалений доступ до світових сховищ наукових даних, можливості ефективного сумісного використання комп’ютерів, унікальних експериментальних установок і приладів (www.wdc.kpi.ua).
УСЦД є складовою частиною системи Світових Центрів Даних (рис.3), яка створена та підтримується Міжнародною Радою з науки. Вона збирає, зберігає й обмінюється даними з іншими центрами за такими напрямками: дослідження сталого розвитку та глобалізації, фізика твердої Землі, сонячно-земна фізика та інші
3

Рис.3. Розміщення СЦД у світі

Мапа з динамікою


Обчислювальні ресурси. Хоч офіційне фінансування проекту Ugrid розпочате лише у другій половині 2007 року, роботи з його виконання були розпочати зразу же після затвердження Державної програми. Так вже в жовтні 2006 року відбулося в присутності президента України В.А. Ющенка урочисте відкриття Центру суперкомп’ютерних обчислень і УСЦД . А ще раніше, в квітні 2006 року були встановлені партнерські стосунки з виконавцями європейського проекту BalticGrid.
Сьогодні після вже третьої модернізації продуктивні сит кластеру НУТУ «КПІ» становить 5, 83 Тфлопс\с, тобто 5,83 мільярдів операцій за секунду. Він налічує 44 вузла з двома чотирьох ядерними процесорами Intel Xeon E5440 ( 2.83ГГц та 8 Гб оперативної пам’яті у кожному) та 78 вузлів з двома двох ядерними процесорами Intel Xeon 5160 (3.00ГГц та 4 Гб оперативної пам’яті у кожному), тобто в цілому 624 обчислювальних ядер. При цьому використані мережа обміну даними: InfiniBand і операційна система Linux CentOS release 5.2.
Відмінністю кластера НТУУ «КПІ» є додаткова система з 128 ядерами, тобто з 16-тю двома чотирьох ядерними процесорами Intel Xeon E5345 (2.33 ГГц, 8 Гб оперативної пам’яті та диском ємністю 500 Гб у кожному), на якій встановлена операційна система MS Windows Server 2008 HPC Edition. Таким чинам вперше в України користувачам, які звикли до ОС Windows і до відповідних прикладних програм, надається можливість застосовувати паралельні обчислення з допомогою програми розпаралелювання MS MPI 2.0.1551.
Кластер Інституту кібернетики СКІТ-3 з своїми 5, 32 Тфлопс\с трохи поступився нашому. Але те, чий кластер - ІК НАНУ чи НТУУ «КПІ» - продуктивніше зараз для спожевачів країни не має значення, бо обоє вони разом з іншими вітчизняними кластерами об’єднані в одну Грід- мережу, завдання на обчислення в якій розподіляються автоматично менеджером ресурсів з врахуванням розміру задачі і наявності вільних обчислювальних ресурсів. Якраз в цій віртуалізації ресурсів полягає одна з переваг побудованої Grid-інфраструктури.
Поки що користувачі забезпечуються системою розпаралелювання обчислень OpenMPI 1.2.8 , компіляторами C++: intel 10.1, gcc 4.1.2 , прикладним ПЗ: типу GROMACS 4.0.2 (аналізатор динаміки молекул), GEMESS ( аналізатор структур кристалів), fftw 3.2 (бібліотека підпрограм для обчислення дискретного перетворення Фур’є) Включення кластеру НУТУ «КПІ» в Grid-інфраструктуру дозволяє його клієнтам використовувати ППЗ тику MATHEMATIСA і GAUSSIAN (комплекс програм визначення орбітальної густини молекул ) , придбане Інститутом теоретичної фізики (ІТФ) для академічного сегменту Grid-інфраструктури.
Найближчим часом ми очікує отримати паралельні версії програм ANSYS (реалізація методу скінчених елементів) і MATLAB від своїх корейських партнерів згідно з угодою про створення спільного Українсько-корейського Центру інформаційних технологій.

Наукові дослідження. Всі організації - учасники проекту (крім обов'язків з організації ресурсно-операційних центрів, забезпечення їх функціонування, підготовки і підтримки користувачів) проводили наукові дослідження в галузі сумісності проміжного програмного шару різних Grid - інфраструктур, забезпечення наскрізної інформаційної безпеки при об'єднанні національних Grid - інфраструктур чи їх сегментів, розробки додаткових сервісів для розширення кола можливих користувачів (окрім науки) на представників різних прошарків суспільства: інженерії, бізнесу, соціальної сфери тощо. Докладніше дослідження, що проводилися, виглядають таким чином:
НТУУ «КПІ» - створення порталу знань, дослідження сумісності (interoperability) проміжного програмного шару, створення Grid-орієнтованого програмного забезпечення для моделювання сучасних мікро-електронно-механічних систем (МЕМС);
НТУ Львівська політехніка - створення потужної системи збереження даних з використанням системи IBM BladeCenter QS21, що складається з 14 обчислювальних блейд- серверів на базі процесорів Cell та одного координуючого вузла;
ЗНТУ (Запорізький національний технічний університет) - дослідження паралельних структур генетичних алгоритмів за допомогою паралельно реалізованих багатошарових нейроних мереж та застосування кластеру для безпосередньої побудови нейронної мережі, побудова і реалізація алгоритму розпаралеленого репліка-методу, що базується на молекулярно-динамічному підході моделювання поверхневої термоактивованої дифузії у секундному діапазоні модельного часу;  
ХНУРЕ (Харківський національний університет радіоелектроніки) - дослідження використання Grid для побудови розподілених імітаційних систем моделювання, побудова програмного забезпечення для тестування продуктивності бібліотеки PVM;
ІПМЕ НАНУ (Інститут проблем моделювання в енергетиці) - дослідження методів використання Grid-технології для вирішення технологічних задач енергетиці, дослідження методів ефективного обміну інформацією між вузлами системи в HPC-кластері розподіленого доступу, методів використання реконфігурованих обчислень в Grid-комп’ютингу, чисельне моделювання нестаціонарних взаємозв'язаних електромагнітних, теплових і гідромеханічних процесів в електромагнітних системах на прикладі дослідження динаміки процесу взаємодії рівноважної повітряної плазми з металевим електродом (плазмоелектродної системи), розробка математичних моделей і комплексу програм, що дозволяють досліджувати процеси тепло-масо-переносу в технологічних каналах реактора РБМК-1000 при різних режимах його роботи і під час руйнування реактора, а також в об'єкті «Укриття» та ін.

Центри створення національної GRID інфраструктури на мапі України
Наступні етапи. Для надання дослідникам можливості використання ресурсів Grid при проведенні обчислень у звичних для них робочих середовищах, встановлених на персональних комп’ютерах, на кластері НТУУ «КПІ» встановлено програмне забезпечення NetSolve MATLAB / Mathematica / Fortran / C. Користувач не піклується тепер про те, де знаходиться, як виявляється і викликається потрібний йому Grid-ресурс; він тільки вказує ті критерії, за якими необхідно підібрати йому цей ресурс, і взаємодіє далі з цим ресурсом так само, як і з локальними ресурсами (процедурами, класами, програмами) його робочого середовища.
Розуміючи, що питання наповнення національної Grid-інфраструктури прикладними програмами для паралельних обчислень у різних галузях сучасної науки і техніки набуває в Україні особливого значення, виконавці проекту Ugrid планують приділити йому особливу увагу на наступному етапі виконання Державної програми ІКТ. Зокрема передбачається семантичного Web-порталу знань для забезпечення доступу до національних і світових інформаційних ресурсів.
За результатами проведених досліджень опубліковано більше 36 наукових робіт і тез доповідей на різних конференціях, серед яких однією з визначних була 21-ша конференція CODATA 2008: “SCIENTIFIC INFORMATION FOR SOCIETY – FROM TODAY TO THE FUTURE”, присвячена використанню наукових даних в сьогоднішньому суспільстві і суспільстві майбутнього. Декілька секцій цієї конференції були присвяченні підведенню підсумків досліджень з Grid - проектів, виконаних організаціями НАНУ і МОНУ [7-10], і на цих звітах був присутній доктор Роберт Джонс з ЦЕРН, директор найбільшого в світі Grid-проекту EGEE (Enabling Grids for E-sciencе – Grid- нфраструктури для е-науки), який в своїй пленарній доповіді високо оцінив стан Grid- розробок в Україні.
В 2008 році були схвалені головні засади нової Державної програми з впровадження і застосування Grid - технологій в Україні на 2009-2013 роки, замовниками якої вперше в історії країни спільно виступили Національна Академія наук України (НАНУ)і Міністерство освіти і науки України (МОНУ), а сама Державна програма розпочата з 2009 року.

Література

1. Zgurovsky. M. Z. Development of Educational and Research Segment of Information Society in Ukraine. - //Proc. WSIS .-Tunis.- 2004.-P.103-107.
2. Zgurovsky. M. Z. Development of Educational and Research Segment of Information Society in Ukraine. –//Системні дослідження та інформаційні технології.-Київ.-2006.=№1.-С.7-17.
3. Петренко А.І. Національна Grid - інфраструктура для забезпечення наукових досліджень і освіти.- // Системні дослідження і інформаційні технологіі, -Київ.- №1- 2008..-C.79-92.
4. Zgurovsky M.Z. Impact of the Information Society on Sustainable Development: Global and Regional Aspects.- Data Science Journal, Volume 6, Supplement, 11 March 2007
5. Zagorodny A., Zgurovsky M. , Zinovjev G. , Petrenko A. , Martynov E. Integrating Ukraine into European Grid Infrastructure.- // Системні дослідження і інформаційні технології. - , -Київ.- №3- 2009..
6. Петренко А.І. Вступ до Grid технологій в науці і освіті (навчальний посібник).-Київ.-Політехніка.-2008.-120 с.
7.. Петренко А.І. Застосування Grid технологій в науці і освіті .-Київ.-Політехніка.-2009.-144 с.
8. Petrenko A.I.”Development of GRID-infrastructure\for Educational and Research segment of Information Society in Ukraine with focus on Ecological monitoring and Telemedicine”. - Data Science Journal, Volume 6, Supplement, 14 April 2007
9. Petrenko A., Velichkevich S., Alenin O. Educational segment of Ukrainian Grid infrastructure.- // Proc. of the 21-ST codata Conference.-Kiev.-3-8 Octomber 2008.
10. Zinovjev G., Martynov E., Svistunov S. Academic segment of Ukrainian Grid infrastructure,- // Proc. of the 21-ST codata Conference.-Kiev.-3-8 Octomber 2008


 

 

 

 

 

Ukrainian (UA)Russian (CIS)English (United Kingdom)