Grid як четвертий етап розвитку інформатизації

Grid як четвертий етап розвитку інформатизації

У найближчі десятиліття можуть зникнути з ужитку звичні нинішнім спеціалістам персональні комп’ютери, сервери, локальні мережі та ін., тому що обчислювальні й інформаційні послуги перетворяться на такі ж комунальні зручності, як електрика та водогін сьогодні; а окремі комп’ютери з багатоядерними процесорами розчиняться у глобальній інформаційній інфраструктурі Grid. Спочатку Grid технології призначалися для вирішення складних наукових і інженерних задач, які неможливо вирішити в розумні терміни на окремих обчислювальних установках. Однак тепер сфера застосування технологій Grid не обмежується лише цими типами задач. Із розвитком Grid проникає в промисловість і бізнес, претендуючи на роль універсальної інфраструктури для обробки даних, у якій функціонує безліч служб (Grid Services), що не лише дозволяють вирішувати конкретні прикладні задачі, а й пропонують послуги з пошуку необхідних ресурсів, збору інформації про стан ресурсів, зберігання і доставки даних.

Інформатизація ввійшла сьогодні у четвертий етап свого розвитку. Перший був пов’язаний із появою великих комп’ютерів (мейнфреймів), другий — зі створенням персональних комп’ютерів, третій — із появою Інтернету, який об’єднав користувачів у єдиний інформаційний простір шляхом сумісного доступу до інформації. З початком XXI століття почався перехід на нові Grid-технології, коли на зміну вже звичному Інтернету з його web-послугами йде всесвітня Grid-мережа як засіб сумісного використання обчислювальних потужностей та сховищ даних. Grid дозволяє вийти за рамки простого обміну даними між комп’ютерами і зрештою перетворити їхню глобальну мережу на свого роду гігантський віртуальний комп’ютер, доступний у режимі віддаленого доступу з будь-якої точки, незалежно від місця розташування користувача.

Слід визнати, що ідеї Grid поки що не дуже поширені. Але ж не так давно (якихось вісім—десять років тому) Інтернет і Web теж були відомі лише вузькому колу професіоналів. Однак у 2006-му кількість користувачів Інтернету перевалила за мільярд. Мабуть, попри бажання, важко знайти людину, котра хоча б не чула цих слів. Є підстави вважати, що згодом і Grid набуде не меншої популярності. Його теперішній стан можна порівняти з Інтернетом «зразка» 1997 року і визнати, що потенціал і темпи зростання Grid аж ніяк не нижчі, ніж були тоді.

Якщо перекладати дослівно, Grid означає «ґрати». Погодьтеся, асоціації, пов’язані в нашій мові з цим словом, зовсім не відповідають смислу вільної кооперації комп’ютерів для високопродуктивних обчислень, закладеному в технологіях Grid. Найближче за смислом, мабуть, power grid — мережа електроживлення, розподілений ресурс загального користування, коли кожен може легко під’єднатися через розетку і використовувати стільки електроенергії, скільки йому потрібно. Аналогічно користувачі з допомогою Grid отримують можливість прямого підключення до віддаленої обчислювальної мережі, не цікавлячись, звідки беруться необхідні для роботи обчислювальні ресурси й дані, які для цього використовуються лінії передачі, паролі чи протоколи тощо. При цьому аналогом інфраструктури електричних мереж (ліній електропередачі, підстанцій, трансформаторів і ін.) виступає Grid — проміжний програмний шар, або MiddleWare.

Що дає Grid вченим

Формально авторами концепції Grid вважають Яна Фостера з Арагонської національної лабораторії Чиказького університету і Карла Кессельмана з Інституту інформатики Університету Південної Каліфорнії. Саме вони 1998 року вперше запропонували термін Grid-комп’ютинг (Grid computing) для позначення універсальної програмно-апаратної інфраструктури, що об’єднує комп’ютери та супер¬ком¬п’ютери в територіально-розподілену інформаційно-обчислювальну систему. За їхнім визначенням, яке стало вже класичним, «Grid — узгоджене, відкрите й стандартизоване середовище, яке забезпечує гнучкий, безпечний, скоординований розподіл ресурсів у рамках віртуальної організації». Зазвичай слово «комп’ютинг» або «метаком¬п’ютинг» вживають там, де на основі окремих комп’ютерів будують системи вищого рівня. До цього слова цілком можна звикнути (звикли ж автомобілісти до слова «тюнінг», екологи — до «моніторингу», спортсмени — до «дайвінгу», а всі ми разом — до «шопінгу»). До речі, і саме слово «комп’ютер» теж входило в нашу мову не легко, замінивши словосполучення «електронна обчислювальна машина», яке важко перекладати. Тож і слово «комп’ютинг», можна сподіватися, замінить еквівалентну йому фразу «послуга на виконання обчислень або обробки даних на комп’ютері».
Grid-комп’ютинг — новий клас інфраструктур, у яких із віддалених ресурсів будується безпечний і масштабований обчислювальний механізм у складі комп’ютерів, від настільних і до суперкомп’ютерів, програмних пакетів та пристроїв введення/виведення. В основі Grid лежать програмні технології, які використовують нові стандарти і протоколи разом із відомими мережевими й інтернет-протоколами. Час покаже, чи варто записувати назву Grid кирилицею.
Ідея ефективнішого використання обчислювальних потужностей шляхом з’єднання безлічі комп’ютерів у єдину структуру зародилася серед наукової спільноти порівняно давно — в епоху великих комп’ютерів. Вже у 80-ті роки вчені (насамперед фізики-ядерники) для розв’язання складних математичних задач намагалися об’єднувати ресурси окремих робочих станцій і використовувати вільні ресурси центральних процесорів для зменшення часу обробки своїх даних. Звичайний шлях розвитку обчислювальних мереж в організації приблизно такий. Спочатку невелика група користувачів, яка виконує наукові або інженерні розрахунки, вирішує об’єднати свої ресурси на основі простих правил і домовленостей. Це можна легко зробити на основі програмного забезпечення, що вільно розповсюджується. Успішний досвід приживається, і незабаром інші групи користувачів йдуть тим же шляхом. Таких груп стає дедалі більше, і в них виникає цілком законне бажання обмінюватися ресурсами, заповнюючи вільні обчислювальні потужності. Тут уже простими домовленостями обмежитися важко, необхідно впроваджувати якісь технічні засоби обліку та «взаєморозрахунків».
Технологія управління розподіленими ресурсами — одне з найважливіших завдань. Вона спрямована насамперед на забезпечення керованості інформаційної інфраструктури в умовах зростання навантаження і збільшення кількості компонентів мережі. Принципи роботи системи управління завданнями добре відомі: це черга, пошук вільних ресурсів, диспетчеризація, політики та пріоритети. Мережева система управління завданнями була реалізована досить давно, однак застосування технологій Grid дозволяє будувати систему управління розподіленими обчислювальними ресурсами. У такій ситуації користувачу вже не важливо, на якому конкретному вузлі мережі виконується його завдання; він просто споживає певну кількість віртуальної процесорної потужності, наявної в мережі.
Є кілька причин, які спонукають учених використовувати Grid-технології.
По-перше, часто необхідно обробити величезну кількість даних, які зберігаються в різних організаціях (можливо, розміщених у різних частинах світу). Прикладом може служити завдання обробки знімків Землі, отриманих із супутників.
По-друге, необхідно під час досліджень виконати величезну кількість обчислень. Наприклад, моделюючи вплив тисяч молекул (потенційних лікарських препаратів) на білки під час пошуку ліків від певних хвороб.
По-третє, наукова команда, члени якої працюють у різних куточках земної кулі, хоче спільно використовувати великі масиви даних, швидко й інтерактивно виконувати їх комплексний аналіз, візуалізувати та обговорювати результати в онлайновому режимі.
Зрозуміло, завдання, які при цьому вирішуються, мають велике значення для різних фундаментальних наукових досліджень та проектних робіт. До таких завдань можна зарахувати вивчення еволюції протопланетної речовини, планет і Землі; загальне метеорологічне прогнозування та прогноз різних стихійних лих (цунамі, землетрусів, вивержень вулканів); моделювання й аналіз експериментів у ядерній фізиці; дослідження в галузі нанотехнології, проектування аерокосмічних апаратів і автомобілів, розшифровування ДНК й ідентифікація протеїнів тощо. Напевно, незабаром простіше буде назвати наукову дисципліну, в якій суперкомп’ютери та розподілені обчислення ще не застосовуються. Серед ключових чинників, котрі сприяють впровадженню Grid, не лише можливість гнучкої адаптації інфраструктури до нових вимог, а й підвищення ефективності використання наявних обчислювальних та людських ресурсів, оскільки, спільно працюючи над різними проектами, фахівці використовують одну й ту ж саму інфраструктуру.
Grid у світі
Обмежимося лише переліком найвідоміших Grid-проектів, уже здійснених протягом останніх кількох років або таких, які перебувають у стадії реалізації. 2001 року в США стартував проект TeraGrid, фінансований Національним науковим фондом, основним завданням якого стало створення розподіленої інфраструктури для високопродуктивних обчислень. У травні 2004 року Європейський Союз створив аналог американської TeraGrid — консорціум DEISA, частково фінансований у рамках 6-ї Рамкової програми, що об’єднав у Grid-мережу провідні національні суперкомп’ютерні центри ЄС. Наприкінці березня 2004 року завершився трирічний європейський проект DataGrid, у рамках якого було побудовано тестову інфраструктуру обчислень та обміну даними для потреб європейської наукової спільноти. На основі цих розробок було розпочато новий міжнародний проект створення високопродуктивної наукової Grid-мережі EGEE (Enabling Grids for E-scienc), що виконується під керівництвом швейцарського ЦЕРН (Європейського центру ядерних досліджень, Женева) і фінансується Європейським Союзом та урядами країн-учасниць. На цей час у проект входять 70 наукових установ із 27 країн світу. У рамках цього проекту має бути побудований найбільший у світі Grid із сумарною обчислювальною потужністю 20 000 потужних процесорів.

Провідна роль ЦЕРН визначається тим, що 2007 року там планується запуск найбільшого у світі прискорювача елементарних часток (LHC, великого адронного колайдера), який буде джерелом величезного обсягу інформації. Нова комп’ютерна інфраструктура, що створюється передусім під LHC, повинна забезпечити ефективну обробку інформації, очікуваний середньорічний обсяг якої оцінюється в 10 Пбайт (1 Пбайт ~1024 Тбайт). Однак завдання EGEE не обмежується ядерною фізикою і полягає в тому, щоб реалізувати потенціал Grid і для багатьох інших науково-технологічних галузей. Так, у найближчих планах керівництва проекту — створення окремого біоінформаційного «Grid-блоку».

У тісній взаємодії з проектом EGEE розвивається і магістральна європейська мережа для освіти та науки — GEANT. У середині минулого року міжурядова організація DANTE оголосила про запуск науково-освітньої мережі нового покоління GEANT 2, що охоплює 3 млн. користувачів із 3,5 тис. академічних установ, розміщених у 34 європейських державах. Нова мережа якісно змінить обробку інформації радіоастрономічних комплексів, реєструючі системи яких розташовані на значній віддалі одна від одної, а також обслуговуватиме ЦЕРН, передаючи дані після запуску LHC. 2005 року Єврокомісія підготувала спеціальну програму вартістю 13 млрд. євро, у рамках якої Grid-комп’ютингу відводиться роль стимулятора і надзвичайно важливого ресурсу для перетворення Євросоюзу в «найбільш конкурентоспроможну у світі економіку знань».
Сполучені Штати сьогодні — незаперечний світовий лідер у практичній побудові Grid-мереж. 2004 року Джордж Буш офіційно оголосив про початок роботи президентської стратегічної Grid-програми (Strategic Grid Computing Initiative), основна мета якої — «створення єдиного національного простору високопродуктивних обчислень». На даний час у США вже успішно функціонують чотири національні Grid-мережі, які перебувають під турботливою опікою ключових державних відомств: комп’ютерна мережа національного фонду наукових досліджень, інформаційна мережа підтримки НАСА, глобальна інформаційна мережа міністерства оборони та мережа суперкомп’ютерної ініціативи міністерства енергетики. Під керівництвом Пенсільванського університету США на базі Grid-технологій створено Національний цифровий центр мамографії із загальним обсягом даних 5,6 петабайта, що дає медикам можливість швидкого доступу до записів мільйонів пацієнтів.

Свою чималу лепту у становлення Grid-технологій вносять і приватні американські компанії. Так, корпорація Google, відома в усьому світі завдяки своїй інформаційній пошуковій системі, оголосила проект побудови глобальної Grid-системи, що перетворює комп’ютинг на споживчу послугу. У рамках цього проекту всі комп’ютерні пристрої (ПК, мобільний телефон, телевізор тощо) стають просто терміналами, які будуть включені в серверний Grid Google із послугами доставки інформації на будь-який пристрій у будь-якій точці світу.
З 2000 року ведуться роботи з освоєння Grid-технологій і в Китаї. Тривалий час інформація про те, на якій стадії перебуває реалізація проекту ChinaGrid, була фактично засекречена. Інформаційна бомба вибухнула в середині липня 2006 року, коли китайські ЗМІ привселюдно оголосили про завершення роботи над китайським освітнім Grid-проектом (China Educational Grid Project, CEGP). CEGP об’єднав комп’ютерні мережі кількох десятків найбільших університетів країни і надав мільйонам китайських студентів прямий доступ до баз даних, онлайнових навчальних курсів та сервісних придатків із найрізноманітніших напрямів та дисциплін. У січні 2006 року в Афінах було офіційно оголошено про початок виконання фінансованого Європейською комісією спільного Grid-проекту Європейського Союзу і Китаю (EUChinaGRID). Головна його мета — об’єднання європейських та китайських Grid-інфраструктур для підвищення ефективності спільного використання різних наукових придатків, які працюють у Grid-середовищі. Запланований стратегічний альянс ЄС і Китаю цілком можна розглядати як одну з перших спроб створення сильної «Grid-противаги» претензіям США на світове лідерство у цих великомасштабних технологічних перегонах. Незабаром до цього альянсу може підключитися й Індія, що також оголосила про початок реалізації власного національного Grid-проекту GARUDA, який передбачає об’єднання у Grid-мережі 17 найбільших науково-дослідних центрів країни.

Основні ресурсні елементи Grid-мереж — це суперкомп’ютери та суперкомп’ютерні центри, а найважливіша інфраструктурна складова — високошвидкісні мережі передачі даних. Завершується будівництво всесвітньої комп’ютерної мережі GLORIAD у Північній півкулі, що об’єднуватиме обчислювальні ресурси різних науково-дослідних організацій США, Канади, Європи, Росії, Китаю та Південної Кореї (знову-таки, переважно фізичних центрів). Сьогодні бездротовий Інтернет (Wi-Fi) впроваджується як свого роду електронна «комунальна служба» в окремих містах (Філадельфія, наприклад) чи навіть в окремих країнах (Сінгапур).

Суперкомп’ютери, не об’єднані в територіально-розподілену систему, мають як мінімум три істотних недоліки. По-перше, це дуже дорога техніка, яка швидко морально старіє (суперкомп’ютери з першої сотні рейтингу Top-500 уже через два-три роки, як правило, опиняються в самому хвості цього списку чи взагалі випадають із нього). По-друге, обчислювальні потужності суперкомп’ютерів практично не піддаються серйозній модернізації, що найчастіше не дозволяє використовувати їх для вирішення задач нового рівня складності. І, нарешті, третій «великий мінус» — низький ККД використання суперкомп’ютерів внаслідок нерівномірності завантаження процесорів. В ідеалі цих недоліків можна позбутися, об’єднавши суперкомп’ютери у Grid-мережу. Однак для ефективної експлуатації Grid-мереж спочатку необхідно досягти домовленості у сфері стандартизації (визначення стандартів служб, інтерфейсів, баз даних тощо).
Автори ідеї Grid-комп’ютингу Фостер і Кессельман стояли й біля витоків розробки першого стандарту побудови Grid-мереж, вільно поширюваного проміжного програмного шару Глобус (Globus), що став міжнародним стандартом де-факто. У Європі на базі Глобусу в ЦЕРН виконано модифікацію проміжного шару gLite, покладеного в основу згаданої європейської Grid-мережі EGEE для наукових досліджень. Основне завдання, яке вирішується у Grid, — це забезпечення доступу до ресурсів, а оскільки ресурси розподілені, то функціонування мережі забезпечується спеціальними службами (складання каталогів ресурсів і відстеження їхнього стану, авторизації клієнтів і їх доступу до ресурсів; кооперації та координації при використанні ресурсів, забезпечення безпеки та ін.). Доступ до ресурсів здійснюється на основі створення Віртуальної організації (ВО), що складається з підприємств і окремих фахівців, які разом використовують спільні ресурси.

Чому саме зараз так широко заговорили про Grid?

Швидкі темпи розвитку глобальних мереж, непропорційне збільшення числа транзисторів на мікросхемах і зростання пропускної спроможності мереж дали величезний поштовх до розвитку розподілених систем обчислень, а також розподілених систем зберігання і обробки даних. По-перше, для того, щоб зв'язати безліч комп'ютерів в єдину Grid потрібні якісні мережі передачі даних. Американський вчений Джон Гилдер писав: "Коли мережа працює також швидко, як внутрішні шини комп'ютера, комп’ютер розщеплюється по мережі як набір спеціалізованих пристроїв." Звичайно, пропускна спроможність і швидкість мереж ще недостатні, але вони дуже швидко розвиваються. Якщо число транзисторів комп'ютерної мікросхеми подвоюється кожні 18 місяців, то швидкість мережі передачі даних подвоюється всього за 9 місяців.

По-друге, в світі з'являється все більш складні завдання і накопичуються всі великі об'єми даних. І для вирішення цих суперзавдань і обробки цих величезних масивів даних вже не годяться звичайні комп'ютери. Останнім часом бурхливо розвиваються такі області, як аналіз даних, сховища даних, вилучення знань (DataMining). Вже не рідкість бази даних розміром в декілька терабайт. І об'єм цих баз швидко росте. Сьогодні сучасні СУБД підтримують бази даних розміром в 8 экзобайт. По прогнозах аналітиків до 2015 г бази розміром більше 1000 петабайт стануть звичайним рішенням і міститимуть тексти, графіку, відео, файли і т д.

Третьою, дуже важливою причиною бурхливого розвитку концепції Grid сьогодні є те, що він дозволяє отримати результат швидше і дешевше. Дійсно, запитавши більший чим раніше обчислювальний ресурс, ми можемо реалізувати складніші і точніші алгоритми розрахунку і отримувати точніші результати набагато швидше. Ефективніше використання устаткування і виключення простоючого устаткування понизять вартість експлуатації і кількість устаткування, що купується і підтримується.

Grid дає можливість об'єднати обчислювальні ресурси в єдину множину і управляти цією множиною як єдиною системою, що знижує витрати на адміністрування. Оскільки неможливо адмініструвати програмне забезпечення на сотнях і тисячах комп'ютерів одночасно, реалізується ціла інфраструктура самонастроювання, самотестування, само- конфігурації. Тобто необхідність складного адміністрування окремих вузлів відпадає і це теж знижує витрати на адміністрування. Управління всієї Grid системою можливо ''с єдиного пульта''.

Ще однією важливою перевагою Grid є те, що як її елементи можна використовувати дешеві комп'ютери і операційні системи. Так Oracle будує свої Grid для розробки на основі дуже дешевих плат- комп'ютерів з ОС Linux. Кожен такий комп'ютер – це практично одна спрощена плата. Вона не містить надмірних елементів (таких як графічні адаптери, звукові адаптери і т д). Проте з цих плат-комп'ютерів можна збирати цілі шафи, що складаються з безлічі таких плат-комп'ютерів. Причому додавання таких нових комп'ютерів не набагато складніше, ніж додавання книжок в книжкову полицю.

Четвертою причиною настання GRID епохи є економічні реалії. Кризи і уповільнення розвитку економіки примушують компанії ретельніше рахувати гроші і скорочувати витрати і персонал. В першу чергу часто скорочуються витрати на IT. Тому Grid технології, які дозволяють економити гроші на експлуатації систем, зараз дуже популярні серед тих, хто уміє рахувати свої гроші.

П'ятою причиною є те, що росте кількість людей, знайомих з термінами Grid, віртуалізацією ресурсів, обчисленнями як комунальна послуга і т.д. Збільшилося число публікацій, концепція достатньо зрозуміла і вже самі замовники і відділи IT вимагають впровадження Grid технологій.

Як шоста причина можна відзначити те, що вже розроблені стандарти Grid. Багато великих фірм – виробники комп'ютерів і програмного забезпечення - беруть участь в Global Grid Forum, некомерційній організації, що розробляє стандарти побудови Grid. Причому розробляються не тільки стандарти, але і інструментарій для реалізації цих стандартів. Так зараз придбав велику популярність пакет Globus Toolkit і йде розробка нової версії Grid архітектури – OGSA (Open GRID Service Architecture).

Як сьома причина слід зазначити поява досвіду реалізації концепції Grid і реальних проектів, побудованих на основі цієї концепції. Першими були такі проекти , як SETI (пошук слідів позаземних цивілізацій), проект пошуку простих чисел, проект CERN (обробка результатів фізичних досліджень). Зараз реалізується безліч нових Grid-проектів, наприклад, BioInfoGrid project ( http://www.bioinfogrid.eu),

Interactive European Grid project (http://www.interactive-grid.eu), BalticGrid project (http://www.balticgrid.org), EU-ChinaGrid project (http://www.euchinagrid.eu ),

EU-IndiaGrid project (http://www.euindiagrid.eu), Health-e-child project (http://www. health-e-child.org), Biomed project (http://www.biomed.org), Women's Health Information Center (http://women-health-center.info), HealthGrid project (http://www.healthgrid.org ), OMII-Europe project (http://www.omii-europe.org),

ETICS project (http://www.eu-etics.org), ISSeG project (http://www.isseg.eu),

National Grid Service project (http://www.ngs.ac.uk), GridPP project (http://www. gridPP.ac.uk),P-Grade Portal Alliance project (http://www.portal.p-grade.hu/).

DILIGENT project (http://www.diligentproject.org/), BELIEF project ( http://www. beliefproject.org), BME Innovation and Knowledge Centre of Information Technology (http://www.itk.bme.hu ) і так далі.

І нарешті остання, але подаруй найбільш важлива причина бурхливого розвитку Grid сьогодні – це те, що основні виробники комп'ютерів і програмного забезпечення почали промислову реалізацію і продаж продуктів, що дозволяють будувати Grid. Ми вже згадували про плат-комп'ютери, їх випускають різні виробники. Компанія HP почала продаж продукту HP Utility Data Center, який дозволяє об'єднувати в Grid комп'ютери фірми HP і управляти ними з єдиного центру. Схожі рішення є і у компанії SUN, це Sun One Grid Engine. Дуже багато в області Grid робить компанія IBM, Intel. Компанія Oracle створила Oracle 10G (буква G якраз і означає Grid), який є платформою для реалізації додатків в середовищі Grid (дозволяє віддалено переключати комп'ютери з серверів кластерів в сервери додатків і та інші.

На кого розрахована Grid інфраструктура?

Потенціал технологій Grid вже зараз оцінюється дуже високо: він має стратегічний характер, і в близькій перспективі Grid повинен стати обчислювальним інструментарієм для розвитку високих технологій в різних сферах людської діяльності, подібно тому, як подібним інструментарієм сталі персональний комп'ютер і Інтернет.

Україна отримує можливість „на рівних” співпрацювати з країнами Європейського Союзу по створенню і провадженню технології 21-го століття – Grid, яка забезпечує сумісний доступ до комп’ютерних ресурсів (які змінюються від файлів і даних до комп'ютерів, сенсорів і мереж ), реалізує різноманітні режими їх використання, забезпечує суворий контроль, управління і організацію системи безпеки; підтримує гетерогенність мережі , баланс навантаження на обчислювальних вузлах та інше.

Наведемо основні співтовариства, які мають потребу сьогодні в застосуванні Grid -технологій.
• Урядові організації, (службовці, експерти і науковці), що традиційно займаються питаннями національної безпеки, довгостроковими дослідженнями і плануванням.
• Організації охорони здоров'я, Grid сегмент яких відрізняють відносно невеликі розміри, централізоване управління і складність корпоративної інфраструктури.
• Співтовариства вчених , яким необхідна віртуальна Grid мережа , що характеризується універсальним доступом, відносно вузькою спрямованістю, динамічно змінним складом користувачів, децентралізованістю управління, а також частим сумісним зверненням до існуючих ресурсів. Схожа модель може бути використана для міжгалузевих, міжвідомчих і міждисциплінарних дослідницьких груп і т.п.; Прикладом такого співтовариства вчених може бути участь фахівців Інституту теоретичної фізики НАНУ в виконанні завдань проектів ALICE, CMS, що проводяться ЦЕРНом в галузі фізики високих енергій.
• Співтовариство, що охоплює весь існуючий ринок обчислень. Цьому співтовариству властиво велике число учасників, відсутність постійних схем і варіантів взаємодій.
Фактично національна Grid - інфраструктура необхідна лише для того, щоб користувач міг запитати і отримати ті або інші ресурси від їх власників.

Grid в Росії і Україні

Як відомо, ініціатором і координатором робіт по упровадженню в Європі Grid інфраструктури EGEE (Enabling Grids for E-science in Europe), здатної надати європейському науковому співтовариству можливість сумісного використовування даних і обчислювальних ресурсів, виступив ЦЕНР (Європейський центр ядерних досліджень). ЦЕРН активно привертає співробітників фізичних інститутів Росії, України і інших країн для обробки і аналізу експериментальних даних з свого Великого адронного коллайдера (LHC) . найбільшого прискорювача в області фізики елементарних частинок. Інфраструктура EGEE будується на дослідницькій сіті Європейського союзу GEANT і забезпечує можливість спільної роботи з іншими Grid системами у всьому світі, включаючи США і Азію, що сприяє встановленню всесвітньої Grid-інфраструктури
З 2007 року розпочинається розбудова Європейської Grid інфраструктури (EGI), функціонування якої планується на постійній основі у вигляді скоординованої мережі національних Grid інфраструктур (NGI). ЦЕРН залишає за собою загальну координацію і відповідальність за модернізацію проміжного слою middleware і систему загальної безпеки.
Як до цієї події готувалися Росія і Україна, що були залучені ЦЕРН до виконання своїх професійних Grid проектів майже одночасно. В Росії в 2003 році був утворений консорціум РДІГ (Російський ГРІД для інтенсивних операцій з даними – Russian Data Intensive GRID, RDIG), покликаний забезпечити ефективне поширення в Росії інфраструктури EGEE із одночасним залученням інших організацій з різних областей науки, освіти і промисловості. До його складу увійшли одинадцять провідних фізичних інститутів, чотири університети і Геофізичний Центр РАН. Консорціум бере активну участь в діяльності EGEE - RDIG, створивши наступні групи управління Grid інфраструктурою: операціями в Європейському Grid ( SA1); підтримки і менеджменту (SA2); забезпечення мережними ресурсами (SA3); інтеграції, тестування і сертифікації (SA4); загального менеджменту (NA1); розповсюдження, обміну досвідом і представництва (NA2); навчання користувачів і їх атестації (NA3); перевірки і підтримки додатків.( NA4); політики і міжнародної співпраці (NA5). Для інформаційної підтримки консорціуму РДІГ розроблений портал www.egee-rdig.ru, а для залучення нових користувачів з інших сфер діяльності створений Grid Сертифікаційний Центр з видачі користувачам Відкритих Ключів (СА), що вводяться з метою забезпечення інформаційної безпеки. Сьогодні в Росії функціонують як європейські віртуальні організації (ВО), наприклад, з фізики високих енергій ( LHC – ATLAS, ALICE, CMS і ін.), біомедицини (ІМПБ РАН), так і чисто російські ВO: з геофізики (ІФЗ і ГЦ РАН), плавки ( РНЦ КИ), хімфизики (Черноголовка, МГУ), МГУгрід (НІВЦ, НІЇЯФ, ін-т Белозерського) і інші...
Успішна діяльність RDIG сприяла впровадженню Grid технологій за межі проекту EGEE : так останнім часом з’явилися повідомлення про російську Grid - інфраструктуру RISA для наукових додатків і проект NumGRID (Numerical Grid) з новими потужними гравцями Це Міжвідомчий суперкомп’ютерний центр РАН (МСЦ РАН ), в якому розташовані найпотужніші кластери країн СНД, і Інститут обчислювальної математики і математичної геофізики Сибірського відділення РАН. .

В Україні (http://uag.bitp.kiev.ua) за схожих стартових умов все виглядає скромнішим і має явно відомчий характер: два фізичні інститути (ХФТІ і ІТФ) залучені до ЦЕРН Grid проектів з фізики високих енергій; кластери ІТФ і КНУ підключені до мережі AliEn-Grid для обслуговування експерименту ALICE на прискорювачі LHC , вузол ХФТІ підключений до мережі ЦЕРН через Російський RDIG (хоч всі ці інститути не є офіційними партнерами з проекту EGEE-II на відміну від російських фізичних інститутів), декілька співробітників згаданих організацій оформили сертифікати доступу до ресурсів EGEE через Російську RDIG, тому що в той час не було національного Сертифікаційного центру; Інші Grid проекти виконуються також в Інституті космічних досліджень НАНУ-НКАУ (з обробки космічних знімків) і Головної астрономічної обсерваторії НАНУ (з задач астрофізики); Обчислені ресурси кластерів Інституту кібернетики НАНУ, ІТФ і КДУ імені Т.Г.Шевченка об’єднані з допомогою ПЗ NorduGrid. За ініціативою ІТФ в квітні 2006 року в НАНУ стартувала корпоративна програма «Впровадження Grid- технологій і створення кластерів в Національній академії наук України», зовсім не схожа на російський RDIG, бо не враховує повною мірою загальнонаціональні потреби і наукові інтереси вчених і організацій, що не працюють в системі НАНУ. Пояснюється це тим , що в НАНУ вважали, що перш, ніж претендувати на які національні задачі, потрібно Grid -технології освоїти на практиці, зробити працюючу систему, а вже потім запропонувати свої практичні напрацювання для упровадження в інших організаціях. Але не зрозуміло, чому ці інші організації повинні були чекати, коли для них НАНУ зробить те, що вони в змозі зробити самі?

Тим часом Програмою Кабінету Міністрів України від 7 2005г грудня. № 1153 „Інформаційні і комунікаційні технології в науці і освіті на 2006-2010 роки” ( Програма ІКТ) в країні була поставлена задача створення Національної Grid інфраструктури для наукових досліджень. Але НАНУ, маючи вже свою корпоративну програму Grid, в 2007 проігнорувала оголошений МОНУ тендер проектів за Програмою ІКТ і не подала відповідний проект. Тоді група з 10-ти організацій, що представляють два академічні інститути НАНУ, шість провідних вузів МОН і два промислові підприємства, узяла на себе відповідальність за долю Національної Grid інфраструктури і буквально за декілька годин до закриття тендеру МОНУ представила свій проект UGrid (Ukrainian Grid-infrastructure). Цей цілком самодостатній колектив, що мав все необхідне для реалізації проекту, все ж таки порахував необхідним оголосити про своє рішення відкрито у пресі і запросити до співпраці всіх, охочих брати участь в створенні Національної Grid інфраструктури, щоб можна було спільно повніше врахувати особливості Grid проектів, у виконанні яких зацікавлені різні групи користувачів. Це запрошення зберігається і зараз і в розділі „Завдання для досліджень” цього сайту, де приводяться теми таких завдань.
Зараз же перед країною стоїть насущна задача: почавши із запізненням порівняно з іншими європейськими країнами, створити Національну Grid інфраструктуру, яка повинна буде пройти міжнародний аудит і відповідно до нових вимог задовольняти наступним критеріям: мати державну підтримку, наприклад, шляхом включення проекту Grid інфраструктури в Державну програму з гарантованим фінансуванням; представляти інтереси всіх шарів суспільства ( вчених, вузівських працівників, промисловців, комерсантів і ін.); мати розгалужену структуру з координуючих, регіональних і ресурсних центрів, що забезпечують функціонування базових Grid сервісів, моніторинг і реагування на надзвичайні ситуації, ведення обліку ресурсів і виконаних робіт (асcounting), управління і підтримку віртуальних організацій (В), сертифікацію Grid ПЗ; базуватися на дотриманні міжнародних стандартів і правил; підтримувати безпеку інфраструктури, мати право генерувати сертифікати користувачів CA з відома EUGridPMA (системи Європейської Grid Аутентифікації); бути підключеною до GEANT, Європейської науково-освітньої комп'ютерноїмережі; мати керівні органи Grid інфраструктури у вигляді Ради з розвитку національної Grid інфраструктури, координуючих тематичних груп NA1 - NA4, SA1 – SA3 подібно з РДІГ.

Безумовно, Національну Grid інфраструктуру треба будувати спільними зусиллями організацій НАНУ, МОНУ і промисловості... Але потрібно зрозуміти і погодитися, що сьогодні в Україні є декілька гравців на цьому полі ( НАНУ, МОН, промисловість), які природним чином доповнюють один одного. На стороні НАНУ: авторитетне Відділення інформатики, істотні обчислювальні ресурси, практичний досвід об'єднання високопродуктивних обчислювачів в сіть, досвід проведення досліджень окремими вченими в реальних умовах європейських Grid проектів, багаторічний досвід алгоритмізації різноманітних наукових задач і розробки для них відповідних додатків, починаючи від задач фізики і біології і кінчаючи літературознавством.

На боці вузів МОН і промисловості : багаторічний досвід побудови і дослідження розподілених обчислювальних систем, зокрема, системи колективного мережного проектування виробів високих технологій на технологіях Grid; досвід участі в європейському проекті BalticGrid в якості асоціативного члена; порівняльне випробування ПО проміжного шару Globus, NorduGrid і gLite; офіційна угода з DANTE про підключення комп'ютерної сіті УРАН до європейської мережі GEANT; домовленість з EUGridPMA про заснування служби СА в Україні; величезний заділ з рішень науково- технічних і інженерних задач, починаючи від технічного і технологічного передбачення розвитку науки і техніки, вартості і наслідків рішень в цих галузях, пов'язаних з вибором пріоритетів і призначенням об'ємів фінансування на державному рівні або рівні підприємств, і кінчаючи моделюванням логічних схем з одно електронними нанотранзисторами; швидко наростаючі обчислювальні ресурси і найсучасніший досвід кластеробудування (фірма ЮСТАР); практично невичерпний резерв талановитої творчої молоді.

На зовнішньому просторі представники існуючих проектів UGrid і UAGI об’єдналися в єдиний проект від України UNGI ( Українська національна Grid ініціатива, УНГІ), що увійшов до складу європейської EGI. Тепер черга за координацією чи об’єднанням проектів з Grid, що проводяться організаціями НАНУ і МОНУ, в єдину дійсно національну Grid- інфраструктуру для наукових досліджень і освіти. Можна тільки радіти,що це сталося і всі українські зацікавлені організації і відомства об’єднані зараз навколо Державної цільової науково- технічної Програми впровадження Grid- технологій в 2009-2013 роках, офіційними замовниками якрї є Національна академія наук і Міністерство освіти і науки України.


Ukrainian (UA)Russian (CIS)English (United Kingdom)