Робоча навчальна програма дисципліни «Грід – технології для розподілених обчислень та обробки даних»

для напрямів підготовки (спеціальностей):
“6.050101 – Комп’ютерні науки”, спеціальність 7.080402 „Інформаційні технології проектування”

І. ЗАГАЛЬНІ ВІДОМОСТІ

1.1  Тема викладання навчальної дисципліни

Дисципліна "Грід – технології для розподілених обчислень та обробки даних" належить до циклу дисциплін професійної та практичної підготовки і базується на знанні дисциплін: "Основи алгоритмічного програмування", "Об’єктно-орієнтоване програмування", "Комп’ютерні мережі".

Загальна кількість кредитів ЕТС8 – 4,5,  номер за переліком дисциплін програми підготовки – НП-08

1.2 Місце навчальної дисципліни в системі професійних знань.

Навчальна дисципліна відноситься до циклу професійно-орієнтованих дисциплін. Вивчення дисципліни потребує наявності у студентів основних знань із загально-теоретичних та загально-інженерних дисциплін. Комплекс знань, що формується цією дисципліною, відноситься до засад фахової підготовки й від нього залежить якість підготовки спеціаліста. На базі набутих знань та умінь фахівець зможе використовувати Грід – технології  для вирішення складних  науково – практичних завдань.

Забезпечуючі дисципліни:  “Вступ до інформаційних технологій”, “Структури даних і алгоритми”, “Програмування та алгоритмічні мови”.


ІІ. РОЗПОДІЛ НАВЧАЛЬНОГО ЧАСУ

 

Семе­стр

Код кредит. модуля

Всього (кред./год)

Розподіл за видами занять (всього год./год. у тижні)

СРС

Модульні контрольні роботи

(кільк.)

Індивід. завдання

(вид)

Семестр. атестац.

Лекції

Практичні/
семінарські

Лабораторні/ комп’ют. практикум

10

НП-08

4,5/162

36/2

-

18/1

108

1

-

екзамен

 


ІІІ. МЕТА І ЗАВДАННЯ ДИСЦИПЛІНИ

Метою дисципліни є вивчення основ Грід-технологій, яки використовуються для  забезпечення наукових досліджень, та набуття практичних навичок використання Грід-технологій для вирішення науково-практичних завдань.


У результаті вивчення дисципліни студенти повинні:
знати: основи Грід-технологій, які дозволяють об’єднати обчислювальні ресурси та ресурси зберігання даних в єдину систему; архітектуру Грід-систем, які використувуються в Україні; принципи функціонування основних складових частин Грід-систем, технологію підготовки завдань для використання Грід-середовища;
уміти: вибирати і використовувати проміжне програмне забезпечення для вирішення науково – практичних завдань, адаптувати пакети прикладних програм до середовища Грід, використовувати вхідні мови для опису завдання і даних, відслідковувати та коригувати хід обчислювального процесу під час числового експерименту чи процесу моделювання.
набути навички: практичного використання найбільш поширеного проміжного програмного забезпечення, роботи на порталі доступу.
Навчальний процес з дисципліни складається з лекційних, лабораторних занять і самостійної роботи.


ІV.1. РОЗПОДІЛ НАВЧАЛЬНОГО ЧАСУ ЗА ТЕМАМИ

 

Найменування розділів, тем

Розподіл за семестрами та видами занять

Всього

Лекції

Практичн.

Семінар.

Лабор.роб.

Компют.

Практик.

СРС

Семестр 10

РОЗДІЛ 1. Концепція Грід

Тема 1.1. Вступ до Грід - технологій

6

2

4

Тема 1.2 Архітектура Грід. Обчислювальні ресурси грід.

6

2

4

Тема 1.3 Інтернет як складова частина грід. Український національний грід.

6

2

4

Тема 1.4 Забезпечення безпеки грід

6

2

2

2

РОЗДІЛ 2. Проміжне програмне забезпечення грід

Тема 2.1 Загальна структура проміжного програмного забезпечення.

6

2

4

Тема 2.2 Користувацький сценарій роботи в грід.

6

2

4

Тема 2.3 Структура та склад проміжного програмного забезпечення ARC

16

4

4

8

Тема 2.4 Структура та склад проміжного програмного забезпечення gLite.

14

4

4

6

Тема 2.5 Забезпечення функціональної сумісності та взаємодії грід – систем.

8

2

6

Тема 2.6 Інформаційна система грід. Моніторинг.

12

2

4

6

Тема 2.7 Планування ресурсів в грід системах.

10

2

2

6

Тема 2.8 Портали та мета планувальники.

8

2

6

Тема 2.9 Розробка сервісів грід

8

2

6

РОЗДІЛ 3 Нові напрямки в грід – технологіях

Тема 3.1 Грід для обробки даних

10

2

8

Тема 3.2 Семантичний грід

10

2

8

Тема 3.3 Cloud computing (хмарні обчислення)

8

2

6

Контрольна модульна робота з розділів 1 і 2

10

2

8

Підготовка до екзамену

10

10

Всього

162

36

18

108

 


 

IV.2. ЛЕКЦІЇ


РОЗДІЛ 1. Концепція  Грід

Тема 1.1. Вступ до Грід -  технологій
Лекція 1. Вступ до Грід -  технологій
1. Мета, завдання та зміст курсу.
2. Концепція Грід.
3. Історія розвитку Грід.
4. Приклади застосування Грід.
Завдання на СРС:
1. Еволюція Грід (перше, друге та трете покоління Грід).
2. Міжнародні Грід проекти (GrossGrid, EGEE, Grid2003, myGrid)
[Л1, с. 5-10, с. 55- 132],[Л2, с. 10-17],[Л5, с. 1-145].

Тема 1.2. Архітектура Грід. Обчислювальні ресурси Грід.
Лекція 2. Обчислювальні ресурси Грід.
1. Базові компоненти Грід - архітектури.
2. Обчислювальні ресурси.
3. Кластери.
4. Ресурси зберігання даних.
Завдання на СРС:
1.Основні напрямки розвитку обчислювальної техніки .
[Л4, с. 1-214], [Л2, с. 28-41].

Тема 1.3. Інтернет як складова частина грід. Український національний грід.
Лекція 3. Інтернет як складова частина грід.
1. Основні напрямки розвитку. Кіберінфраструктура.
2. Проект GEANT2.
3. Розвиток каналів зв’язку в Україні.
4. Грід в Україні.
5. Український національний Грід – проект UNGI для EGI .
Завдання на СРС:
1. Розвиток каналів зв’язку в Росії.
[Л2, с. 18-25].

Тема 1.4. Забезпечення безпеки грід
Лекція 4. Забезпечення безпеки грід
1. Особливості моделі безпеки Грід - сервісів.
2. Загальні принципи алгоритмів шифрування.
3. Ідентифікація користувачів та Грід - ресурсів.
4. Сертифікат відкритих ключів X.509
5. Віртуальні організації
6. Сценарії роботи користувача з сертифікатом
Завдання на СРС:
1. Делегування прав.
2. Сервіси керування віртуальними організаціями.
[Л2, с. 79-81].

РОЗДІЛ 2.  Проміжне програмне забезпечення грід

Тема 2.1 Загальна структура проміжного програмного забезпечення.
Лекція 5. Загальна структура проміжного програмного забезпечення.
1. Основні Грід - служби.
2. Підсистема керування завданнями.
3. Підсистема керування даними.
4. Інформаційна підсистема та підсистема моніторингу.
5. Підсистема безпеки та контролю прав доступу.
6. Підсистема протоколювання процесу оброблення завдань.
Завдання на СРС:
1. Підсистема обліку використання ресурсів.
2. Організація ресурсів зберігання даних .
[Л1, с. 21-28], [Л2, с. 54-78]

Тема 2.2 Користувацький сценарій роботи в грід.
Лекція 6. Користувацький сценарій роботи в грід.
1. Основні функції користувацького інтерфейсу.
2. Отримання сертифікату.
3. Опис завдання.
4. Команди відправки завдання в Грід.
5. Моніторинг виконання завдання.
6. Отримання результатів виконання завдання.
Завдання на СРС:
1. Типи завдань в Грід.
2. Методика підготовки завдання на Linux кластері.
3. Локальна система керування завданнями – PBS.
[Л5, с. 10 - 121]

Тема 2.3 Структура та склад проміжного програмного забезпечення ARC
Лекція 7. Структура та склад проміжного програмного забезпечення ARC
1. Проект NorduGrid.
2. Архітектура ARC (Advanced Resource Connector).
3. Інформаційна система.
4. Архітектура та алгоритм роботи Грід – менеджера ARC.
Завдання на СРС:
1. Архітектура та алгоритм роботи GridFTP.
[Л2, с. 82-84], [Л10, Л11, Л12,Л13, Л14, Л15, Л16, Л17,Л18]

Лекція 8. Структура та склад проміжного програмного забезпечення ARC  (продовження)
1. Виконання завдань в ARC.
2. Основні команди користувацького інтерфейсу ARC.
3. Мова опису завдання xRSL.
Завдання на СРС:
1. Моніторинг в ARC.
[Л10, Л11, Л12,Л13, Л14, Л15, Л16, Л17,Л18]

Тема 2.4 Структура та склад проміжного програмного забезпечення gLite
Лекція 9. Структура та склад проміжного програмного забезпечення gLite
1. Проект LCG та  EGEE.
2. Архітектура gLite.
3. Керування завантаженням ресурсів (Workload Management System).
4. Керування даними (Data Management System).
5. Інформаційна система та моніторинг (Information System).
6. Підсистема протоколювання (Logging and Bookkeeping).
Завдання на СРС:
1. Підсистема обліку використання ресурсів (Accounting Subsystem).
[Л19, Л20, Л21,Л22]

Лекція 10. Структура та склад проміжного програмного забезпечення gLite (продовження)
1. Виконання завдань в gLite
2. Основні команди користувацького інтерфейсу gLite.
3. Мова опису завдання JDL.
Завдання на СРС:
1. Типи завдань: Collection, DAG, Parametric.
2. Моніторинг в gLite.
[Л19, Л20, Л21,Л22]

Тема 2.5 Забезпечення функціональної сумісності та взаємодії грід – систем.
Лекція 11. Забезпечення функціональної сумісності та взаємодії грід – систем.
1. Проблеми забезпечення функціональної сумісності та взаємодії грід - систем.
2. Основні моделі забезпечення функціональної сумісності Грід - систем.
3. Забезпечення функціональної сумісності Грід – систем під керуванням  проміжного програмного забезпечення gLite та ARC
4. Розробка та впровадження стандартів Грід.
Завдання на СРС:
1. Проект Grid Interoperability Now - (GIN).
2. Забезпечення взаємодії Грід – систем в рамках проекту EGGE.
[Л5, с. 1-145]

Тема 2.6 Інформаційна система грід. Моніторинг.
Лекція 12. Інформаційна система грід. Моніторинг
1. Завдання інформаційної  системи та системи моніторингу.
2. Архітектура систем моніторингу.
3. Сучасні системи моніторингу Грід – середовища.
4. Взаємодія з інформаційною системою.
Завдання на СРС:
1. Архітектура систем моніторингу Globus MDS 2/4, MonALISA, GridICE, GridMaps.
[Л10, с. 120-134]

Тема 2.7 Планування ресурсів в грід системах.
Лекція 13. Планування ресурсів в грід системах
1. Задача диспетчеризації в Грід - системах.
2. Технології реалізації задач планування ресурсів в Грід - системах.
3. Методики оцінки завантаження Грід – ресурсів.
4. Планування ресурсів в Грід – системах під керуванням проміжного програмного забезпечення gLite та ARC.
Завдання на СРС:
1. Метапланувальники в Грід - системах.
2. Алгоритми оптимального планування завантаження Грід – ресурсів.
[Л3, с. 9-89, с. 309-356], [Л24 ]

Тема 2.8 Портали та мета планувальники.
Лекція 14. Портали та метапланувальники
1. Архітектура побудові Грід - порталів.
2. Приклади порталів.
3. Грід – портал доступу GILDA.
4. Архітектура побудові мета планувальника Грід - ресурсів.
5. Приклади мета планувальників.
Завдання на СРС:
1. Робота в грід – порталі доступу GILDA.
2. Портал знань для Грід – інфраструктури України.
3. Грід – портал  SD Grid.
[Л2, с. 84-102]

Тема 2.9 Розробка сервісів грід
Лекція 15. Розробка сервісів грід
1. Вступ до Service Oriented Architecture (SOA).
2. Основні етапи розробки грід-сервісів.
3. Приклади побудови грід-сервісів.
Завдання на СРС:
1. Застосування бібліотеки Globus Toolkit.
[Л24 ], [Л6 с. 1-273 ]

РОЗДІЛ 3. Нові напрямки в грід – технологіях

Тема 3.1 Грід для обробки даних
Лекція 16. Грід для обробки даних
1. Особливості архітектури Грід – систем для обробки даних.
2. Основні завдання .
3. Приклади реалізації грід - систем.
4. Data Mining – системи інтелектуальної обробки даних.
5. Класи систем Data Mining.
Завдання на СРС:
1. Проект  LHC.
2. Система WizWhy , як приклад системи інтелектуальної обробки даних.
[Л7, с. 1-286], [Л8, с. 1-336] [Л9, с. 1-384]

Тема 3.2 Семантичний  грід
Лекція 17. Семантичний  грід
1. Основні завдання семантичного грід.
2. Базові складові архітектури семантичного грід.
3. Мови опису онтологій.
4. Приклади реалізаціїї Грід - систем.
Завдання на СРС:
1. Мова опису онтології OWL.
2. Архітектура S-OGSA
[Л9, с. 1-384]

Тема 3.3 Cloud computing (хмарні обчислення)
Лекція 18. Cloud computing (хмарні обчислення)
1. Основні завдання архітектури Cloud computing.
2. Приклади архітектури Cloud computing.
3. Архітектура Amazon Web Services.
Завдання на СРС:
4. Архітекутра та завдання системи GrepTheWeb.
5. Програмний продукт Hadoop
[Л38]


 

ІV.3. ЛАБОРАТОРНІ РОБОТИ


Основна мета лабораторних занять є закріплення на практиці знань, що даються в курсі лекцій і отримання достатніх практичних навичок роботи на сучасних комп’ютерних системах. Ці практичні навички, а також використання прикладних систем ПК набуваються і під час самостійної роботи на ПК.

Лабораторна робота 1: Забезпечення безпеки грід -  4 год.
Лабораторна робота 2: Проміжне програмне забезпечення Грід Advanced Resource Connector (ARC)-  8 год.
Лабораторна робота 3: Проміжне програмне забезпечення Грід gLite -  8 год.
Лабораторна робота 4: Інформаційна система грід. Моніторинг.-  8 год.
Лабораторна робота 5: Планування ресурсів в грід системах -  8 год.
Лабораторна робота 6: Модульна контрольна робота №1 по темах розділів 1,2  -  2 год.

 


ІV.4. ІНДИВІДУАЛЬНІ ЗАВДАННЯ


Теми для самостійної роботи та теми для поглибленого вивчення матеріалу приведені в таблиці IV.1 Розподіл навчального часу за темами.


 

ІV.5. КОНТРОЛЬНІ РОБОТИ


Модульна контрольна робота проводиться по розділам 2 та 3. В ці розділи входять найбільш складні для студентів теми. Тому потрібна по цій тематиці додаткова самостійна робота студента та відповідний контроль.


 

V. МЕТОДИЧНІ ВКАЗІВКИ


Як базовий метод навчання використовується проведення лекцій та виконання лабораторних робіт (для кожного студента свій окремий варіант кожної із лабораторних робіт). Матеріали для виконання лабораторних робіт (відповідні методичні вказівки) знаходяться на сайті кафедри системного проектування.


 

VІ. НАВЧАЛЬНО-МЕТОДИЧНІ МАТЕРІАЛИ

Основна література

1.  Петренко А.И., Застосування Grid технологій в науці та освіті: роздатковий матеріал до вивч. курсу для студ. спец. «Інформаційні технології проектування» - К.: НТУУ «КПІ», 2008,- 144 .  ( http://moodle.ntu-kpi.kiev.ua)
2.  Петренко А.И., Вступ до  Grid технологій в науці та освіті: навчальний посібник. - К.: НТУУ «КПІ», 2008,- 120 с.( http://moodle.ntu-kpi.kiev.ua)
3.  Пономаренко В.С., Листровой С.В., Минухин С.В., Знахур С.В., Методы и модели планирования ресурсрв в Grid системах. – Х.:ВД. «ІНЖЕК», 2008.- 408 с.  
4.  Introduction to Grid Computing, December 2005, -IBM Redbook, www.ibm.com/redbooks - 241 c.
5.  Grid Computing in Research and Education, April 2005, - IBM Redbook, www.ibm.com/redbooks - 145 c.  6.  Grid Services Programming and Application Enablement, May 2004,- IBM Redbook www. ibm.com/redbooks, - 273 c.
7 .  Паклин Н.Б., Орешков В.И., Бизнес-аналитика: от данных к знаниям (+ СD), Издательский дом Питер, 1-е издание, - 2009 год,- 624 с.
8.  А.А. Барсегян, М.С. Куприянов, В.В. Степаненко, И.И. Холод.  Методы и модели анализа данных: OLAP и Data Mining (+ CD-ROM). Издательство: БХВ-Петербург, -2004 г.- 336 с.
9. А. А. Барсегян, М. С. Куприянов, В. В. Степаненко, И. И. Холод,  Технологии анализа данных. Data Mining, Visual Mining, Text Mining, OLAP (+ CD-ROM). - Издательство: БХВ-Петербург, - 2007 г. - 384 с.
10. NorduGrid project. http://www.nordugrid.org
11. The NorduGrid Grid Manager And GridFTP Server: Description And Administrator’s Manual. http://www.nordugrid.org/papers.html
12. The NorduGrid Brokering Algorithm, M.Ellert, http://www.nordugrid.org/papers.html
13. xRSL (Extended Resource Specification Language), O.Smirnova,  http://www.nordugrid.org/papers.html
14. Usage statistics and usage patterns on the NorduGrid, K.Pajchel,
http://www.nordugrid.org/papers.html
15. ARC User Interface: User’s Manual http://www.nordugrid.org/documents/NorduGrid-UI.pdf
16. The NorduGrid ”Smart” Storage Element, A.Konstantinov, http://www.nordugrid.org/papers.html
17. The NorduGrid/ARC Information System, (Technical Description and Reference Manual),  Bal´azs K´onya,  http://www.nordugrid.org/papers.html
18. The Grid Monitor: Usage Manual, http://www.nordugrid.org/documents/monitor.pdf
19. GLITE 3.1 USER GUIDE , https://edms.cern.ch/file/722398/1.2/gLite-3-UserGuide.pdf
20. Logging and Bookkeeping, A. Kˇrenek et al., ttp://egee.cesnet.cz/cvsweb/LB/LBAG.pdf.
21. EGEE User’s Guide, WMS SERVICE , https://edms.cern.ch/document/572489/1
22. JDL Attributes Specification, EGEE-JRA1-TEC-555796-JDL-Attributes-v0-6 , https://edms.cern.ch/file/555796/1/.
23. The Resource Broker Info file, DataGrid-01-TEN-0135-0_0 , http://www.infn.it/workload-grid/docs/DataGrid-01-TEN-0135-0_0.doc.
24. Web Services (http://www.w3.org/2002/ws/)

Додаткова література

25.    Grid Computing Making the Global Infrastructure a Reality,  edited by Fran Berman,
Geoffrey Fox, Tony Hey. – (Wiley series in communications networking & distributed systems), 2003 , 1007 с.
26.   Portal Application Development Using WebSphere Portlet Factory, IBM Redbook www. ibm.com/redbooks January 2008, 697 c.
27. Openldap. http://www.openldap.org
28. Monitoring and Discovery Services. http://www.globus.org/mds/mds2/
29. Runtime Environment Registry, http://www.csc.fi/grid/rer/
30. The GLUE Information model versin 1.2 http://infnforge.cnaf.infn.it/glueinfomodel/
31. EGEE Middleware Architecture, DJRA1.1 ,https://edms.cern.ch/document/476451/1.0.
32. Global Security Architecture, DJRA1.3 ,https://edms.cern.ch/document/487004/1.1.
33. VOMS User’s Guide, EGEE-JRA1-TEC-571991 ,https://edms.cern.ch/file/571991/1/voms-guide.pdf.
34. www.datagrid.org
35. www.unicore.org
36. www.glite.org
37. www.globus.org
38. http://book.itep.ru/4/7/cloud.htm
39. BDII homepage, https://twiki.cern.ch/twiki/bin/view/EGEE/BDIIv4
40. Петренко А.І., Булах Б.В.,Хондар В.Д. Семантичні грід- технології для науки і освіти:додатковий матеріал. -// К.: НТУУ «КПІ», 2010.- 178 c.  ( http://moodle.ntu-kpi.kiev.ua)



Навчальна програма складена на основі освітньо-професійної програми СВО 6.080402,  “Комп’ютерні науки”
Програму склав          доц. Свістунов С.Я.
Завідувач кафедри      проф. Петренко А.І.

 

 

Ukrainian (UA)Russian (CIS)English (United Kingdom)