Рабочая учебная программа дисциплины «Грид-технологии для распределенных вычислений и обработки данных»

для направлений подготовки (специальностей) :
“6.050101 – Компьютерные науки", специальность 7.080402 "Информационные технологии проектирования"


І. ОБЩИЕ СВЕДЕНИЯ

1.1  Тема преподавания учебной дисциплины

Дисциплина "Грид - технологии для распределенных вычислений и обработки данных" принадлежит к циклу дисциплин профессиональной и практической подготовки и базируется на знании дисциплин : "Основы алгоритмического программирования", "Объектно-ориентированное программирование", "Компьютерные сети".

Общее количество кредитов ЕТС8 - 4,5,  номер по перечню дисциплин программы подготовки - НП-08

1.2 Место учебной дисциплины в системе профессиональных знаний.

Учебная дисциплина относится к циклу профессионально-ориентированных дисциплин. Изучение дисциплины требует наличия у студентов основных знаний из общетеоретических и общеинженерных дисциплин. Комплекс знаний, который формируется этой дисциплиной, относится к принципам профессиональной подготовки и от него зависит качество подготовки специалиста. На базе приобретенных знаний и умений специалист сможет использовать Грид - технологии  для решения сложных  научно - практических заданий.

Обеспечивающие дисциплины :  "Введение в информационные технологии", "Структуры данных и алгоритмы", "Программирование и алгоритмические языки".


 

ІІ. РАСПРЕДЕЛЕНИЕ УЧЕБНОГО ВРЕМЕНИ

 

Семе-стр

Код кредит. модуля

Всего (кред./год)

Распределение по видам занятий

(всего часов/часов в неделю)

СРС

Модульные контрольные работы

(кол-во)

Индивид. задание

(вид)

Семестр.

атестац.

Лекции

Практические/

семинарские

Лабораторные/

компьют. практикум

10

НП-08

4,5/162

36/2

-

18/1

108

1

-

экзамен


 

ІІІ. ЦЕЛЬ И ЗАДАНИЕ ДИСЦИПЛИНЫ

Целью дисциплины является изучение основ Грид-технологий, которые используются для  обеспечения научных исследований, и приобретения практических навыков использования Грид-технологий для решения научно-практических заданий.

В результате изучения дисциплины студенты должны:
знать: основы Грид-технологий, которые позволяют объединить вычислительные ресурсы и ресурсы хранения данных в единую систему; архитектуру Грид-систем, используемых в Украине; принципы функционирования основных составных частей Грид-систем, технологию подготовки заданий для использования в Грид-среде;
уметь: выбирать и использовать промежуточное программное обеспечение для решения научно - практических заданий, адаптировать пакеты прикладных программ к среде Грид, использовать входные языки описания задания и данных, отслеживать и корректировать ход вычислительного процесса во время числового эксперимента или процесса моделирования.
приобрести навыки: практического использования наиболее распространенного промежуточного программного обеспечения, работы на портале доступа.
Учебный процесс дисциплины состоит из лекционных, лабораторных занятий и самостоятельной работы.


 

ІV.1. РАСПРЕДЕЛЕНИЕ УЧЕБНОГО ВРЕМЕНИ ПО ТЕМАМИ

 

Наименование разделов, тем

Распределение по семестрам и видам занятий

Всего

Лекции

Практич.

Семинар.

Лабор.раб.

Компьют.

Практик.

СРС

Семестр 10

РАЗДЕЛ 1. Концепция Грид

Тема 1.1. Введение в Грид - технологии

6

2

4

Тема 1.2 Архитектура Грид. Вычислительные ресурсы грид.

6

2

4

Тема 1.3 Интернет как составляющая часть грид

6

2

4

Тема 1.4 Обеспечения безопасности грид

6

2

2

2

РАЗДЕЛ 2. Промежуточное программное обеспечение грид

Тема 2.1 Общая структура промежуточного программного обеспечения.

6

2

4

Тема 2.2 Сценарий работы пользователя в грид.

6

2

4

Тема 2.3 Структура и состав промежуточного программного обеспечения ARC

16

4

4

8

Тема 2.4 Структура и состав промежуточного программного обеспечения gLite.

14

4

4

6

Тема 2.5 Обеспечение функциональной совместимости и взаимодействия грид - систем.

8

2

6

Тема 2.6 Информационная система грид. Мониторинг.

12

2

4

6

Тема 2.7 Планирование ресурсов в грид системах.

10

2

2

6

Тема 2.8 Порталы и мета-планировщики.

8

2

6

Тема 2.9 Разработка грид- сервисов

8

2

6

РАЗДЕЛ 3 Новые направления в грид - технологиях

Тема 3.1 Грид для обработки данных

10

2

8

Тема 3.2 Семантический грид

10

2

8

Тема 3.3 Cloud computing (облачные вычисления)

8

2

6

Контрольная модульная работа по разделам 1 и 2

10

2

8

Подготовка к экзамену

10

10

Всего

162

36

18

108


 

IV.2. ЛЕКЦИИ

РАЗДЕЛ 1. Концепция  Грид

Тема 1.1. Введение в Грид -  технологии
Лекция 1. Введение в Грид -  технологии

1.    Цель, задание и содержание курса.
2.    Концепция Грид.
3.    История развития Грид.
4.    Примеры применения Грид.
Задание на СРС:
1.    Эволюция Грид (первое, второе и третье поколение Грид).
2.    Международные Грид проекты (GrossGrid, EGEE, Grid2003, myGrid)
[Л1, с. 5-10, с. 55- 132],[Л2, с. 10-17],[Л5, с. 1-145].

Тема 1.2 Архитектура Грид. Вычислительные ресурсы Грид.
Лекция 2.  Вычислительные ресурсы Грид.

1.    Базовые компоненты Грид - архитектуры.
2.    Вычислительные ресурсы.
3.    Кластеры.
4.    Ресурсы хранения данных.
Задание на СРС:
1.    Основные направления развития вычислительной техники .
[Л4, с. 1-214], [Л2, с. 28-41].

Тема 1.3 Интернет как составляющая часть грид. Украинский национальный грид.
Лекция 3. Интернет как составляющая часть грид.

1.  Основные направления развития. Киберинфраструктура.
2.  Проект GEANT2.
3.  Развитие каналов связи в Украине.
4.  Грид в Украине.
5.  Украинский национальный Грид - проект UNGI для EGI .
Задание на СРС:
1.  Развитие каналов связи в России.
[Л2, с. 18-25].

Тема 1.4 Обеспечения безопасности грид
Лекция 4. Обеспечение безопасности грид

1.  Особенности модели безопасности Грид - сервисов.
2.  Общие принципы алгоритмов шифровки.
3.  Идентификация пользователей и Грид - ресурсов.
4.  Сертификат открытых ключей X.509
5.  Виртуальные организации
6.  Сценарии работы пользователя с сертификатом
Задание на СРС:
1.  Делегирование прав.
2.  Сервисы управления виртуальными организациями.
[Л2, с. 79-81].

РАЗДЕЛ 2.  Промежуточное программное обеспечение грид

Тема 2.1 Общая структура промежуточного программного обеспечения.
Лекция 5. Общая структура промежуточного программного обеспечения.

1.  Основные Грид - службы.
2.  Подсистема управления заданиями.
3.  Подсистема управления данными.
4.  Информационная подсистема и подсистема мониторинга.
5.  Подсистема безопасности и контроля прав доступа.
6.  Подсистема протоколирования процесса обработки заданий.
Задание на СРС:
1.  Подсистема учета использования ресурсов.
2.  Организация ресурсов хранения данных .
[Л1, с. 21-28], [Л2, с. 54-78]

Тема 2.2 Сценарий работы пользователя в грид.
Лекция 6. Сценарий работы пользователя в грид

1.  Основные функции интерфейса пользователя.
2.  Получение сертификата.
3.  Описание задания.
4.   Команды по отправке задания в Грид.
5.   Мониторинг выполнения задания.
6.   Получение результатов выполнения задания.
Задание на СРС:
1.  Типы заданий в Грид.
2.  Методика подготовки задания на Linux кластере.
3.  Локальная система управления заданиями - PBS.
[Л5, с. 10 - 121]

Тема 2.3 Структура и состав промежуточного программного обеспечения ARC
Лекция 7. Структура и состав промежуточного программного обеспечения ARC

1.  Проект NorduGrid.
2.  Архитектура ARC (Advanced Resource Connector).
3.  Информационная система.
4.  Архитектура и алгоритм работы Грид - менеджера ARC.
Задание на СРС:
1.  Архитектура и алгоритм работы GridFTP.
[Л2, с. 82-84], [Л10, Л11, Л12, Л13, Л14, Л15, Л16, Л17, Л18]

Лекция 8. Структура и состав промежуточного программного обеспечения ARC      (продолжение)
1.  Выполнение заданий в ARC.
2.  Основные команды интерфейса пользователя ARC.
3.  Язык описания задания xRSL.
Задание на СРС:
1.  Мониторинг в ARC.
[Л10, Л11, Л12, Л13, Л14, Л15, Л16, Л17, Л18]

Тема 2.4 Структура и состав промежуточного программного обеспечения gLite
Лекция 9. Структура и состав промежуточного программного обеспечения gLite

1.  Проект LCG и  EGEE.
2.  Архитектура gLite.
3.  Управление загрузкой ресурсов (Workload Management System).
4.  Управление данными (Data Management System).
5.  Информационная система и мониторинг (Information System).
6.  Подсистема протоколирования (Logging and Bookkeeping).
Задание на СРС:
1.  Подсистема учета использования ресурсов (Accounting Subsystem).
[Л19, Л20, Л21, Л22]

Лекция 10. Структура и состав промежуточного программного обеспечения gLite (продолжение)
1.  Выполнение заданий в gLite
2.  Основные команды интерфейса пользователя gLite.
3.  Язык описания задания JDL.
Задание на СРС:
1.  Типы заданий : Collection, DAG, Parametric.
2.   Мониторинг в gLite.
[Л19, Л20, Л21, Л22]

Тема 2.5 Обеспечение функциональной совместимости и взаимодействия грид - систем.
Лекция 11. Обеспечение функциональной совместимости и взаимодействия грид - систем.

1.  Проблемы обеспечения функциональной совместимости и взаимодействия грид - систем.
2.  Основные модели обеспечения функциональной совместимости Грид - систем.
3. Обеспечения функциональной совместимости Грид - систем под управлением  промежуточного программного обеспечения gLite и ARC
4.  Разработка и внедрение стандартов Грид.
Задание на СРС:
1.  Проект Grid Interoperability Now - (GIN).
2.  Обеспечения взаимодействия Грид - систем в рамках проекта EGGE.
[Л5, с. 1-145]

Тема 2.6 Информационная система грид. Мониторинг.
Лекция 12. Информационная система грид. Мониторинг

1.    Задание информационной  системы и системы мониторинга.
2.    Архитектура систем мониторинга.
3.    Современные системы мониторинга Грид - среды.
4.    Взаимодействие с информационной системой.
Задание на СРС:
1.  Архитектура систем мониторинга Globus MDS 2/4, MonALISA, GridICE, GridMaps.
[Л10, с. 120-134]

Тема 2.7 Планирование ресурсов в грид системах.
Лекция 13. Планирование ресурсов в грид системах

1.  Задача диспетчеризации в Грид - системах.
2.  Технологии реализации задач планирования ресурсов в Грид - системах.
3.  Методики оценки загрузки Грид - ресурсов.
4. Планирование ресурсов в Грид - системах под управлением промежуточного программного обеспечения gLite и ARC.
Задание на СРС:
1.  Метапланировщики в Грид - системах.
2.  Алгоритмы оптимального планирования загрузки Грид - ресурсов.
[Л3, с. 9-89, с. 309-356], [Л24 ]

Тема 2.8 Порталы и мета-планировщики.
Лекция 14. Порталы и метапланировщики

1.  Архитектура Грид - порталов.
2.  Примеры порталов.
3.  Грид - портал доступа GILDA.
4.  Архитектура мета-планировщика Грид - ресурсов.
5.  Примеры мета-планировщиков.
Задание на СРС:
1.  Работа в грид - портале доступа GILDA.
2.  Портал знаний для Грид - инфраструктуры Украины.
3.  Грид - портал  SD Grid.
[Л2, с. 84-102]

Тема 2.9 Разработка грид- сервисов
Лекция 15. Разработка грид- сервисов

1.  Вступление к Service Oriented Architecture (SOA).
2.  Основные этапы разработки грид-сервісів.
3.  Примеры построения грид-сервисов.
Задание на СРС:
1. Применение библиотеки Globus Toolkit.
[Л24 ], [Л6 с. 1-273 ]

РАЗДЕЛ 3. Новые направления в грид - технологиях

Тема 3.1 Грид для обработки данных
Лекция 16. Грид для обработки данных

1.  Особенности архитектуры Грид - систем для обработки данных.
2.  Основные задания .
3.  Примеры реализации грид - систем.
4.  Data Mining - системы интеллектуальной обработки данных.
5.  Классы систем Data Mining.
Задание на СРС:
1. Проект  LHC.
2.  Система WizWhy, как пример системы интеллектуальной обработки данных.
[Л7, с. 1-286], [Л8, с. 1-336] [Л9, с. 1-384]

Тема 3.2 Семантический  грид
Лекция 17. Семантический  грид

1.  Основные задания семантического грид.
2.  Базовые составляющие архитектуры семантического грид.
3.  Языки описания онтологии.
4.  Примеры реализации Грид - систем.
Задание на СРС:
1. Язык описания онтологии OWL.
2. Архитектура S - OGSA
[Л9, с. 1-384]

Тема 3.3 Cloud computing (облачные вычисления)
Лекция 18. Cloud computing (облачные вычисления)

1.  Основные задания архитектуры Cloud computing.
2.  Примеры архитектуры Cloud computing.
3.  Архитектура Amazon Web Services.
Задание на СРС:
4. Архитектура и задание системы GrepTheWeb.
5. Программный продукт Hadoop
[Л38]


 

ІV.3. ЛАБОРАТОРНЫЕ РАБОТЫ

Основная цель лабораторных занятий есть закрепление на практике знаний, которые даются в курсе лекций и получения достаточных практических навыков работы на современных компьютерных системах. Эти практические навыки, а также использование прикладных систем ПК приобретаются и во время самостоятельной работы на ПК.

Лабораторная работа 1 Обеспечение безопасности грид -  4 часа
Лабораторная работа 2 Промежуточное программное обеспечение Грид Advanced Resource Connector (ARC) -  8 часов
Лабораторная работа 3 Промежуточное программное обеспечение Грид gLite -  8 часов
Лабораторная работа 4 Информационная система грид. Мониторинг.-  8 часов
Лабораторная работа 5 Планирование ресурсов в грид системах -  8 часов
Лабораторная работа 6 Модульная контрольная работа №1 по темам разделов 1,2  -  2 часа


 

ІV.4. ИНДИВИДУАЛЬНЫЕ ЗАДАНИЯ

Темы для самостоятельной работы и темы для углубленного изучения материала приведены в таблице IV.1 Распределение учебного времени по темам.


 

ІV.5. КОНТРОЛЬНЫЕ РАБОТЫ

Модульная контрольная работа проводится по разделам 2 и 3. В эти разделы входят наиболее сложные для студентов темы. Поэтому по этой тематике необходима дополнительная самостоятельная работа студента и соответствующий контроль.


 

V. МЕТОДИЧЕСКИЕ УКАЗАНИЯ

Как базовый метод учебы используется проведение лекций и выполнение лабораторных работ (для каждого студента свой отдельный вариант по каждой из лабораторных работ). Материалы для выполнения лабораторных работ (соответствующие методические указания) находятся на сайте кафедры системного проектирования.


 

VІ. УЧЕБНО-МЕТОДИЧЕСКИЕ МАТЕРИАЛЫ

Основная литература

1.  Петренко А.И., Застосування Grid технологій в науці та освіті: роздатковий матеріал до вивч. курсу для студ. спец. «Інформаційні технології проектування» - К.: НТУУ «КПІ», 2008,- 144 .  ( http://moodle.ntu-kpi.kiev.ua)
2.  Петренко А.И., Вступ до  Grid технологій в науці та освіті: навчальний посібник. - К.: НТУУ «КПІ», 2008,- 120 с.( http://moodle.ntu-kpi.kiev.ua)
3.  Пономаренко В.С., Листровой С.В., Минухин С.В., Знахур С.В., Методы и модели планирования ресурсрв в Grid системах. – Х.:ВД. «ІНЖЕК», 2008.- 408 с.   
4.  Introduction to Grid Computing, December 2005, -IBM Redbook, www.ibm.com/redbooks - 241 c.
5.  Grid Computing in Research and Education, April 2005, - IBM Redbook, www.ibm.com/redbooks - 145 c.  6.  Grid Services Programming and Application Enablement, May 2004,- IBM Redbook www. ibm.com/redbooks, - 273 c.
7 .  Паклин Н.Б., Орешков В.И., Бизнес-аналитика: от данных к знаниям (+ СD), Издательский дом Питер, 1-е издание, - 2009 год,- 624 с.
8.  А.А. Барсегян, М.С. Куприянов, В.В. Степаненко, И.И. Холод.  Методы и модели анализа данных: OLAP и Data Mining (+ CD-ROM). Издательство: БХВ-Петербург, -2004 г.- 336 с.
9. А. А. Барсегян, М. С. Куприянов, В. В. Степаненко, И. И. Холод,  Технологии анализа данных. Data Mining, Visual Mining, Text Mining, OLAP (+ CD-ROM). - Издательство: БХВ-Петербург, - 2007 г. - 384 с.
10. NorduGrid project. http://www.nordugrid.org
11. The NorduGrid Grid Manager And GridFTP Server: Description And Administrator’s Manual. http://www.nordugrid.org/papers.html
12. The NorduGrid Brokering Algorithm, M.Ellert, http://www.nordugrid.org/papers.html
13. xRSL (Extended Resource Specification Language), O.Smirnova,  http://www.nordugrid.org/papers.html
14. Usage statistics and usage patterns on the NorduGrid, K.Pajchel,
http://www.nordugrid.org/papers.html
15. ARC User Interface: User’s Manual http://www.nordugrid.org/documents/NorduGrid-UI.pdf
16. The NorduGrid ”Smart” Storage Element, A.Konstantinov, http://www.nordugrid.org/papers.html
17. The NorduGrid/ARC Information System, (Technical Description and Reference Manual),  Bal´azs K´onya,  http://www.nordugrid.org/papers.html
18. The Grid Monitor: Usage Manual, http://www.nordugrid.org/documents/monitor.pdf
19. GLITE 3.1 USER GUIDE , https://edms.cern.ch/file/722398/1.2/gLite-3-UserGuide.pdf
20. Logging and Bookkeeping, A. Kˇrenek et al., ttp://egee.cesnet.cz/cvsweb/LB/LBAG.pdf.
21. EGEE User’s Guide, WMS SERVICE , https://edms.cern.ch/document/572489/1
22. JDL Attributes Specification, EGEE-JRA1-TEC-555796-JDL-Attributes-v0-6 , https://edms.cern.ch/file/555796/1/.
23. The Resource Broker Info file, DataGrid-01-TEN-0135-0_0 , http://www.infn.it/workload-grid/docs/DataGrid-01-TEN-0135-0_0.doc.
24. Web Services (http://www.w3.org/2002/ws/)

Дополнительная литература

25.    Grid Computing Making the Global Infrastructure a Reality,  edited by Fran Berman,
Geoffrey Fox, Tony Hey. – (Wiley series in communications networking & distributed systems), 2003 , 1007 с.
26.   Portal Application Development Using WebSphere Portlet Factory, IBM Redbook www. ibm.com/redbooks January 2008, 697 c.
27. Openldap. http://www.openldap.org
28. Monitoring and Discovery Services. http://www.globus.org/mds/mds2/
29. Runtime Environment Registry, http://www.csc.fi/grid/rer/
30. The GLUE Information model versin 1.2 http://infnforge.cnaf.infn.it/glueinfomodel/
31. EGEE Middleware Architecture, DJRA1.1 ,https://edms.cern.ch/document/476451/1.0.
32. Global Security Architecture, DJRA1.3 ,https://edms.cern.ch/document/487004/1.1.
33. VOMS User’s Guide, EGEE-JRA1-TEC-571991 ,https://edms.cern.ch/file/571991/1/voms-guide.pdf.
34. www.datagrid.org
35. www.unicore.org
36. www.glite.org
37. www.globus.org
38. http://book.itep.ru/4/7/cloud.htm
39. BDII homepage, https://twiki.cern.ch/twiki/bin/view/EGEE/BDIIv4
40. Петренко А.І., Булах Б.В.,Хондар В.Д. Семантичні грід- технології для науки і освіти:додатковий матеріал. -// К.: НТУУ «КПІ», 2010.- 178 c.  ( http://moodle.ntu-kpi.kiev.ua)



Учебная программа составлена на основе образовательно-профессиональной программы СВО 6.080402,  "Компьютерные науки"
Программу составил                     доц. Свистунов С. Я.
Заведующий кафедры                 проф. Петренко А.И.

 

 

Ukrainian (UA)Russian (CIS)English (United Kingdom)