Grid как четвертый этап развития информатизации

Grid как четвертый этап розвития информатизации

В ближайшие десятилетия могут исчезнуть из обихода известные нынешним специалистам персональные компьютеры, серверы, локальные сети и др., так как вычислительные и информационные услуги превратятся в такие же коммунальные удобства, как электричество и водопровод сегодня, а отдельные компьютеры с многоядерными процессорами растворятся в глобальной информационной инфраструктуре Grid. Сначала Grid технологии предназначались для решения сложных научных и инженерных задач, которые невозможно решить в разумные сроки на отдельных вычислительных установках. Однако теперь область применения технологий Grid не ограничивается только этими типами задач. С развитием Grid проникает в промышленность и бизнес, претендуя на роль универсальной инфраструктуры для обработки данных, в которой функционирует множество служб (Grid Services), которые не только позволяют решать конкретные прикладные задачи, но и предлагают услуги по поиску необходимых ресурсов, сбора информации о состоянии ресурсов, хранения и доставки данных. 
Информатизация сегодня вступила в четвертый этап своего развития. Первый был связан с появлением больших компьютеров (мейнфреймов), второй - с созданием персональных компьютеров, третий - с появлением Интернета, объединившего пользователей в единое информационное пространство путем совместимого доступа к информации. С началом XXI века отмечается переход на новые Grid-технологии, когда на смену уже известному Интернету с его web-услугами идет всемирная Grid-сеть, как средство совместного использования вычислительных мощностей и хранилищ данных. Grid позволяет выйти за рамки простого обмена данными между компьютерами, и превратить их глобальную сеть в своего рода гигантский виртуальный компьютер, доступный в режиме удаленного доступа из любой точки, независимо от местоположения пользователя. 
Следует признать, что идеи Grid пока не очень распространены. Но не так давно (каких-то восемь-десять лет назад) Интернет и Web также были известны только узкому кругу профессионалов. Однако в 2006 году число пользователей Интернета превысило миллиард. Пожалуй, при всем желании трудно найти человека, который хотя бы не слышал этих слов. Есть основание считать, что со временем и Grid приобретет не меньшую популярность. Его нынешнее состояние можно сравнить с Интернетом «образца» 1997 года и признать, что потенциал и темпы роста Grid отнюдь не ниже, чем были тогда. 
Если переводить дословно, Grid означает «решетка». Согласитесь, ассоциации, связанные в нашем языке с этим словом, совсем не соответствуют смыслу свободной кооперации компьютеров для высокопроизводительных вычислений, заложенному в технологиях Grid. Ближе всего по смыслу, пожалуй, power grid - сеть электропитания, распределенный ресурс общего пользования, когда каждый может легко подключиться через розетку и использовать столько электроэнергии, сколько ему нужно. Аналогично пользователи с помощью Grid получают возможность прямого подключения к удаленной вычислительной сети, не интересуясь, откуда берутся требуемые для работы вычислительные ресурсы и данные, какие для этого используются линии передачи, пароли или протоколы и т.п. При этом аналогом инфраструктуры электрических сетей (линий электропередачи, подстанций, трансформаторов и др.) выступает Grid - промежуточный программный слой, или MiddleWare. 

Что дает Grid ученым
Формально авторами концепции Grid считаются Ян Фостер из Арагонской национальной лаборатории Чикагского университета и Карл Кессельман из Института информатики Университета Южной Калифорнии. Именно они в 1998 году впервые предложили термин Grid-компьютинг (Grid computing) для обозначения универсальной программно-аппаратной инфраструктуры, объединяющей компьютеры и суперкомпьютеры в территориально-распределенную информационно-вычислительную систему. По их определению, ставшему уже классическим, «Grid - согласованная, открытая и стандартизованная среда, которая обеспечивает гибкое, безопасное, скоординированное разделение ресурсов в рамках виртуальной организации». Обычно слово «компьютинг» или «метаком компьютинг» употребляется там, где на основе отдельных компьютеров строятся системы более высокого уровня. К этому слову вполне можно привыкнуть (привыкли же автомобилисты к слову «тюнинг», экологи - к «мониторингу», спортсмены - к «дайвингу», а все вместе - к «шопингу»). Кстати, и само слово «компьютер» тоже входило в наш язык нелегко, заменив словосочетание «электронная вычислительная машина» которое трудно переводить. Так и слово «компьютинг», можно надеяться, заменит эквивалентную ему фразу «услуга на выполнение вычислений или обработки данных на компьютере».
Grid-компьютинг - новый класс инфраструктур, в которых из удаленных ресурсов строится безопасный и масштабируемый вычислительный механизм в составе компьютеров, от настольных и до суперкомпьютеров, программных пакетов и устройств ввода /вывода. В основе Grid лежат программные технологии, использующие новые стандарты и протоколы совместно с известными сетевыми и интернет-протоколами. Время покажет, стоит ли записывать название Grid кириллицей.
Идея более эффективного использования вычислительных мощностей путем соединения множества компьютеров в единую структуру возникла в научном сообществе сравнительно давно - в эпоху больших компьютеров. Уже в 80-е годы ученые (прежде всего физики-ядерщики) для решения сложных математических задач пытались объединять ресурсы отдельных рабочих станций и использовать свободные ресурсы центральных процессоров для сокращения времени обработки своих данных. Обычный путь развития вычислительных сетей в организации примерно такой. Вначале небольшая группа пользователей, занятых научными или инженерными расчетами, решает объединить свои ресурсы на основе простых правил и договоренностей. Это можно легко сделать на основе программного обеспечения, которое свободно распространяется. Успешный опыт приживается, и вскоре другие группы пользователей идут тем же путем. Таких групп становится больше, и у них возникает вполне законное желание обмениваться ресурсами, заполняя простаивающие вычислительные мощности. Здесь уже простыми договоренностями обойтись трудно, необходимо внедрять какие-то технические средства учета и «взаиморасчетов».
Технология управления распределенными ресурсами является одной из важнейших задач. Она направлена, прежде всего, на обеспечение управляемости информационной инфраструктуры в условиях возрастающей нагрузки и увеличения числа компонентов сети. Принципы работы системы управления заданиями хорошо известны: это очередь, поиск свободных ресурсов, диспетчеризация, политики и приоритеты. Сетевая система управления заданиями была реализована достаточно давно, однако применение технологий Grid позволяет строить систему управления распределенными вычислительными ресурсами. В такой ситуации пользователю уже не важно, на каком конкретном узле сети выполняется его задача, он просто потребляет определенное количество виртуальной процессорной мощности, имеющейся в сети.

Есть несколько причин, побуждающих ученых использовать Grid-технологии.
Во-первых, часто необходимо обработать огромное количество данных, хранящихся в разных организациях (возможно, расположенных в разных частях мира). Примером может служить задача обработки снимков Земли, полученных со спутников.
Во-вторых, необходимо при исследованиях выполнить огромное количество вычислений. Например, при моделировании влияния тысяч молекул (потенциальных лекарственных препаратов) на белки при поиске лекарства для определенных болезней. 
В-третьих, научная команда, члены которой работают в разных уголках земного шара, хочет совместно использовать большие массивы данных, быстро и интерактивно осуществлять их комплексный анализ, визуализировать и обсуждать результаты в онлайновом режиме. 
Разумеется, решаемые при этом задачи имеют большое значение для различных фундаментальных научных исследований и проектных работ. К таким задачам можно отнести изучение эволюции протопланетного вещества, планет и Земли; общее метеорологическое прогнозирование и прогноз различных стихийных бедствий (цунами, землетрясений, извержений вулканов); моделирование и анализ экспериментов в ядерной физике; исследования в области нанотехнологии, проектирование аэрокосмических аппаратов и автомобилей, расшифровка ДНК и идентификация протеинов и т. д. Наверное, скоро проще будет назвать научную дисциплину, где суперкомпьютеры и распределенные вычисления еще не применяются. Среди ключевых факторов, содействующих внедрению Grid, не только возможность гибкой адаптации инфраструктуры к новым требованиям, но и повышение эффективности использования имеющихся вычислительных и человеческих ресурсов, поскольку при совместной работе над разными проектами специалисты применяют одну и ту же инфраструктуру.

Grid в мире


Ограничимся лишь перечнем наиболее известных Grid-проектов, уже осуществленных за последние несколько лет или находящихся в стадии реализации. 2001 года в США стартовал проект TeraGrid, финансируемый Национальным научным фондом, основной задачей которого стало создание распределенной инфраструктуры для высокопроизводительных вычислений. В мае 2004 года Европейский Союз создал аналог американской TeraGrid - консорциум DEISA, частично финансируемый в рамках 6-й Рамочной программы, который объединил в Grid-сеть ведущие национальные суперкомпьютерные центры ЕС. В конце марта 2004 года завершился трехлетний европейский проект DataGrid, в рамках которого была построена тестовая инфраструктура вычислений и обмена данными для нужд европейского научного сообщества. На основе этих разработок был начат новый международный проект создания высокопроизводительной научной Grid-сети EGEE (Enabling Grids for E-scienc), который исполняется под руководством швейцарского ЦЕРН (Европейского центра ядерных исследований, Женева) и финансируется Европейским Союзом и правительствами стран-участниц. В настоящее время в проект входят 70 научных учреждений из 27 стран мира. В рамках этого проекта должен быть построен крупнейший в мире Grid с суммарной вычислительной мощностью 20 000 мощных процессоров. 
Ведущая роль ЦЕРН определяется тем, что в 2010 году там запущен в действие крупнейший в мире ускоритель элементарных частиц (LHC, большой адронный коллайдер), который является источником огромного объема информации. Новая компьютерная инфраструктура, которая создается в первую очередь под LHC, должна обеспечить эффективную обработку информации, ожидаемый среднегодовой объем которой оценивается в 10 Пбайт (1 Пбайт ~ 1024 Тбайт). Однако задача EGEE не ограничена ядерной физикой и состоит в том, чтобы реализовать потенциал Grid и для многих других научно-технологических областей. Так, в ближайших планах руководства проекта создание отдельного биоинформационного «Grid-блока». 
В тесном взаимодействии с проектом EGEE развивается и магистральная европейская сеть для образования и науки - GEANT. В середине прошлого года межправительственная организация DANTE сообщила о запуске научно-образовательной сети нового поколения GEANT 2, которая охватывает 3 млн. пользователей из 3,5 тыс. академических учреждений, расположенных в 34 европейских государствах. Новая сеть качественно изменит обработку информации радиоастрономических комплексов, регистрирующие системы которых расположены на значительном расстоянии друг от друга, а также будет обслуживать ЦЕРН, передавая данные после запуска LHC. В 2005 году Еврокомиссия подготовила специальную программу стоимостью 13 млрд. евро, в рамках которой Grid-компьютингу отводится роль стимулятора и важнейшего ресурса для превращения Евросоюза в «самую конкурентоспособную в мире экономику знаний». 
Соединенные Штаты сегодня - безусловный мировой лидер по части практического строительства Grid-сетей. В 2004 году Джордж Буш официально объявил о начале работы президентской стратегической Grid-программы (Strategic Grid Computing Initiative), основной целью которой является «создание единого национального пространства высокопроизводительных вычислений». В настоящее время в США уже успешно функционируют четыре национальные Grid-сети, находящиеся под заботливой опекой ключевых государственных ведомств: компьютерная сеть национального фонда научных исследований, информационная сеть поддержки НАСА, глобальная информационная сеть министерства обороны и сеть суперкомпьютерной инициативы министерства энергетики . Под руководством Пенсильванского университета США на базе Grid-технологий создан Национальный цифровой центр маммографии с общим объемом данных 5,6 петабайта, который предоставляет медикам возможность быстрого доступа к записям миллионов пациентов. 
Свою немалую лепту в становление Grid-технологий вносят и частные американские компании. Так, корпорация Google, известная во всем мире благодаря своей информационной поисковой системе, объявила проект построения глобальной Grid-системы, превращающей компьютинг в потребительскую услугу. В рамках этого проекта все компьютерные устройства (ПК, мобильный телефон, телевизор и т.д.) становятся просто терминалами, которые будут включены в серверный Grid Google с услугами доставки информации на любое устройство в любой точке мира. 
С 2000 года ведутся работы по освоению Grid-технологий и в Китае. Долгое время информация о том, на какой стадии находится реализация проекта ChinaGrid, была фактически засекречена. Информационная бомба взорвалась в середине июля 2006 года, когда китайские СМИ во всеуслышание объявили о завершении работы над китайским образовательным Grid-проектом (China Educational Grid Project, CEGP). CEGP объединил компьютерные сети нескольких десятков крупнейших университетов страны и предоставил миллионам китайских студентов прямой доступ к базам данных, онлайновым учебным курсам и сервисным приложениям по самым разным направлениям и дисциплинам. В январе 2006 года в Афинах было официально объявлено о начале выполнения финансируемого Европейской комиссией совместного Grid-проекта Европейского Союза и Китая (EUChinaGRID). Главная его цель - объединение европейских и китайских Grid-инфраструктур для повышения эффективности совместного использования различных научных приложений, работающих в Grid-среде. Наметившийся стратегический альянс ЕС и Китая вполне можно рассматривать как одну из первых попыток создания сильного «Grid-противовеса» претензиям США на мировое лидерство в этой крупномасштабной технологической гонке. Вскоре к этому альянсу может подключиться и Индия, которая также объявила о начале реализации собственного национального Grid-проекта GARUDA, предусматривающего объединение в Grid-сеть 17 крупнейших научно-исследовательских центров страны. 
Основные ресурсные элементы Grid-сетей - это суперкомпьютеры и суперкомпьютерные центры, а важнейшая инфраструктурная составляющая - высокоскоростные сети передачи данных. Заканчивается строительство всемирной компьютерной сети GLORIAD в Северном полушарии, объединяющей вычислительные ресурсы различных научно-исследовательских организаций США, Канады, Европы, России, Китая и Южной Кореи (опять-таки, главным образом физических центров). Сегодня беспроводный Интернет (Wi-Fi) вводится как своего рода электронная «коммунальная служба» в отдельных городах (Филадельфия, например) или даже в отдельных странах (Сингапур). 
Суперкомпьютеры, не объединенные в территориально-распределенную систему, обладают как минимум тремя существенными недостатками. Во-первых, это очень дорогостоящая техника, которая быстро морально устаревает (суперкомпьютеры из первой сотни рейтинга Top-500 уже через два-три года, как правило, оказываются в самом хвосте этого списка или вообще выпадают из него). Во-вторых, вычислительные мощности суперкомпьютеров практически не поддаются серьезной модернизации, что зачастую не позволяет использовать их для решения задач нового уровня сложности. И, наконец, третий «большой минус» - низкий КПД использования суперкомпьютеров вследствие неравномерности загрузки процессоров. В идеале от этих недостатков можно избавиться при объединении суперкомпьютеров в Grid-сеть. Однако для эффективной эксплуатации Grid-сетей сначала необходимо достичь договоренности в сфере стандартизации (определение стандартов служб, интерфейсов, баз данных и т.п.). 
Авторы идеи Grid-компьютинга Фостер и Кессельман стояли и у истоков разработки первого стандарта построения Grid-сетей, свободно распространяемого промежуточного программного слоя Глобус (Globus), ставшим международным стандартом де-факто. В Европе на базе Глобус в ЦЕРН выполнена модификация промежуточного слоя gLite, положенного в основу упомянутой европейской Grid-сети EGEE для научных исследований. Основная задача, решаемая в Grid, - это обеспечение доступа к ресурсам, а поскольку ресурсы распределены, то функционирование сети обеспечивается специальными службами (составления каталогов ресурсов и отслеживания их состояния, авторизации клиентов и их доступа к ресурсам; кооперации и координации при использовании ресурсов, обеспечения безопасности и др.). Доступ к ресурсам осуществляется на основе создания Виртуальной организации (ВО), которая состоит из предприятий и отдельных специалистов, совместно использующих общие ресурсы.

Почему именно сейчас так широко заговорили о Grid?


Быстрые темпы развития глобальных сетей, непропорциональное увеличение числа транзисторов на микросхемах и рост пропускной способности сетей дали огромный толчок к развитию распределенных вычислений, а также распределенных систем хранения и обработки данных. Во-первых, для того чтобы связать множество компьютеров в единную Grid нужны качественные сети передачи данных. Американский ученый Джон Гилдер писал: "Когда сеть работает также быстро, как внутренние шины компьютера, компьютер расщепляется по сети как набор специализированных устройств". Конечно, пропускная способность и скорость сетей еще недостаточны, но они очень быстро развиваются. Если число транзисторов компьютерной микросхемы удваивается каждые 18 месяцев, то скорость сети передачи данных удваивается всего за 9 месяцев. 
Во-вторых, в мире появляются все более сложные задачи и накапливаются все большие объемы данных. И для решения этих суперзадач и обработки этих огромных массивов данных уже не годятся обычные компьютеры. В последнее время бурно развиваются такие области, как анализ данных, хранилища данных, извлечение знаний (DataMining). Уже не редкость базы данных размером в несколько терабайт. И объем этих баз быстро растет. Сегодня современные СУБД поддерживают базы данных размером в 8 экзобайт. По прогнозам аналитиков к 2015 г базы размером более 1000 петабайт станут обычным решением и будут содержать тексты, графику, видео, файлы и т д.
Третьей, очень важной причиной бурного развития концепции Grid сегодня является то, что он позволяет получить результат быстрее и дешевле. Действительно, запросив больший чем ранее вычислительный ресурс, мы можем реализовать более сложные и точные алгоритмы расчета и получать более точные результаты намного быстрее. Эффективное использование оборудования и исключение простаивания оборудования снижают стоимость эксплуатации и количество оборудования, которое покупается и поддерживается.
Grid дает возможность объединить вычислительные ресурсы в единое множество и управлять этим множеством как единой системой, что снижает затраты на администрирование. Поскольку невозможно администрировать программное обеспечение на сотнях и тысячах компьютеров одновременно, реализуется целая инфраструктура самонастройки, самотестирования, самоконфигурации. То есть, необходимость сложного администрирования отдельных узлов отпадает и это тоже снижает расходы на администрирование. Управление всей Grid системой возможно'' с единого пульта''.
Еще одним важным преимуществом Grid является то, что как ее элементы можно использовать дешевые компьютеры и операционные системы. Oracle , например,строит свои Grid для разработки на основе очень дешевых плат - компьютеров с ОС Linux. Каждый такой компьютер - это практически одна упрощенная плата. Она не содержит избыточных элементов (таких как графические адаптеры, звуковые адаптеры и т п). Однако из этих плат-компьютеров можно собирать целые шкафы, состоящие из множества таких плат-компьютеров. Причем добавление таких новых компьютеров не намного сложнее, чем добавление книжек в книжную полку.
Четвертой причиной наступления GRID эпохи являются экономические реалии. Кризисы и замедление развития экономики заставляют компании более тщательно считать деньги и сокращать расходы и персонал. В первую очередь часто сокращаются расходы на IT. Поэтому Grid технологии, позволяющие экономить деньги на эксплуатации систем, сейчас очень популярны среди тех, кто умеет считать свои деньги.
Пятой причиной является то, что растет количество людей, знакомых с возможностями Grid, виртуализацией ресурсов, вычислениями как коммунальная услуга и т.д. Увеличилось число публикаций, концепция достаточно понятна и уже сами заказчики и отделы IT требуют внедрения Grid технологий.
Шестой причиной можно отметить то, что уже разработаны стандарты Grid. Многие крупные фирмы - производители компьютеров и программного обеспечения принимают участие в Global Grid Forum, некоммерческой организации, разрабатывающей стандарты построения Grid. Причем разрабатываются не только стандарты, но и инструментарий для реализации этих стандартов. Так сейчас приобрел большую популярность пакет Globus Toolkit и идет разработка новой версии Grid архитектуры - OGSA (Open GRID Service Architecture).
Седьмой причиной следует отметить появление опыта реализации концепции Grid и реальных проектов, построенных на основе этой концепции. Первыми были такие проекты, как SETI (поиск следов внеземных цивилизаций), проект поиска простых чисел, проект CERN (обработка результатов физических исследований). Сейчас реализуется множество новых Grid-проектов, например, BioInfoGrid project (http://www.bioinfogrid.eu), Interactive European Grid project (http://www.interactive-grid.eu), BalticGrid project (http://www.balticgrid.org), EU-ChinaGrid project (http://www.euchinagrid.eu),EU-IndiaGrid project (http://www.euindiagrid.eu), Health-e-child project (http://www. Health-e- child.org), Biomed project (http://www.biomed.org), Women's Health Information Center (http://women-health-center.info), HealthGrid project (http://www.healthgrid.org) , OMII-Europe project (http://www.omii-europe.org),
ETICS project (http://www.eu-etics.org), ISSeG project (http://www.isseg.eu),
National Grid Service project (http://www.ngs.ac.uk), GridPP project (http://www. GridPP.ac.uk), P-Grade Portal Alliance project (http://www.portal.p -grade.hu /).
DILIGENT project (http://www.diligentproject.org/), BELIEF project (http://www. Beliefproject.org), BME Innovation and Knowledge Centre of Information Technology (http://www.itk.bme.hu) и т.д.
И, наконец, последняя, но наиболее важная причина бурного развития Grid сегодня - это то, что основные производители компьютеров и программного обеспечения начали промышленную реализацию и продажу продуктов, позволяющих строить Grid. Мы уже упоминали о плат-компьютерах, их выпускают разные производители. Компания HP начала продажу продукта HP Utility Data Center, который позволяет объединять в Grid компьютеры фирмы HP и управлять ими из единого центра. Похожие решения есть и в компании SUN, это Sun One Grid Engine. Очень много в области Grid делает компания IBM, Intel. Компания Oracle создала Oracle 10G (буква G как раз и означает Grid), который является платформой для реализации приложений в среде Grid (позволяет удаленно переключать компьютеры из серверов кластеров в серверы добавлений) и другие.

На кого рассчитана Grid инфраструктура?

Потенциал технологий Grid уже сейчас оценивается очень высоко: он имеет стратегический характер, и в близкой перспективе Grid должен стать вычислительным инструментарием для развития высоких технологий в различных сферах человеческой деятельности, подобно тому, как подобным инструментарием стали персональный компьютер и Интернет.

Украина получает возможность "на равных" сотрудничать со странами Европейского Союза по созданию и осуществлению технологии 21-го века - Grid, которая обеспечивает совместный доступ к компьютерным ресурсам (которые изменяются от файлов и данных до компьютеров, сенсоров и сетей), реализует разнообразные режимы их использования, обеспечивает строгий контроль, управление и организацию системы безопасности; поддерживает гетерогенность сети, баланс нагрузки на вычислительных узлах и другое.
Приведем основные содружества, нуждающиеся сегодня в применении Grid-технологий.
• Правительственные организации, (служащие, эксперты и научные работники), традиционно занимающиеся вопросами национальной безопасности, долгосрочными исследованиями и планированием.
• Организации охраны здоровья, Grid сегмент которых отличают относительно небольшие размеры, централизованное управление и сложность корпоративной инфраструктуры.
• Содружества ученых, которым необходима виртуальная Grid сеть, характеризующаяся универсальным доступом, относительно узкой направленностью, динамически переменным составом пользователей, децентрализованостью управления, а также частым совместным обращением к существующим ресурсам. Похожая модель может быть использована для межотраслевых, межведомственных и междисциплинарных исследовательских групп и т.п.; Примером такого содружества ученых может быть участие специалистов Института теоретической физики НАНУ в выполнении заданий проектов ALICE, CMS, проводимых ЦЕРНом в области физики высоких энергий.
• Содружество, охватывающее весь существующий рынок вычислений. Этому содружеству свойственно большое число участников, отсутствие постоянных схем и вариантов взаимодействий.
Фактически национальная Grid - инфраструктура необходима лишь для того, чтобы пользователь мог спросить и получить те или иные ресурсы от их владельцев.

Grid в России и Украине


Как известно, инициатором и координатором работ по внедрению в Европе Grid инфраструктуры EGEE (Enabling Grids for E-science in Europe), способной предоставить европейскому научному сообществу возможность совместного использования данных и вычислительных ресурсов, выступил ЦЕРН (Европейский центр ядерных исследований). ЦЕРН активно привлекает сотрудников физических институтов России, Украины и других стран для обработки и анализа экспериментальных данных из своего Большого адронного коллайдера (LHC) крупнейшего ускорителя в области физики элементарных частиц. Инфраструктура EGEE строится на исследовательской сети Европейского союза GEANT и обеспечивает возможность совместной работы с другими Grid системами во всем мире, включая США и Азию, что способствует установлению всемирной Grid-инфраструктуры
С 2007 года начинается построение Европейской Grid инфраструктуры (EGI), функционирование которой планируется на постоянной основе в виде скоординированной сети национальных Grid инфраструктур (NGI). ЦЕРН оставляет за собой общую координацию и ответственность за модернизацию промежуточного слоя middleware и систему общей безопасности.
Как к этому событию готовились Россия и Украина, которые были привлечены ЦЕРН к выполнению своих профессиональных Grid проектов почти одновременно. В России в 2003 году был образован консорциум РДИГ (Российский ГРИД для интенсивных операций с данными - Russian Data Intensive GRID, RDIG), призванный обеспечить эффективное распространение в России инфраструктуры EGEE с одновременным привлечением других организаций из разных областей науки, образования и промышленности. В его состав вошли одиннадцать ведущих физических институтов, четыре университета и Геофизический Центр РАН. Консорциум активно участвует в деятельности EGEE - RDIG, создав следующие группы управления Grid инфраструктурой: операции в Европейском Grid (SA1); поддержки и менеджмента (SA2), обеспечение сетевыми ресурсами (SA3); интеграции, тестирования и сертификации (SA4) общего менеджмента (NA1); распространения, обмена опытом и представительства (NA2), обучение пользователей и их аттестации (NA3); проверки и поддержки приложений (NA4); политики и международного сотрудничества (NA5). Для информационной поддержки консорциума РДИГ разработан портал www.egee-rdig.ru, а для привлечения новых пользователей из других сфер деятельности создан Grid Сертификационный Центр выдачи пользователям Открытых Ключей (СА), вводимых с целью обеспечения информационной безопасности. Сегодня в России функционируют как европейские виртуальные организации (ВО), например, по физике высоких энергий (LHC - ATLAS, ALICE, CMS и др.), биомедицины (ИМПБ РАН), так и чисто российские ВO: геофизики (ИФЗ и ГЦ РАН ), плавки (РНЦ КИ), химфизики (Черноголовка, МГУ), МГУгрид (НИВЦ, НИИЯФ, ин-т Белозерского) и другие ...
Успешная деятельность RDIG способствовала внедрению Grid технологий за пределы проекта EGEE: так в последнее время появились сообщения о русской Grid - инфраструктуре RISA для научных приложений и проект NumGRID (Numerical Grid) с новыми мощными игроками. Это Межведомственный суперкомпьютерный центр РАН (МСЦ РАН) в котором находятся самые мощные кластеры стран СНГ, и Институт вычислительной математики и математической геофизики Сибирского отделения РАН. 
В Украине (http://uag.bitp.kiev.ua) при похожих стартовых условиях все выглядит скромнее и имеет явно ведомственный характер: два физических института (ХФТИ и ИТФ) привлечены к ЦЕРН Grid проектам по физике высоких энергий, кластеры ИТФ и КНУ подключены к сети AliEn-Grid для обслуживания эксперимента ALICE на ускорителе LHC, узел ХФТИ подключен к сети ЦЕРН через Российский RDIG (хотя все эти институты не являются официальными партнерами проекта EGEE-II в отличие от российских физических институтов), несколько сотрудников упомянутых организаций оформили сертификаты доступа к ресурсам EGEE через Российскую RDIG, так как в то время не было национального Сертификационного центра ; другие Grid проекты выполняются также в Институте космических исследований НАНУ-НКАУ (обработка космических снимков) и Главной астрономической обсерватории НАНУ (задачи астрофизики). Вычислительные ресурсы кластеров Института кибернетики НАНУ, ИТФ и КГУ имени Т. Г. Шевченко объединены с помощью ПО NorduGrid. По инициативе ИТФ в апреле 2006 года в НАНУ стартовала корпоративная программа «Внедрение Grid-технологий и создание кластеров в Национальной академии наук Украины», совсем не похожа на русский RDIG, поскольку не учитывает в полной мере общенациональные потребности и научные интересы ученых и организаций, не работающих в системе НАНУ. Объясняется это тем, что в НАНУ считали, что прежде, чем претендовать на какие- то национальные задачи, необходимо Grid-технологии освоить на практике, создать работающую систему, а уже затем предлагать свои практические наработки для внедрения в другие организации. Но не понятно, почему эти другие организации должны ждать, когда для них НАНУ сделает то, что они в состоянии сделать сами?
Между тем Программой Кабинета Министров Украины от 7 декабря 2005г. № 1153 "Информационные и коммуникационные технологии в науке и образовании на 2006-2010 годы" (Программа ИКТ) в стране была поставлена задача создания Национальной Grid инфраструктуры для научных исследований. Но НАНУ, имея уже свою корпоративную программу Grid, в 2007 не принимала участия в тендере проектов, объявленном МОНУ по Программе ИКТ. Тогда группа из 10-ти организаций, представляющие два академических института НАНУ, шесть ведущих вузов МОН и два промышленных предприятия, взяла на себя ответственность за судьбу Национальной Grid инфраструктуры и буквально за несколько часов до закрытия тендера МОНУ представила свой проект UGrid (Ukrainian Grid- infrastructure). Этот вполне самодостаточный коллектив, имеющий все необходимое для реализации проекта, все же посчитал необходимым объявить о своем решении открыто в печати и пригласить к сотрудничеству всех, желающих участвовать в создании Национальной Grid инфраструктуры, чтобы можно было совместно более полно учесть особенности Grid проектов, в выполнении которых заинтересованы различные группы пользователей.
Сейчас же перед страной стоит насущная задача: начав с опозданием по сравнению с другими европейскими странами, создать Национальную Grid инфраструктуру, которая должна будет пройти международный аудит и удовлетворять соответственно новым требованиям следующие критерии: иметь государственную поддержку, например, путем включения проекта Grid инфраструктуры в Государственную программу с гарантированным финансированием; представлять интересы всех слоев общества (ученых, вузовских работников, промышленников, коммерсантов и др.); иметь разветвленную структуру с координирующих, региональных и ресурсных центров, обеспечивающих функционирование базовых Grid сервисов, мониторинг и реагирование на чрезвычайные ситуации, ведение учета ресурсов и выполненных работ (асcounting), управление и поддержку виртуальных организаций (В), сертификацию Grid ПО; базироваться на соблюдении международных стандартов и правил, поддерживать безопасность инфраструктуры, иметь право генерировать сертификаты пользователей CA с ведома EUGridPMA (системы Европейской Grid Аутентификации), быть подключенной к GEANT, Европейской научно-образовательной компьютерной сети, иметь органы Grid инфраструктуры в виде Совета по развитию национальной Grid инфраструктуры, координирующих тематических групп NA1 - NA4, SA1 - SA3 подобно РДИГ.
Безусловно, Национальную Grid инфраструктуру нужно строить совместными усилиями организаций НАНУ, МОН и промышленности. На стороне НАНУ: авторитетное Отделение информатики, важные вычислительные ресурсы, практический опыт объединения высокопроизводительных вычислителей в сеть, опыт проведения исследований отдельными учеными в реальных условиях европейских Grid проектов, многолетний опыт алгоритмизации разнообразных научных задач и разработки для них соответствующих приложений, начиная от задач физики и биологии и кончая литературоведением.
На стороне вузов МОН и промышленности: многолетний опыт построения и исследования распределенных вычислительных систем, в частности, системы коллективного сетевого проектирования изделий высоких технологий на технологиях Grid, опыт участия в европейском проекте BalticGrid в качестве ассоциативного члена, сравнительное испытание ПО промежуточного слоя Globus, NorduGrid и gLite , официальное соглашение с DANTE о подключении компьютерной сети УРАН к европейской сети GEANT, договоренность с EUGridPMA об учреждении службы СА в Украине, огромный задел в решениии научно-технических и инженерных задач, начиная от технического и технологического предвидения развития науки и техники, стоимости и последствий решений в этих областях, связанных с выбором приоритетов и назначением объемов финансирования на государственном уровне или уровне предприятий, и кончая моделированием логических схем с одно электронными нанотранзисторами; быстро наращиваемые вычислительные ресурсы и современный опыт кластеростроения (фирма ЮСТАР) практически неисчерпаемый резерв талантливой творческой молодежи.
На внешнем пространстве представители существующих проектов UGrid и UAGI объединились в единый проект от Украины UNGI (Украинская национальная Grid инициатива, УНГИ), вошедшая в состав европейской EGI. Теперь очередь за координацией или объединением проектов Grid, проводимые организациями НАНУ и МОНУ в единую, действительно национальную Grid-инфраструктуру для научных исследований и образования. Можно только радоваться, что это произошло и все украинские заинтересованные организации и ведомства объединены сейчас вокруг Государственной целевой научно-технической программы внедрения Grid-технологий в 2009-2013 годах, официальными заказчиками которых является Национальная академия наук и Министерство образования и науки Украины.

Ukrainian (UA)Russian (CIS)English (United Kingdom)