К. Е. Афанасьев icon

К. Е. Афанасьев



Смотрите также:
  1   2   3   4   5   6   7   8

ФЕДЕРАЛЬНОЕ АГЕНТСТВО ПО ОБРАЗОВАНИЮ
ГОСУДАРСТВЕННОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ
КЕМЕРОВСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ
Математический факультет
Кафедра ЮНЕСКО по новым информационным технологиям



ДИПЛОМНАЯ РАБОТА


«Подсистема управления вычислительным кластером системы удаленного доступа к распределенным вычислительным ресурсам»


студента 5 курса

Клепче Владимира Николаевича

Специальность 010503 – «Математическое обеспечение

и администрирование информационных систем»


Научный руководитель:

д-р физ.-мат. наук, профессор

К.Е. Афанасьев

_____________________



Работа допущена к защите:

Работа защищена:

“____”_______________200_г.

“____”_______________200_ г.

Зав. кафедрой

с оценкой _____________

д-р физ.-мат.наук, профессор

Председатель ГАК ________________________

К.Е. Афанасьев

Члены ГАК: _________________________

________________________

_________________________




_________________________



Кемерово 2009

СОДЕРЖАНИЕ


СОДЕРЖАНИЕ 3

ВВЕДЕНИЕ 4

§ 1. ОБЗОР СУЩЕСТВУЮЩИХ ВЫСОПРОИЗВОДИТЕЛЬНЫХ ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМ И ПРОГРАММНЫХ СРЕДСТВ ПОДДЕРЖКИ ВЫЧИСЛЕНИЙ НА УДАЛЕННОМ КЛАСТЕРЕ 12

§ 2. СИСТЕМА УДРВР 26

§ 3. ПРОЕКТИРОВАНИЕ 34

§ 4. РЕАЛИЗАЦИЯ 38

§ 5. ТЕСТИРОВАНИЕ 48

ЗАКЛЮЧЕНИЕ 55

^ СПИСОК ЛИТЕРАТУТЫ 56

СПИСОК СОКРАЩЕНИЙ 58

ПРИЛОЖЕНИЕ 59

ВВЕДЕНИЕ



В первое время после своего появления параллельные вычисления рассматривались как экзотическая область компьютерных вычислений, доступная и интересующая только определенный круг ученых и программистов. Развитие компьютерной архитектуры и сетевых технологий, а также появление все более новых, требующих громадной массы вычислений, научных и прикладных задач показало актуальность и перспективность данной области, выдвинув параллельные вычисления на одно из центральных мест в программировании и вычислительных технологиях. Компьютер с поддержкой параллелизма - это набор процессоров, которые могут работать совместно для решения общей задачи. Под определение подходят и такие системы как: суперкомпьютеры, оборудованные тысячами процессоров; сети рабочих станций; мультипроцессорные рабочие станции и т.д.

Суперкомпьютеры позволили начать решать новые, ранее недоступные задачи, приступить к реализации математических моделей сложных физических явлений и технических устройств. Здесь суперкомпьютеры являются незаменимым и универсальным технологическим инструментом, как в изучении природы, так и в практической деятельности. Понятна привлекательность изучения ядерного взрыва на модели, а не в натурном эксперименте. Без всякого преувеличения можно сказать, что новые технологии давно уже стали разрабатываться на основе изучения математических моделей реальных процессов.

В России, в рамках выполнения различных ведомственных программ развития высшего профессионального образования, было профинансировано и запущено достаточное количество кластерных вычислительных систем. Многие крупные предприятия, в числе которых: банки, вычислительные институты, научно-исследовательские центры, осознавая необходимость использования мощных вычислительных ресурсов для успешного ведения своей деятельности, вкладывают значительные объемы средств для приобретения, обслуживания и сопровождения высокопроизводительных систем с параллельной архитектурой.

Использование суперкомпьютеров наталкивается на большие трудности. Очень сложно создавать и отлаживать параллельные программы по сравнению с традиционным последовательным программированием. В самых простых с виду параллельных программах обнаруживаются иной раз фатальные ошибки.

Известны программы, состоящие буквально из десятка операторов, которые долгое время считались правильными, их правильность даже доказывали формально. И, тем не менее, со временем в них обнаруживались тяжелые ошибки. А ведь среди приложений суперкомпьютеров есть много и таких, которые очень чувствительны к ошибкам (по своим последствиям). Отсюда значительно больший, чем в последовательном программировании, интерес к автоматизации конструирования параллельных программ, к строгим математическим методам конструирования и анализа правильности программ. Сейчас нет уже сомнений, что без основательного знания математики невозможно стать хорошим параллельным программистом, а значит, и программистом вообще, поскольку и сейчас уже, по существу, нет непараллельных ЭВМ. Даже персональные ЭВМ в значительной степени используют эффект параллелизма. В настоящее время используются процессоры на многоядерной основе (с 2 или 4 ядрами) или многопроцессорной основе для домашних персональных компьютеров [21].

Теория параллельных вычислений характеризуется большим разнообразием идей, подходов к решению задач, и к разработке параллельных программ. Очень многие задачи требуют учета их особенностей для создания эффективных программ, их решения. Это, в свою очередь, приводит к разработке разнообразных и многочисленных средств параллельного программирования, что еще более затрудняет использование суперкомпьютеров.

Ключ к успеху в приложениях суперкомпьютеров в решении задач большого размера - эффективные параллельные вычислительные технологии. Они призваны значительно сократить путь от теоретических и экспериментальных результатов к их приложениям. Фактически речь идет о создании технологий реализации математических моделей, как физических явлений, так и интеллектуальной деятельности человека, что позволит затем использовать эти модели в необходимых конкретных приложениях. Сами вычислительные технологии, таким образом, являются мета-технологиями, т.е. средством разработки новых прикладных технологий. Это далеко нетривиальная задача для теоретиков и программистов.

В настоящее время компьютерное моделирование широко применяется при решении разнообразных задач народного хозяйства. Постоянное повышение точности математических моделей и, связанной с этим, вычислительной сложности задач обуславливает все более широкое применение высокопроизводительных компьютерных технологий в научных расчетах, основанных на использовании ЭВМ параллельной архитектуры (ЭВМПА). В соответствии с потребностями общества ВУЗы расширяют подготовку студентов по направлениям высокопроизводительных ЭВМ и параллельного программирования [1]. Подготовка студентов требует наличия не только учебных и методических материалов, но и соответствующей материальной базы для проведения лабораторных и практических работ, однако высокая стоимость многопроцессорных ЭВМ делает их недоступными большинству российских ВУЗов. Бюджетным решением, которое позволяет создать ЭВМПА практически без дополнительных финансовых затрат, является компьютерный кластер.

С аппаратной точки зрения кластер представляет собой набор серийно выпускаемых ЭВМ (вычислительных узлов), объединенных сетью передачи данных. С точки зрения программного обеспечения кластер является единой виртуальной машиной, имеющей несколько процессоров и распределенную память. Производительность кластера определяется производительностью его узлов и характеристиками среды передачи данных. Мощные вычислительные узлы и низколатентная сеть с высокой скоростью передачи данных дают производительность, сравнимую с заводскими многопроцессорными машинами, при этом удельная стоимость MFLOPS у кластеров в среднем ниже, чем у заводских ЭВМПА. Персональный компьютер офисного класса и стандартный Fast Ethernet в качестве сети не позволят развить высокую скорость работы кластера, но такой кластер будет полностью повторять архитектуру любого другого, более производительного. Поэтому на таком кластере можно отладить прикладную программу и быть уверенным, что она без ошибок будет работать и на любой другой ЭВМПА кластерной архитектуры. Это позволяет проводить обучение студентов и отладку программ на дешевых кластерах, не тратя процессорного времени дорогих высокопроизводительных машин [2].

Рост популярности кластерных решений в научной и академической среде привел к появлению практически в каждом ВУЗе страны набора кластеров, как высокопроизводительных для научных расчетов, так и низкопроизводительных для обучения студентов и отладки программ. В настоящее время вычислительные системы кластерного типа получают все большее распространение. Это обусловлено различными факторами, главным из которых является насущная потребность в решении актуальных задач фундаментальной и прикладной науки, для анализа и исследования которых производительности существующих средств вычислительной техники оказывается недостаточно.

Вот лишь некоторые области, где возникают задачи подобного рода: предсказания погоды, глобальных изменений в атмосфере, гидро- и газодинамика, науки о материалах, разведка нефти и газа, управляемый термоядерный синтез, генетика человека и многие другие области.

Однако при развертывании систем такого рода возникает ряд проблем. Заметное место в этом ряду занимает проблема эффективного управления кластерными системами. Для того чтобы распределенная вычислительная система успешно функционировала, необходимо, по крайней мере, реализовать систему распределения задач по доступным вычислительным ресурсам, систему доступа, обеспечивающую планирование выполнения задач на кластерах (диспетчер заданий) и мониторинг состояния вычислительных ресурсов. В случае отсутствия систем такого рода возможны конфликты в процессе запроса вычислительных мощностей во время проведения экспериментов, что приведет к падению общей производительности системы. Таким образом, разработка программных систем, решающих эти задачи, является необходимым условием успешного развития вычислительных систем рассматриваемого класса.

В настоящее время существует несколько способов удаленного доступа к вычислительным ресурсам. Наиболее распространенными являются терминальный доступ через службы telnet и ssh, X-Терминалы и доступ через специализированный сервер. В этом случае мы сталкиваемся с ограничением, связанным c тем, что несколько пользователей авторизовавшиеся на кластере под одним и тем же логином используют одни и те же разделяемые каталоги и могут повредить файлы и процессы другого пользователя, а также поглотить все ресурсы, выделенные для пользователей с этим логином. Поэтому удаленный доступ практически не используется.

Все эти проблемы можно решить с помощью систем пакетной обработки заданий (OpenPBS, TORQUE, Condor), однако наибольшими возможностями обладает доступ через некий специализированный сервер.

Многие организации, а особенно университеты, имеют несколько компьютерных классов, на базе каждого из которых легко может быть организован однородный кластер. Так, например, в ЦНИТ КемГУ организован распределенный вычислительный ресурс на базе уже существующих учебных компьютерных классов, включенных в единую университетскую сеть. В настоящее время кластер КемГУ доступен только через трансляцию сетевых адресов (NAT). Использование технологии NAT затрудняет удаленный доступ до кластера. Для более эффективного использования ресурсов кластера необходим доступ к его вычислительным мощностям через Интернет, а также через локальные сети университета с помощью удобной графической оболочки. Студенты, которые хотят запускать и компилировать программы должны иметь возможность делать это на компьютерах соединенных с локальной сетью КемГУ.

Основными средствами для организации параллельных вычислений являются различные реализации стандарта MPI. C помощью этих библиотек ведется компиляция и запуск программ пользователей. Существуют проблемы использования MPI: во-первых, перед запуском приложения необходимо копирование приложения на все компьютеры кластера; во-вторых, перед запуском приложения необходима информация о реально работающих компьютерах кластера для редактирования файла конфигурации кластера, который содержит имена машин; в-третьих, в MPI существующей реализации не поддерживается динамическое регулирование процессов, т.е. если один из узлов выходит из строя, то общий вычислительный процесс прекращается [2].

Поэтому создание системы удаленного доступа к распределенным вычислительным ресурсам (УДРВР), являющейся информационной средой для проведения численных экспериментов и хранения результатов, является актуальной и важной задачей повышения эффективности и удобства использования высокопроизводительных вычислительных ресурсов в научных исследованиях.

В настоящий момент в Кемеровском государственном университете коллективом аспирантов и студентов, под общим руководством профессора К.Е. Афанасьева, ведётся разработка «Системы удаленного доступа к распределенным вычислительным ресурсам». Назначением данной системы является обеспечение ученых и студентов удобным инструментарием для работы с вычислительными ресурсами университета.


При проектировании системы УДРВР была выбрана трехуровневая архитектура «клиент – сервер – Менеджер Вычислительного Ресурса» (Рисунок 1).




^ Рисунок 1. Структура системы УДРВР

В рамках разработки системы была поставлена цель - разработать компонент «подсистема управления вычислительным кластером», который в дальнейшем называется «менеджер кластера», выполняющий следующие задачи:

  1. Автоматическая компиляция заданий пользователей на кластере;

  2. Автоматический запуск заданий (параллельных и последовательных) на кластере с последующим возвращением результатов пользователю;

  3. Мониторинг состояния узлов кластера.

Дипломная работа состоит из содержания, введения, пяти параграфов, заключения, списка литературы и приложений.

В первом параграфе описываются классификации многопроцессорных систем, пакеты управления вычислительными ресурсами, пакеты мониторинга.

Во втором параграфе описывается цель данной работы, а также делается постановка задачи, определяются общие и функциональные требования к системе и подсистеме.

В третьем параграфе рассказывается о моделировании и проектировании подсистем.

В четвертом параграфе описывается реализация подсистем.

В пятом параграфе рассказывается о тестировании действующей системы на вычислительном кластере кафедры ЮНЕСКО в Кемеровском государственном университете.

В 2008 году работа завоевала диплом II степени на VII Всероссийской научно-технической конференции с международным участием, проходившей в Анжеро-Судженске, "Информационные технологии и математическое моделирование - 2008".

В 2009 году работа была представлена на XLVII Международной научной студенческой конференции, проходившей в Новосибирске, "Студент и научно-технический прогресс", где получила дипломом II степени [11].




страница1/8
Дата конвертации23.10.2013
Размер0,66 Mb.
ТипДокументы
  1   2   3   4   5   6   7   8
Разместите кнопку на своём сайте или блоге:
rud.exdat.com


База данных защищена авторским правом ©exdat 2000-2012
При копировании материала укажите ссылку
обратиться к администрации
Документы