ИНФОРМАЦИЯ

Архитектура вычислительных кластеров серверов Netberg Kratos

Краткое описание

Вычислительный кластер серверов Netberg Kratos состоит из оптимизированных для подобной инфраструктуры серверов Netberg, УУ и системы хранения данных. Вычислительное оборудование может быть объединено сетями на основе стандартов InfiniBand, Ethernet, FibreChannel. Архитектура системы — массивно параллельный вычислительный комплекс.

Система располагается в стандартных шкафах для серверного оборудования или в открытых стойках. Все узлы, кабели, шкафы промаркированы согласно расположению в машинном зале.

На узлах разворачивается универсальный образ Узла построенный на базе одного из дистрибутивов OC GNU Linux. Универсальность узлов означает то, что на самих узлах отсутствуют какие либо специфические настройки. Узлы «не знают» ни своего имени, ни своей функции в кластере. Определение имени узла, его функций, ресурсов осуществляется централизованно на УУ.

В качестве системного и прикладного программного обеспечения на кластере используется свободно распространяемое программное обеспечение.

Терминология

Кластер — программно-аппаратный комплекс с массивно параллельной архитектурой предназначенный для решения всевозможных вычислительных задач математической физики, геологии, химии и множества других.

Узел — стандартная вычислительный единица Кластера, обычно представляющая собой сервер размером 1U или блок т.н. blade-серверов.

Управляющий узел (УУ) — один или несколько выделенных серверов в составе Кластера. УУ обеспечивает целостною работу кластера при помощи ряда функционирующих на нем Сервисов.

СХД — система хранения данных.

InfiniBand Фабрика — единый комплекс оборудования InfiniBand.

Baseboard Management Controller (BMC)— сервисный процессор в составе Узла позволяющий осуществлять мониторинг по протоколам HTTP, IPMI 2.0, SNMP и прочим. Также BMC предоставляет функции KVMoIP и VirtualMedia (более подробно о BMC и подобных технологиях в статье IPMI — технологии удаленного управления сервером.

Сервис — отдельная служба выполняющая конкретную задачу Кластера. Как правило, за работу сервиса отвечает один или несколько системных служб (демонов).

Сетевая схема кластера

Сетевая организация Кластера представляет собой несколько сетей. Типичный набор сетей и их основные свойства представлены в таблице.

Описание и свойства сетей Кластера
Название Характеристики Назначение Политика присваивания адресов
Сеть передачи данных InfiniBand, DDR/QDR Быстрая передача данных между рабочими процессам расчетных задач. Подключение к СХД. Обеспечение работы протокола MPI. Динамически посредством Subnet Manager
Системная сеть Ethernet, 10Gb/1Gb Управление кластером. Сбор данных мониторинга работающих Узлов. Подключение Узлов к серверам СХД посредством протокола NFS. Работа протоколов: DHCP, DDNS, SSH, LDAP и других. Динамически посредством DHCP и DDNS серверов
Сервисная сеть Ethernet, 1Gb/100Mbit Подключение к сервисным портам Узлов кластера. Доступ к BMC. Обеспечение функций KVM-over-IP. Подключение к сервисным портам коммутаторов и ИБП. Статически на всех сервисных портах
Система хранения данных FibreChannel, 4Gb/8Gb Подключение сервера(ов) хранения данных к дисковому массиву. Осуществляется по WWN-адресам FibreChannel оборудования.

Сервисы

Ниже описываются наиболее важные из служб выполняющихся на Управляющем Узле.

NTP

Сервер времени обеспечивает синхронизацию времени между всеми Узлами и УУ. Узлы получают точное время от УУ, который в свою очередь синхронизируется с серверами точного времени в Интернет.

Синхронизированное время между всеми Узлами Кластера является необходимым условием для работы многих служб и протоколов, например службы диспетчеризации заданий. Также синхронизация обязательна при поиске неисправностей и анализа системных журналов.

LDAP

Служба каталогов является централизованным хранилищем пользовательской информации и системной информации. Например:

  • имена для входа, собственные имена сотрудников, пользовательские идентификаторы;
  • имена групп, идентификаторы групп, название и привязка подразделений организации;
  • список общих ресурсов (например домашние каталоги), точки монтирования;
  • списки доступа к команде sudo.

WEB-консоль управления сервером LDAPВ качестве демона используется реализация OpenLDAP. Редактировать ресурсы LDAP можно при помощи консольных утилит (ldapadd, ldapdelete, ldap_modify, ldapsearch и подобных), а также при помощи графических браузеров. В частности, на УУ по умолчанию предустанавливается WEB-консоль (см. рисунок 1)— phpldapadmin.

Более подробную информацию о сервере каталогов OpenLDAP можно получить на официальном сайте проекта — www.openldap.org

Для удобного управления пользователями и группами имеется несколько утилит позволяющих: добавлять пользователей в локальную базу данных и в ldap-дерево, создавать пользовательские папку, генерирует ssh-ключи.

DHCP+Dynamic DNS

Связка этих двух служб является основополагающей для функционирования сетевой инфраструктуры. Сервис DHCP распределяет свободные IP адреса между узлами и выдает уникальное имя Узлу в соответствии с правилами их именования. Выданный IP адрес и имя передается сервису Dynamic DNS и в дальнейшем с Узлом можно работать по удобно читаемому адресу (например c25.ccluster.)

На узлы устанавливается универсальный набор ПО настройки которого определяются только его доменным именем. Таким образом, при правильно функционирующих этих двух служб добавление дополнительного узла кластера состоит из двух простых шагов: развертывание стандартного образа с ПО (обычно осуществляется через сервисную сеть); внесение информации о mac-адресе Узла в конфигурационный файл DHCP.

Общий мониторинг системы

Вид заглавной страницы системы мониторинга GangliaМониторинг кластера осуществляется при помощи системы Ganglia специально разработанной для наблюдения именно за ресурсами GRID-систем и кластеров. Это ПО характеризуется следующими основными возможностями:

  • мониторингом систем из нескольких тысяч узлов;
  • построением иерархической структуры мониторинга;
  • малой загрузкой сетевого оборудования за счет передачи данных в широковещательном режиме (multicast);
  • небольшими требованиями к хранилищу данных (благодаря использованию формата данных — RRD — Round-robin Database, Кольцевая база данных).

Мониторинг отдельных узлов

Мониторинг аппаратных сенсоровНаблюдение за конкретным Узлом осуществляется при помощи сервисной сети к которой подключены BMC Узлов. Непосредственный доступ к BMC осуществляется через стандартный WEB-браузер. На рисунках 3 и 4 представлен пример мониторинга аппаратных сенсоров платформы (частота вращения вентиляторов, температура, вольтаж и т.д.) и доступ к KVM соответственно.

Дополнительно в ОС осуществляется перенаправление сообщений от BMC в стандартный лог-файл (syslog).
Более подробную информацию о BMC и возможностях сервисных сетей на их основе можно почерпнуть в статьях IPMI — технологии удаленного управления сервером и ESMS — система управления серверами.

Вид окна с KVMoIPВид окна с KVMoIP.

NFS

Обеспечивает файловый доступ к ресурсам СХД, которые предоставлены для узлов/пользователей. По умолчанию доступ осуществляется по протоколу IPv4 через Системную сеть. Возможно переключение работы сервера и клиентов NFS на протокол RDMA использующий InfiniBand оборудование Сети передачи данных.

GFS

Global File System распределенная файловая система используемая вместо NFS в случае если Кластер использует сеть хранения данных и выделенные дисковые хранилища.

SSH

Служба обеспечивающая работу протокола SSH используемого для безопасного доступа пользователей из вне на Управляющий Узел, а в случае необходимости на Узлы Кластера. Последнее, может быть необходимо для запуска параллельных программ в ручном режиме, отладке. Организован беспарольный доступ к Узлам при помощи открытых и закрытых ssh ключей. Эти ключи уникальны для каждого пользователя и генерируются при создании пользователя. Также, протокол SSH является основным механизмом доступа пользователей на Управляющий Узел.

FTP

FTP предназначен для простой передачи файлов с клиентских машин на сервер. Сервис vsftpd обеспечивает работу этого протокола на кластере. vsftpd настроен таким образом, что каждый пользователь подключаясь по этому протоколу под своим логином/паролем попадает в домашнюю каталог.

Subnet Manager

Стандартная служба управляющая InfiniBand Фабрикой. По умолчанию SM запущен на УУ. При необходимости или изучении может быть запущен на любом Узле подключенном к Сети передачи данных.

Система диспетчеризации

В случае необходимости организации конкурентного доступа к вычислительным ресурсам кластера устанавливается менеджер ресурсов TorquePBS. Этот менеджер является свободно распространяемым программным обеспечением и позволяет организовывать пулы ресурсов, очереди доступа к ним, задавать различные политики и алгоритмы доступа.

НОВОСТИ

Последние новости