Методики измерений

 

Оборудование и сервисы Центра не предназначены для проведения измерений. Их базовые функции - хранение и обработка данных.

 

К 2016 г. совокупная сырая емкость установленных в ИВТ СО РАН систем хранения данных (СХД) составила около 1 ПБ. В 2017 г. в опытную эксплуатацию запущена первая очередь новой СХД, которая строится на основе платформы с открытым исходным кодом Ceph (http://ceph.com/). Система предназначена для размещения, обмена и долговременного хранения научных данных. Первая очередь системы состоит из 12 узлов хранения и трех управляющих узлов, объединенных интерконнектом на базе специализированного десятигигабитного оборудования для центров обработки данных. Каждый узел дает системе по 96 ТБ сырого дискового пространства, он подключен к сети двумя независимыми интерфейсами по 10 Гбит. В итоге объем сырого дискового пространства составил 1.15 Пб, что с учетом резервирования дало пользователям до 0.57 ПБ для размещения научных данных. Тестирование показало высокую производительность построенной системы, скорость обмена данными с которой в настоящее время ограничивается скорее скоростью подключения пользователя. Система защищена от существенных сбоев и потери данных за счет различных уровней резервирования как самих данных, так и аппаратных, в том числе сетевых ресурсов.

 

Создание новой системы хранения научных данных стало возможным благодаря поддержке предложенного ИВТ интеграционного проекта в рамках программы реструктуризации сети научных учреждений, подведомственных ФАНО России, и реализации программы развития ИВТ. В соответствии с этой программой в ИВТ образован и развивается Центр научных ИТ-сервисов, закупается дорогостоящее оборудование для оснащения центра обработки данных. В 2017-18 гг. реализован второй этап работ по созданию и развитию центра научных ИТ-сервисов, который включает расширение новой СХД в 3.7 раза (до 4.3 ПБ сырого дискового пространства), что позволит размещать в ней до 2.15 ПБ научных данных. Запланирован третий этап, предусматривающий расширение СХД еще на 1 ПБ сырого дискового пространства.

 

Также в рамках третьего этапа запланировано расширение вычислительных мощностей Центра путем установки кластера из высокопроизводительных гибридных серверов с GPU, что позволит решать новые задачи анализа данных с использованием технологий машинного и глубокого обучения.

 

На базе новой СХД формируется иерархия ИТ-сервисов хранения, обмена и совместной работы с научными данными и документами.

 

Базовым сервисом комплекса является выделение дискового пространства на отказоустойчивой СХД (BSS - Basic Storage Service или Хранение научных данных). Выделенное дисковое пространство может быть подключено к любой компьютерной системе в поддерживаемом ИВТ СО РАН сибирском сегменте академической корпоративной компьютерной сети с использованием специальных блочных и файловых протоколов.

 

Сервисы второго уровня связаны с запуском виртуальных машин в отказоустойчивом распределенном кластере ИВТ (BVS - Basic Virtualization Service). Они могут применяться, в частности, для организации доступа и использования выделяемых на СХД дисковых пространств или для обработки научных данных.

 

Сервисами третьего уровня являются платформы для хранения, обмена и совместной работы с научными данными и документами. Первый из них - сервис автоматизации совместной деятельности рабочих групп (SGCS - Scientific Groups Collaboration Service). Он строится на базе платформы с открытым исходным кодом Zimbra (https://www.zimbra.com/). Сервис позволяет обмениваться электронными сообщениями (e-mail), управлять списками контактов, вести ежедневник (календарь), управлять задачами как для отдельных пользователей, так и для групп пользователей с возможностью открытия (sharing) доступа другим пользователям системы к документам и папкам, в том числе почтовым, событиям календаря и задачам. Cервис имеет современный веб-интерфейс, у него есть возможность работы с большинством почтовых клиентов стационарных и мобильных платформ через стандартные протоколы. Доступны два варианта использования сервиса: для организации-пользователя может быть выделена отдельная виртуальная машина с развернутой платформой либо предоставлена возможность регистрации пользователей в общей системе. В первом случае администрирование платформы осуществляют специалисты организации-пользователя, во втором - регистрация и управление пользователями выполняются службой Центра.

 

Другой сервис третьего уровня построен на платформе с открытым исходным кодом NextCloud (https://nextcloud.com/), он предназначен для совместной работы с файлами и документами, а также среднесрочного и долговременного хранения общих данных (CDSS - Cloud Data Store&share Service или Обмен и совместная работа с научными данными и документами). Сервис является аналогом Dropbox и Google Disk: он позволяет загружать и хранить файлы и папки, предоставлять к ним доступ другим пользователям системы, совместно редактировать документы (с помощью интегрированной подсистемы на основе LibreOffice, http://libreoffice.org/) с поддержкой версионности, публиковать файлы, папки и документы, подключать хранилище к компьютерным системам в виде внешних дисков, использовать его для резервного копирования и автоматической синхронизации данных с помощью клиентских приложений для стационарных компьютеров и мобильных устройств. Через интерфейсы платформы возможны подключение и использование различных внешних хранилищ данных. Как и для SGCS, использование сервиса реализуется в двух формах: развернутой на отдельной виртуальной машине и управляемой специалистами организации-пользователя платформы либо на общей центральной платформе, управляемой службой Центра.

 

И SGCS, и CDSS позволяют настраивать идентификацию и авторизацию пользователей на основе различных служб каталогов: Active Directory, LDAP и др. Сервис CDSS поддерживает создание федераций, позволяя организовать обмен данными и совместную работу пользователей других инсталляций платформы NextCloud.

 

ИВТ СО РАН продолжает работы по развитию Центра и расширению списка ИТ-сервисов поддержки научных исследований. Миссия Центра - дать российским ученым и исследователям удобные инструменты для работы с их цифровыми данными, организовать среду для совместной работы с такими данными, предоставить возможности для их публикации в рамках концепции OpenScience. Ключевая задача, которую запланировано решить в рамках этой миссии, - создать и открыть доступ к информационно-аналитической системе поддержки научных исследований, основанных на интенсивном использовании цифровых данных, позволяющей реализовать долговременное хранение, обработку и анализ, обмен и публикацию различных научных данных.