Новый подход к работе с большими объемами данных

В Иркутске прошел международный семинар по работе с экспериментальными данными на протяжении их жизненного цикла. В его работе приняли участие ученые Иркутского государственного университета, Института динамики систем и теории управления им. В. М. Матросова СО РАН, НИИ ядерной физики МГУ и немецкого технологического института г. Карлсруэ (Германия).

Семинар организован в рамках проекта «Карлсруэ — Российская инициатива по работе с астрофизическими данными на протяжении их жизненного цикла», финансируемого РНФ и Объединением им. Гельмгольца (Германия) и в котором ИГУ выступает одним из участников.  

— Совместный германо-российский проект направлен на решение актуальной проблемы организации работы с научными данными, получаемыми с современных экспериментальных установок. Мы планируем создать систему, которая позволит разработать методику сбора, обработки и анализа данных с астрофизических экспериментов при помощи модели открытого доступа к данным — open science. Предложенный подход является инновационным и впервые будет использован для научных исследований в области астрофизики частиц, — сказала молодой ученый ИГУ Юлия Казарина.

Ученые привели примеры астрофизических экспериментов, где планируют применить модель открытого доступа — это TAIGA, который реализуется на Тункинском астрофизическом центре коллективного пользования ИГУ, и европейский KASCADE (используются архивные данные). Указанные установки ежегодно производят сотни и тысячи терабайт данных, которые крайне сложно полностью проанализировать за короткий срок существующими методами. Для сравнения, 10 лет назад объем данных астрофизических экспериментов составлял единицы и, в крайнем случае, десятки терабайт данных в год.

— Мы обсудили проблемы, связанные с исследованиями и разработками систем для поддержки научных исследований в течение всего жизненного цикла экспериментальных данных с крупных научных установок. Важной темой также стала возможность включения в систему данных других установок, что позволит значительно ускорить исследования фундаментальных свойств материи и вселенной, — сказал руководитель проекта с российской стороны Александр Крюков (НИИЯФ МГУ).

Как пояснили ученые, данные разработки касаются не только обработки полученных астрофизических данных, но и могут быть адаптированы к другим естественнонаучным направлениям.

Ссылка на оригинал статьи