На базе ТПУ открылась Лаборатория обработки и анализа больших данных

На базе Томского политехнического университета открылась Лаборатория обработки и анализа больших данных (Big Data Analytics and Technologies Laboratory). Презентация новой современной лаборатории прошла накануне в главном корпусе вуза. Ученые ставят перед собой задачу за два года разработать систему хранения больших объемов информации, которую опробуют в экспериментах ЦЕРНа — Европейского центра ядерных исследований. Такая система позволит за секунды получать информацию, на получение которой раньше могли уходить часы.

Делегация ученых из ЦЕРНа два дня работала в Томском политехе. Открытие лаборатории стало одним из пунктов визита. Курировать работу новой современной лаборатории будет Алексей Климентов — глава исследовательской группы по физическому программному обеспечению Национальной лаборатории Брукхэвен (США). В ЦЕРНе, в крупном эксперименте «АТЛАС», он координирует вопросы обработки полученных данных и разработки, связанные с суперкомпьютерами.

«Наука, различные области производства сейчас остро нуждаются в новой системе, архитектуре хранения больших объемов информации. Только представьте, над экспериментом АТЛАС работают порядка 3000 ученых. И это не просто большой эксперимент, это огромный эксперимент.

Мы работаем со 160 петабайтами данных, Google, например, со 180 петабайтами. И существующие подходы к хранению информации уже не могут нам предложить подходящего варианта. Поэтому возникла идея создать на базе ТПУ лабораторию, ученые которой разработают новую технологию хранения больших объемов данных.

На постоянной основе в лаборатории будут работать 6-7 человек, также будем привлекать молодых ученых», — рассказывает о новой лаборатории ее куратор Алексей Климентов.

По его словам, прежде чем создать лабораторию, ученые ТПУ уже успешно выполнили пилотный проект. Ученым удалось соединить классический подход к хранению информации и опыт социальных сетей.

«Существует классический подход к хранению данных, который действует, например, на основе реляционной базы данных ORACLE. При таком подходе данные хранятся табличным способом. Такая база данных не может масштабироваться: она создается на определенный объем данных. И это для многих сфер уже неактуально. Иную масштабируемую технологию разработали для социальных сетей. Соцсети хранят данные как будто это лежат отдельные файлы. На сегодняшний день такую технологию продает та же компания Google. В принципе можно ее купить. Но в таком случае мы купим черный ящик и не будем понимать, насколько наша информация остается конфиденциальной. Соединением этих двух подходов и занимались ученые ТПУ, решение уже найдено», — поясняет Климентов.

Политехники предложили хранить информацию «горизонтально», на двух иерархических уровнях. Один уровень содержит данные, которые уже нет необходимости изменять, другой хранит динамические данные.

«Система будет универсальной, ее можно применять в различных областях, например, в нефтедобывающей. Есть у компании много нефтяных скважин, с них поступает огромный объем данных, а нужно рассчитать объемы возможной добычи на определенный период.

При грамотном хранении данных такую информацию по нашей технологии можно получить за секунды, а не за часы, как при классическом подходе»,

— говорит ученый.

Ученые новой лаборатории будут заниматься доработкой и развитием уже полученных результатов. Опробовать разработку планируют на экспериментах в ЦЕРНе.

«В эксперименте „АТЛАС“ уже есть большой объем данных, и на нем мы можем показать эффективность новой системы. Конечно, есть возможность ее использовать и в других экспериментах и проектах ЦЕРНа. Предполагаю, что на разработку технологии потребуется порядка двух лет», — добавляет Алексей Климентов.

Отметим, во время визита в Томский политех представители ЦЕРНа провели собеседования со студентами вуза, лучшие студенты отправятся на стажировку в центр.

Справка:

«АТЛАС» — один из четырех основных экспериментов на Большом адронном коллайдере в ЦЕРНе. Эксперимент предназначен для исследований в области физики элементарных частиц. Это один из двух экспериментов, где был открыт бозон Хиггса.

Кстати, а вы знали, что на «Сделано у нас» статьи публикуют посетители, такие же как и вы? И никакой премодерации, согласований и разрешений! Любой может добавить новость. А лучшие попадут в телеграмм @sdelanounas_ru. Подробнее о том как работает наш сайт здесь👈