стань автором. присоединяйся к сообществу!
Лого Сделано у нас
116

Новый петербургский суперкомпьютер бьет рекорды

Суперкомпьютерный центр (СКЦ) СПбПУ создан в рамках Федеральной целевой программы «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014-2020 гг.» и Федеральной адресной инвестиционной программы. СКЦ «Политехнический» ориентирован на решение междисциплинарных естественно-научных задач и поддержку проектирования сложных технических систем для высокотехнологичных наукоемких секторов науки и промышленности.

22 апреля Санкт-Петербургский политехнический университет официально представил свой новый суперкомпьютер. Точнее, целый суперкомпьютерный центр суммарной вычислительной мощностью более одного петафлопса — что означает 132 место в мировом рейтинге с точки зрения производительности. А с точки зрения энергоэффективности показатели еще выше: первое место в России и несколько рекордов. Говорят, это стало возможным благодаря жидкостному охлаждению процессоров.

«Достаточно нечастое решение, то есть то, что находится на острие технологического прогресса, — комментирует Василий Бояринов, директор по корпоративным продажам Intel в России и СНГ. — Это позволяет сделать более плотное размещение компонентов, более высокую производительность на один киловатт потребляемой энергии. Это является передовой частью в области суперкомпьютерных технологий».

Стоит заметить, что экономия электричества для суперкомпьютера — это не столько победные реляции, призы и рекорды, сколько ощутимая экономия денег на содержание вычислительного центра. Например, суперкомпьютер Санкт-Петербургского политеха потребляет более мегаватта, примерно как огромный 200-квартирный дом. Такая же система, но с воздушным охлаждением, потребляет под 2 мегаватта. Разница — десятки миллионов рублей в год только за счет счетов за электричество, плюс требования к чистоте воздуха в машинном зале и большие затраты на обслуживание.

Кстати, реализованное здесь жидкостное охлаждение — сугубо российская разработка. Причем создавалось оно, как и весьсуперкомпьютер, под процессоры Intel Xeon III поколения, которые на момент проектирования в серийное производство запущены еще не были.

«Философия нашей компании состоит в том, что мы разрабатываем жидкостное охлаждение для стандартных компонентов, которые изначально были спроектированы для охлаждения воздухом, — рассказывает Алексей Шмелев, исполнительный директор группы компаний РСК. — Это позволяет очень сильно удешевить проект, потому что стандартные компоненты стоят дешевле всилу огромного объема производства, а вместе с тем мы привносим какие-то новые вещи, новые возможности — благодаря жидкостному охлаждению».

Этот суперкомпьютер уже загружен почти полностью. Главные потребители вычислительных мощностей — аспиранты и студенты старших курсов со вполне практическими исследованиями. Тут, например, уже моделируют не только столкновения галактик, но и жизнедеятельность вируса гриппа или турбулентные потоки на кромке крыла самолета. В общем вроде как наука — это чьи-то дипломы и диссертации, а вроде как — недалеко и от решения вполне насущных проблем медицины и авиапромышленности.

«Жизнь такова, что если мы хотим строить хорошую конкурентоспособную технику, за разумные сроки, за разумные деньги, то мы должны сократить период разработки, испытания и вывода на рынок, — говорит Владислав Синепол, директор Суперкомпьютерного центра „Политехнический“ СПбПУ. — Это невозможно сделать, не используя вот такие высокопроизводительные вычислительные системы». Вторая задача, ради которой на этот суперкомпьютер потратили под полтора миллиарда рублей — обучение будущих инженеров самой работе с высокопроизводительными системами. Впрочем, мало построить вычислительный центр, под его возможности теперь придется перестраивать саму систему подготовки выпускников. А в случае с Санкт-Петербургским политехом это более полусотни специальностей.

«Вообще вписать ресурс высокопроизводительных вычислений в учебный процесс сложная задача, — признает Владислав Синепол, директор Суперкомпьютерного центра „Политехнический“ СПбПУ. — Скажем, для института компьютерных технологий это относительно просто. А для машиностроительного института это требует определенных трансформаций собственного учебного процесса. То есть это не быстро, не моментально происходит».

Пока же практически все машинное время отдается научным и научно-прикладным исследованиям. Говорят, есть запрос на вычисления со стороны коммерческих организаций, благо суперкомпьютеров такого класса в России всего три, по крайней мере, публичных. Но и эти запросы отложены как минимум на год, пока не придумают и не согласуют с государством, как и сколько денег брать за такие услуги.

Хочешь всегда знать и никогда не пропускать лучшие новости о развитии России? У проекта «Сделано у нас» есть Телеграм-канал @sdelanounas_ru. Подпишись, и у тебя всегда будет повод для гордости за Россию.


  • 5
    Нет аватара termometrix
    28.04.1622:06:01

    Производитель:РСК «Торнадо».Чем больше-тем лучше.

    Отредактировано: termometrix~00:08 29.04.16
  • 5
    Нет аватара termometrix
    28.04.1622:09:37

    Отечественные реконфигурируемые суперкомпьютеры

     https://sdelanounas.ru/blogs/65962/ 

    • 4
      lowly cook lowly cook
      29.04.1609:25:47

      4 года назад я занимался исключительно и только ПЛИС и тоже был адептом религии, ПЛИС наше все. Потом я переключился на компьютерную технику. И моя вера в вышеупомянутое утверждение сильно пошатнулась.

      Зависит от задач — если Вам нужна молотилка которая только и делает, что, например, разбирает геном (и больше ничего) — ПЛИС. Но суперкомпьютером это не назовешь. ПЛИС — это просто очень большая реконфигурируемая матрица логических элементов — не более того. Если взять RTL современного процессора и положить его в ПЛИС — он займет пару десятков, если не больше. Собственно так процессоры и прототипируют на ПЛИС — покупают HAPS — это несколько бордов с кучей ПЛИС, связанных быстрым интерконнектом — и раскладывают его в них. То есть огромный ящик набитый ПЛИСами условно заменяет один процессор.

      Отредактировано: Антон Смоленский~12:31 29.04.16
      • 0
        Yuriy Mironov Yuriy Mironov
        29.04.1615:54:53

        Очень доходчиво и главное просто вы изложили!    

        Особенно вот это «Если взять RTL современного процессора и положить его в ПЛИС — он займет пару десятков, если не больше. Собственно так процессоры и прототипируют на ПЛИС — покупают HAPS — это несколько бордов с кучей ПЛИС, связанных быстрым интерконнектом — и раскладывают его в них." просто и доходчиво!    

        • 7
          lowly cook lowly cook
          29.04.1616:13:21

          Любая цифровая микросхема (опустим для простоты аналоговые блоки) представляет из себя по сути соединенные между собой регистры и логические вентили. Этот уровень абстракции называется RTL — Register Transfer Level.

          В таком виде оно укладывается в ASIC в начале физического дизайна. Потом между этими регистрами и вентилями проводятся физические соединения.

          ПЛИС по сути такая же микросхема с заранее заданной структурой из элементарных ячеек. Но взаимосвязи между этими ячейками можно менять на лету. Поэтому она и называется «Программируемой логической интегральной схемой».

          Проблема в том, что:

          — структура ПЛИС, за исключением связей — фиксирована

          — часть, обеспечивающая возможность программирования связей — отжирает очень много места (то есть это что-то типа КПД по полезной площади кристалла — оно достаточно низкое), а еще — Вы за нее платите. Например Вам надо реализовать логическое И. Но в ПЛИС нет такого компонента — есть логический генератор на много входов, поддерживающий любую Булеву алгебру. И логическое И реализуется на нем — ипользуя условно 10% его возможностей. Или на выходе того же логического генератора стоит регистр. Он Вам не нужен — Вы можете его обойти. Но он все равно там останется просто будет не задействован.

          — скорость взаимодействия между ячейками ПЛИС по сравнению с ASIC весьма ограничена, в силу того что структура фиксирована и Вы не можете поставить какие-то компоненты ближе друг к другу, чтобы уменьшить задержку распространения. Или как-то более оптимально провести трассу — так как коммутационная матрица фиксирована. Вы просто можете выбрать один из предлагаемых маршрутов распространения сигнала.

          Любую микросхему (цифровую ее часть) в виде RTL можно положить в ПЛИС. В том числе и процессор. Просто в виду перечисленных особенностей ПЛИС — один процессор будучи уложенным в ПЛИС — займет их гораздо больше чем одну штуку.

          Поэтому очень часто ПЛИС (или массивы из ПЛИС) используют для прототипирования логики работы устройства, которое планируется выпустить в виде ASIC. Так как ее можно перепрограммировать исправляя ошибки логики. Изготовленный ASIC же перепрограммировать нельзя — поэтому цена ошибки в логике ASIC = цена подготовки к производству нового ASIC. А это очень много денег.

          Попытался как мог на пальцах. «Просто и доходчиво» — к сожалению вырастает в такие вот огромные посты, которые все равно никто не читает.

          Отредактировано: Антон Смоленский~18:35 29.04.16
          • 4
            Нет аватара Enst
            29.04.1619:14:33

            Было очень интересно! Спасибо!

          • 1
            shigorin shigorin
            29.04.1623:14:36

            Ну почему, я вот тоже почитал.

    • Комментарий удален
  • 1
    lowly cook lowly cook
    29.04.1607:25:11

    Точнее, целый суперкомпьютерный центр суммарной вычислительной мощностью более одного петафлопса

    У Ломоносова-2 один шкаф — 0.5 Петфлопса. А ему уже два года. О каких рекордах идет речь?

    Хотя, конечно, покупая стандартные матери, коммутаторы и прочую аппаратуру и собирая из них шкафы — много туда не напихаешь. Увы.

    Отредактировано: Антон Смоленский~09:35 29.04.16
    • 0
      Нет аватара Облачный
      29.04.1608:41:51

      Рекорд в потреблении электроэнергии.

      • 6
        lowly cook lowly cook
        29.04.1609:01:43

        Сколько Вт/Гфлопс? У Ломо-2 примерно 200. То есть один шкаф есть около 100кВт.

        Два шкафа с суммарной производительностью

        более одного петфлопса
        - около 200кВт. Ну ок — пусть 220кВт. 200кВт — это если по матерям считать.

        суперкомпьютер Санкт-Петербургского политеха потребляет более мегаватта,

        Нельзя получить супер-результат используя off-the-shelf компоненты. А РСК именно этим и занимается — проектирует механику и систему охлаждения и забивает все это стандартными серверными матерями.

        Называть это суперкомпьютером — у меня язык не поворачивается. Суперкомпьютер — это штучный товар и он кастомизирован чуть более чем полностью. Например в Ломоносове-2 стандартных узлов (окромя блоков питания) — нет, вообще. Там все разработано именно для этого суперкомпьютера. Блейды, коммутаторы, бакплейны. Все. Там даже коннекторы под DIMM плашки разработаны с технической экспертизой Т-Платформ (а в прототипе там даже сами DIMM были свои). Они — горизонтальные — таких на рынке просто нет. Или, например ILM (железяки которые держат проц) — там тоже не стандартные. Я уже не говорю об архитектуре, схемотехнических решениях и прочем.

        То же самое можно сказать про суперкомпьютеры Bull, SGI, HP — там даже есть ASIC, которые разрабатывались специально для этих машин.

        А то что описано в статье — это системная интеграция. Хотя тоже в принципе деятельность требующая больших ресурсов.

        Т-Платформы тоже с этого начинали — брали Tyan платформы и пихали в свой конструктив. Но они пошли дальше и начали делать собственные серьезные и интересные решения. Тем и отличаются.

        Отредактировано: Антон Смоленский~01:38 30.04.16
        • Комментарий удален
          • 9
            lowly cook lowly cook
            29.04.1609:48:56

            Пока в «Ломоносове» такого нет.

            Драсти приехали.

            В Ломо-2 водяное охлаждение. Там кастомные коллекторы, кастомные колдплейты. Все чин-чином. Не надо грязи.

            Причем там не просто водное охлаждение. Он горячей водой охлаждается.

            Отредактировано: Антон Смоленский~23:28 29.04.16
            • 0
              Depeks Depeks
              29.04.1616:00:00

              а горячей то зачем?

              • 5
                lowly cook lowly cook
                29.04.1616:16:51

                Чтобы экономить на электроэнергии, которую надо тратить на охлаждение воды.

                То есть Ломо-2 охлаждается водой, если не ошибаюсь 40 — градусов. Этого ему достаточно. То есть не надо воду сначала охлаждать там до 10 градусов. Он живет и при 40-градусной воде.

                То есть она горячая не потому что она должна быть горячей. А потому что ее не обязательно делать холодной.

                Отредактировано: Антон Смоленский~22:58 29.04.16
            • Комментарий удален
              • 0
                lowly cook lowly cook
                05.05.1609:30:03

                Макс — я если честно не знаю что тут нужно пояснять, но давайте разберем по фразам если Вам это принципиально

                "Достаточно нечастое решение, то есть то, что находится на острие технологического прогресса

                Да это так — решение действительно не частое. Но не значит что оно уникальное, рекордное и так далее.

                Это позволяет сделать более плотное размещение компонентов, более высокую производительность на один киловатт потребляемой энергии.

                Да позволяет — так как Вам не надо ставить фаны на процессоры и чипсет, то есть блейд может быть ниже. Но если Вы хотите много гигафлопсов — то рядом надо ставить GPU. Или 2 или 4. Стандартные PCIe карточки Вы поставить не можете — так как у Вас водное охлаждение. А под DFF (Dense Form Factor) форм-фактор Вам надо дизайнить собственную мать. В Ломо-2 — матери свои, у РСК — своих мам нет, соответственно DFF GPU они ставить не могут. И весь их перф — это Зионы. А это слезы.

                Это является передовой частью в области суперкомпьютерных технологий

                Да являются. Ведущие производители суперкомпьютеров ориентируются на водное охлаждение. Но под него, как я уже сказал — надо делать собственный дизайн блейдов.

                Я ответил на Ваш вопрос?

                Отредактировано: Антон Смоленский~11:31 05.05.16
                • Комментарий удален
    • 1
      shigorin shigorin
      29.04.1623:15:16

      Шкаф с теслами или таки зеоновых пол-пф?

      • 1
        lowly cook lowly cook
        29.04.1623:30:27

        Шкаф с теслами или таки зеоновых пол-пф?

        С Tesla. 1+1

        Отредактировано: Антон Смоленский~01:37 30.04.16
Написать комментарий
Отмена
Для комментирования вам необходимо зарегистрироваться и войти на сайт,