95

Дальневосточное отделение РАН запустило компьютер мощностью 55 трлн операций в секунду

В Вычислительном центре ДВО РАН (г. Хабаровск) в Центре коллективного пользования «Центр данных ДВО РАН» (ЦКП) при поддержке Федерального агентства научных организаций (ФАНО России) введен в эксплуатацию новый суперкомпьютер — вычислительный кластер, созданный на базе новейшей гибридной архитектуры с пиковой производительностью 55 триллионов операций в секунду (Тфлопс).

Это первая специализированная вычислительная система такого уровня в секторе науки и образования России, ориентированная на решение задач в области искусственного интеллекта и машинного обучения.

В основе кластера используются аппаратные решения производства российской компании Ситоника, реализованные на открытых технологиях и стандартах участников международного консорциума OpenPOWER. Их особенностью является применение передовой гибридной архитектуры вычислителей, где основная производительность обеспечивается графическими ускорителями NVIDIA Tesla P100 на архитектуре Pascal, а обмен данными между центральным процессором POWER8 и графическим процессором осуществляется через высокоскоростной интерфейс NVLink с пропускной способностью до 80 Гбайт в секунду.

Партнерами по реализации проекта выступают мировые технологические лидеры, активные участники и основоположники альянса OpenPOWER — корпорация IBM и компания NVIDIA.

С целью апробирования и внедрения новейших технологий высокопроизводительных вычислений в научных исследованиях, совместными усилиями сторон, на базе ВЦ ДВО РАН создается соответствующий центр компетенций. Институту предоставлено новейшее программное обеспечение для разработки и отладки параллельных программ, сформированы совместные группы поддержки пользователей, начаты учебные мероприятия для ученых с целью знакомства с новыми инструментами обработки данных.

В марте 2017 г. компания NVIDIA провела в г. Хабаровске семинар по глубокому обучению и нейронным сетям, а также школу по работе с программно-аппаратной архитектурой параллельных вычислений CUDA, в которой приняли участие более 80 исследователей из различных городов Дальнего Востока. В сентябре 2017 г. работа в этом направлении будет продолжена совместно с корпорацией IBM в рамках IV Всероссийской научно-практической конференции «Информационные технологии и высокопроизводительные вычисления».

Ресурсы новой вычислительной системы будут нацелены на исследования и разработку алгоритмов компьютерного зрения и обработки изображений, а также на выполнение численных расчетов пользователей ЦКП с применением авторских алгоритмов и существующих пакетов прикладных программ, которые уже адаптированы под новую архитектуру.

Возросшая производительность вычислительных систем ЦКП в разы сократит время ожидания необходимых ресурсов и ускорит проведение численных расчетов. Это позволит повысить эффективность научных исследований и приведет к росту числа публикаций, как по информационно-вычислительным технологиям, так и по другим тематическим направлениям исследований учреждений ФАНО России. Кроме этого, в процессе эксплуатации оборудования будет накоплен ценный опыт практического применения подобных вычислительных систем, что позволит выработать рекомендации по его использованию в других суперкомпьютерных центрах России.

Интеграция нового кластера с системами хранения данных и поддержки информационных сервисов, также входящих в состав ЦКП, даст мультипликативный эффект, возникающий за счет предоставления необходимых вычислительных ресурсов для нужд научных информационных систем и проектов ученых, ранее уже получивших поддержку ФАНО России. Новая система уже интегрирована в информационно-телекоммуникационную инфраструктуру, объединяющую крупнейшие национальные образовательные и научно-исследовательские центры страны. Это дает возможность работать с её ресурсами не только учёным Дальнего Востока, но и специалистам из других регионов России.

География первых заявок на получение доступа к ресурсам кластера подтверждает этот факт. Среди них ученые из Московского физико-технического института (г. Москва), Института морской геологии и геофизики ДВО РАН (г. Южно-Сахалинск), Института водных проблем РАН (г. Москва), Института материаловедения ХНЦ ДВО РАН (г. Хабаровск).

  • 3
    igorborisov Борисов
    06.07.1708:08:20

    Это первая специализированная вычислительная система подобного уровня в секторе науки и образования России, ориентированная на решение задач в области искусственного интеллекта и машинного обучения

    Не совсем понятно, в чём она первая?

    Производительность — пиковые 55 терафлопс, конечно, неплохо, но ничего выдающегося. Где-то на уровне четвертого-пятого десятка в Топ-50 СНГ, про мировой даже не говорю — это далеко за пределами Топ-500.

    В науке и образовании — так Ломоносов вроде тоже в науке и образовании.

    Или он узко заточен под какие-то специализированные задачи и в этом первый?

    Отредактировано: igorborisov Борисов~10:18 06.07.17
    • 4
      A S
      06.07.1719:22:14

      Ну наверное первая, в которой тупо взяли покупные сервачки с пэшками, напихали в них GPU и обозвали суперкомпьютером.

      У Ломо-2 пол-пета — это один шкаф.

      Отредактировано: Антон Смоленский~19:38 06.07.17
      • 0
        igorborisov Борисов
        06.07.1719:44:32

        Вы хотите сказать, что Ломоносов-2 целиком умещается в шести шкафах?

        • 3
          A S
          06.07.1720:12:39

          В 5 шкафах.

          Хотя смотря что понимать под «целиком».

          Ломоносов-2 — это не только шкафы. Это еще куча инженерного оборудования и коммуникаций. Кондиционеры там… насосы всякие.

          Отредактировано: Антон Смоленский~21:21 06.07.17
      • 3
        shigorin
        06.07.1722:16:19

        Меня больше удивило «открытые» и «NVIDIA» рядом.

        Ну да вдруг сейчас заглянет segfault и расскажет чего интересного…

        • Комментарий удален
        • 0
          A S
          06.07.1723:02:29

          Меня больше удивило «открытые» и «NVIDIA» рядом.

          А NVidia лицензирует противоположную от GPU сторону NVLink. То есть ты можешь поставить контроллер NVLink в свой процессор, или FPGA — лишь бы с другой стороны NVidia стояла.

          Отредактировано: Антон Смоленский~23:06 06.07.17
        • 0
          A S
          06.07.1723:11:17

          Я тук понимаю они вот таких вот штук купили под забавным названием «Minsky»:

          И собрали сервачки.

          Отредактировано: Антон Смоленский~23:19 06.07.17
          • 0
            Алекс Разработчик
            06.07.1723:54:51

            Судя по снимкам, там всё сделано на лезвиях. Не могу вставить изображение (у меня ссылки отключены), но желающий посмотреть может набрать в гугле «ДВО РАН OpenPower суперкомпьютер архитектура» и кликнуть первую же ссылку с сервера ДВО РАН ([ссылки отключены]). Там есть более-менее крупные планы шкафов.

            Вообще NVLink (до 80 Гбайт в секунду) это очень неплохо. PCI Express такой пропускной способности не даёт. Такая быстрая линка между процессором и ускорителем может дать новое качество. Вобщем, действительно, интересная архитектура, впервые у нас в стране.

            Отредактировано: Алекс Разработчик~00:08 07.07.17
            • 0
              A S
              07.07.1700:44:13

              Эта картинка?

              Если да — это не блэйды, а типовые 3U IBM морды.

              Посмотрите на правом снимке в правой части шкафа — сверху вниз: кружочек, синяя штучка и белый лейбл. А теперь на мой пост выше.

              Минский и есть по-моему. Я не знаю других серверов с POWER8+.

              А касательно NVLink — дык бытует мнение что просто всем надоело ждать PCIe Gen4 от Intel и NVidia замутила свою шину. На самом деле это в общем-то модифицированный PCIe и есть на более шустрых сердесах.

              Сейчас вообще все дружат против Intel.

              Отредактировано: Антон Смоленский~00:57 07.07.17
              • 0
                Алекс Разработчик
                07.07.1702:55:25

                По фото, действительно, судить сложно (хотя фото нашёл другое).

                Новые данные: технические характеристики (на один узел)

                2 десятиядерных процессора IBM POWER8 (2,86 ГГц) [всего 160 потоков?];

                память ECC, 256 ГБ;

                2 х 1 ТБ 2.5″ 7K RPM SATA HDD;

                2 x NVIDIA Tesla P100 GPU, NVLink.

                Cети передачи данных: EDR InfiniBand.

                Управляющая сеть: Gigabit Ethernet

                У Minsky, как я нашёл, 4 P100 на узел. Так что, видимо, это что-то другое.

                Отредактировано: Алекс Разработчик~02:58 07.07.17
                • 0
                  Нет аватара
                  07.07.1706:01:01

                  Алекс Разработчик, это действительно IBM s822LC for HPC или как его называют Minsky. В этот сервер можно поставить как 2 так и 4 GPU. У ДВО сейчас пять таких серверов и 100Gbit — EDR коммутатор. Систему не зря называют гибридной, так эти сервера просто расширили ранее существующие мощности на базе x86.

                  • 0
                    A S
                    07.07.1709:27:26

                    Систему не зря называют гибридной, так эти сервера просто расширили ранее существующие мощности на базе x86.

                    Вообще, если я не ошибаюсь, «гибридная» обычно значит — просто CPU(s) + GPU(s).

                    Отредактировано: Антон Смоленский~09:28 07.07.17
                • 0
                  A S
                  07.07.1709:30:55

                  У Minsky, как я нашёл, 4 P100 на узел. Так что, видимо, это что-то другое.

                  Как Вам выше написали — количество GPU можно менять. А я вот поясняющую картиночку принес.

                  GPU, вид снизу:

                  Отредактировано: Антон Смоленский~09:40 07.07.17
              • 0
                Раиль Ка
                09.07.1714:14:31

                На фото сверху — последние три шкаф, это ИБП. APC Symmetra PX 48 кВА с двумя внешними батарейными модулями. Нетрудно спутать модули батарей и силовых блоков с серверами

    • 0
      IzauRUS
      01.08.1712:49:15

      Это первая специализированная вычислительная система подобного уровня в секторе науки и образования России, ориентированная на решение задач в области искусственного интеллекта и машинного обучения

      Не совсем понятно, в чём она первая?

      Производительность — пиковые 55 терафлопс, конечно, неплохо, но ничего выдающегося. Где-то на уровне четвертого-пятого десятка в Топ-50 СНГ, про мировой даже не говорю — это далеко за пределами Топ-500.

      В науке и образовании — так Ломоносов вроде тоже в науке и образовании.

      Или он узко заточен под какие-то специализированные задачи и в этом первый?

      Вы как читаете? В использованной Вами фрагменте из новости написан ответ — "ориентированная на решение задач в области искусственного интеллекта и машинного обучения".

Написать комментарий
Отмена
Для комментирования вам необходимо зарегистрироваться и войти на сайт,