стань автором. присоединяйся к сообществу!
Добавить новость можно всем, без премодерации, только регистрация
Лого Сделано у нас
73
termometrix 31 июля 2018, 20:21 Информационные технологии

В Росгидромете установлен новый суперкомпьютер

Следи за успехами России в Телеграм @sdelanounas_ru
  •  © meteorf.ru

В Росгидромете установлен новый суперкомпьютер производительностью 1,2 Петафлопс (Сray XC40-LC, 936 вычислительных узлов с процессорами Intel Xeon и 128ГБ оперативной памяти на каждый узел), который позволит кардинально улучшить разрешение и повысить точность численных моделей, применяемых для оперативного прогноза погоды и изменений климата.

Математики и программисты Гидрометцентра начали перенос вычислительных мощностей для расчета погоды на новый суперкомпьютер.Новый мощный суперкомпьютер производительностью в 1 петафлопс — один квадриллион операций в секунду — был поставлен в Москву в прошлом году. Сумма контракта, как заявляли в Росгидромете, составила 1,8 млрд рублей, в стоимость были включены еще два менее мощных компьютера — для Новосибирска и Хабаровска.

Кстати, а вы знали, что на «Сделано у нас» статьи публикуют посетители, такие же как и вы? И никакой премодерации, согласований и разрешений! Любой может добавить новость. А лучшие попадут в телеграмм @sdelanounas_ru. Подробнее о том как работает наш сайт здесь👈
Источник: http://www.interfax.ru/russia/623255

информационные технологии
  • 4
    Нет аватара termometrix
    31.07.1820:28:42

    Запуск этот ЭВМ на полной мощности планируется к концу года.Итоги: 4 суперЭВМ для Росгидромета,3 новые по-видимому и один «старый»,думаю это будет неплохая вычислительная сеть.

    #1057049 ↑
  • 7
    александр столярчук александр столярчук
    01.08.1800:00:47

    Думаю если у шамана спросить то будет более точный прогноз. А гидрометцентр более чем на сутки не может дать точный прогноз. )

    #1057096 ↑
    • 1
      Нет аватара termometrix
      01.08.1801:16:02

         

      #1057108 ↑
      • Комментарий удален
        • 0
          GordonFreeman GordonFreeman
          02.08.1810:19:25

          Даже на сутки не может.

          По моим личным ощущениям, они с прогнозом как минимум на два дня могут ошибаться. Вот касаясь как раз дождей. Говорят, к примеру, что сегодня ожидается дождливая погода, а дождь наступает только послезавтра   

          И вот загадка века — в эту контору поставили суперкомпьютеры, на территории нашей страны раскиданы метеостанции с кучей датчиков, в космосе летают спутники зондирования земной поверхности. А рассчитать точно погоду не могут. Парадокс!

          Отредактировано: GordonFreeman~10:21 02.08.18
          #1057432 ↑
    • 7
      CastedAway CastedAway
      01.08.1804:28:06

      Я конечно понимаю расчет погоды сложная задача, реально сложная, но видя на сколько часто не совпадают даже краткосрочные прогнозы по базовым примитивам (дождь, снег, порядок силы ветра). Причем это не только про Росгидромет, а про National Weather Service с годовым бюджетом > 1млрд зеленых фантиков. Рассматривя списки ихних суперкомпутеров, меня тязают смутные сомнения — не погоду оне считают, ой не погоду    

      #1057120 ↑
      • 4
        Нет аватара абрамыч
        01.08.1812:38:21

        Очень сложная задача.Чем мощнее комп и больше данных ,тем точнее прогноз.В Англии запустили суперкомп на погоду-точность 4 дня.

        #1057230 ↑
    • 3
      Нет аватара segfault
      01.08.1808:23:05

      В России проблема прогноза погоды в большей степени обусловлена не отсутствием суперкомпьютеров (хотя и это головная боль), а огромной территорией и отсутствием сети сенсоров, достаточно плотно эту территорию покрывающей. Причем это и на прогноз погоды в рамках всего мира тоже влияет. С моей точки зрения (хотя я могу и ошибаться), именно поэтому всемирный банк и выделяет уже второй раз кредиты на развитие гидрометовских технологий. Собственно, суперкомпьютеры и строятся на часть этих кредитов, но остальные средства как раз идут на расширение сенсорной сети.

      #1057148 ↑
      • 7
        CastedAway CastedAway
        01.08.1808:46:42

        Уважемый segfault, мне сложно оценивать предсказания Росгидрометцентра в силу того что я не в России, могу говорить лишь о National Weather Service, территория США очень неплохо напичкана датчиками и мало того они получают показания практически со всего мира (по договарам) и вычислительные мошности у них неплохие. А вот прогнозы     — ах и вах     как сказал выше Александр Столярчук — шаманы точнее     даже с горизонтом в один день. У нас был как-то спор с супругой и я провел небольшой эксперимент по сравнению в течении месяца, мы оба долго потом смеялись над результатом, даже банальный постулат «завтра погода будет такая-же как сегодня» оказался точнее. Но собо смешно выглядят их расчеты ураганов, а именно зная текушую скорость ветра на фронте когда ураган находится в океане их попытки предсказания силы ветра через 2-3 дня, когда фронт ударит по побережью. Ошибки на столько велики, что над ними смеются все кто не лень.

        #1057155 ↑
        • 4
          Нет аватара segfault
          01.08.1809:05:42

          В штатах на самом деле с метеослужбами не очень, европейцы гораздо дальше продвинулись в разработке математических моделей. Если интересно, погуглите, где-то проскакивала карта, где сравнивались прогнозы разных метеоцентров по последнему сильному урагану во Флориде. Европейские прогнозы гораздо точнее оказались

          А насчет сенсоров — есть еще огромные области над океанами, которые сенсорами не покрыты, а именно океаны являются кухней погоды. В общем, работы еще непочатый край. Мне вот очень интересно, что, в конце концов, получится у Яндекса с их проектом использования нейронных сетей для прогнозирования погоды.

          #1057162 ↑
          • 1
            CastedAway CastedAway
            01.08.1810:36:36

            segfault — Ах, океаны! Конечно-же Вы правы! Ведь там действительно смешное покрытие! У китайцев немного лучше с этим. нет не уверен что у них есть сеть датчиков по океану, но у них есть кучи мелких островов и по крайне мере из тех что я видал там действительно есть метео радары и наверное других датчиков, это помогает им достаточно неплохо предсказывать приходы тайфунов. За год в Гонг Конг-е они ошибались ну наверное один раз, а так день прихода и силу за пару дней указывали достаточно точно.

            #1057197 ↑
      • 0
        GordonFreeman GordonFreeman
        02.08.1810:33:42

        В России проблема прогноза погоды в большей степени обусловлена не отсутствием суперкомпьютеров (хотя и это головная боль)

        Суперкомпьютеры в России уже даже в вузах типа МГУ имеются.

        и отсутствием сети сенсоров, достаточно плотно эту территорию покрывающей.

        Если вы имеете ввиду сеть метеостанций с датчиками, то по крайней мере в европейской части России их должно быть достаточно, ввиду более плотной заселенности данной территории и большой актуальности прогнозов погоды для данной местности.

        С другой стороны, в космосе летают российские спутники дистанционного зондирования, которые очень хорошо показывают перемещение воздушных потоков. Я, конечно, не метеоролог, но проблем с получением данных у Росгидромета сейчас быть не должно. Имхо.

        Отредактировано: GordonFreeman~10:37 02.08.18
        #1057438 ↑
        • 1
          Нет аватара segfault
          03.08.1807:42:54

          К сожалению, университетские, да и чьи-либо еще суперкомпьютеры для прогнозирования погоды использовать не получится. Прогноз погоды — это конвейер, параллельно обсчитывается сразу несколько моделей, приходят обновленные данные — они сразу уходят в обработку. Любые вычислительные мощности загружаются на сто процентов.

          А насчет данных — Вы слишком оптимистичны. Данных не хватает катастрофически, и по тому же ДЗЗ Росгидромет во многом использует зарубежные данные.

          #1057615 ↑
    • 1
      Нет аватара Koba_Vladimir
      01.08.1811:43:23

      Да у них как-то и на полдня неочень выходит давать прогнозы )

      #1057219 ↑
    • 1
      Нет аватара guest
      02.08.1819:47:40

      Есть такой критерий [ссылки отключены](Время Ляпунова).

      Для уравнений погоды оно составляет примерно 3 дня.

      Т. е. с любыми выч. мощностями точно больше чем на 3 дня не рассчитаешь.

      Это не говоря о плотности сети сенсоров

      Недавно был результат в нейронках, позволяющий увеличить Время Ляпунова подобных моделей ~8 раз.

      Вот когда получится его до погоды дотащить, станет можно предсказать на что-то около месяца.

      Отредактировано: Александр Замараев~19:48 02.08.18
      #1057532 ↑
  • Комментарий удален
    • 4
      CastedAway CastedAway
      01.08.1804:45:05

      Скорее всего потому что это один из немногих легальных способов ввезти одни из самых передовых суперкомпютерных технологий в Россию, обсоновывая исключительно применением для расчета погоды.

      PS Конечно CoCom умер в 1996 а вот AECA даюший обширные права жив и будет жить    

      #1057122 ↑
      • 4
        Нет аватара segfault
        01.08.1808:05:11

        Поверьте, в Крэе нет ничего принципиально невоспроизводимого. Отличный интерконнект — да, но то как он устроен и работает, мы уже давно разложили по полочкам, было бы в России желание свой интерконнект сравнимого уровня сделать — сделали бы. Вон НИЦЭВТ худо-бедно свою «Ангару» сделал, не так уж плохо получилось, несмотря на минимальное финансирование для такого проекта. Там очень толковые молодые ребята в команде, быть может, им немного архитектурного мышления не хватает, но это придет с опытом, лишь бы проект не закрыли. Хотя вроде на днях проскакивало, что они вторую версию делают.

        А в остальном Крэй — просто великолепное инженерное решение, очень красивое и технологичное. Я знаком с техническими деталями и могу сказать, там есть чему поучиться.

        Впрочем, «Ломоносов» во многих отношениях не хуже    

        #1057142 ↑
        • 2
          CastedAway CastedAway
          01.08.1808:34:03

          «там есть чему поучиться» — поэтому, лично я не вижу нижего зазорного, в том что-бы приобрести продукцию лидера чтобы учится, сравнивать и делать лучше. Может конечно Гидромет и неправ составив свои конкурсные условия (как Вы указали в другом коментарии) отбросив Российские фирмы, а с другой стороны, думаю специалистам в этой области как раз будет очень интерестно изучать продукт.

          ПС Даже мне далэкому от суперкомпутеров человеку жутко интерестно что там токого красивого. Я без иронии. Искренне. Еше первые Креи были инженерными чудесами.

          #1057152 ↑
          • 4
            Нет аватара segfault
            01.08.1808:58:32

            У Росгидромета в свое время был печальный опыт сотрудничества с российскими компаниями, после чего они крайне настороженно относятся к переспективе приобретения отечественных решений. Впрочем, несколько лет назад они поставили одну систему от РСК, но затем опять стали смотреть в сторону только западных решений.

            А насчет Крэя — главное, чему нужно поучиться — это тому, что высокопроизводительное и эффективное решение не обязательно должно быть сложным. У Крэя эта простота и элегантность видна на всех уровнях, начиная с дизайна системной платы и заканчивая системой охлаждения. Все направлено на увеличение надежности, простоты обслуживания и экономической эффективности. Зачастую для этого применяются нестандартные подходы — например, охлаждение ряда стоек боковым продувом.

            #1057160 ↑
            • Комментарий удален
    • 1
      Нет аватара yaapelsinko
      01.08.1805:03:51

      А почему у мириканцев двигатели на ракетах наши, а не от Илона Маска?

      #1057127 ↑
      • 6
        CastedAway CastedAway
        01.08.1806:15:52

        На самом деле Human RS задал вполне резонный вопрос, так как на пример Ломоносов-2 на базе решений от Т-Платформы дает 1,8 петафлопс против 1,2 Петафлопс у данного. У ракетных двигателей куда больше сложностей связанных с интеграцией в конкретную модель ракетуносителя, параметры тяги и т. д. и т. п. в результате замена двигателей не такая уж тривиальная задача, скорее даже иногда невозможная для определенных ракетоносителей. Здесь только вопрос сколько петафлопс и обьем портребления электронэнергии. С точки зрения программирования (кончных приложений), не думаю что там большая разница.

        PS Хоть в статье и не указан интегратор, кто выполняет установку и пуско наладочные работы, но я не удевлюсь если это теже Т-Платформы.

        #1057128 ↑
    • 4
      CastedAway CastedAway
      01.08.1806:26:56

      Немного покапался в материалах о Сray XC40-LC, думаю ключевой момент это наличие Aries interconnect (внутреннея разработка Cray) против типично использюшихся InfiniBand от Mellanox.

      Так как практически большинство современных суперкомпутереов это куча типовых процессоров от Интел то способ коммутации вычислительных узлов и есть тот «секретный соус» а Cray говорит что ихний способ имеет в полтора раза более низкую задержку. Это мое скромное предположение.

      #1057129 ↑
      • 0
        Нет аватара segfault
        01.08.1807:51:04

        Не совсем, конечно так, но да, Aries — лучший интерконнект для суперкомпьютеров из всего, что есть на рынке. Правда для гидрометовской системы это не столь существенно — она слишком маленькая, чтобы почувствовать принципиальную разницу с тем же InfiniBand’ом.

        #1057139 ↑
        • 3
          CastedAway CastedAway
          01.08.1808:22:41

          Я незнаком с списком установленых суперкомпутеров в России, но если предположить что нет других Сray XC с Aries, то небольшая система есть хороший способ «пошупать» ее в деле.

          Год назад мелкала новость, что какая-то российская контора (не кидайте тапком пожайлуста, не могу найти источник) делала какието подвижки в области технлогий интерконнекта, может это и связано. На счет «лучшая» есть некие сомнения (например Гугл: TOP500 Meanderings: InfiniBand Fends Off Supercomputing Challengers), Omni-Path достаточно интерестный конкурент.

          Я конечно упрошенно написал про современные суперкомпутеры     Но к сожалению, у меня сложилось впячетление что никаких принципиальных подвижек в области суперкомпутеров (с теоретической точки зрения, это важно) давно уже нет. Да, вычислительная мошность узлов растет, скорость интерконнетков возрастает, и да это важно и несет огромные выгоды, но это не фундаментальные шаги, сравнимые с Cray-1 с его первой реализией векторных вычислений, или тот-же Cray X-MP с первой паралельной векторной системы с разделяемой памятью. Нет конечно современные системы неплохо пригодны для решения задач которые передними стоят, плазма, гидродинамика, аеродинамика, погода, только, но скученько это все     хотя и очень полезно

          #1057147 ↑
          • 2
            Нет аватара segfault
            01.08.1808:40:41

            Да нечего уже там «шупать» — все, что нужно, уже давно известно    .

            А в целом Вы правы, суперкомпьютерные технологии сейчас в большей степени инжиниринг, нежели технологические прорывы.

            #1057153 ↑
    • 2
      Нет аватара guest
      01.08.1807:21:37

      А почему американский суперкомпьютер, а не от нашего Росатома, кто-нибудь знает?

      Потому что Росатом не делает суперкомпьютеры в общепринятом смысле этого слова.

      Они напихивают GPU в ATX корпуса и называют это компактными суперЭВМ.

      Они про другое в общем.

      #1057135 ↑
      • 1
        Нет аватара segfault
        01.08.1808:10:31

        Антон, тут ты не совсем прав, Росатом много, что делает, только это простым смертным знать не положено. Но в целом суперкомпьютерные технологии Росатома не выходят за рамки построения больших кластеров из стандартных серверов.

        #1057145 ↑
        • 2
          Нет аватара guest
          01.08.1811:12:03

          Не буду спорить — тебе виднее.

          Я просто в контексте Росатома знаю только про поделки ВНИИЭФ.

          Я думаю Human RS их и имел в виду.

          #1057211 ↑
          • Комментарий удален
    • 4
      Нет аватара segfault
      01.08.1807:45:44

      Это Вы у Росгидромета спросите, почему они наотрез отказались рассматривать возможность приобретения отечественной системы     Конкурсная документация была специально составлена таким образом, чтобы ни «Т-Платформы», ни РСК не могли предложить свои решения.В итоге «Т-Платформам» пришлось выступать в роли интегратора для Крэя    

      #1057138 ↑
      • 0
        RadiantConfessor RadiantConfessor
        01.08.1808:28:22

        Возможно причина связана с программным обеспечением.

        #1057150 ↑
        • 2
          CastedAway CastedAway
          01.08.1808:55:56

          Опят таки, я по своей наивности, предположу что управляюший софт это ответственность интегратора коим выступает «Т-Платформа». А вот прикладной софдт, который реально счтает погоду пишет кто-то другой и мне тоже жутко интерестно — кто? Российская организация? Или адаптация сушествыешего инстранного (тогда это будет делать таже «Т-Платформам»)? Ведь климатические модели — это невероятно круто и куда важнее чем железо.

          #1057158 ↑
          • 2
            Нет аватара segfault
            01.08.1809:10:59

            С программным обеспечением проблем как раз нет. Все основные модели, используемые метеоцентрами по всему миру, находятся в открытом доступе. Кроме этого, у Росгидромета есть свои модели, одна из них, кстати, весьма перспективная, но развивает ее по сути один человек. С кадрами большая проблема.

            #1057164 ↑
            • 0
              CastedAway CastedAway
              01.08.1810:49:03

              Жаль. По мне так, климатическое моделирование — черезвычайно интерестная тематика, тем более иметь доступ к подобным агрегатам — мечта    

              #1057202 ↑
              • 1
                Нет аватара guest
                01.08.1811:17:07

                черезвычайно интерестная тематика, тем более иметь доступ

                Насколько мне известно — доступ к серьезным научным инструментами типа мега-телескопов, суперкомпьютеров и прочего такого — может получить практически любой человек оформив соответствующую заявку и дождавшись своей очереди.

                #1057214 ↑
                • 0
                  CastedAway CastedAway
                  01.08.1815:33:55

                  Конечно Антон, Вы правы в абсолютном смысле, доступ к «число дробилке» получить не сложно. Но именно моделирование погоды требует огромного количества данных, которые тоже в принципе получить тоже можно     только вот доставка их на вычислительный узел и хранение там между моментами когда ваша очередь подойдёт будет стоить денежек ;) и не малых.

                  Такой проблемой как погода надо либо заниматься всё жизнь и основательно, либо просто мечтать ;)

                  А в смысле суперкомпютенга для души, лично мне нравится PlayStation 3, а точнее её Cell процессор. Простенько, интересно и очень доступно.

                  #1057267 ↑
                  • 0
                    Нет аватара segfault
                    01.08.1816:43:48

                    В МГУ в «Ломоносове-1» стоит некоторое количество узлов с Cell’ом, причем не урезанным, как в PS3, а полноценным PowerXCell 8i, с нормальной плавающей арифметикой двойной точности. Если они еще живы (как-никак в следующем году системе 10 лет будет), можете попробовать получить доступ    . Когда-то IBM расписал «Т-Платформам» красивое будущее с Cell’ами, роадмапы на много лет вперед показывал, суперпроизводительность обещал… А потом в одночасье без предупреждения закрыл все дальнейшие разработки.

                    На самом деле, архитектура отличная была, но ПО под Cell писать реально непросто было.

                    Кстати, присутствующий здесь на форуме BaseAlt (бывший AltLinux) в лице Миши Шигорина может рассказать, как они свой дистрибутив Linux на эти серверы адаптировали    

                    #1057281 ↑
                    • 0
                      CastedAway CastedAway
                      01.08.1816:55:14

                      Да конечно, PS3 содержит упрощённый Cell, но для души и как упражнение для ума его достаточно, тем более с выходом PS4, PS4pro на американском eBay PS3 стоит реально копейки. Архитектура и идея была очень интересная, конечно писать под него не просто, но в этом и есть некая изюминка    

                      На самом деле меня изначально поразила возможность Real time Ray tracing в далёком 2007 ;) На YouTube есть даже небольшое демо.

                      По мне так отличнейшая платформа для обучения подрастающего поколения много узловому программированию.

                      #1057282 ↑
  • -2
    Нет аватара guest
    01.08.1815:27:56

    Сделано для нас?

    #1057266 ↑
  • 2
    Андрей Евсеенко Андрей Евсеенко
    01.08.1818:48:08

    А наверху Кто-то улыбнулся человеческой самоуверенности, и изменил план на погоду…   

    #1057308 ↑
  • 0
    Нет аватара termometrix
    01.08.1819:30:21

    Климат и вообще атмосфера это идеальная модель хаотической системы.Так что будьте снисходительны пожалуйста    

    #1057319 ↑
Написать комментарий
Отмена
Для комментирования вам необходимо зарегистрироваться и войти на сайт,