99

Разработчики АСКОН рассказывают о тестировании нового КОМПАС-3D v17

  • Воздушный катер «Скат», Разработчик: «Завод «Фиолент», Симферополь
  • Воздушный катер «Скат», Разработчик: «Завод «Фиолент», Симферополь

В январе завершилось открытое бета-тестирование КОМПАС-3D v17, в котором приняли участие более 1500 пользователей. Но до выпуска финального релиза в систему еще вносятся изменения, а это значит, что тестирование продолжается. О том, какие испытания проходит новый КОМПАС-3D, прежде чем попасть к инженерам, читайте в репортаже из Центра разработки АСКОН в Коломне.

Каждой новой версии предстоит преодолеть несколько этапов тестирования, в котором принимает участие практически вся команда КОМПАС. Программисты создают юнит-тесты на вновь написанный код. Аналитики проводят юзабилити-тестирование. Группа автоматизированного тестирования разрабатывает сценарии с применением пользовательского интерфейса, API и специальных тестовых функций (кстати, для проверки КОМПАС-3D v17 был разработан совершенно новый инструмент автоматизированного тестирования — «Магнитофон»). Эта же команда отвечает за тестирование производительности, конверторов и обширной базы пользовательских документов.

При проверке такой сложной системы, как КОМПАС-3D, без ручного тестирования обойтись нельзя. Все тестировщики, выполняющие ручное тестирование, имеют опыт конструкторской работы на производстве и не понаслышке знают, как и зачем пользователи применяют ту или иную функциональность КОМПАС-3D.

Ручное тестирование

Евгений Филимонов, инженер по тестированию 3D:

Мы смотрим на КОМПАС-3D со стороны пользователя, то есть фактически проектируем сами. При тестировании какой-либо операции, к примеру, Выдавливание, мы проверяем все возможные способы её выполнения; рассматриваем варианты использования в сочетании с другими объектами: отдельно Выдавливание может работать правильно, а в массивах или исполнениях — уже нет. В общем, придумываем самые разные сценарии — у тестировщиков хорошо развита фантазия. При этом стараемся, чтобы сценарии были близки к пользовательским. Хотя иногда бывает полезно рассмотреть и экзотические случаи.

  • Некорректное построение скругления
  • Некорректное построение скругления

В v17 произошли столь кардинальные изменения (относительно предыдущих версий), что работ и по кодированию, и по тестированию было намного больше, чем обычно. Особого внимания с нашей стороны потребовала, например, операция По сечениям, в которую были внесены значительные доработки, в том числе связанные с новыми математическими алгоритмами. Тестирование этой операции идет на протяжении всей разработки версии.

Спойлер: в КОМПАС-3D v17 в операции По сечениям появится возможность управлять соединением сечений с помощью цепочек и направляющих кривых.

  • Направляющие кривые в операции По сечениям
  • Направляющие кривые в операции По сечениям

Если бы я вновь стал конструктором (до АСКОН я работал в РСК «МиГ»), то, думаю, новый интерфейс КОМПАС-3D v17 воспринял бы положительно. Да, могут быть споры по поводу цвета интерфейса и внешнего вида иконок, но с точки зрения приемов работы стало намного удобнее. Добавилось много механизмов, которые упрощают и ускоряют работу инженера. Для конструктора — это значительный шаг вперед. Особенно для молодого.

Как это устроено: тест-планы.

Когда тестировщик приступает к работе, он составляет тест-план. Рассмотрим упрощенный пример — отрезок. Его можно строить по двум точкам, по длине и углу; отрезок может быть построен между объектами, в разных слоях, определенным стилем кривой. Все эти нюансы при построении отрезка, его редактировании или удалении тестировщик описывает в тест-плане. План содержит несколько частей: непосредственно функциональность (к примеру, построение по длине и углу), защита (нет лицензии — построение не выполняется), вывод на печать (при печати отрезок должен отображаться в соответствии с заданным стилем кривой) и так далее. Тест-план оформляется в виде «дерева мысли», и именно на него тестировщик ориентируется при проверке работы системы. Однако тест-план покрывает только основные сценарии, в нём невозможно предусмотреть 100% вариантов использования, т.к. их, по сути, может быть бесконечное множество.

Тестирование пользовательского интерфейса

Екатерина Родина, инженер по тестированию интерфейса:

Интерфейс — это «лицо» программы. В отличие от функциональности 2D или 3D, где тестируются конкретные операции, интерфейс приходится проверять по всей системе, т.к. КОМПАС-3D должен сохранять свое лицо при выполнении любой операции (команды), в любом из компонентов. Хороший интерфейс обеспечивает комфортное восприятие и работу в системе. Он должен выглядеть аккуратно, чтобы все тексты четко отображались на экране, иконки хорошо масштабировались. Удобство проверяется по расположению кнопок, количеству кликов, которые необходимо пройти до нужной команды.

Каждая операция формируется с помощью определенного набора элементов интерфейса — контролов. Таких элементов насчитывается около 50-ти: поле для ввода текста, поле с выпадающим списком, поле для слежения за курсором и т. д. Каждый контрол тестируется отдельно. Мы проверяем, как выглядит контрол, следит ли он за курсором, выдает ли сообщения о вводе неверного значения, работает ли с текстовым метками и выражениями.

  • Ошибка: пропал текст
  • Ошибка: пропал текст

Помимо отдельных контролов проверяются все панели и диалоги: внешний вид, размер, поведение при перемещении, удобство использования.

  • Цвет иконки ошибочно стал черный
  • Цвет иконки ошибочно стал черный

В процессе разработки интерфейс меняется очень активно. Иногда случается так, что из-за нововведений «ломается» сделанное ранее. Чтобы не упустить такие моменты, необходимы регрессионные проверки. Для этого и был разработан упомянутый в начале статьи инструмент автоматизированного тестирования — «Магнитофон» (мы представляли его на конференции по обеспечению качества ПО SQA Days-2016). Сначала каждый элемент интерфейса проверяется вручную, фиксируются найденные ошибки, обсуждается их решение. Когда работа над элементом практически завершена, можно писать автотесты для регрессионного тестирования.

С помощью «Магнитофона» осуществляется контроль не только работы, но и положения элементов интерфейса, отображаемых в текущий момент времени. В КОМПАСе очень много команд. Чтобы не искать глазами, какой элемент изменил свое положение, мы автоматизировали этот процесс. Тесты перебирают по очереди все команды, проверяя, чтобы элементы находились на своих местах.

Как это устроено: «Магнитофон».

Программа записывает и воспроизводит действия тестировщика, сигнализируя о появлении ошибок. «Магнитофон» видит в КОМПАС всё: элементы интерфейса и объекты документов, понимает, в каком они состоянии, может ими управлять. Изначально предназначенный для тестирования пользовательского интерфейса, он удачно применяется и для проверки функциональности. Его использует большинство сотрудников разработки: тестировщики, программисты, аналитики. Для v17 — это вообще основной инструмент автоматизации тестирования. В подразделении разработки «Магнитфон» по сложности и по выделяемым на него ресурсам является вторым продуктом после КОМПАСа — без него отлаживать v17 было бы очень сложно и долго.

Автоматизированное тестирование

Алексей Чирва, руководитель группы автоматизированного тестирования:

Одно из направлений автоматизированного тестирования КОМПАС-3D - обеспечение корректности пользовательских документов, созданных в предыдущих версиях. Мы должны убедиться, что все пользовательские наработки будут вести себя ожидаемо в новой версии: к примеру, сборка не разлетится, не поменяется ее цвет, комплектация, спецификация. База документов, используемых в тестах, насчитывает более 700 000 работ. Из них формируются наборы по определенным критериям.

Основные сценарии проверки корректности пользовательских документов направлены на выявление изменений и ошибок в геометрии.

  • Ошибки в геометрии моделей
  • Ошибки в геометрии моделей

Отдельного внимания требует тестирование импорта и экспорта всех поддерживаемых форматов документов. Мы проверяем корректность результатов конвертации (геометрию, формат записи, размер файлов), выполняем замеры производительности.

При тестировании производительности КОМПАС-3D отслеживается время выполнения операций, время отклика интерфейса, расходование системных ресурсов, скорость отображения моделей и чертежей и т. д.

Тестирование математики

Сергей Бирюков, математик-программист C3D Labs:

Весной выйдет не только новая версия КОМПАС-3D, но и новая версия геометрического ядра C3D. Обычно достижения ядра практически сразу попадают в КОМПАС-3D, мостик между ними очень короткий. Функциональность, которую мы сейчас добавляем, может быть сразу протестирована в КОМПАСе. Кроме этого, определенные методы ядра невозможно полноценно проверить без использования КОМПАСа, например, тестирование сопряжений геометрических элементов. Тестирование ядра внутри подразделения C3D Labs происходит исключительно в автоматическом режиме. Первый этап тестирования — это юнит-тесты, запускаемые в течение дня при каждой новой сборке ядра на каждой ревизии. Кроме этого, три раза в день проходят тесты из небольшого набора моделей, проверяющие построение ассоциативных видов, перестроение моделей и конвертацию из различных форматов данных. Обнаруженные ошибки чаще всего исправляются днем, чтобы к вечеру сдать максимально чистую, без поломок, ревизию (изменение кода) ядра. Ночью на внутреннем сервере запускается большое регрессионное тестирование на базе из 400 000 моделей в формате ядра c3d. И уже следующим утром всем программистам C3D Labs рассылается сообщение с итогами тестов.

  • Отчёт о работе АСТ (автоматической системы тестирования) ядра C3D
  • Отчёт о работе АСТ (автоматической системы тестирования) ядра C3D

Удобство нашей системы тестирования состоит в том, что в случае неудачных результатов автоматически определяются все изменившиеся модели, и для каждой из них обнаруживается ревизия, на которой произошли изменения. Поэтому в сгенерированном утреннем письме уже содержится полный список этих моделей с указанием номера и автора ревизии, вызвавшей изменения. Если большое тестирование прошло без ошибок, то ревизия, на которой оно было выполнено, считается качественной рабочей версией ядра. Мы собираем КОМПАС-3D с новым ядром и передаем его разработчикам КОМПАСа. Они проверяют эту сборку на базовом тесте, и если все хорошо, данная версия математики сдвигается в КОМПАС-3D.

Тестирование приложений

Лариса Иванова, инженер по тестированию приложений:

Основной задачей в версии v17 было «подружить» приложения с новым интерфейсом КОМПАС-3D. Чтобы это знакомство прошло гладко, мы подключились к процессу тестирования задолго до того, как к адаптации приложений приступили их разработчики. Для начала надо было убедиться, что приложения подключаются. Затем началось тестирование каждого приложения в отдельности: подключение, запуск каждой команды, отображение иконок, запуск процессов, появление диалогов, проверка работы по типовым сценариям —

  • Приложение Оборудование: Сварные соединения. Все параметры выбраны, а кнопки «Создать объект» нет
  • Приложение Оборудование: Сварные соединения. Все параметры выбраны, а кнопки «Создать объект» нет

функциональность приложений не должна была стать хуже, чем в предыдущих версиях.

  • Приложение Размерные цепи. Не отображаются иконки команд.
  • Приложение Размерные цепи. Не отображаются иконки команд.

Все ошибки мы систематизировали — отделили ошибки, «наведенные» доработками в интерфейсе, от ошибок самих приложений — и отправили на доработку. И только когда приложения стали работоспособными, их разработчики подключились к работе над новым интерфейсом.

После того, как разработчики завершили свою часть, началось функциональное тестирование приложений — по сути, разработка реальных проектов, включающая проектирование и получение конструкторской документации. Мы вручную запускали все команды приложений, проверяли работу каждой кнопки, сравнивали с работой в предыдущих версиях. При обнаружении проблем, а также при появлении новых возможностей и выявлении особенностей, оповещали разработчиков приложений через Систему управления релизами, разработанную нами для предыдущих версий КОМПАСа, но в полной мере оцененную именно в v17.

  • Приложение Оборудование: Металлоконструкции. Команда Специальная разделка. Результат выполнения операции не соответствует заданным параметрам.
  • Приложение Оборудование: Металлоконструкции. Команда Специальная разделка. Результат выполнения операции не соответствует заданным параметрам.

Да, приемы работы и интерфейс в КОМПАС-3D v17 изменились кардинально. Да, обещанная САПР-революция состоится. Но благодаря всем бета-тестерам и, конечно, команде тестирования АСКОН, не раз и по-разному испытавшей версию на себе, пользователи могут быть спокойны — КОМПАС-3D v17 будет готов к встрече!


  • 1
    Нет аватара Taywanz
    28.02.1714:47:36

    Хорошо бы они вывели 3D моделирование на уровень западных САПРов. Сам учусь на инженера и половину учебы провожу с подобными программами и пока, к сожалению, Компас проигрывает им в функционале.

    • 15
      Нет аватара Ascon
      28.02.1714:51:07

      Стараемся. Делаем 3D-моделирование функциональнее и удобнее. Надеемся, что 17я версия вас приятно удивит.

      • 9
        Vsemoguchij Vsemoguchij
        28.02.1716:24:55

        Удачи Вам! И давайте AUTOCAD вытеснять!

        • 9
          Нет аватара Ascon
          28.02.1716:31:04

          И над этим работаем    : sdelanounas.ru/blogs/89214/

          • 2
            Vsemoguchij Vsemoguchij
            28.02.1721:10:03

            Кто на что учился   ( переучивать сложнее, да и лень… Вводите уже в институтах, дайте им бесплатный для обучения и весь рынок будет ВАШ!

        • -2
          Нет аватара Alpha-Omega
          28.02.1723:22:28

          А причем тут автокад? Компас 3D и автокад — это инструменты для проектирования совершенно разных штук.

          Матчасть изучите, прежде чем чушь такую писать.

          • 1
            Нет аватара burgerkd
            01.03.1712:35:07

            Мои «5 копеек»:

            — когда в 2001 году я заканчивал Самарский политех для себя я решил, что чертежи для дипломной работы я уже не буду чертить карандашом — «хватит».

            — и я начал искать — был выбор Автокад и Компас (о Компасе я узнал случайно). Автокад купил пиратку, поставил, поигрался, купил самоучитель — НЕ ПОНРАВИЛОСЬ. Прежде всего тем, что многое нужно настраивать сначала (требования ЕСКД). Скачал Компас для студентов из интернета по dial up, как сейчас помню дистрибутив весил 10-14 Мбт, качал его целый час. ПОНРАВИЛОСЬ — ибо ничего настраивать не надо, бери и работай. Единственное отличие на тот момент студенческой версии от профессиональной было в отсутствии / наличии библиотек всяких там «стандартных элементов» (гайки, шайбы, шпонки и т. д. и т. п.)

            — на тот момент 2000-2001 ни в автокаде ни в компасе твердотельного моделирования кажется не было (не уверен, не помню).

            — на тот момент 2000-2001 с твердотельным моделированием сталкивался только в таких программах как Ansys (прочностной расчет, преподавали в политехе) и Delcam PowerShape (преподавали в политехе факультативно).

            — на тот момент 2000-2001 на ОПП Автоваза работали с продуктами Delcam и Catia. На ОПП я практику проходил в модельном цеху.

            — По поводу того, что автокад и компас «разные» программы — они обе относятся к CAD программам.

            P. s.:

            — по специальности я к сожалению не работаю — так жизнь сложилась.

            — а вот продуктом Компас пользуюсь до сих пор (версия для домашнего использования).

      • 0
        Нет аватара Taywanz
        28.02.1717:31:53

        Раз уж вы тут, не подскажите, 17я версия для бесплатной(студенческой) версии компаса выйдет одновременно с платной или будет некоторый лаг по времени?

        • 3
          Нет аватара Ascon
          28.02.1717:39:23

          Осенью скорее всего выйдет.

          • 3
            Нет аватара Solncevorot
            28.02.1723:49:58

            Передайте Фиоленту, что нужно предусмотреть жесткую фиксацию голеней, которая бы предотвращала соскальзывание ног вниз и защитную решетку, чтобы в случае чего ноги пропеллером не порубило.

    • 9
      Руслан Алатарцев Руслан Алатарцев
      28.02.1716:34:14

      А я встречал альтернативное, противоположное мнение, причем от лиц, которые работают в этой сфере. Многие считают, что Компас значительно удобнее иностранных аналогов и обладает достаточным функционалом. И я уверен, что разработчики постоянно совершенствуют систему.

      • 1
        Нет аватара Taywanz
        28.02.1717:15:14

        Думаю тут зависит от сферы применения, в авиационно-космической(учусь по этому направлению и соответственно общаюсь со специалистами оттуда) все как один говорят(да и на примерах показывают) что Компас пока что реальной заменой иностранным аналогам быть не может. И если это поменяется будет очень здорово

  • 3
    Ильдар Сагитов Ильдар Сагитов
    28.02.1717:02:59

    Уважаемый производитель, Linux планируете поддерживать?

    • 1
      Нет аватара Ascon
      28.02.1717:12:05

      Не в ближайшее время. Под каждой нашей статьёй спрашивают, можете там ответы почитать.

      • 1
        shigorin shigorin
        28.02.1718:44:49

        Угу… «курица и яйцо», но мы всё так же надеемся на вас, коллеги.

      • 0
        SpV SpV
        01.03.1713:33:11

        И будут спрашивать, пока хотя бы под WINE будет без бубна запускаться, можете и не делать отдельную версию под GNU/Linux, а максимально облегчить установку/работу ПО под WINE (не отдельная доработка самого WINE, а по максимому использовать то что WINE сможет легко провернуть). Как-то так, спасибо.

        • 1
          Нет аватара Ascon
          01.03.1713:47:36

          Спрашивать в комментариях можно до бесконечности. Придите в офис и скажите, что вы готовы приобрести версию под линукс, как только она появится. Будет платежеспособный спрос — сделаем версию. Сейчас реальный спрос отсутствует, он есть только в комментариях в интернете. Мы коммерческая организация — мы делаем только то, что у нас купят.

          • 0
            SpV SpV
            01.03.1714:10:03

            Да это давно понятно и логично что вы ждёте денег за работу, которую будете делать, но ни кто о благотворительности и не говорит. Вы просто ждёте когда какое-то крупное предприятие перейдёт на GNU/Linux (соберётся перейти), но таких предприятий я не знаю где найти, так как им надо будет после того как они придут и скажут: «хотим версию под линукс, вот деньги» ч-з неделю уже иметь установленный парк ПК с ОС и CAD. Хотя может это просто мои выдумки и всё обстоит иначе. Но у нас на предприятии купили SW2017 (обновились) и никто даже не задумался о его замене или замене ОС, как покупали винду так и будут покупать.

            Я сам в компасе не работаю (у нас солид), и работать скорее всего не стану, так как дома у меня нет возможности даже учебную/домашнюю/пиратку поставить чтоб попробовать, а на работе мне это не нужно.

            Потребовалось мне нарисовать планировку квартиры выбирал в чём это можно сделать, в итоге выбрал «скетчап» хоть его и нет на лине, за то он спокойно установился под WINE и проработал положенный срок, но я попробовал программу и мне она понравилась.

            Ничего не делайте в этом направлении и может вам и не понадобится никогда, другая программка найдётся хоть и не «патриотичная». Вроде всё сказал, извините если что, накипело немного.

            • -1
              Нет аватара Ascon
              01.03.1714:22:22

              Но у нас на предприятии купили SW2017 (обновились) и никто даже не задумался о его замене или замене ОС, как покупали винду так и будут покупать.

              И так сейчас происходит на всех предприятиях, включая государственные и оборонные.

              Поэтому как я выше сказал, пока спроса нет.

              • 1
                SpV SpV
                01.03.1714:47:05

                Так и спрашивать нечего, как тут выше сказали

                Угу… «курица и яйцо», но мы всё так же надеемся на вас, коллеги.

                с чем я полностью согласен.

              • 1
                Виктор Гюго Виктор Гюго
                01.03.1718:57:23

                нет смысла спрашивать. тем не менее Qt/.Net приложения работают кроссплатформенно, и не просто байтики перекладывающие, а игры с хорошей графикой. рынок нужно делать. а не плестись за ним.

    • -2
      Нет аватара k_v
      01.03.1710:15:45

      успокойтесь уже с этим линупсом, кады на другие оси прийдут откуда не ждали — через браузер, хоть на линупс, хоть на мак, хоть на андроид с iOS

  • 6
    Е.Юрий Е.Юрий
    28.02.1717:34:12

        Ребят — удачи вам и всяческих успехов! Уверен, что у вас получится лучший продукт!

  • 0
    Нет аватара yu.f.pan
    01.03.1701:34:36

    Приложение Оборудование: Сварные соединения.

    Сообщается: «Приложение Оборудование: Сварные соединения. …"

    Поэтому вопрос: «Будет ли производиться расчет массы наплавленного металла, с автоматическим внесением результата в спецификацию сварных швов?»

    • 1
      Нет аватара Ascon
      01.03.1710:56:02

      "Будет ли производиться расчет массы наплавленного металла, с автоматическим внесением результата в спецификацию сварных швов?"

      Вот видеоурок на эту тему, ещё по 16й версии:

      Вот про саму библиотеку:

  • 1
    Василий Теркин Василий Теркин
    01.03.1712:37:34

    Хорощее дело! Ждем боевой версии.   )

Написать комментарий
Отмена
Для комментирования вам необходимо зарегистрироваться и войти на сайт,