В России с нуля разработали модель искусственного интеллекта на 80 млрд параметров

Интересная статья, Спасибо!
Я думаю, что при составлении различных алгоритмов нейронных сетей или целых генераторов нейронных сетей возможно, что мельчайшие составляющие их элементы будут рассматриваться как определенный цвет.Количество цветов, сочетания наложений различных сотевых или всех возможных цветовых оттенков видимого спектра — это практически бесконечные комбинации.Казалось бы, таким образом целые библиотеки с миллионами тонн книг могут поместиться только в одном цветовом оттенке, в одной точке с минимальной занимаемой памятью!Ускорение вычислений и возможности памяти будут гигантскими, по крайней мере, теоретически,будут гигантскими,при этом используются минимальные вычислительные мощности в рамках одного обычного ЭВМ.
Готов отправить математический алгоритм данного механизма, но я хочу, чтобы он был секретным и доступным только российским государственным органам и вооруженным силам.Но, к моему огромному сожалению, мне приходится жить во враждебной России стране, и если я попытаюсь отправить по почте России этот алгоритм, вражеские службы наверняка перехватят текст и все прочитают.

Модель содержит 80 млрд параметров, из которых в работе одновременно активны 3 млрд. Она обучена на 18 трлн токенов. «Яндекс» открыл веса модели и выпустил ее в открытый доступ под лицензией Apache 2.0, которая разрешает коммерческое и исследовательское использование.

Alice AI Foundation LLM является экспериментальной версией будущей единой рассуждающей модели. Она должна стать основой агентных возможностей «Алисы AI», которые позволят пользователям поручать сервису выполнение конкретных действий, сообщили РБК в пресс-службе компании.

Модель построена на архитектуре Mixture of Experts (MoE). За счет небольшого числа активных параметров она требует меньше вычислительных ресурсов при работе. По данным «Яндекса», модель показывает высокие результаты в задачах на программирование и рассуждение, а также превосходит ряд более крупных открытых моделей в тестах на знание фактов, актуальных для русскоязычных пользователей.

Для оценки этих возможностей компания разработала два собственных бенчмарка — WikiWebFacts и HardMultiQA. Первый проверяет знания дат, определений, событий и персоналий, второй охватывает более редкие области, включая медицину, право, IT и искусство. Оба набора заданий «Яндекс» также опубликовал в открытом доступе вместе с эталонными ответами и протоколом оценки.

При обучении модели инженеры оптимизировали процесс передачи данных между видеокартами, что позволило примерно вдвое ускорить отдельные этапы обучения. Кроме того, каскад классификаторов помог в десятки раз сократить объем вычислений при отборе обучающих данных.
[ссылки отключены]