13 октября 2026, 01:00

0

Фото: Global Look Press/Sergey Elagin

Специалисты МФТИ создали алгоритм HARP, сжимающий языковые модели практически без потери точности. Технология вдвое ускоряет работу ИИ-систем и снижает потребность в вычислительных мощностях и памяти дата-центров. Алгоритм протестировали на языковых моделях Llama и Qwen. При максимально жестком сжатии ошибка сократилась на 15%. HARP и уже сжатые с его помощью нейросети выложили в открытый доступ.

«Когда мы говорим о скорости, важно разделять два этапа. HARP требует некоторого времени на настройку, поскольку подбирает оптимальные преобразования для каждого слоя модели. Зато после сжатия модель работает быстрее и занимает значительно меньше памяти. При этом нам не нужно заново обучать всю нейросеть — достаточно провести дополнительную калибровку», — рассказал «Известиям» старший исследователь лаборатории фундаментальных исследований искусственного интеллекта МФТИ Глеб Молодцов.

Большие языковые модели требуют значительных вычислительных ресурсов, а их работа во многом ограничена пропускной способностью памяти. Чтобы уменьшить объем данных, ученые применяют квантование — представление весов модели меньшим числом битов. Чем сильнее сжатие, тем выше риск падения точности. HARP помогает эти потери сократить.

Подробнее о возможностях алгоритма в условиях больших нагрузок на ЦОД читайте в эксклюзивном материале «Известий»:

Невыносимая легкость бита: метод «упаковки» нейросетей снизит нагрузку на дата-центры