Apple выпустила несколько языковых моделей с открытым исходным кодом

Компания Apple выпустила несколько крупномасштабных языковых моделей (LLM) с открытым исходным кодом.

Их особенность – работа непосредственно на устройстве пользователя без обращения к облачным серверам. Проект под названием OpenELM (Open-source Efficient Language Models) доступен на Hugging Face Hub – платформе для обмена кодом в сфере искусственного интеллекта.

Согласно технической документации, выпущено восемь моделей OpenELM. Четыре из них предварительно обучены с использованием библиотеки CoreNet, и еще четыре дообучены на инструкциях.

Apple применяет стратегию послойного масштабирования, направленную на повышение точности и эффективности моделей.

Вместо предоставления лишь конечного результата Apple опубликовала код, журналы обучения и разные версии моделей. Исследователи надеются, что это ускорит прогресс и приведет к повышению надежности результатов в сфере ИИ естественного языка.

Apple заявляет, что публикация моделей OpenELM призвана расширить возможности исследовательского сообщества, предоставив доступ к передовым языковым моделям.

Открытый исходный код позволит исследователям изучать риски, связанные с данными и предубеждениями моделей. Разработчики и компании смогут использовать модели в исходном виде или адаптировать под свои нужды.