Сегодня Apple представила несколько языковых моделей с открытым исходным кодом (LLMs), которые будут работать локально на устройствах, а не через облачные сервисы. Языковые модели под названием OpenELM доступны на платформе Hugging Face Hub.
В документе Apple сказано, что всего есть восемь моделей OpenELM, четыре из которых тренировали с помощью библиотеки CoreNet, а остальные – по инструкциям. Apple использовала стратегию послойного масштабирования для повышения точности и эффективности.
Компания опубликовала исходный код, журнал обучения и несколько версий, а не только финальную готовую модель. Исследователи проекта надеются, что это приведёт к более скорому прогрессу и более точным результатам в области ИИ естественного языка.
OpenELM – современная модель открытого языка. OpenELM использует стратегию послойного масштабирования для эффективного распределения параметров внутри каждого уровня модели трансформатора, что приводит к повышению точности. Например, при количестве параметров примерно в один миллиард OpenELM демонстрирует повышение точности на 2.36% по сравнению с OLMo, при этом используя в 2 раза меньше токенов предварительного обучения.
В отличие от предыдущих практик, которые предоставляют только веса модели и код вывода, а также предварительно обучаются на частных данных, наша версия включает в себя полную структуру для обучения и оценки языковой модели на общедоступных данных, включая журналы обучения, несколько контрольных точек и предварительные конфигурации обучения.
По словам Apple, компания выпустила модели OpenELM, чтобы «расширить возможности и обогатить открытое исследовательское сообщество» современными языковыми моделями. Благодаря этому специалисты смогут исследовать риски, а также обнаружить недостатки моделей. Разработчики и компании смогут использовать данные модели в оригинальном виде или внести в них собственные модификации.
Делиться информацией открыто стало важным инструментом для Apple, позволяющим привлекать к работе лучших инженеров, учёных и экспертов.
Пока что новые ИИ-возможности недоступны на устройствах Apple, но обновление iOS 18 должно это изменить. В целях безопасности языковые модели будут работать локально на устройствах компании.