Apple утверждает, что благодаря более быстрой памяти и двум Neural Engine её устройства способны локально запускать всё более крупные ИИ-модели. По данным компании, iPhone и iPad с 16 ГБ объединённой памяти могут работать с моделями на 14 млрд активных параметров.
Возможности Mac
MacBook Air и Mac mini с объёмом объединённой памяти до 64 ГБ и пропускной способностью до 307 ГБ/с, по данным Apple, подходят для моделей до 70 млрд активных параметров. MacBook Pro с 128 ГБ памяти способен работать с моделями до 120 млрд параметров.
Mac Studio с M5 Ultra предлагает до 512 ГБ объединённой памяти и пропускную способность до 1, 2 ТБ/с, что позволяет запускать модели примерно до 480 млрд параметров. Кластер из четырёх таких систем с суммарной памятью до 2 ТБ способен работать с моделями свыше 1, 6 трлн параметров.
При этом подобная конфигурация обойдётся очень дорого. Wccftech отмечает, что четыре Mac Studio могут стоить более $43 тысяч, а для запуска моделей примерно на 1 трлн параметров может потребоваться кластер из восьми систем стоимостью свыше $86 тысяч. Также издание обращает внимание, что Apple не уточнила, какие конкретно LLM использовались в этих расчётах и какую степень квантизации способны поддерживать разные устройства.
Комментарии
Оставляйте комментарии, отвечайте другим пользователям, ставьте плюсы и минусы и добавляйте быстрые реакции.
Войдите в аккаунт, чтобы оставлять комментарии, отвечать другим пользователям и ставить реакции.