Китай обучил LLM на 1 триллион параметров, используя только отечественные чипы

China Telecom, как сообщается, разработала две большие языковые модели с использованием отечественных искусственных интеллектуальных чипов, что является значительным достижением в стремлении Китая к независимости в производстве полупроводников. Это достижение имеет решающее значение, поскольку США ужесточают запрет на поставку высококачественных чипов в Китай. Huawei, лидер в китайской чиповой промышленности, предположительно сыграл ключевую роль в этом развитии. Если модели China Telecom были обучены исключительно с использованием чипов Huawei, это будет огромным успехом для Huawei и китайского правительства. Страница проекта на GitHub намекает на использование сервера обучения Huawei Ascend Atlas 800T A2, который поддерживает процессоры Kunpeng 920. Эти процессоры построены на основе архитектуры Arm 8.2 и имеют 7-нанометровый процесс. Одна из моделей имеет 1 триллион параметров, а другая, TeleChat2t-115B, имеет более 100 миллиардов параметров. Это достижение является значительным шагом вперед для китайской полупроводниковой промышленности. Целью Китая является достижение независимости от других стран в своих потребностях в полупроводниках. Война между США и Китаем в области чипов привела к усилению ограничений на поставки чипов в Китай, что делает это достижение еще более заметным.