La Chine a formé un LLM de 1 billion de paramètres en utilisant uniquement des puces nationales

China Telecom aurait développé deux grands modèles de langage en utilisant des puces d'intelligence artificielle fabriquées localement, un jalon important dans la poursuite de l'indépendance des semi-conducteurs par la Chine. Cette réalisation est cruciale alors que les États-Unis resserrent leur interdiction de fournir des puces de haute gamme à la Chine. Huawei, leader de l'industrie des puces locales en Chine, est censé avoir joué un rôle clé dans ce développement. Si les modèles de China Telecom ont été formés en utilisant uniquement des puces Huawei, ce serait un énorme succès pour Huawei et le gouvernement chinois. La page GitHub du projet suggère l'utilisation du serveur de formation Ascend Atlas 800T A2 de Huawei, qui prend en charge les processeurs Kunpeng 920. Ces processeurs sont construits en utilisant l'architecture Arm 8.2 et ont un processus de 7 nm. L'un des modèles a 1 billion de paramètres, tandis que l'autre, TeleChat2t-115B, a plus de 100 milliards de paramètres. Ce développement est un grand pas en avant pour l'industrie des semi-conducteurs chinoise. L'objectif de la Chine est de devenir indépendante des autres pays pour ses besoins en semi-conducteurs. La guerre des puces entre les États-Unis et la Chine a conduit à des restrictions accrues sur les approvisionnements en puces à la Chine, ce qui rend cette réalisation encore plus notable.