Kina trener stor KI-modell med lokal teknologi, til tross for sanksjoner
China Telecoms KI-forskningsinstitutt har utviklet en 100 milliarder-parameter stor språkmodell, TeleChat2-115B, ved å bruke utelukkende lokal infrastruktur. Modellen er trent med 10 billioner tokens fra både kinesisk og engelsk tekst.
Dette er et viktig steg for Kina, ettersom de fortsetter å fremme sin KI-kapasitet til tross for teknologisanksjoner fra Vesten.
Til sammenligning er nyeste Llama-modeller trent med noe over 400 milliarder paramentre, og Chat GPT o1 er estimert til rundt 200 milliarder.
Modellen ble trent på Huawei Ascend Atlas 800T-servere, som bruker 7 nm prosessorer basert på Arm 8.2-arkitektur. Sannsynligvis er det snakk om Kunpeng 920 7265 eller Kunpeng 920 5250 med henholdsvis 64 kjerner på 3,0 GHz og 48 kjerner på 2,6 GHz.
Til tross for beskjeden maskinvare, har Kina med dette vist at de kan levere konkurransedyktige KI-løsninger.
Kilde: The Register