Facebooks moderbolag Meta släpper nu språkmodellen NLLB-200 som klarar av att översätta mellan 200 språk. Det verkar som att de inte bara tänker använda verktyget i sina egna tjänster Facebook och Instagram i och med att de också släpper ett verktyg som gör att forskare kan implementera tjänsten i egna verktyg. NLLB-200 hanterar bland annat 55 olika afrikanska språk, vara flera inte kunnat automatöversättas tidigare.
Modellen innehåller över 50 miljarder parametrar, i jämförelse som har GPT-3 175 miljarder parametrar.
Det här är bara den senaste i raden av alla språkmodeller och neurala nätverk som dyker upp. Dessa nätverk är väldigt krävande att träna. I det här fallet användes över 6 000 grafikkort från Nvidia. Du som undrar var alla grafikkort tar vägen kanske inte behöver fundera längre. Men när väl språkmodellen är klar så är den inte speciellt krävande att använda.
Lite tankar här
Det verkar som vi har kommit in i nästa steg i datorutvecklingen i och med de neurala nätverken:
- Datorer arbetar för sig själva.
- Vi kopplade ihop datorer i nätverk och till sist i form av Internet.
- Vi fyllde Internet med innehåll.
- Neurala nätverk börjar tolka innehållet och dra slutsatser – på sätt och vis går det att påstå att Internet börjar bli intelligent.
Den stora frågan, som jag ser det, med det fjärde steget är:
- Vem eller vilka kommer att äga datan och språkmodellerna?
- Hur undviker vi att olika bias byggs in i modellerna utifrån de data som modellerna tränas på?
Och vad gäller NLLB-200 och andra liknande översättningsverktyg så hoppas jag att det kan leda till lite av en demokratisering av världens språk. Om vi tänker oss i framtiden att klipp från Youtube eller TikTok i högre grad kan direktöversättas så kanske det kan leda till att all ungdom inte per automatik leds rakt in i det engelska språket utan kan klara sig lägre på modersmålet. Det här är ett problem jag ser dagligdags i mitt arbete där elever ofta behärskar engelskan bättre än svenskan.
Källa: siliconangle.com: Meta open-sources advanced AI text translation system with 50B+ parameters