MediaTek stellt Open-Source Large Language Model Breeze-7B vor

MediaTek Research, die auf KI spezialisierte Forschungsabteilung des Halbleiterherstellers MediaTek, hat mit Breeze-7B ein neues Open-Source Large Language Model (LLM) vorgestellt. Das auf dem Mistral-7B Modell basierende Breeze-7B wurde speziell für die Verarbeitung von traditionellem Chinesisch optimiert und soll in diesem Bereich neue Maßstäbe setzen.

Verbessertes Sprachverständnis für traditionelles Chinesisch

Breeze-7B baut auf der Architektur von Mistral-7B auf, wurde aber in mehreren Bereichen für die Anforderungen der chinesischen Sprache angepasst und erweitert:

• Das Vokabular wurde um 30.000 traditionelle chinesische Begriffe ergänzt
• Durch Optimierungen bei Tokenisierung und Inferenz erreicht Breeze-7B eine doppelt so hohe Verarbeitungsgeschwindigkeit für Chinesisch im Vergleich zu Mistral-7B und LLaMA 7B
• Spezielle Finetuning-Schritte verbessern das Verständnis von Kontext und Bedeutungsnuancen

Laut MediaTek übertrifft Breeze-7B damit in Benchmarks für traditionelles Chinesisch andere Open-Source Modelle vergleichbarer Größe wie Taiwan-LLM-7B/13B, QWen-7B und Yi-6B deutlich.

Flexible Einsatzmöglichkeiten durch verschiedene Varianten

Um unterschiedliche Anwendungsfälle abzudecken, bietet MediaTek das Modell in mehreren Varianten an:

• Breeze-7B-Base als Basismodell für Entwickler, die das LLM mit eigenen Trainingsdaten an spezifische Use Cases anpassen wollen
• Breeze-7B-Instruct als vortrainierte Variante für den sofortigen produktiven Einsatz, z.B. für Frage-Antwort-Systeme, Chatbots oder Textzusammenfassungen
• Breeze-7B-Instruct-64k mit erweiterter Kontextlänge von bis zu 64.000 Token bzw. 88.000 chinesischen Schriftzeichen für die Verarbeitung längerer Dokumente

Verfügbarkeit als Open-Source Modell

Als Open-Source Projekt ist Breeze-7B frei verfügbar und kann von Forschern und Entwicklern genutzt und weiterentwickelt werden. Die Modelle stehen auf der Plattform Hugging Face zum Download bereit.MediaTek Research sieht in Large Language Models großes Potenzial für KI-Anwendungen und will mit Breeze-7B die Forschung und Entwicklung in diesem Bereich weiter vorantreiben. Insbesondere für den chinesischen Sprachraum soll das neue Modell dank seiner Leistungsfähigkeit und Flexibilität zum Wegbereiter für innovative NLP-Lösungen werden.

Quelle: MediaTek