NVIDIA hat drei neue offene Modelle der Nemotron 3.5-Familie vorgestellt, die sich auf die Ausführung autonomer KI-Agenten konzentrieren. Nach Angaben des Unternehmens können Entwickler diese sowohl auf der Unternehmensinfrastructure als auch auf einem gewöhnlichen Personal Computer bereitstellen. Dies berichtet RBC-Ukraine unter Bezugnahme auf Interesting Engineering.
Zentraler Release: Das multimodale Super VL
Die wichtigste Neuerung ist das multimodale Modell Nemotron 3.5 Super VL mit 120 Milliarden Parametern. Es ist für die Analyse visueller Daten, die Arbeit mit Dokumenten und die Durchführung mehrstufiger Arbeitsabläufe unter Einbindung externer Werkzeuge konzipiert.
Architektur: 120 Milliarden Parameter, 12 Milliarden aktiv
Gemäß der offiziellen Ankündigung von NVIDIA verwendet das Modell eine Architektur mit insgesamt 120 Milliarden Parametern, von denen 12 Milliarden aktiv sind. Dieser Ansatz kombiniert die Kapazität eines großen neuronalen Netzes mit einer relativ geringen Rechenlast bei jeder Anfrage, was für die Bereitstellung auf begrenzter Hardware wichtig ist.
Geschwindigkeit und Genauigkeit laut Unternehmensangaben
NVIDIA zufolge erledigt das Modell Aufgaben fünfmal schneller als Konkurrenten in seiner Klasse. Gleichzeitig nähert sich das neuronale Netz bei Analyse- und Argumentationsmetriken den größten Modellen des Unternehmens an, während es nur einen Bruchteil von deren Parametern nutzt.
Training und Feintuning
Das Modell wurde mit 26 Billionen Token trainiert und unterstützt das Feintuning über das NVIDIA NeMo-Framework, sodass Unternehmen es an ihre eigenen Aufgaben und Daten anpassen können.
Verfügbarkeit für Entwickler
Besondere Aufmerksamkeit verdient der Schwerpunkt auf Zugänglichkeit: Die offenen Modelle der Nemotron 3.5-Familie können auf der eigenen Unternehmensinfstruktur oder sogar auf einem Standard-PC ausgeführt werden, was die Einstiegshürde für Teams senkt, die keinen Zugang zu Cloud-Clustern haben.
