Nvidia heeft op 15 oktober Nemotron 3.5 uitgebracht, een nieuwe reeks open modellen met twee kanten: Super VL voor agents in bedrijven en Bolt voor wie AI lokaal op een pc of werkstation wil draaien. Super VL en Bolt 74B-A9B staan nu op Hugging Face, een kleiner model (Bolt E4B) volgt op 23 oktober.
Wat is er nieuw?
De aankondiging staat op het blog van Nvidia, geschreven door Kari Briski. Er zijn drie modellen:
- Nemotron 3.5 Super VL (120 miljard parameters): voor grote servers in bedrijven. Het model leest ook beeld, zoals tabellen, grafieken, webpagina's en pdf's. Nvidia noemt het het snelste open agentmodel in zijn klasse, vijf keer sneller dan de nummer twee, en zegt dat het in de buurt komt van het grootste redeneermodel van Nvidia met ongeveer een vijfde van de parameters. Dat zijn claims van Nvidia zelf.
- Nemotron 3.5 Bolt 74B-A9B 24GB: het model voor lokaal gebruik. Dankzij 2-bit quantization (een sterk ingekorte rekennauwkeurigheid) past het volgens Nvidia in 24 GB geheugen. Het is bedoeld voor alledaagse agenttaken als zoeken op het web, schrijven en code debuggen. Nvidia zegt dat het de beste open modellen in zijn klasse is op PinchBench en de tweede op BrowseComp.
- Nemotron 3.5 Bolt E4B 4GB: een klein model voor spraakassistenten en gesprekken, voor onder meer GeForce RTX, Jetson en RTX/DGX Spark. Verschijnt volgens Nvidia op 23 oktober.
Volgens Nvidia werkt Bolt 74B-A9B met llama.cpp, Ollama, LM Studio, Unsloth en vLLM. Het is dus geen model dat alleen met Nvidia-eigen software draait. Super VL is te vinden op Hugging Face, OpenRouter en als Nvidia NIM, een kant-en-klare verpakking voor bedrijven.
Welke hardware heb je nodig?
Voor Bolt noemt Nvidia de nieuwe RTX Spark-laptops (die volgens Nvidia sinds 16 oktober verkrijgbaar zijn), maar ook GeForce RTX-pc's, DGX Spark, DGX Station en RTX PRO-werkstations. Een exacte lijst met minimale specificaties vonden we niet. Het getal 24 GB in de modelnaam is wel een goede maat: reken op minstens zoveel geheugen dat de gpu kan gebruiken.
Wat een RTX Spark-pc is, lees je in ons bericht over de Surface Laptop Ultra met RTX Spark. Die laptops kosten vanaf ruim 2.500 dollar en of ze in Nederland te koop zijn, is nog onduidelijk. Super VL is niet voor thuis: dat model hoort op servers.
Licentie en beschikbaarheid
Nvidia spreekt van open weights, open datasets en open trainingsrecepten. Een naam van de licentie noemt de aankondiging niet, en ook TechCrunch geeft geen licentievoorwaarden. De Hugging Face-pagina's van de modellen konden we niet inzien, dus lees daar zelf de licentie voordat je een model commercieel inzet. Over de beschikbaarheid in Nederland zegt Nvidia niets: downloaden vanaf Hugging Face kan in principe overal, maar de hardware moet je hier nog zien te vinden.
Wat betekent dit voor jou?
Het belangrijkste is dat een model van deze orde nu bedoeld is voor een laptop. Volgens Briski kunnen pc-gebruikers "everyday projects" delegeren zonder die werklasten naar de cloud te sturen. Voor wie met klantgegevens werkt of geen zin heeft in een abonnement, is dat een reden om lokaal te proberen. Je betaalt dan wel met hardware, en of Bolt in de praktijk even goed werkt als Nvidia zegt, moeten onafhankelijke tests nog laten zien. Ook over het Nederlands zegt de aankondiging niets.
Heb je al een pc met een flinke Nvidia-gpu, probeer Bolt dan via LM Studio, een programma waarmee je modellen zonder programmeren downloadt en gebruikt. Welke open modellen er nog meer zijn, zie je bij Meta's Muse Spark Open. Werk je in een bedrijf met een eigen datacenter, dan is Super VL interessant omdat je het volgens Nvidia kunt natrainen op je eigen data.
Bronnen
Eindredactie: Jan van Musscher, hoofdredacteur · Zo werken we
Zie AI Nieuws Daily vaker in Google: voeg ons toe als voorkeursbron
