'Chat with RTX'-demo: Nvidia's AI-chatbot draait na het downloaden native op RTX 30 en 40

na Aankondiging in januari Nvidia heeft vandaag “Chat with RTX” uitgebracht die iedereen kan downloaden, hoewel alleen GeForce RTX 3000- of GeForce RTX 4000-bezitters de AI-aangedreven chatbot kunnen gebruiken. Het grote taalmodel kan worden gevoed met uw eigen data.

Downloadgrootte van 50 tot 100 GB

Chatten met RTX is gebaseerd op de SDK TensorRT En versnel berekeningen met Tensor-kernen in Ampere- en Ada Lovelace-GPU's.

De initiële downloadgrootte is 35,1 GB, maar afhankelijk van de modellen die tijdens het installatieproces zijn geselecteerd, is uiteindelijk tussen de 50 en 100 GB vereist. De installatie kan 30 tot 60 minuten duren. Demo kan via a Website van ontwikkelaar kan het krijgen.

Out of the box maakt Chat met RTX gebruik van het Mistral 7B int4 grote taalmodel en heeft lokale toegang tot een map met blogposts over GeForce-nieuws waar gebruikers vragen over kunnen stellen via Chat met RTX. Als alternatief kunt u uw eigen inhoud selecteren (documenten, notities, video's, audiobestanden), hoewel het toevoegen van nieuwe inhoud tijd kost voordat het model de gegevens kan integreren – afhankelijk van de systeemconfiguratie en het type en de grootte van de bestanden.

Een andere optie is om via de UI YouTube-scripts te genereren, die vervolgens via chat met de RTX kunnen worden “opgevraagd”. Chatten met RTX biedt ook een link naar de video in het antwoord.

Persoonlijke gegevens gaan niet naar de cloud

Door het model lokaal uit te voeren, belooft Nvidia dat de gegevens veilig zijn:

En omdat het allemaal lokaal op uw Windows RTX-pc of -werkstation draait, krijgt u snelle, veilige resultaten.

Wat Chat met RTX nog niet kan, zijn vragen koppelen: “Wanneer ben je verschenen?” Geef geen antwoord, zelfs niet als je vraagt: “Hoeveel kost een GeForce RTX 4080?” pre.