ASUS teaset AI-pc in samenwerking met Qualcomm en Microsoft

ASUS kondigt in samenwerking met Qualcomm en Microsoft op 20 mei een nieuwe laptop aan die volgens het merk gericht is op AI-functies. Het aankondigingsevenement vindt op 20.00 uur Nederlandse tijd plaats.

Vooralsnog maakt ASUS geen specificaties van de laptop bekend, maar onlangs werd gesuggereerd dat Microsoft strengere eisen gaat stellen aan zogenoemde AI-pc's met CoPilot-functies. Deze systemen, vaak met een eigen neural processing unit, zouden tenminste 16GB werkgeheugen en cpu's met een rekenkracht van minimaal 40Tops moeten hebben. Onder meer de Snapdragon X Elite zou aan die laatstgenoemde eis voldoen, wat de samenwerking met Qualcomm zou kunnen verklaren. Tot dusver werden de uitgebrachte AI-pc's in samenwerking met Microsoft altijd van een Intel Core Ultra-processor voorzien.

ASUS AI pc

Door Yannick Spinner

Redacteur

02-05-2024 • 18:11

39 Linkedin Whatsapp

Reacties (39)

39
39
13
0
0
15
Wijzig sortering
Ik ben ook een AI PC aan het bouwen, om lokale LLM's te draaien als eigen assistent.

Maar ik gebruik daar een heftige GPU voor. Ik weet niet wat ik er in laptop vorm mee zou moeten... Daar krijg je niet genoeg rekenkracht (en vooral hoge bandbreedte geheugen) in kwijt.

[Reactie gewijzigd door Llopigat op 2 mei 2024 18:45]

Om je LLM te trainen, heb je die "heftige" GPU nodig want dat is het zware werk. De Inference van het LLM (het toepassen van je model), kan gemakkelijk via de NPU in die laptop.
Nou dat valt me nog tegen hoor. Llama3 op de CPU gaat helemaal niet fijn. Het gaat wel maar het druppelt tergend langzaam binnen. Het probleem is inderdaad niet zozeer de compute van die GPU maar de veel hogere geheugenbandbreedte. Op CPU gebied kan je dat ook wel maar dan zit je al gelijk aan Xeon/Epic chips en dat stop je echt niet in een laptopje. En speciale NPU's? Die zijn nog niet echt op de markt.

Op mijn 4090 is het echt retesnel. Veel sneller dan ChatGPT. Ik wil een assistent bouwen die een beetje knap reageert. Dus ik bouw er een speciale server voor.

De kaart die ik gekocht heb, heeft evenveel geheugenbandbreedte als de 4090 (ongeveer 1TB/s) dus hopelijk gaat die ook ongeveer zo snel. Is wel een heel stuk goedkoper dan de 4090.

[Reactie gewijzigd door Llopigat op 2 mei 2024 20:31]

En speciale NPU's?
Vrijwel elke ARM chip heeft NPUs op de die zitten. Apple chips, Qualcomm Chips etc etc hebben allemaal een NPU erop zitten waar je een LLM op kunt draaien.
Ja maar niet echt zware waar je echt een goede LLM op draait.

De reden dat Apple zo populair is, is door het snelle geheugen waarbij de GPU het hele werkgeheugen kan aanspreken.
Ja maar niet echt zware waar je echt een goede LLM op draait.
Dat was niet wat je origineel schreef.
Die NPU's zijn meestal niet veel indrukwekkends. Veel kleine AI boordjes van 80 euro hebben een NPU die ~6TOPs kan.

Eenn 4090 doet 660 TOPs.
Ja en wat verbruikt een 4090?
300Watt?

Een 6TOPs NPU gebruikt ook gerust 3+Watt.

De 4090 is waarschijnlijk nog zuiniger per TOP omdat de process node vele malen kleiner is.

Maar goed een 4090 voor je hobby projectje gebruiken is natuurlijk zwaar overkill dus het is niet alsof de NPU's geen nut hebben.

[Reactie gewijzigd door Osiummaster op 3 mei 2024 11:23]

Een 6TOPs NPU gebruikt ook gerust 3+Watt.
De NPU in een M1 doet ongeveer 11 TOPS en verbruikt maar 0.049 watt. En dan hebben we het over de maximale consumptie.
https://eclecticlight.co/...he%20ANE%20is%20available

De A17 Pro doet er 35 TOPS op een kleiner procedé dus we kunnen ervan uitgaan dat de energie consumptie van de NPU nog steeds onder de 0.1 watt zit voor de 35 TOPS. Dus zelfs als een 4090 660 TOPS doet bij 300 watt is de Apple NPU dus per TOPS veel en veel zuiniger.

Dus beweren dat een NPU van 6 TOPS 3+ watt doet klopt al niet. Tenzij je het hebt over total package power. Andere discussie dus.

Dus een 4090 vergelijken met AI bordjes die veel en veel minder verbruiken is gewoon heel scheef. Er werd origineel beweerd dat NPUs er bijna niet zijn maar ze zijn er dus wel, en dat is waar de discussie over ging. Niet over snelheden.
En ga je ook nog vertellen welke kaart je gekocht hebt?
De Radeon Pro VII. Hoop dat die een beetje gaat werken hiervoor. Is een kaart van 2500 euro die de laatste maanden afgezakt is naar rond de 300.

Nou worden AMD kaarten niet zo geweldig ondersteund maar ollama ondersteunt deze sinds kort wel.

[Reactie gewijzigd door Llopigat op 2 mei 2024 21:23]

Aha, wij hebben op het werk nog een Radeon pro w6800 liggen onbenut, heeft 32gb vram... Zou die hoeveelheid extra praktisch zijn?
Ja zeker!! Dan kan je grotere en dus betere modellen draaien. En die is ondersteund: https://ollama.com/blog/amd-preview

Wat vaak wordt vergeten met LLM's is dat je geheugengebruik nogal kan stijgen met een groter context window. Dus een hele grote prompt. Je hebt al Llama3 versies met 256k context en een 1M komt er aan. Dan heb je echt ziek veel geheugen nodig.

[Reactie gewijzigd door Llopigat op 2 mei 2024 22:04]

Als in deze laptop iets van een jetson chip zit heeft je grafische kaart het nakijken. Voor AI is 80 procent van je grafische kaart weinig geschikt en inefficiënt.
Ja dat is waar, een goede Jetson kan het ook wel. Maar ik zie ze nog niet echt een Jetson Orin in een laptop inbouwen. Daar is de software support ook nog niet voor.

En ja een GPU is niet ideaal, dat klopt, ik gebruik het zelf omdat er nog niet echt een betere toegankelijke optie is. Uiteindelijk is zo'n NPU ideaal ja maar in een laptop zijn de modellen die echt een goede LLM kunnen infereren nog te zwaar.
Je hebt een punt, Windows kan er alzo niets mee.

Maar met een Linux distributie zou het in technisch opzicht moeten kunnen gaan werken lijkt me.

Maar goed, voor de hier besproken laptop zal het géén jetson zijn nee.
Ik moet zeggen dat een llm lokaal draaien op m'n M1Pro best heel prima gaat. Even snel als niet sneller als online
Ja dat klopt. Maar dat is dus omdat het bij de M1 op de GPU draait.

Het mooie van de M serie is dat het geheugen unified is, het geheugen heeft zeer hoge bandbreedte (hoger dan normaal PC geheugen) en kan willekeurig opgedeeld worden tussen de GPU en CPU. Daardoor is bijvoorbeeld de Mac Studio met 192 GB geheugen zo populair bij LLM devs, want het is veel en veel goedkoper dan een GPU (combo van meerdere) met zoveel geheugen.

Bij een PC met geintegreerde GPU geldt dit niet omdat die niet hetzelfde soort geheugen heeft. Doordat Apple het op de SoC soldeert zijn de lijnen heel kort en kunnen ze in hele lage latency voorzien.

Daardoor is Mac silicon vrij uniek hiervoor en zeer gewild.

[Reactie gewijzigd door Llopigat op 3 mei 2024 01:53]

Ik wacht voor mijn ai assistent echt op een systeem met npu inplaats van een energie vretende gpu te gebruiken.
AI-PC... Staat wellicht in dit geval de AI voor: artificial insemination? }:O :Y)

AI begint nu echt weer een hype te worden door de afkorting over al op, voor of achter te plakken...
De zoveelste cyclus om PC verkopen weer omhoog te tillen................
Idd overal zit het op ik het net een broodje AI met UI en mayonaise besteld
Ik las dit al als User Interface :D
Heb je hem, met z’n blockchain. Fossiel :+
Ik zou eerst cloud roepen maar dat is helemaal geriatrisch.
je bent VR en multiverse nog vergeten :+
IOT is ook zo modieus
smartblockchain*
Wat wordt nu de praktijkdoel van zo'n laptop? We zijn net alles 'in de cloud' gaan zetten, want waarom lokaal beperkte kracht als je 'in de cloud' een 100voud aan computerkracht heb, om nu weer zut lokaal te gaan draaien? Tuurlijk, simpele taken en wat lokaal AI is leuk, maar ik zie liever mijn hardware worden ingezet voor de zaken die ik aan het doen ben, niet op de achtergrond bedenken wat voor leuke dingen hij allemaal voor mij kan plannen.

Beetje nieuwe hype evolutie van 'smart', waar je inmiddels 10 programma's nodig hebt om uberhaubt onderdelen van je PC te kunnen instellen (fans, powercurve, rgb, SSD health), tot zelfs een software pakket van 700MB (ja, bijna 1GB) voor het instellen van RGB van je MSI keyboard. Elke schil en elk pakket heeft z'n eigen 'optimalisatie' voor games en programma's.. of nee, dat heet 'AI tuning', 40-50 pagina's aan privacy-statements hoe ze zaken verwerken (en uberhaubt te mogen gebruiken), om vervolgens nog meer zut te krijgen in vorm van CoPilot omdat mensen te dom zijn geworden om hun agenda bij te houden en zelf te gaan bedenken wat ik zou moeten doen vandaag?

Grote kans dat ik de doelgroep niet ben, gebruik dagelijks ChatGPT, Bing create, Suno, maar ik gebruik ze als gereedschap, wanneer ik ze nodig heb, hoe ik ze nodig vind. Niet bij elke 'job' een 'clippie' krijgen met advies wat ik allemaal zou kunnen gebruiken, of erger.. moet.
Ik weet niet, het is alweer een tijdje gelden dat ik gamde via de cloud, vond dat zelf werkelijk ideaal (Stadia), maar dat is ook gestopt, dus hoewel het voor mij als consument echt super was, lijkt het erop dat het een lastig verdienmodel is ofzo. Misschien speelt hier ook zo iets...
We zijn net alles 'in de cloud' gaan zetten, want waarom lokaal beperkte kracht als je 'in de cloud' een 100voud aan computerkracht heb, om nu weer zut lokaal te gaan draaien?
Simpel, privacy.

Voor een AI assistent die je echt wil gaan helpen, moet die echt alles van je weten. Waar je uithangt, hoe je reageert op bepaalde vrienden en kennissen, wat je lekker vindt om te eten enz. Niet bepaald dingen die je graag in de cloud wil hebben.

Want daar gaan we wel naartoe. Een assistent die als context heel veel info mee krijgt in plaats van alleen simpele prompts te beantwoorden.

Dus in lokale AI zie ik op zich wel wat ja. Ik ben er zelf ook mee bezig. Ik ga dat soort info absoluut niet aan google geven.

Maar deze laptop? Nah dat is volgens mij gewoon lekker inspelen op de hype. Pure marketing. Net zoals de "VR Ready" laptopjes in de tijd van de metaverse hype, waar je echt geen fuck mee aan kon omdat er echt een flut kaart in zat.

Het stomme is ook dat als je MS Copilot gebruikt, je er ook niet echt wat mee opschiet qua privacy want Windows zit vol met telemetrie enzo.

[Reactie gewijzigd door Llopigat op 2 mei 2024 20:32]

Is het een beetje zoals mijn gigabyte laptop die met "ai" de integratie met stable diffusion en slim laden bedoelt?
Nadat iedereen gestopt is met nieuwe PCs te kopen, omdat ze niet significant sneller worden, moeten ze toch een nieuw "feature" inbouwen waardoor mensen toch nog een nieuwe PC overwegen?

En dan is AI toch ideaal nee? don't miss the AI train, buy now!

you *need* a TPU/NPU/... no?

Pure FOMO :D

Als je kijkt naar de huidige AI toepassingen, is een normale CPU meer dan genoeg.

Slim/Smart toestellen overal tegenwoordig. Zelf m'n vaatwasser (hoewel ik niet zie wat het verschil is!).
TBH, gaat voornamelijk om de snapdragon ARM cpu, tegenhanger voor apple. Dat microsoft dit doet helpt wel. Ik vind dit soort ontwikkelingen geweldig : ] (volg stiekem al wat forums voor de x elite cpu)
@YannickSpinner en ik lees tea-set AI-pc, na het bericht over de koffiemachine in een pc-kast was ik wel benieuwd... helaas, geen thee :)

[Reactie gewijzigd door djwice op 4 mei 2024 15:11]

Er is vast een tweaker die die droom kan waarmaken ;)
De AI bubbel plopt in 3... 2... 1...


Om te kunnen reageren moet je ingelogd zijn

Tweakers maakt gebruik van cookies

Tweakers plaatst functionele en analytische cookies voor het functioneren van de website en het verbeteren van de website-ervaring. Deze cookies zijn noodzakelijk. Om op Tweakers relevantere advertenties te tonen en om ingesloten content van derden te tonen (bijvoorbeeld video's), vragen we je toestemming. Via ingesloten content kunnen derde partijen diensten leveren en verbeteren, bezoekersstatistieken bijhouden, gepersonaliseerde content tonen, gerichte advertenties tonen en gebruikersprofielen opbouwen. Hiervoor worden apparaatgegevens, IP-adres, geolocatie en surfgedrag vastgelegd.

Meer informatie vind je in ons cookiebeleid.

Sluiten

Toestemming beheren

Hieronder kun je per doeleinde of partij toestemming geven of intrekken. Meer informatie vind je in ons cookiebeleid.

Functioneel en analytisch

Deze cookies zijn noodzakelijk voor het functioneren van de website en het verbeteren van de website-ervaring. Klik op het informatie-icoon voor meer informatie. Meer details

janee

    Relevantere advertenties

    Dit beperkt het aantal keer dat dezelfde advertentie getoond wordt (frequency capping) en maakt het mogelijk om binnen Tweakers contextuele advertenties te tonen op basis van pagina's die je hebt bezocht. Meer details

    Tweakers genereert een willekeurige unieke code als identifier. Deze data wordt niet gedeeld met adverteerders of andere derde partijen en je kunt niet buiten Tweakers gevolgd worden. Indien je bent ingelogd, wordt deze identifier gekoppeld aan je account. Indien je niet bent ingelogd, wordt deze identifier gekoppeld aan je sessie die maximaal 4 maanden actief blijft. Je kunt deze toestemming te allen tijde intrekken.

    Ingesloten content van derden

    Deze cookies kunnen door derde partijen geplaatst worden via ingesloten content. Klik op het informatie-icoon voor meer informatie over de verwerkingsdoeleinden. Meer details

    janee