'Apple werkt aan eigen AI-chips voor gebruik in datacenters'

Apple werkt volgens The Wall Street Journal aan AI-chips die gebruikt moeten worden in zijn eigen datacenters. De chips zouden gebruikt worden om AI-modellen te draaien, maar niet om de modellen te trainen.

Het project zou intern Project ACDC heten, kort voor Apple Chips in Data Center, schrijft The Wall Street Journal. Apple zou al jaren aan de chips werken en zou hiervoor samenwerken met TSMC voor het ontwerp en de productie van de chips. De bronnen geven aan dat het niet duidelijk is of Apple de chips definitief wil gebruiken en of ze ooit publiekelijk getoond worden.

Het lijkt er niet op dat Apple de chips zelf wil verkopen, maar ze in plaats daarvan zelf wil gebruiken voor het draaien van AI-modellen. De chips zouden niet bedoeld zijn voor het trainen van AI-modellen, waar nu vooral Nvidia's datacenterchips voor worden gebruikt. Er gaan al langer geruchten over het gebruik van AI-diensten op Apple-producten, maar Apple zou die diensten liever zoveel mogelijk lokaal willen draaien op het apparaat van de gebruiker. Voor de cloud-AI-diensten zou Apple dus mogelijk eigen chips willen gebruiken, in plaats van producten van concurrenten.

Door Hayte Hugo

Redacteur

08-05-2024 • 10:06

38 Linkedin Whatsapp

Submitter: wildhagen

Reacties (38)

38
37
27
1
0
7
Wijzig sortering
Leuke vergelijking tussen de NPU's in de verschillende modellen:

• A14 Bionic (iPad 10): 11 Trillion operations per second OPS
• A15 Bionic (iPhone SE/13/14/14 Plus, iPad mini 6): 15.8 Trillion OPS
• M2, M2 Pro, M2 Max (iPad Air, Vision Pro, MacBook Air, Mac mini, Mac Studio): 15.8 Trillion OPS
• A16 Bionic (iPhone 15/15 Plus): 17 Trillion OPS
• МЗ, МЗ Pro, М3 Max (іМас, MaBook Air, МасBook Pro): 18 Trillion OPS
• M2 Ultra (Mac Studio, Mac Pro): 31.6 Trillion OPS
• A17 Pro (iPhone 15 Pro/Pro Max): 35 Trillion OPS
• M4 (iPad Pro 2024): 38 Trillion OPS
38 / 11 = 3,5x meer in zo'n 3,5 jaar tussen vandaag (iPad Pro M4, mid 2024) en A14 bitonic (eind 2020). Dit tempo houden ze toch nooit meer vol zou je denken; en dat lijkt ook te kloppen als je naar de sprongen kijkt tussen M2,M3,M4
Ik ben wel benieuwd naar de AI aankondigen komende maand op WWDC en hoe zwaar dit gaat trekken aan de hardware; gezien het feit dat de iPad Air met een M2 (15.8) aangekondigd hebben, daar waar de Pro 38 OPS heeft.

Buiten dat zijn er natuurlijk geruchten naar buiten gekomen afgelopen week dat ze binnen nu en een jaar iedere Mac op M4 willen hebben en daarmee voor veel modellen dus M3 overslaan. Dat kan veelzeggend zijn.
Eens. Aankondiging van de hardware nog nooit zo anticiperend geweest op de software. Het maakt me echt weinig uit hoe dun die iPads zijn en hoe krachtig, zonder te weten wat Apple er mee wilt. Veel AI toepassingen die ik gebruik zijn cloud-based LLM en voor de rest merk ik dat ik weinig meer computing power nodig heb met mijn M1 Pro :).
Van M3 naar M4 is toch een factor 2 ongeveer. De vraag is vooral wat de performance per watt is, want het zou maar zo kunnen dat ze er nu gewoon een 2de NPU bij hebben geplakt terwijl de daadwerkelijke winst in de architectuur 'maar' 5% is.
De NPU is nog steeds dezelfde 16 cores als bij de M3. Wel hebben ze de accelerators flink aangepast bij zowel de big als de little kernen. Ik denk dus dat ze met name een redesign hebben gedaan van de accelerators om op die manier slim de performance op te schroeven.
Tja, ik weet het niet. Apple lijkt altijd het minimale te doen om tegelijkertijd concurrentie voor te blijven, maar ook winstmaximalisatie.
Als je nu kijkt naar de desktops(macstudio en macpro) , die hebben allemaal nog low power cores, terwijl je die in principe in desktops niet nodig hebt en zou kunnen vervangen door hp cores.
Apple lijkt altijd in te houden, kijkt wat de concurrentie doet, en past zich aan, om zo ook weer een jaar daarna 15% verbetering te kunnen laten zien en de upgradecycles in stand te houden.
Als je eigen CPU’s ontwikkelen het minimale is, waarom doen alle andere fabrikanten dat dan niet?
Begrijp me niet verkeerd. Ik vind het werk dat Apple levert top en heel interessant. Ik reageerde op iemand die zei dat de ontwikkeling van socs bij Apple lijkt te stagneren.
Ik reageerde daarop door te zeggen dat Apple vast nog wat troefkaarten in handen houdt.
Ah ok, kwam niet zo over 😊
weet iemand wellicht wat het verschil is dan tussen AI chips draaien en trainen? Ik dacht dat elke CPU in staat is AI te draaien.
Bij het training van AI wordt er gigantische hoeveelheden data door de chip gepompt. Deze moet dus heel veel externe bandbreedte hebben om al die data aangevoerd te krijgen. Bij het draaien van het model laad je het model 1 keer in het geheugen en daarna voer je het uit.

En gewone CPU's zijn heel flexibel en geavanceerd, maar zowel voor het trainen als het draaien van het model heb je maar een paar simpele instructies nodig. Dus een gespecialiseerde chip kan veel zuiniger zijn en veel betere prestaties hebben vergeleken met de grootte van de chip.
en kan je een getraind model dan in een pakketje/binary beschikbaar maken en installeren op elke plek?
Soms, een neural network bestaat uit miljarden getallen die met de input vermenigvuldigt moeten worden. Dit betekend dat al die getallen wel lokaal beschikbaar moeten zijn, wat in de gigabytes kan lopen. Vervolgens moeten ál die getallen door de CPU/GPU gepompt worden wat weer redelijk wat bandbreedte vereist.
Er is overigens heel veel research om de getallen zelf kleiner te maken, door bijvoorbeeld niet 32 bits maar 16 of 8 bit getallen te gebruiken. Microsoft publiceerde laatst zelfs research om getallen in 1 bit op te slaan

[Reactie gewijzigd door blabla1234 op 8 mei 2024 12:53]

Zelfs een 8 bit commedore 64 processer zou theoretisch nog AI kunnen doen... alleen niet heel erg efficient.

"Echte" AI chips zijn ook gewoon chips maar dan helemaal geoptimaliseerd om AI achtige dingen te doen net zoals GPU's geoptimaliseerd zijn om floating point berekeningen te doen.

Een "normale" computer CPU is gemaakt om heel veelzijdig te zijn, ja die kan ook AI maar gewoon niet zo efficient als een chip die daar voor gemaakt is. De keerzijde van een AI chip is dan weer dat je die alleen maar daarvoor kan gebruiken.... maarja dat is dan ook weer het doel van zo'n chip
Je moet een "gewone" CPU zien als iemand die van vele markten thuis is, maar in niks een expert is.
Trainen is het model miljoenen keren uitvoeren en elke keer kleine aanpassingen doen terwijl met draaien het model maar één keer uitgevoerd hoeft te worden. (Niet helemaal waar, bijvoorbeeld LLMs draaien voor elke token opnieuw om de volgende token te bepalen, maar in verhouding met trainen stelt het weinig voor)
Wat de andere zeggen en… wat vaak ook een verschil is hoe de floating point units werken. Soms wordt daar integer math gebruikt, of eventueel 16/32 bit floats ipv double. Snelheid gaat hier boven nauwkeurigheid en integer math is nu eenmaal sneller dan floats.
Synchroniseren van gewichten bij parallel trainen kost heel veel interconnect bandbreedte. Doorgeven van tussenwaardes voor pipelined inference bijna niks.

Quantization aware training gebruikt vaak fp voor backprop en latent weights, maar kan voor inference in bijna pure int.

Voor trainen wil je zoveel mogelijk met een kaart doen, zodat zoveel mogenlijk lokaal blijft en niet over het netwerk hoeft, waardoor je duur en veel HBM geheugen nodig hebt. Voor inference kan je toe met minder en goedkoper geheugen met kleinere chips.
Dat is in lijn met de ontwikkelingen bij Microsoft, Google en Amazon als het gaat om ARM based AI chips. Wel een interessante ontwikkeling dat al deze reuzen nu hun eigen ARM chips gebruiken. Dat moeten een Intel en Nvidia wel gaan merken denk ik.
Nvidia pakt nog steeds een 1000% marge op de datacenter chips, daar zit nog extreem veel ruimte om de prijs aan te passen in de toekomst.
als het gaat om ARM based AI chips.
Volgens mij zijn de AI chips ASICS, en niet op Arm gebaseerd. De CPU's die ze ontwikkelen/gebruiken zijn wel Arm based.
Het gaat over AI accelerators of NPU's afgekort. Zijn in feite ASICs of FPGAs. en zijn niet op ARM of x86_64 gebaseerd. AWS heeft hiervoor AWS Tranium chips
Denk dat ik langzamerhand een beetje AI moe begin te worden..... Tis AI overal.
Herkenbaar. AI zit ook zo'n beetje op de top van de hypecycle lijkt me, misschien er net overheen:
Wikipedia: Gartner hype cycle

Als dat klopt gaan er de komende tijd steeds meer berichten verschijnen dat het toch allemaal wat tegenvalt en/of ingewikkelder is dan verwacht.
Technologische vooruitgang die op korte termijn wordt overschat en op lange termijn onderschat
Daarom zitten wij nu ook in de fase om van toys naar tools te gaan -- anders gaan wij de plateau van productivity niet halen.
Den heb je het over de Peak of inflated expectations en de Trough of disillusionment . Kijken we verder op de cycle dan zie je dat we ook nog de Slope of enlightenment en de Plateau of productivity fase tegoed hebben.
Mooie termen voor een MBA. Niet iedere technologie hoeft daaraan te voldoen. Zie 3D-televisie. :+
Apple heeft toch helemaal geen server OS meer en ze draaien toch alles in Unix varianten in Amazon en Azure? Of gaat Apple met Amazon en Azure concurreren? Ah, na een quick Google blijkt dat Apple toch een klein aantal datacenters heeft op hardware van IBM.

[Reactie gewijzigd door ibmpc op 8 mei 2024 18:11]

Ik vind het nogal teleurstellend dat Apple wel innovaties van derden gebruikt maar de eigen innovaties vaak niet aan derden verkoopt.
Die Amerikanen blijven sterk in 't verzinnen van afkortingen :)
I just hope they are not working on music with those chips... that could get them into legal trouble.
Daar heeft apple al eerder problemen mee gehad. Grote rechtzaak met het label van the Beatles over het gebruik van de naam 'Apple' in relatie tot muziek.
Welke afkorting is nieuw dan?
ACDC zal hij bedoelen. Overigens kunnen genoeg Europeanen ook creatieve afkortingen bedenken ;)


Om te kunnen reageren moet je ingelogd zijn

Tweakers maakt gebruik van cookies

Tweakers plaatst functionele en analytische cookies voor het functioneren van de website en het verbeteren van de website-ervaring. Deze cookies zijn noodzakelijk. Om op Tweakers relevantere advertenties te tonen en om ingesloten content van derden te tonen (bijvoorbeeld video's), vragen we je toestemming. Via ingesloten content kunnen derde partijen diensten leveren en verbeteren, bezoekersstatistieken bijhouden, gepersonaliseerde content tonen, gerichte advertenties tonen en gebruikersprofielen opbouwen. Hiervoor worden apparaatgegevens, IP-adres, geolocatie en surfgedrag vastgelegd.

Meer informatie vind je in ons cookiebeleid.

Sluiten

Toestemming beheren

Hieronder kun je per doeleinde of partij toestemming geven of intrekken. Meer informatie vind je in ons cookiebeleid.

Functioneel en analytisch

Deze cookies zijn noodzakelijk voor het functioneren van de website en het verbeteren van de website-ervaring. Klik op het informatie-icoon voor meer informatie. Meer details

janee

    Relevantere advertenties

    Dit beperkt het aantal keer dat dezelfde advertentie getoond wordt (frequency capping) en maakt het mogelijk om binnen Tweakers contextuele advertenties te tonen op basis van pagina's die je hebt bezocht. Meer details

    Tweakers genereert een willekeurige unieke code als identifier. Deze data wordt niet gedeeld met adverteerders of andere derde partijen en je kunt niet buiten Tweakers gevolgd worden. Indien je bent ingelogd, wordt deze identifier gekoppeld aan je account. Indien je niet bent ingelogd, wordt deze identifier gekoppeld aan je sessie die maximaal 4 maanden actief blijft. Je kunt deze toestemming te allen tijde intrekken.

    Ingesloten content van derden

    Deze cookies kunnen door derde partijen geplaatst worden via ingesloten content. Klik op het informatie-icoon voor meer informatie over de verwerkingsdoeleinden. Meer details

    janee