'Apple werkt aan AI-functie in iOS 18 om teksten on-device samen te vatten'

Apple zou werken aan een AI-functie die allerhande teksten offline moet kunnen samenvatten. Hiermee wordt het naar verluidt onder meer mogelijk om iMessages en Safari-webpagina's samen te vatten, maar ook moet de functie werken met andere tekstdocumenten.

De functie zou gebruikmaken van het eigen taalmodel van Apple, Ajax genaamd, schrijft AppleInsider op basis van ingewijden. De AI zou van allerlei lange teksten sleutelwoorden en -zinnen kunnen identificeren, die als basis worden gebruikt van de samenvatting. Naast teksten van de Safari- browser en Berichten-app, kan Ajax ook 'teksten ontvangen via een toegewijd tekstvak of digitale documenten'.

Deze functie zou volledig on-device werken. Apple probeert daarmee de privacy van gebruikers te waarborgen, schrijft de nieuwssite. Een dergelijke AI-samenvatfunctie wil het bedrijf ook in versie 18 van Safari zelf implementeren, meldde AppleInsider eerder.

De website beweert verder dat Apple Ajax wil inzetten om offline 'simpele antwoorden' op vragen van gebruikers te genereren. De AI zou daarbij bepaalde informatie in de telefoon kunnen opzoeken en weergeven, zoals opgeslagen contacten of gebeurtenissen in de Agenda-app. Voor 'geavanceerdere' antwoorden moet de verwerking echter aan de serverkant plaatsvinden. De techreus wil daar naar verluidt technologie van andere bedrijven, zoals Google of OpenAI, voor gebruiken. Apple zou nog niet hebben besloten met welk AI-bedrijf het in zee gaat. De kans bestaat dat Apple op 10 juni meer informatie over iOS 18 en generatieve AI zal geven. Het bedrijf houdt dan zijn jaarlijkse ontwikkelaarsconferentie WWDC.

Door Kevin Krikhaar

Redacteur

04-05-2024 • 12:14

58 Linkedin Whatsapp

Reacties (58)

58
56
16
1
0
24
Wijzig sortering
75+ Miljard contant op de bank, maar steeds weer achteraan aansluiten wb nieuwste ontwikkelingen. Waarom lukt het MS/OpenAI, Google wel om een fatsoenlijk LLM AI gereed te hebben en Apple niet. Het lijkt alsof het allemaal als een verrassing komt. En nu moeten ze nadenken of ze gebruik gaan maken van OpenAI of Google. Want ze hebben zelf niets gereed...
Hoe kom je erbij dat Apple steeds weer achteraan sluit bij nieuwe ontwikkelingen?
Apple kocht in 2023 32 AI bedrijven op, al sinds de A11 Bionic heeft Apple haar eigen Neural Processing Unit in haar SoC. Apple is inderdaad vaak niet de eerste die op de markt komt met iets, maar dan is het wel klaar en geïntegreerd met haar Ecosysteem.
Apple komt al jaren met AI integratie, alleen hebben ze dat de hele tijd Machine Learning genoemd.
In haar camera software, de videobewerking suite Final Cut, text herkenning, of dat nu geschreven text is of drukletters.
Ik kan uw reactie wel waarderen, de beeldverwerking van de IPhone was hier tijdens een test jaren geleden al veranderlijk voor “ betere” foto’s dan de concurrentie met betere camera’s.

De termen van ML en AI zijn natuurlijk ook erg afhankelijk van wat je verstaat onder intelligentie.

Veel wat mensen doen hebben ze natuurlijk gewoon geleerd en afgekeken.

Zo kunnen vogels gewoon zelfstandig gereedschap gebruiken om voedsel te bemachtigen, nemen dus ook zelfstandig beslissingen. Een varken is ook intelligenter dan een hond maar kan dan weer lastig gereedschap gebruiken.
Het leuke is van AI in Neurale netwerk modellen is dat het heel lastig is te weten wat je ze traint. Vissen die niet herkent worden door de AI omdat ze de vis herkennen, maar omdat er vingers in de foto staan die ze vasthouden, of sat fotos waar eigenlijk tanks in herkend zouden moeten worden maar eigenlijk een onderscheid maken tussen zonnig en bewolkt weer.
Je zegt wel dat die andere partijen voorlopen op apple, maar geen van die partijen heeft voor consumenten een geïntegreerde oplossing.

Microsoft gaat nu copilot integreren in office... Maar enkel voor zakelijke ms365 gebruikers. Google: ik zie op mijn pixel 6, een telefoon die gelanceerd werd met de zogenaamd fantastische tensor chip voor AI functies zie ik er weinig van terug.

In het lab en met projecten zoals chatgpt kopen anderen dus zeker voor, maar om consumenten echt generatieve AI te laten gebruiken moet het toch geïntegreerd worden, en op dat Valk bieden die andere spelers eigenlijk nog niets noemenswaardig, en loopt apple imo dus niet echt achter.
Apple heeft straks idd een goede geïntegreerde oplossing, althans dat verwacht ik.
Microsoft heeft dat overigens ook voor consumenten. Je kunt Copilot Pro afnemen en dan kun je het ook gewoon in Office gebruiken.
Microsoft heeft copilot volledig geïntegreerd in Windows 11.
Dan doe ik iets fout want ik heb er nog niets van gezien op mijn windows 11 machine
ligt eraan welke licentie je hebt.
Heb je een licentie voor Copilot en 365?
Wat versta je onder volledig geïntegreerd?

Ik versta daaronder een AI die behalve zij eigen functies ook min of meer volledig inzicht heeft in wat er op het apparaat gebeurt en daarmee kan interacteren.

Dat zou betekenen dat als je een foto opent in Photos, je de AI zou moeten kunnen vragen om bijvoorbeeld de foto te beschrijven, of de locatie op te zoeken waar de foto genomen is. Of als het een foto is met twee mensen, vragen om meer foto’s met die twee mensen. Of vragen om die foto naar de andere personen die in de foto staan te e-mailen.

Of bijvoorbeeld dat je muziek speelt in Spotify en dat je de AI kan vragen wat er nu speelt en of ze vergelijkbare muziek kunnen aanraden en afspelen in Spotify.

En een API waarbij de AI van het OS de functies van een programma kan bedienen. Bijvoorbeeld dat je in Photoshop aan het werken bent, en je generative fill wilt gebruiken, en dat je gewoon aan de AI van je OS kan vragen om generative fill toe te passen op een bepaald stuk van de afbeelding.

Voor zover ik weet heeft niemand een AI oplossing die op een dergelijke manier geïntegreerd is. Dit verwacht ik overigens ook niet van Apple; in ieder geval niet op de korte termijn.

[Reactie gewijzigd door BurrowedLurker op 5 mei 2024 13:37]

Aha, je meot dus drie aparte licenties aanschaffen. Het zit dus niet in windows.
Ik heb Gemini nu ongeveer een week op m'n Samsung S23 draaien. De dienst is naadloos geïntegreerd in de Google Assistant.
Mag ik vragen hoe je dat gedaan hebt? Op mijn S21 Ultra heb ik die 2 nog steeds los van elkaar draaien en snap ik niets van
Volgens mij heeft Apple nooit echt meegedaan aan de race om het snelste iets nieuws te lanceren, maar keken ze altijd (terecht) de kat uit de boom.
Mischien ben je nog te jong om dat te hebben meegemaakt, maar vroeger hadden ze bij Apple een man met de naam Steve Jobs. Onder zijn leiding werden werkelijk innovatieve producten uitgebracht, zoals Macintosh, iPod/iTunes, iPhone, iPad, noem maar op.
Apple is heel bewust van zn core business. Ai is dat niet.
AI zou Siri enorm kunnen verbeteren. Siri is vrij dom als je iets complexers vraagt dan "restaurant in de buurt van X". Siri heeft ook al integratie met iOS apps, dus als iOS gebruiker hoop ik dat Apple daar iets moois van kan maken.
Ik snap wel wat je bedoelt, maar ik heb liever dat ze een goed werkende dienst afnemen dan dat ze nog een wiel gaan uitvinden.
Historisch heeft Apple natuurlijk last van het Not-invented-here-syndrome. Ik vind het juist wel een welkome afwisseling.

Dit artikel gaat overigens lokale “AI-functies”, die dus op de telefoons, tablets, pc’s en zo worden afgehandeld. Dus dat staat deels los van OpenAI en consorten.
Dat ligt eraan hoe je in de race zit natuurlijk, wil je snel maar later met updates komen, of wil je direct iets goeds neerzetten? Daarnaast is de vergelijking een beetje oneerlijk; OpenAI en Google hebben gigantische resources voor respectievelijk ChatGPT en Gemini, waar Apple hetzelfde maar lokaal, op meerdere iPhone versies wilt doen in de basis.
Hoe kan Apple dan 75+ Miljard op de bank hebben staan als het, volgens jou, steeds achteraan moeten sluiten met nieuwste ontwikkelingen? Misschien zit er wel een strategie achter als je zo rijk kan worden ondanks dat hun, volgens jou, steeds achterlopen. Geld hoeft niet alles te zeggen. De rijkste voetbalclub loopt niet perse voorop in elke competitie.
Dat van die rijkste voetbalclub is nu juist een slecht voorbeeld. Dat is juist wel het geval (in alle competities die er echt toe doen hoewel er altijd jaren zijn die hier van afwijken).
Ajax wint de Eredivisie dit jaar en Man City en PSG de Champions league, Bayern de Bundesliga?
loopt niet perse
Sommige clubs zijn liever stabiel 2-4 (zoals Arsenal) want dat is hoe ze succesvol kunnen zijn.
Je doet precies wat ik tussen haakjes zet. Je doet aan cherry picking.

De Eredivisie is geen serieuze competitie (qua geld).

Manchester City is van de afgelopen 6 jaar, 5 keer kampioen geworden.

PSG is van de afgelopen 6 jaar, 5 keer kampioen geworden.

Bayern München is van de afgelopen 6 jaar, 6 keer kampioen geworden.

Dus ja, de rijkste club is gemiddeld gezien de beste.

Dat geld ook voor de Champions League.
Je weet dat in Duitsland het afgelopen jaar Bayern Leverkusen kampioen is geworden hè?
Jaar is nog niet afgelopen;-)
En toch zijn ze al sinds 14 april kampioen van Duitsland.
Nou, dan is Bayern van de afgelopen 12 jaar 11x kampioen geweest…
Vind ik niet. Je hoeft niet verder te kijken dan Nederland.
Je kan veel meer geld hebben dan andere clubs maar als in de top verkeerde beslissingen worden genomen, dan loop je gewoon achter.
Nederland telt niet meer mee qua geld in het voetbal.
Tuurlijk kan het eens fout gaan en er verkeerde beslissingen genomen worden.
Maar 9 van de 10 zijn het de rijkste clubs die kampioen worden.
En tuurlijk wisselen de rijkste clubs in elk land elkaar wel eens af, maar het zijn nog steeds de rijkste clubs die kampioen worden.. en dat is ook heel logisch.
Of wil je zeggen dat PSV niet bij de top hoort qua begroting?
Wat merkbaar is over die koplopers is gewoon dat ze allemaal al enorme winst maken op basis van de gebruikersdata die verzameld wordt. Google, Microsoft, Meta, hebben hiermee allemaal ook een enorme dataset van heel veel verschillende soorten data, waarmee ze makkelijk LLMs kan trainen. En als ze nog specifieker data willen, dan is het al “binnen handbereik” zo te zeggen.

(OpenAI is een hierbij een uitzondering - ze waren lekker data aan het scrapen, wat ook controversieel is)

Apple wilt iets anders - ze willen dat alles on-device blijft. Of het wel waar is of niet, Apple probeert tenminste de indruk te geven dat ze je data niet aan het binnenharken zijn. Het is zeker makkelijker om met een enorme set data een leuke LLM model te trainen op enorme GPU clusters, maar het is een stuk moeilijker om iets net zo goed te trainen per-apparaat met een veel kleiner set data.
Je kan het ook andersom stellen, tig miljard op de bank en maar smartphones uitbrengen die net niet succesvol zijn, a la Google pixel of maar niet in staat zijn om een goede soc te ontwikkelen,
Apple maakt ook hardware en Google niet. Hardware maken is wel ff iets anders dan AI.
Er is nog niemand die een AI fatsoenlijk gereed heeft, ze maken allemaal nog steeds bizarre fouten. Copilot is wel aardig maar gaat ook heel erg vaak de fout in. Er is er geen één die foolproof werkt. Komt ook nog bij dat ongeveer 0,001% van de markt pas wel eens met AI gewerkt heeft dus zo'n vaart loopt dit allemaal niet.

Apple gaat echt geen halfgare LLM in hun systeem hangen. Hun AI functionaliteiten van de afgelopen jaren werken prima achter de schermen, geïntegreerd in allerlei interfaces. Dat zal met de nieuwe zaken niet anders zijn, verwacht ik.
Een model moet je toetsen om het beter te maken. We zitten niet voor niets op gpt versie 4 na behoorlijke tijd open in de lucht te zijn. Achter de schermen toets je dat niet. Dus Apple komt idd met een halfgare llm als het ermee uitkomt en gaat dan beweren dat het beste is ooit.
Achter de schermen kun je dat prima toetsen, gezien de benchmarks van Apple's LLM's. Verder denk ik dat Apple vooral meerdere kleine LLM's gaat gebruiken achter diverse services en niet met een open-ended (chat-)interface komt. Dat zou namelijk dom zijn, want die werken nog voor geen meter.
Google was de pionier and Microsoft is veel hongeriger dan Apple.

Apple heeft het niet zo hard nodig en kan het gigantische risico van wat er gaat gebeuren in de rechtbank afwachten, in de tussentijd het risico bij Google/OpenAI/Anthropic latende. Ik vermoed dat Ajax alleen maar getraind zal zijn op auteursrecht vrije en gelicenseerde data.
De dingen die ik tot nu toe heb gezien van AI geeft mij alleen maar de indruk dat het alleen word gebruikt om mensen te tracken ipv echte toevoeging is.
Ja staan ze achteraan ? Ze doen heel veel onderzoek op de achtergrond, sponsoren legio research events. Ik denk dat ze meer op zoek zijn gerichte target toepassingen, dan generieke oplossingen.
Ik gebruik Siri dan ook niet om die reden.
De response is verschrikkelijk, zeker als er 2 talen door elkaar gesproken moeten worden.

Een muzieknummer of film met Engelse titel is niet te doen, of als ik wil navigeren naar een straat/plaats dat een niet Nederlandse benaming heeft, dan snapt siri er ook al niks van.
Of het bellen van je contacten, in een land als Nederland waar we met zowat alle culturen dichtbij elkaar wonen is het soms lastig Siri bepaalde mensen te laten bellen omdat deze namen gewoon niet begrijpt. (En ook geen mogelijkheid hebt om deze in te spreken ter verbetering van het taalmodel)

Siri heeft in mijn ogen gewoon 0 ontwikkeling gehad sinds dat het uit kwam. Nu vind ik een domme spraak assistent misschien niet heel erg, als deze in de basis maar goed was geweest. Helaas voldoet Siri in mijn ogen niet eens aan een goede basis.
Apple heeft enige tijd een tax deal gemaakt met de Amerikaanse regering en heel veel geld naar de States gehaald. En ja, Apple ontwikkeld zelf, bijvoorbeeld haar SoC's, haar software, is al tijdje bezig met Modems.
Siri is blijven steken op de techniek die het had tijdens de overname. Dat aanpassen betekende het helemaal opnieuw bouwen, en dat hebben ze nu eindelijk gedaan. Uiteraard wat interne politiek tussen verschillende teams.

Apple heeft natuurlijk bakken met technisch personeel. Ontzettend veel technologie wordt intern ontwikkeld, dat kun je overigens ook eenvoudig herleiden aan de vacatures. Het blijft alleen een vrij gesloten bedrijf.
Wat ik uit dit artikel en het bronartikel niet kan opmaken is wat de uitkomst is van die samenvattingen.

Als het dit is:
De AI zou van allerlei lange teksten sleutelwoorden en -zinnen kunnen identificeren, die als basis worden gebruikt van de samenvatting.
Dan lijkt mij het niet nuttig omdat het dan bijvoorbeeld voor een blogartikel met stevig SEO-sausje vooral zou samenvatten hoe de vakantie bij oma was die het recept generaties lang heeft doorgegeven, of het document van een gemiddelde advocaat die veel schrijft met weinig wol zodat alle puntjes zijn afgedekt.

Vat het de tekst in zijn geheel samen of maakt het een samenvatting met daarbij de inhoud en eventuele context als leidraad?

Als ik op de tekst uit het artikel af moet gaan: waarschijnlijk niet?
De mens wilt minder lezen en zo snel mogelijk de context kunnen begrijpen.
Ik voorzie dat de leesvaardigheid op deze manier nog veel verder gaat dalen. :{

Ja ja, gemak dient de mens. Tijd is geld. Ik ben geen fan van LLM’s. Ik vind dat ook geen echte AI eigenlijk. Maar goed.
Ik ben ook niet echt fan van LLMs maar toch is het echte AI, niet dat het veel weet ofzo maar het is eerder AI om zinnen te maken op basis van zinnen ervoor
Ik hoop dat IOS 18 een hoop verbeteringen en een nieuw design brengt. Ik vind Apple oerdegelijk maar ook net zo saai. Mocht alles weer van het zelfde zijn dan ben ik dit keer wel klaar mee. Wat ten goede zal komen voor Samsung:)
Saai? Op welke manier dan?
Het design van de UI is al jaren het zelfde. Het ziet er uit als een kindertelefoon. Of een kinderboek voor kinderen die net beginnen met lezen. Het IOS mag veel meer mogelijkheden krijgen om het aan te passen naar wens en een ander design
Ik vind dat vooral erg prettig. Ik vind juist al die halfbakken customisation erg kinderachtig en onzinnig.
Een stabiele en rustige interface wordt echt onderschat.
Het mag ook stabiel en rustig blijven dat is ook voor velen de reden om voor een Apple te gaan. Daarom kies ook voor Apple. Maar jaar in jaar uit niks veranderen is ook niet wat je moet willen als consument. Geef in ieder geval de klant de optie om iets wel of niet te personaliseren. Je kunt een Android simpeler dan IOS maken of juist zo ingewikkeld als jij dat wilt. Geef gewoon de optie aan de consument. Hoeft zeker niet oneindig net als bij android maar gewoon meer dan nu het geval is. Als Apple dit lang genoeg vol houdt dan wordt het de 2e Nokia geval.
Wat wil je allemaal customizen dan? Ik begrijp dat nooit zo. Je kunt al veel met widgets (die er doorgaans op iOS veel strakker uit zien dan op Android). Je dan vooral met Widgy zelf maken. En wat zie je dan vooral voorbij komen: foei lelijke onzin dingen.
Of bedoel je icon packs? Waar er altijd een flinke hand van missen omdat de apps te exotisch zijn. En dat overigens met iOS via een omweg ook al kan.

Ik krijg al weer de kriebels van virus scanners op Windows XP die je toen had. Allemaal volstrekt de eenvoudige interface van XP niet gebruiken. Vre-se-lijk.
Dit.
Ik vind niets zo irritant als MS weer eens de interface veranderd in office of windows.
Een soort van Microsoft SeeingAI die ook on-device tekst kan voorlezen, gekoppeld met een on-device Siri? Apple inschattend zal het nog wel een jaar of vier duren voor het Nederlands is geïmplementeerd.

Mijn ervaring met "onboard" AI-functies is dat de accu snel leeg raakt. Nou is de iPhone al niet zo geweldig qua accuduur dus ik vraag me af of dan een battery sleeve "verplicht" wordt. Om halverwege de dag het apparaat op te laden lijkt me ook niet op te schieten.

Heb ik persoonlijk samenvattingen nodig van lange teksten op mijn iPhone? Dan lijkt mij een PC, laptop of tablet met groot scherm handiger.

Waar ik wel bang voor ben is dat die on-board AI straks rondsnuffelt op al mijn foto's en bestanden en dan een seintje geeft als iets "onwelgevallig" is.


Om te kunnen reageren moet je ingelogd zijn

Tweakers maakt gebruik van cookies

Tweakers plaatst functionele en analytische cookies voor het functioneren van de website en het verbeteren van de website-ervaring. Deze cookies zijn noodzakelijk. Om op Tweakers relevantere advertenties te tonen en om ingesloten content van derden te tonen (bijvoorbeeld video's), vragen we je toestemming. Via ingesloten content kunnen derde partijen diensten leveren en verbeteren, bezoekersstatistieken bijhouden, gepersonaliseerde content tonen, gerichte advertenties tonen en gebruikersprofielen opbouwen. Hiervoor worden apparaatgegevens, IP-adres, geolocatie en surfgedrag vastgelegd.

Meer informatie vind je in ons cookiebeleid.

Sluiten

Toestemming beheren

Hieronder kun je per doeleinde of partij toestemming geven of intrekken. Meer informatie vind je in ons cookiebeleid.

Functioneel en analytisch

Deze cookies zijn noodzakelijk voor het functioneren van de website en het verbeteren van de website-ervaring. Klik op het informatie-icoon voor meer informatie. Meer details

janee

    Relevantere advertenties

    Dit beperkt het aantal keer dat dezelfde advertentie getoond wordt (frequency capping) en maakt het mogelijk om binnen Tweakers contextuele advertenties te tonen op basis van pagina's die je hebt bezocht. Meer details

    Tweakers genereert een willekeurige unieke code als identifier. Deze data wordt niet gedeeld met adverteerders of andere derde partijen en je kunt niet buiten Tweakers gevolgd worden. Indien je bent ingelogd, wordt deze identifier gekoppeld aan je account. Indien je niet bent ingelogd, wordt deze identifier gekoppeld aan je sessie die maximaal 4 maanden actief blijft. Je kunt deze toestemming te allen tijde intrekken.

    Ingesloten content van derden

    Deze cookies kunnen door derde partijen geplaatst worden via ingesloten content. Klik op het informatie-icoon voor meer informatie over de verwerkingsdoeleinden. Meer details

    janee