OpenAI gaat Stack Overflow-api gebruiken voor ChatGPT-antwoorden

OpenAI en Stack Overflow hebben een samenwerking aangekondigd. Dat moet ervoor zorgen dat de modellen van OpenAI beter worden in het beantwoorden van vragen gerelateerd aan programmeren.

OpenAI krijgt toegang tot de api van Stack Overflow. Dat moet ervoor zorgen dat taalmodellen van OpenAI na verloop van tijd beter worden in het beantwoorden van vragen die te maken hebben met programmeren. Tegelijkertijd zal OpenAI in ChatGPT verwijzen naar content van Stack Overflow. Stack Overflow zelf gaat de taalmodellen van OpenAI gebruiken om zijn AI-platform OverflowAI uit te breiden. De veranderingen gaan volgens de twee bedrijven tijdens ‘de eerste helft van het jaar’ beschikbaar komen. Een exact tijdbestek geven OpenAI en Stack Overflow niet.

Stack Overflow maakte het in 2022 nog verboden om antwoorden gegenereerd met generatieve AI op het platform te plaatsen. Stack Overflow verliest veel bezoekers doordat AI-tools als ChatGPT en Copilot zelf code kunnen genereren. In oktober vorig jaar ontsloeg Stack Overflow nog 28 procent van zijn personeel.

Correctie: In dit artikel stond eerst dat Stack Overflow rechtsomkeer had gemaakt met betrekking tot het plaatsen van door generatieve AI gemaakte antwoorden op het platform. Dat klopte niet en is verwijderd.

Door Andrei Stiru

Feedback • 07-05-2024 09:23
108 • submitter: The Realone

07-05-2024 • 09:23

108 Linkedin Whatsapp

Submitter: The Realone

Lees meer

Gebruikers kunnen Drive- en OneDrive-bestanden direct in ChatGPT laden
Gebruikers kunnen Drive- en OneDrive-bestanden direct in ChatGPT laden Nieuws van 17 mei 2024
OpenAI's medeoprichter en chief scientist Ilya Sutskever vertrekt bij bedrijf
OpenAI's medeoprichter en chief scientist Ilya Sutskever vertrekt bij bedrijf Nieuws van 15 mei 2024
OpenAI introduceert AI-model GPT-4o en brengt macOS-app uit van ChatGPT
OpenAI introduceert AI-model GPT-4o en brengt macOS-app uit van ChatGPT Nieuws van 13 mei 2024
Gerucht: OpenAI werkt aan AI-stemassistent die foto's kan herkennen
Gerucht: OpenAI werkt aan AI-stemassistent die foto's kan herkennen Nieuws van 12 mei 2024
OpenAI laat gebruikers chatgeschiedenis bewaren zonder model ermee te trainen
OpenAI laat gebruikers chatgeschiedenis bewaren zonder model ermee te trainen Nieuws van 1 mei 2024
OpenAI sluit deal met Financial Times voor leveren trainingsdata en voor gebruik
OpenAI sluit deal met Financial Times voor leveren trainingsdata en voor gebruik Nieuws van 29 april 2024
Privacystichting noyb dient klacht tegen OpenAI in wegens mogelijk schenden AVG
Privacystichting noyb dient klacht tegen OpenAI in wegens mogelijk schenden AVG Nieuws van 29 april 2024
Mark Gurman: Apple voert opnieuw gesprekken met OpenAI over AI in iOS 18
Mark Gurman: Apple voert opnieuw gesprekken met OpenAI over AI in iOS 18 Nieuws van 27 april 2024
Stack Overflow komt met betaalde api voor AI's die op SO-content trainen
Stack Overflow komt met betaalde api voor AI's die op SO-content trainen Nieuws van 1 maart 2024
Stack Overflow ontslaat 28 procent van personeel
Stack Overflow ontslaat 28 procent van personeel Nieuws van 17 oktober 2023
Stack Overflow komt met nieuwe zoekfunctie op basis van AI en plug-in voor VSC
Stack Overflow komt met nieuwe zoekfunctie op basis van AI en plug-in voor VSC Nieuws van 28 juli 2023
Stack Overflow verbiedt gebruik van AI-tool ChatGPT voor antwoorden
Stack Overflow verbiedt gebruik van AI-tool ChatGPT voor antwoorden Nieuws van 5 december 2022
Meer producten en artikelen
Software development OpenAI Stack Overflow

IT-banen

Meer vacatures

Reacties (108)

-Moderatie-faq
108
107
47
2
0
52
Wijzig sortering
Niet Henk
7 mei 2024 12:08
Stack Overflow maakte het in 2022 nog verboden om antwoorden gegenereerd met generatieve AI op het platform te plaatsen. Het bedrijf heeft sindsdien echter rechtsomkeer gemaakt.
Dit is volledig onjuist. Het is op Stack Overflow nog steeds verboden om antwoorden gegenereerd met generatieve AI te plaatsen.

Ze willen wel eigen AI producten ontwikkelen en geld voor de data die ze aanleveren, maar dat verandert er niks aan dat ze geen AI op hun platform toestaan. Je kan prima gelijktijdig een AI code assistent ontwikkelen en weten dat dergelijke producten troep produceren die je niet op je platform wil hebben.

Zie bijvoorbeeld dit, de nummer 2 per reputatie van Stack Overflow die vorige week gepakt is voor het gebruik van AI en daarom tijdelijk van het platform gegooit is en meer dan 1000 antwoorden moest verwijderen.
Reageer
84hannes
@Niet Henk • 7 mei 2024 13:26
Ik was al verbaasd over het woordje rechtsomkeer. Ik heb een topic voor je aangemaakt volgens de omslachtige wijze waarop Tweakers.net dat wil.
Reageer
Sjakelien
7 mei 2024 09:29
Eerlijk gezegd kom ik nooit meer op SO. ChatGPT geeft onmiddellijk het juiste en bovendien contextuele antwoord.
Volgens mij is deze samenwerking vooral voor de sier. Ik heb zeer sterke aanwijzingen, dat OpenAI Stack Overflow allang heeft leeggeslurpt.

--NUANCE--
'het juiste" is nogal stellig. Feit is, dat ik met chatGPT heel snel vind wat ik nodig heb, Uiteraard moet ik wat pingpongen en regelmatig excuses aanvaarden, maar de tijd die het kost om te vinden wat ik nodig heb, is een far cry van de tijd die het me kost om op Stack Overflow vergelijkbare informatie te vinden.

[Reactie gewijzigd door Sjakelien op 7 mei 2024 12:47]

Reageer
LOTG
@Sjakelien • 7 mei 2024 09:40
Maar dat is dus het gevaar. ChatGPT haalt zijn data van StackOverflow, niemand gaat meer naar StackOverflow dus er komt geen nieuwe data meer.

Een van de grote voordelen van StackOverflow is dat sommige vragen nog jaren later worden aangevuld met oplossingen die werken in nieuwere versies van frameworks. Dat ben je straks kwijt en ChatGPT geeft je alleen maar oplossingen die vroeger werkte of toen zelfs incorrect waren.

Ik zie heel vaak mensen zeggen dat ChatGPT ze alle antwoorden geeft of complete code voor ze schrijft. Mijn ervaring is dat ik genoeg kennis heb en juist alleen voor de uitzonderingsituaties bij ChatGPT kom en dan 9/10x teleur gesteld maar weer verder ga zoeken.

Ook er achter gekomen dat ChatGPT even slecht als ik zelf ben in regular expression syntax. Komt gewoon met een niet werkende regex, inclusief niet werkend python voorbeeld terwijl ik er genoeg data ingestopt had met meerdere voorbeelden van invoer en wat de uitvoer moest zijn. Het was uiteindelijk ook helemaal geen complexe regex.

En aangezien men heel graag de feedbackloop wilt sluiten en ChatGPT blijft trainen op wat uiteindelijk vrij veel code is die door ChatGPT zelf is gegenereerd zal de kwaliteit niet heel snel omhoog gaan.
Reageer
shades
@LOTG • 7 mei 2024 10:30
Ik vind SO ondermeer erg prettig door de bijna verplichte onderbouwing (anders is er geen opwaardering). Die is vaak nog interessanter dan het antwoord zelf - AI is leuk maar maakt mensen lui en dom en minder creatief.
Reageer
Neocortex-re
@shades • 7 mei 2024 11:03
Het uitschrijven van de code is maar een klein deel van het werk. Het echte denkwerk is dan eigenlijk al gedaan. De juichverhalen van mensen over ChatGTP hoor ik vooral van mensen die ik qua programmeervaardigheden niet zo hoog heb zitten. Daarbij, voor de meeste standaardproblemen is in de meeste talen een library voorhanden. De code die ChatGTP uitspuugt is niet getest, niet gevalideerd en wordt niet onderhouden. Ik zie dat niet graag op mijn projecten.

Een klein zijpad. Oude code die zo goed als onvervangbaar is, zoals bij de Belastingdienst en sommige banken, is destijds geschreven door mensen die én fanatiek én slim waren. De lat lag ongeveer bij een IQ score van 135. Wat er nu aan programmeurs rondloopt - de goeden niet te na gesproken - die maar wat bij elkaar hacken, zal daar nooit bij in de buurt komen.
Reageer
page404
@Neocortex-re • 7 mei 2024 12:33
Uitschrijven van code vind ik vaak wel het saaie deel van het werk. Voor een huis-tuin-en keukenscriptje stel ik soms de vraag aan ChatGPT zodat die het grootste deel van het typewerk doet. Ik hoef dan alleen nog maar te checken op fouten (daar komen mijn vaardigheden om de hoek) en eventueel specifieke aanpassingen voor mijn casus. Of ik bouw er verder op door maar heb al wel een snelle template om mee te starten.
Reageer
kozue
@page404 • 7 mei 2024 17:22
Als je in een degelijke taal schrijft is het uittypen van de code eigenlijk vrijwel gelijk aan het gedetailleerd opschrijven van de procedure. Talen met veel nutteloze boilerplate nodigen wellicht snel uit om deze maar te laten genereren?
Reageer
page404
@kozue • 7 mei 2024 20:35
Nah gewoon Python. Maar het valt me op hoe weinig info ChatGPT eigenlijk nodig heeft om een volwaardig programma uit te spugen.
Reageer
The Realone
@Neocortex-re • 7 mei 2024 13:20
Maar dat testen, valideren en onderhouden van code gebeurt zonder ChatGPT ook niet ineens automatisch, dus dat heeft er in mijn ogen weinig mee te maken. Je zult dat werk altijd moeten doen voor nieuw geïntroduceerde code, of dat nu van een LLM of een dev af komt.
Reageer
oef!
@shades • 7 mei 2024 11:25
AI is leuk maar maakt mensen lui en dom en minder creatief.

Je kan het ook andersom bekijken. Doordat ontwikkelaars geholpen zijn met een vraagstuk kunnen ze zich focussen op het doel: een goede applicatie bouwen. Techniek om de techniek is leuk maar niet het doel.
Reageer
kozue
@oef! • 7 mei 2024 17:24
En als je halfwerkende code laat schrijven door een AI kom je er nooit achter waar die ene vage bug nou toch door komt. Je snapt de code immers niet (anders had je m zelf wel geschreven). Ik denk dat die door een AI gebouwde codebase al snel niet meer te onderhouden valt.
Reageer
dstyle_nl
@kozue • 7 mei 2024 18:48
Ik laat veel code schrijven door chatgpt, niet omdat ik het niet snap. Maar omdat het tijd bespaart. Die bugs vind ik vervolgens altijd wel hoor.

Ik ben wel zoekende naar waar de grens ligt dat het mij inderdaad dommer maakt doordat ik minder leer. Aan de andere kant geeft chatgpt ook wel eens oplossingen waar ik van leer.
Reageer
uiltje
@kozue • 7 mei 2024 19:46
Als je iets niet snapt of als je onderbouwing nodig hebt dan geeft ChatGPT meestal prima antwoord.
Reageer
mekkieboek
@shades • 7 mei 2024 10:52
Het energieverbruik van een GPT verzoek is vele malen hoger dan van een reguliere zoekvraag voor google. Tot wel 60x hoger lees ik, https://limited.systems/a...rch-vs-chatgpt-emissions/
Ja GPT is prachtig maar als iets ook met een simpele duckduckgo kan, waarom niet? Gebruik GPT als het wat toevoegt, zou ik zeggen.

In veruit de meeste duckduckgo zoekvragen naar codesnippets komt het juiste antwoord (meestal van SO) meteen in de topresultaten. En zoals je zegt, de info eromheen is ook waardevol voor bruikbare alternatieven.
Reageer
shady61
@mekkieboek • 7 mei 2024 19:33
Klopt, ik gebruik ook DuckDuckGo en het vindt bijna altijd wel de juiste SO pagina.

Ik gebruik eigenlijk bijna nooit ChatGPT, ik vind de context op SO vaak wel interessant om door te lezen.
Reageer
japborst
@LOTG • 7 mei 2024 10:37
Mag ik vragen of je GPT3.5 of 4 gebruikt? en 3.5 helemaal eens, maar met 4 is het een wereld van verschil.
Reageer
c-nan
@japborst • 7 mei 2024 10:44
Ik gebruik de gratis versie, geen idee welk versie dat is, maar ik krijg regelmatig code wat ChatGPT zelf verzonnen heeft, functies en modules die niet bestaan.

Simpele code werkt vaak wel, maar ik ga er pas naar toe als ik er zelf niet meer uitkom, heel vaak komt ChatGPT er dan ook niet uit of geeft foutieve code.
Reageer
basvdijk1647
@c-nan • 7 mei 2024 11:19
Met de gratis versie (is volgens mij 3.5) ben ik het helemaal met je eens. Met ChatGPT 4 Turbo is het echt een compleet ander verhaal. In mijn programmeerwerk maak ik hier dagelijks gebruik van en ChatGPT komt met goede suggesties en nagenoeg altijd werkende code. Soms werkt het niet, maar als je dan de foutmelding geeft komt de correctie die wel werkt.
Reageer
LOTG
@japborst • 7 mei 2024 16:34
De gratis versie, en het probleem wat ik meestal heb is dat het komt met iets dat inderdaad op StackOverflow staat maar ik niet wil omdat het niet mijn usecase dekt of in mijn ogen te complex/onnodig complex is en ik een simpelere weg zoek (die ik vaak als nog weet te vinden).

Daar naast exact wat @c-nan beschrijft, er worden complete API's of modules verzonnen.

En aangezien ik naar ChatGPT ga als ik het zelf niet meer weet, zijn het niet de triviale dingen.
Reageer
Sandor_Clegane
@LOTG • 7 mei 2024 10:08
Dit. Straks zitten we met meuk opgescheept omdat niemand meer echt informatie genereert. Waarom zou je?
Reageer
The Realone
@Sandor_Clegane • 7 mei 2024 13:21
Je beantwoordt eigenlijk je eigen vraag al. Waarom zouden we? Nou, omdat we anders met oude meuk opgescheept zitten. Ik denk dat het, buiten een transitie periode, wel los zal lopen.
Reageer
uiltje
@Sandor_Clegane • 7 mei 2024 19:44
We genereren echter nog steeds code, die een AI of LLM dan weer tot zich kan nemen. De info hoeft natuurlijk niet per se uit een Q/A site te komen.
Reageer
cariolive23
@LOTG • 7 mei 2024 15:12
Ook er achter gekomen dat ChatGPT even slecht als ik zelf ben in regular expression syntax. Komt gewoon met een niet werkende regex, inclusief niet werkend python voorbeeld terwijl ik er genoeg data ingestopt had met meerdere voorbeelden van invoer en wat de uitvoer moest zijn. Het was uiteindelijk ook helemaal geen complexe regex.
Mijn ervaring is anders, wellicht is mijn regex kennis nog beroerder dan die van jou }:O

Wat ik merk, is dat je zeker met regexen er voldoende testgevallen bij moet geven. Dus input en gewenste output voor dat testgeval. En dat kunnen er dan vele tientallen zijn, die echt allemaal echt verschillend zijn. Echt zo'n situatie van "meer = beter". Het dwingt de tool ook om een meer generieke oplossing aan te bieden, die vaak ook simpeler is. En dat heeft weer als voordeel dat ik het ook begrijp en er wat van leer.

In eerste instantie kreeg ik dezelfde situatie als wat jij beschrijft, code die gewoon niet werkt.
Reageer
LOTG
@cariolive23 • 7 mei 2024 16:22
Dat was het probleem niet, de uitvoer die ChatGPT gaf was vrij duidelijk wat ik wilde. Het was ook niet zo complex, eigenlijk een vrij simpele split functionaliteit op bepaalde separators, en dan groeperen.

ChatGPT genereerd blij de regex en de python functie met de uitvoer van die functie op basis van de voorbeelden.

Echter werkte de regex in geen enkele situatie en bleek ook totaal onjuist te zijn, ik weet niet meer precies waarom.

Als ik meer dan 5 voorbeelden moet aanleveren (sowieso geen echte data, dus extra werk) met de gewenste uitvoer, dan zakt bij mij de waarde van de tool toch wel onder het punt dat ik er tijd in wil steken.
Reageer
cariolive23
@LOTG • 7 mei 2024 16:36
Als ik meer dan 5 voorbeelden moet aanleveren (sowieso geen echte data, dus extra werk) met de gewenste uitvoer, dan zakt bij mij de waarde van de tool toch wel onder het punt dat ik er tijd in wil steken.
Hoe test jij jouw code dan? Daar heb je toch al testgevallen voor nodig, en wel meer dan 5.

Zelf zie ik ChatGPT als een junior, hooguit medior, medewerker die je van goede input moet voorzien om er iets zinvols retour te krijgen. En die aanname werkt goed voor ons.
Reageer
LOTG
@cariolive23 • 7 mei 2024 16:47
Je bedoelt unit testen? Met andere data die ik niet zo maar naar externe systemen mag kopiëren. Zelfde voor andere testen die we uitvoeren.

Lijkt mij nogal logisch dat je niet zo maar je eigen code en data in een ander systeem gooit waarvan je niet weet hoe het werkt en wat er mee gebeurd.

Alles is wat ik in ChatGPT gooi zou ik ook op Stack Overflow of in een publieke github of een github issue zetten.

Maar dat kost dus allemaal extra tijd.
Reageer
cariolive23
@LOTG • 7 mei 2024 17:23
Ja, bijvoorbeeld unit testen. Daar gebruiken wij altijd zelf verzonnen data voor, dus of stukjes daarvan nou in chatGPT of SO terecht komen, is voor ons niet zo relevant. Het genereren van testgevallen doen we ook vóór dat iemand begint met het schrijven van code, of zelfs het ontwerpen van het stuk software dat moet worden gebouwd. De unit tests komen uiteraard later, wanneer we weten wat een unit moet doen.

Klanten van ons krijgen in presentaties en demo's deze data ook al te zien, dus het mag geen data zijn die van een (andere) klant afkomstig zou kunnen zijn.
Reageer
michelr
@Sjakelien • 7 mei 2024 09:43
*Mocht* ChatGPT al het goede antwoord geven, dan nog ben je bijna evenzoveel tijd om het antwoord te controleren. Als je al in staat bent dat te doen, anders stel je die vraag daar niet.
Reageer
WasBak
@michelr • 7 mei 2024 10:57
Je insinueert dat ChatGPT niet vaak het goede antwoord geeft, volgens mij is dat een vreemde opmerking. Kijk de statistieken op SO er maar op na, de aantallen bezoekers zijn na ChatGPT zo hard gezakt, dat zegt al genoeg.

Daarnaast dat je ergens het antwoord niet op hebt, wil niet zeggen dat je een antwoord niet kan controleren of een mogelijke oplossing werkt.
Reageer
Tintel
@WasBak • 7 mei 2024 12:34
de aantallen bezoekers zijn na ChatGPT zo hard gezakt
Dat betekent dat er veel simpele vragen waren - en dat klopt ook wel. SO is ook te gebruiken als verzameling code-snippets met handige zoekfunctie. Dat kan ChatGPT ook wel.

Maar nog niet in de verste verte snapt ChatGPT wat code doet.
Reageer
WasBak
@Tintel • 7 mei 2024 12:50
Mijn ervaring is echt anders. Ik gebruik regelmatig ChatGPT om meer uitleg te geven hoe sommige stukken code nu precies werken, omdat het oud is, slecht geschreven of om welke reden dan ook.

Ik gebruik het zelf ook vaak genoeg om stukken code te optimaliseren. Iets wat het soms gewoon veel sneller en efficiënter kan dan ik(als ervaren ontwikkelaar).

Waar baseer jij je mening dan op?

[Reactie gewijzigd door WasBak op 7 mei 2024 12:51]

Reageer
Tintel
@WasBak • 7 mei 2024 13:10
Waar baseer jij je mening dan op?
Op de totale onzin die ChatGPT kan uitspuwen (dus intrensiek). Let wel: het is een LLM. Het combineert taal en data maar begrijpt helemaal niets.
Reageer
WasBak
@Tintel • 7 mei 2024 13:26
Sorry, maar je praat echt onzin. Als je letterlijk bedoelt begrijpen, nee natuurlijk niet. Maar het kan dus wel de code analyseren en "begrijpen" wat de code doet en uitleggen waar mogelijke fouten zitten. Er zijn massa's developers die gebruik van ChatGPT maken om problemen met code op te lossen, en jij beweert gewoon dat ChatGPT er niets van begrijpt...?
Reageer
Tintel
@WasBak • 7 mei 2024 14:02
Juist. LLM is alleen maar combinaties van tekst op basis van statistiek.

Dus als jij daar in vertrouwt - prima maar aangezien juist code op het internet niet wordt geinterpreteert door degene die het echt begrijpt (een compiler bijv.) en of dan ook de uitkomst inderdaad is zoals gevraagd, is het niets meer dan code snippets en als er veel van dezelfde code snippet bestaan dan helpt dat, maar zo niet, dan is het al vrij snel onbetrouwbaar.

Alsof ChatGPT zinnige antwoorden zou geven als deze alleen op teksten uit sprookjes zou zijn gebaseerd...

Ik zeg dus niet dat het onbruikbaar is. Maar dan voor de al lang bekende problemen cq. veel voorkomende problemen.
Reageer
MSalters
@Tintel • 7 mei 2024 14:59
Dit is onzin, en niet alleen dat. Het is al een eeuw bekend dat jouw statement onzin is, al lang voordat LLM's bestonden.

In de taalwetenschap wordt dit simpel samengevat als "de betekenis van taal is hoe het gebruikt wordt". Er is niets bijzonders aan de letters "k", "a" of "t". Maar dat we met "kat" een kat bedoelen volgt uit het gebruik van "kat". En LLM's leren hoe "kat" gebruikt wordt.

Weet een LLM hoe een kat denkt? Nee. Maar dat weten wij ook niet. Dat houdt ons ook niet tegen om over katten te praten.
Reageer
cariolive23
@michelr • 7 mei 2024 15:13
Daar heb je testgevallen voor. En die heb je toch al nodig, of ChatGPT nou wel of niet meehelpt.
Reageer
DrPoncho
@Sjakelien • 7 mei 2024 09:33
Ik heb zelden dat ChatGPT het juiste antwoord geeft. Het kan handig zijn als startpunt, maar zelfs dan moet je oppassen dat je niet de verkeerde kant uit gestuurd wordt.
Reageer
cotix
@DrPoncho • 7 mei 2024 10:05
Gebruik je dan 3.5 of 4? 3.5 is leuk speelgoed maar gewoon net niet goed genoeg. 4 kan je echt wel bij een hele hoop helpen. Ja, je moet nog wel zelf nadenken, en als je niet kan programmeren ga je niet ver komen, maar ik gebruik het wel om veel kleinere scripts of functies te maken.

Er zijn soms wel wat dingen dat gpt code geeft gebasseerd op oude versies oid, maar vaak is dat vrij eenvoudig te fixen
Reageer
rvt1
@DrPoncho • 7 mei 2024 10:05
Hang een beetje van de taal af. Python lijkt best sterk te zijn, maar als je dingen vraagt in c++ dan slaat het nog wel eens een beetje te plank mis. Ok specifieke vragen over JavaScript frameworks is het vrij zwak.
Reageer
Puddi Puddin
@rvt1 • 7 mei 2024 10:13
Hangt er idd heel erg vanaf. Vrijwel alle microsoft SDK's kent hij zeer goed. Je moet er echter geen kant en klaar antwoord van verwachten maar dat heb je op stackoverflow ook niet. Als je al veel ervaring hebt is het echt geweldig om te gebruiken.
Reageer
gitaarwerk
@rvt1 • 7 mei 2024 10:53
Jep. Gebruik zelf github copilot, wat min of meer wel hetzelfde is. Ik ben nu voor de grap wat esp32 dingen aan het doen met c++ > v17; Andere koek dan front end development en pho, maar het is te doen. Copilot kan wel paar dingen oplossen, maar ik neig veel terug te gaan naar eigen oplossingen. Ik vind het wel leuk om af en toe te checken welke patterns wel er zijn en hoe ze zich verhouden tot bijv php of javascript/typescript en react. Beetje raar soms, maar dat is natuurlijk mijn context.

Maar krijg vaak rare structuren terug, vol met nested variants, maps, vectors,… en dan heb ik het beter voor elkaar gekregen met gewoon een callback.

Maar goed,.. ik zit te denken om er mee te stoppen en weer gewoon wat langer erover te doen en de taal echt te leren. Wel zo leuk.
Reageer
Tintel
@Sjakelien • 7 mei 2024 09:34
Dat impliceert dus ook dat het alleen antwoord kan geven op vragen die al eerder zijn gesteld, cq. problemen die al eerder zijn opgelost....
Dat gold/geldt natuurlijk niet voor SO, aangezien mensen die nieuwe oplossingen bedenken...

En ik heb helaas al genoeg totale onzin uit ChatGPT zien vloeien. Wat helaas ook wel geld voor antwoorden op SO - maar daar volgt dan altijd een 'werkt niet' => nieuw plan, uit.
Reageer
Sjakelien
@Tintel • 7 mei 2024 09:38
Dat klopt. Ik denk dat we nu al dichtbij de ultieme trainingsset zijn. Alles wat nu nog aan data trainings beschikbaar komt is al vervuild met AI-inteelt.
Reageer
Niemand_Anders
@Tintel • 7 mei 2024 10:39
Nee, ChatGPT kan ook prima antwoord geven op vragen welke nog niet zijn gesteld. Ook is het zeer goed in het analyseren van code fragmenten en het aanbieden van suggesties om de code te verbeteren.

Daarbij ook kom je op SO niet zo heel erg veel unieke vragen tegen.

Ik krijg alleen onzin uit ChatGPT als ik de context niet goed specificeer. Bij veel voorbeelden van onzin antwoorden zie ik vaak dat er geen goede context is gegeven of dat er een vraag is gesteld welke meer met voorspellingen te maken hebben. Maar dat is niet nieuw. Kijk maar hier in de programmeurschuur, hoe vaak moet er niet om aanvullende informatie worden gevraagd. ChatGPT gaat er vanuit dat jij direct een juiste vraag stelt. Vrijwel nooit zie ik in de context opgenomen dat ChatGPT om extra informatie moet vragen als er iets onduidelijk is of dubbelzinnig kan worden uitgelegd...

Garbage in, garbage out gaat ook gewoon op bij AI systemen.

Kun je een voorbeeld geven van een vraag welke ChatGPT niet goed heeft beantwoord?
Reageer
Tintel
@Niemand_Anders • 7 mei 2024 12:32
[ChatGPT] is ook zeer goed in het analyseren van code fragmenten
Hoe dan? Dan moet je de achterliggende frameworks/hardware 'begrijpen'. En dat kan ChatGPT niet - het is een LLM.
Kun je een voorbeeld geven van een vraag welke ChatGPT niet goed heeft beantwoord?
Dat ging om een vraag voor het doorgeven van een array (aan de driver API) en of deze dan een kopie of een reference doorgeeft. Letterlijk in het antwoord (helaas de exacte text niet meer voor handen), stond dat beide waar was.... 8)7
m.a.w. ChatGPT begrijpt code niet en maakt alleen maar een leuk verhaal wat eventueel klopt.
Reageer
Tintel
@De_Daapse • 7 mei 2024 14:03
:?
Reageer
Kees
@Sjakelien • 7 mei 2024 09:48
Natuurlijk hebben ze SO allang zonder te vragen leeggerooft, dat is juist het probleem.

Nu hebben ze een fatsoenlijke licentie en kan SO hen niet meer aanklagen omdat ze hun rechten schenden.

Het is dus niet eens zozeer 'voor de sier' maar een manier om een bestaande situatie recht te trekken.
Reageer
MSalters
@Kees • 7 mei 2024 15:04
Ik heb eerlijk gezegd meer problemen met de manier waarop Stack Overflow omgaat met licenties dan OpenAI. De jnhoud die ik op StackOverflow heb gepost (en dat is best wel wat) is altijd onder een open licentie geweest, zonder de verwachting dat ik coyright heb op code die jij maakt nadat je mijn antwoord heb gelezen.

Maar Stack Overflow heeft een paar jaar geleden eenzijdig geprobeerd mijn antwoorden onder een nieuwe licentie te brengen. Dat mag botweg niet. Herlicensering blijft het exclusieve recht van de eigenaar van de code, en dat eigendom geef ik niet weg.
Reageer
uiltje
@MSalters • 7 mei 2024 19:50
Dat is toen niet doorgegaan, en nu hebben vragen en antwoorden de licentie van toen, totdat je het antwoord aanpast. Niet de meest briljante situatie, maar soms moeten ze natuurlijk ook wel wat. En ja, SO heeft wel meer dingen niet zo netjes gedaan; dit is meer om wat extra context te geven.
Reageer
supersnathan94
@Sjakelien • 7 mei 2024 10:49
Mijn ervaring met dingen die echter slecht gedocumenteerd zijn of nog op een oudere versie is juist dat GPT er een potje van maakt en gewoon taaltechnisch correcte antwoorden geeft die software technisch gewoon niet kloppen. Probeer maar eens een grafana deployment te maken in Kubernetes met dashboard autodiscovery. Dan krijg je tig verschillende antwoorden die gewoon niet kunnen, omdat bijvoorbeeld kubernetes dat helemaal niet eens ondersteund.

Zelfde geldt voor terraform. Dikke kans dat dat gewoon niet werkt.
Reageer
cariolive23
@supersnathan94 • 7 mei 2024 17:26
Stel dezelfde vraag aan de gemiddelde IT-er en je krijgt een nog slechter antwoord. GPT is geen specialist, op z'n best een generieke junior hooguit medior medewerker die van heel veel dingen redelijk wat "weet". Wanneer je een specialist verwacht, zul je jouw verwachtingen moeten bijstellen.
Reageer
Snubl
@Sjakelien • 7 mei 2024 10:37
Die ervaring heb ik niet. De antwoorden zijn voor mij vaak gedateerd en worden bepaalde aannames in gedaan welke niet van toepassing zijn.
Reageer
Yoxt
@Sjakelien • 7 mei 2024 11:12
Bij mij is het anders om ik begin meer en meer op Stackoverflow te komen dan ChatGPT omdat het zoveel verkeerde info genereert voor mijn huidige projecten.
Reageer
graey
@Sjakelien • 7 mei 2024 11:30
Dan stel je gelukkig vragen die binnen de huidige kaders vallen. Ik heb al best vaak complexe recursie-gerelateerde vragen gesteld waarbij ChatGPT me keurig oplossingen aandraagt die oneindig zouden loopen. Op SO staat dan misschien nooit direct het goede antwoord, maar met wat extra stappen kan je zelf je complexe probleem in deel problemen opsplitsen, en die vervolgens wel stuk voor stuk oplossen via SO. Dat soort dingen komen misschien nu met het extra schrapen ook langzaam in een volgend model, maar dan slaat LOTG inderdaad de spijker op zijn kop: wanneer weet je zeker dat er geen 'volgend probleem waarvoor de oplossing nog gevonden/gescraped moet worden' is?
En daarnaast: een vraag en/of antwoord tikken en vinden op bijv. SO is een stuk minder energieintensief dan ChatGPT laten ronken. Én: het heeft een iets reëel sociaal aspect. Tegen ChatGPT kan je prima een lul zijn, tegen mensen op SO zal je toch een beetje ok moeten doen. Als zoiets wegvalt, ga je dat op termijn merken in omgangsvormen.
Reageer
Bender
@Sjakelien • 7 mei 2024 11:43
Het juiste? Dat is wel gevaarlijk want mijn ervaring is toch echt dat het vaak niet juist is.
Reageer
Djerro123
@Sjakelien • 8 mei 2024 11:45
Ik heb ook een paar collega’s (junior/medior) die dus totaal niet meer de wens hebben om iets te begrijpen, maar om iets werkends te krijgen. Want ja, ChatGPT heeft toch wel het juiste antwoord en als het werkt, dan is het toch goed?

Nee dus, maar dat begrijpen ze nog niet. Direct werkende code voorgeschoteld krijgen maar niet begrijpen wat je eigenlijk aan het doen ben zorgt voor een afvlakkende leercurve.

Nee, GenAI is top om dingen te genereren, maar het is (nog) niet geschikt om begrip uit het vak te halen. Beetje zoals een rekenmachine; je zult moeten begrijpen wat optellen/aftrekken/vermenigvuldigen/delen is, maar niemand verwacht dat je 765x6893 uit je hoofd uitrekent. Gewoon nummers intoetsen en dan hopen dat de uitkomst goed is, daar heb je weinig aan.
Reageer
Cerebriform
7 mei 2024 09:27
Klinkt geweldig, had eigenlijk gedacht dat ze dit al hadden gebruikt als trainingsdata, met of zonder toestemming.
Reageer
DrPoncho
@Cerebriform • 7 mei 2024 09:32
Vast wel, SO publiceerde altijd al zn data netjes voor onderzoek etc, bij wijze van teruggegeven aan de community aangezien die ze groot gemaakt heeft. Daar zijn ze door AI mee gestopt, maar ik twijfel geen moment aan dat OpenAI de laatst beschikbare gedload heeft.
Reageer
MSalters
@DrPoncho • 7 mei 2024 15:09
En inmiddels weer mee begonnen.
Reageer
ManIkWeet
@Cerebriform • 7 mei 2024 11:39
Dat hebben ze zeker! Ik heb een keer een antwoord van ChatGPT gekregen die ik praktisch 1 op 1 iets later terug vond op StackOverflow (was een hele specifieke situatie, en nee de antwoorden hielpen niet)
Reageer
Bongoan
7 mei 2024 09:30
Ik vraag mij af of dit Stack overflow niet nog meer overbodig maakt in de toekomst?
Reageer
Croga
@Bongoan • 7 mei 2024 09:36
Het hele probleem is dat dit een circulair issue is.
ChatGPT kan niet bestaan zonder StackOverflow. Als er geen StackOverflow meer is, kan ChatGPT niet trainen om antwoorden te kunnen geven. Als ChatGPT er voor zorgt dat StackOverflow verdwijnt, zal ChatGPT verdwijnen......

ChatGPT kan alleen antwoord geven op vragen die al eerder beantwoord zijn. Het kan niet zelf antwoorden bedenken. Daarmee zal het wellicht zinvol zijn voor oude meuk maar slechts heel beperkt bruikbaar voor vernieuwende zaken. En dat is ook te merken. ChatGPT geeft hele mooie antwoorden wanneer ik SQL code wil schrijven maar als ik iets met Azure DataFactory wil doen faalt hij regelmatig.
Reageer
k995
@Croga • 7 mei 2024 09:53
ChatGPT kan alleen antwoord geven op vragen die al eerder beantwoord zijn. Het kan niet zelf antwoorden bedenken.
Dat is niet juist, dat kan chatgpt wel zolang het maar een basis heeft hoe dat op te lossen.
Reageer
latka
@k995 • 7 mei 2024 10:17
Maar dat is waar LLMs niet goed meekomen: logisch redeneren. Ik heb een testset van logische vraagstukken en ieder model loopt daar keer op keer stuk op. Maar ze doen dat wel met de stelligheid van een expert. Als je dan vraagt hoe ze tot de redenatie gekomen zijn (zeg maar: het onderliggende model eruit proberen te frutselen) zie je daar keer op keer zeer vreemde constructies en conclusies. LLMs zijn leuk voor de 1e lijn helpdesk en FAQ entries en een 'google+' zoekmachine (maar valideer het antwoord) maar ik zie ze, zonder een breakthrough in AI, niet op alle vlakken meekomen.
Reageer
k995
@latka • 7 mei 2024 10:51
Ik zeg niet dat ze daar perfect of zelfs heel goed in zijn, maar het is onzin te zeggen dat ze louter een soort van zoekmachine zijn die snel al beantwoorde vragen geeft.

En uitleggen waarom ze tot die conclusie komen is zo goed als niet te doen voor de huidige, maar dat betekend niet dat ze niet unieke vragen kunnen oplossen. Nogmaals zoalng als ze maar genoeg context daarvoor hebben lukt dat wel.
Reageer
graey
@k995 • 7 mei 2024 11:33
Nouja, dat is het dus precies wel; een opgepoetste zoekmachine die al bestaande oplossingen kan aandragen. Het kan beter matchen dan huidige zoekmachines, omdat het iets beter is in context en onderwerpen isoleren, dus in plaats van een specifieke casus vind je ook oplossingen in vergelijkbare gevallen, en ChatGPT kan het dan ook nog zo formuleren dat het toegepast is op jouw casus (misschien met schoonheidsfoutjes). Maar als je met écht een originele casus komt (en die zijn er echt nog wel), of een originele complexe combinatie van bestaande casussen, begint het model snel te hallucineren. Met inderdaad een ongepaste stelligheid.
Reageer
k995
@graey • 7 mei 2024 12:51
nee dan snap je echt niet hoe dat werkt
bekijjk deze eens :

YouTube: Sparks of AGI: early experiments with GPT-4
Reageer
latka
@k995 • 7 mei 2024 12:57
MS zit voor 10 miljard in de boot. Die kunnen niet kritisch zijn. Van dichterbij: https://arxiv.org/html/2402.03962v2
Reageer
k995
@latka • 7 mei 2024 13:19
Dat is een onderzoeker (en professor trouwens) en alles wat die doet kan je zelf gewoon herhalen.

Wat je quote werpt dat op als belangrijkste wat er nodig is en die doet dat. Er word getoond hoe ze ergens toe komen, leggen alles gedetaileerd uit zodat je dat zelf kan herhalen indien je dat wil.
Reageer
graey
@k995 • 7 mei 2024 14:16
Nouja sorry, misschien val je over mijn gebruik van de terminologie. Maar praktijkervaring, ook met GPT4, levert wel mijn genoemde voorbeelden op. Als ik het model corrigeer, krijg ik excuses en vaak hetzelfde of een vergelijkbare fout of hallucinatie, en als ik zelf een oplossing uitwerk kan GPT vaak niet uitleggen welk deel ervoor zorgt dat dat mijn probleem wel oplost. Misschien vind je 'opgepoetste zoekmachine' nog te simpel; ik begrijp dat het een bijzonder functioneel taalmodel is. Maar de 'kennis' die het model heeft, is allemaal afgeleid uit taalgebruik, en te weinig abstract. Mede daarom komt het met hallucinaties die taaltechnisch correct en overtuigend zijn; als de casus te ver van casussen in de trainingsdata ligt, combineert het taalconstructies om zo dichtbij mogelijk te komen. Het blijft leesbare en begrijpbare tekst, maar inhoudelijk kan het daardoor enorm gaan afwijken van het gezochte antwoord. Daarvoor is dan meer trainingsdata nodig, en daarvoor zullen (misschien in steeds mindere mate) mensen nodig zijn die bijv. vragen stellen en antwoorden geven op SO.
Reageer
k995
@graey • 7 mei 2024 15:36
Nergens zeg ik (of de bron die ik postte) dat gpt4 zoals een mens denkt of dat benaderd.

De bewering was (die je lijkt te steunen) dat het niks meer is dan een snelle vorm van een database die bestaande gestelde vragen kan opzoeken en weergeven.

GPT4 doet dat wel kan wel "redeneren" om nieuwe nooit gestelde vragen te beantwoorden.
Reageer
graey
@k995 • 7 mei 2024 18:07
Jij noemt dat redeneren, en daarom zijn we denk ik in discussie. Ik noem dat pas redeneren als er 'de rede', dus ook 'begrip', aan te pas komt. ChatGPT gebruikt 'gewoon' een hele complexe set van wegingen en verwachtingen. Het redeneert niet, het mixt en matcht, en doet dat met een een hele complexe 'multidimensionale' gewogen beslisboom. Het probleem is daar: als er in die boom een aftakking mist, gaat ChatGPT (in mijn mening) veel te vaak uit van 'nouja, dan maar die en die aftakking samenvoegen en vanaf daar verder'.
De afweging die ChatGPT dan maakt is veelal gebaseerd op 'goed genoeg, want er is geen alternatief met een hogere weging/match', en niet 'hoe hoog de weging ook is, de aanwezige opties matchen niet meer met het doel'. Dat noem ik geen redeneren; als mensen dit doen 'weten' ze dat ze aan het bluffen zijn, ChatGPT presenteert gebluf identiek aan niet-gebluf.
Ik vind dat dan inderdaad een mooie nieuwe vorm van kennisbank+zoekmachine: je hebt veel meer relevante informatie bij niet-identieke matches. Maar de beperkingen liggen m.i. nou juist bij het gebrek aan redeneren.
Reageer
k995
@graey • 7 mei 2024 23:41
Jij noemt dat redeneren, en daarom zijn we denk ik in discussie. Ik noem dat pas redeneren als er 'de rede', dus ook 'begrip', aan te pas komt.
Geef daar dan eens een defintie van?
ChatGPT gebruikt 'gewoon' een hele complexe set van wegingen en verwachtingen. Het redeneert niet, het mixt en matcht, en doet dat met een een hele complexe 'multidimensionale' gewogen beslisboom.
En hoe verschilt dat van redeneren zoals een mens dat zou doen?
Ik vind dat dan inderdaad een mooie nieuwe vorm van kennisbank+zoekmachine: je hebt veel meer relevante informatie bij niet-identieke matches. Maar de beperkingen liggen m.i. nou juist bij het gebrek aan redeneren.
Hoe verklaar je dan dat die kennisbank en zoekmachine anwtoorden geeft die niet behoren tot die kennisbank? Aka het verzint zelf het correcte antwoord ?
Reageer
graey
@k995 • 8 mei 2024 14:39
Beetje flauw dat je wil dat ik 'redeneren' definieer, terwijl je dat zelf als argument aandraagt. Als we het niet eens zijn over die definitie, prima, dan kunnen we het verder redelijk eens zijn, maar dan loopt het daar spaak. Dat is mijn vermoeden. Maar goed, dit artikel heeft een redelijk uitgebreide definitie van redeneren, en komt verder ook redelijk overeen met mijn gedachten over de kunde en beperkingen van LLM's (beetje clickbait titel, maar dat is het internet tegenwoordig): https://medium.com/@konst...-cant-reason-2eab795e2523

Daar wil ik nog aan toevoegen: zaken als redeneren, deduceren, onderbouwen, filosoferen en zijn niet heel nauw te definiëren, maar ook zeker niet volledig afhankelijk van interpretatie. Sinds het eerste zaadje van empirisch onderzoek doen, zijn die zaken steeds verder ingekaderd om ervoor te zorgen dat o.a. wetenschappelijke discussie zinvol is en blijft. Wanneer ChatGPT of een ander LLM hieraan had voldaan zonder kanttekeningen of twijfels, hadden de onderzoekers (die zelf geschoold en/of professioneel actief zijn in al die zaken) dat al lang aan de grote klok gehangen. Dat dat alleen gebeurt in pop- en/of pseudo-wetenschappelijke artikelen, zegt m.i. ook wel wat.

Mijn antwoord op je eerste twee vragen wordt redelijk gedekt door het artikel dat ik stuurde.
Je derde vraag, hoe verklaar ik dat? Zoals ik al zei in mijn vorige reactie: wanneer exacte matches ontbreken in het 'brein' van ChatGPT, voegt het aftakkingen van minder goed matchende beslisbomen samen tot een nieuw antwoord. Soms gaat dit goed, soms gaat dit niet goed. In beide gevallen presenteert ChatGPT dat als een correct antwoord, en doet dat op een taaltechnisch overtuigende manier, waardoor het altijd even geloofwaardig overkomt. Het probleem is dat ChatGPT, in de gevallen dat het samengevoegde antwoord fout is, niet kan beredeneren dat dat antwoord fout is;
Simpele voorbeelden daarvan zijn "How many e's does the word fuck contain?"; ChatGPT is daarin niet consequent, maar geeft vaak genoeg antwoorden van boven de 0. Ook na uitleg en herstel en het opnieuw vragen, maakt ChatGPT die fout soms opnieuw. Kon ChatGPT 'echt' redeneren, dan kwam het in zo'n simpel voorbeeld altijd uit op '0'. Uitgebreide voorbeelden op deelproblemen die de redeneringscapabiliteiten van GPT4 verder onderzoeken zijn te vinden in het artikel dat ik link.
Reageer
uiltje
@graey • 7 mei 2024 19:59
Ik vroeg om een volledig schema op te stellen voor een nieuwe taal, en die dan om te zetten naar een andere compiler-compiler (JavaCC). Ik kreeg een volledig schema terug. Daarna vroeg ik nog om er een variant van XPath er voor te maken en dat werd ook tot op de byte voor me uitgewerkt, zonder dat ik bij hoefde te sturen. Dat is echt wat anders dan wat je met een zoekmachine kan doen.
Reageer
Sandor_Clegane
@k995 • 7 mei 2024 10:10
Leg eens uit? Hoe lost het het op zonder dat het ooit is voorgedaan? Het heeft geen idee dat je vraagt naar een programmeertaal of wat uberhaupt syntax is.
Reageer
MSalters
@Sandor_Clegane • 7 mei 2024 15:07
Lol, een "LLM die geen idee heeft wat syntax is". Je kunt een heleboel commentaar hebben op LLM's, maar syntax is nu net één van die kernelementen van taal waarop een Large Language Model excelleert.
Reageer
Sandor_Clegane
@MSalters • 7 mei 2024 16:16
Het zet gewoon het een achter het ander wat statistisch gezien het meest voorkomt. Het heeft geen idee dat het dat moet doen om een AST te genereren omdat het een programmeertaal uitspuugt.

Het heeft geen benul wat een syntax van een programmeertaal is.
Reageer
cariolive23
@Sandor_Clegane • 7 mei 2024 17:33
Wat is dan jouw definitie van "benul" ?

Met of zonder benul, GPT kan prima werkende code opleveren in zo'n beetje elke gangbare programmeertaal. Verwacht geen fantastische code waarvan je denkt "Wow!", maar het werkt wel. Vergelijk het met een junior medewerker, die veel sneller is en eindeloos geduld heeft met jouw vragen en gewenste aanpassingen.

Zodra het té specialistisch wordt, haakt GPT af. Evenals 99 van de 100 mensen.
Reageer
BEEMOO
@Sandor_Clegane • 7 mei 2024 10:27
Check Github's Copilot Workspace.
YouTube: GitHub Copilot just got promoted to Captain

In het kort, AI die zijn code kan/zal testen in een test environment. Dat is iets wat ChatGPT nu niet doet.
Zodra dit van kracht gaat zal AI geen data meer nodig hebben van SO maar alleen de documentatie van programmeertaal en libraries.
Reageer
Sandor_Clegane
@BEEMOO • 7 mei 2024 11:56
Je hebt geen idee hoe deze systemen werken ofwel? Als het waar was dat de documentatie voldoende was dan hadden ze ChatGPT gewoon grammatica kunnen leren en dan was het klaar. Waarom dan een trainingsset nodig hebben als je het gewoon de "regels" kunt leren?

Het gaat nog gewoon geschreven code nodig hebben omdat het anders niets kan.

Om nog maar te zwijgen over het leger laagbetaalde mensen die het moeten beteugelen omdat het anders weer onzin gaat lopen verkondigen of erger.

[Reactie gewijzigd door Sandor_Clegane op 7 mei 2024 11:57]

Reageer
latka
@BEEMOO • 7 mei 2024 13:02
Lol. GPT kan nu nog eens een logische redenatie doen. 5 min. geleden met GPT gesparred over wat zwaarder is een kilo protonen of een kilo electronen....
Reageer
k995
@Sandor_Clegane • 7 mei 2024 10:49
Zoals ik al zei zolang de logica erachter duidelijk is kan het wel daar een antwoord op geven.

Je kan dat makkelijk testen door een unieke vraag te stellen over iets eenvoduig zoals zwaartekracht of grootte van voorwerpen in de juiste volgorde te stappelen/zetten.
Reageer
michelr
@Croga • 7 mei 2024 09:45
Dus dat. Het model trainen op data gegenereerde antwoorden zal op den duur leiden tot verarming van de bron, eenheidsworst qua antwoorden en nul creativiteit.
Reageer
latka
@michelr • 7 mei 2024 10:13
Een deel van de problematiek bij IT is juist die creativiteit..... (iedereen zijn eigen oplossing, SGML oh nee, XML, oh nee, JSON bijv), dus ik ben behoorlijk ambivalent hierin. Het kan nml. betekenen dat we eindelijk wat meer harmonie en integratie kunnen verwachten (aan de andere kant: er is geen leverancier die blij wordt van interoperabiliteit en eigen-standaard-eerst is altijd beter voor de aandeelhouder, dus het zal nog wel een rommel blijven voorloopig).
Reageer
Croga
@latka • 7 mei 2024 10:21
Innovatie wordt geremd door gebrek aan creativiteit.

Persoonlijk ben ik erg blij dat JSON ondertussen XML redelijk verdreven heeft en het zou best nog wel beter kunnen. XML was een enorme draak, JSON is al een stuk beter bruikbaar.

En dat is wat je gaat kwijtraken wanneer creativiteit verdwijnt. Als LLMs de basis worden zullen we nooit meer iets beters krijgen van JSON, simpelweg omdat een LLM dat niet kan bedenken.
Reageer
latka
@Croga • 7 mei 2024 13:05
Tsja, het is maar wat je wilt bereiken... ik wil een datum sturen naar een ander systeem. In JSON ben ik aan de goden overgeleverd welk datum formaat ondersteunt wordt. XML had hiervoor datatypes en schema. Daarnaast vind ik commentaar in XML wel handig. Dat mag dan weer niet in JSON. Dus in mijn optiek is JSON een drol van een standaard (en zo is het met iedere vervangen standaard: het begint simpel, maar nu is er JSON Schema (althans op papier) en is er vast ook iemand het datum probleem opnieuw aan het oplossen).
Reageer
uiltje
@latka • 7 mei 2024 19:55
Jep, die ken ik ook. ASN.1 encoding is zo lastig. Laten we dan een nieuwe encoding beginnen. Oh, ja nu nog een "canonicalized" variant, want die missen we. En daar gaan we weer, en ondertussen is bijvoorbeeld CBOR encoding al weer lastiger en minder krachtig dan veel ASN.1.
Reageer
PolarBear
@Croga • 7 mei 2024 11:41
Het is maar waar je JSON of XML voor gebruikt. XML kan wat meer verbose zijn maar je kan er wel standaard met schema's, comments en datatypes werken. Vooral dat laatste is in Javascript niet echt de sterkste kant van de taal. Wat mij betreft hebben beide een plaats een zijn ze geen 1-op-1 vervanging van elkaar.
Reageer
cariolive23
@Croga • 7 mei 2024 15:23
Je vergelijkt nu appels en peren. Grootste verschil is nog wel dat er in praktijk gewoon geen sprake is van validatie van de inhoud van een json. Daar waar een XSD met XML wel de standaard is.

1.01 of 1,01 om een getal door te geven, of wat dacht je van 101 ? En 05/07/2024 ? Is het nou mei of juli? Toch jammer van die ISO standaard 2024-05-07 8)7

En ja, ik weet dat JSON Schema bestaat, alleen helpt dat in de praktijk niet omdat "niemand" dit gebruikt. Ik ken ze niet.
Reageer
Mellow Jack
@Croga • 7 mei 2024 10:10
Co Pilot en Gemini doen het beter voor dit soort dingen. Tenminste, o.b.v. mijn persoonlijke ervaring
Reageer
Croga
@Mellow Jack • 7 mei 2024 10:26
Ik gebruik Github CoPilot met veel plezier maar ook die, net als M365 Copilot, kunnen erg weinig met echt modern spul. Zo maken we op het werk, op dit moment, uitgebreid gebruik van Synapse Serverless SQL maar als je daar vragen over stelt aan willekeurig welke LLM dan komt daar niet echt veel nuttigs uit.
Reageer
holoduke51
@Croga • 7 mei 2024 10:12
Niet helemaal he. Chatgpt kan ook antwoorden bepalen uit context.
Dus bijvoorbeeld de docs van een framework. Of een bug tracker. Of gewoon door code te inspecteren.
Het hoeft niet letterlijke antwoorden te hebben om antwoorden te geven.
Reageer
Croga
@holoduke51 • 7 mei 2024 10:28
Code inspecteren is een beetje zinloos als de LLM geen bron voor het soort code gehad heeft.
En ja, LLMs kunnen leren uit documentatie maar de laatste keer dat ik zinvolle documentatie van groundbreaking functionaliteit heb gezien is..... oh nee, eigenlijk nooit. Nagenoeg alle zinnige documentatie is community-driven en dat is wat lastig als het te nieuw is om een community te hebben. En community komt weer van platformen zoals SO.....
Reageer
holoduke51
@Croga • 7 mei 2024 10:48
Jawel. Het scant complete github repos en source codes van sdks en andere libs. Alleen op die basis kan het antwoorden geven. Stackoverflow wordt hoogstens gebruikt voor vraag context en antwoord context. Maar niet voor antwoorden. Zo werkt een llm niet.
Reageer
cotix
@Bongoan • 7 mei 2024 10:06
Ik kom er al nooit meer. Voor gpt kwam ik er al wat minder, vaak slechte antwoorden en lastig te vinden in Google tussen alle advertenties en mirrors. Maar met gpt is het gewoon zoveel makkelijker het aan een llm te vragen
Reageer
diddlydong
@Bongoan • 7 mei 2024 10:34
Ik zou zeggen ja en nee: Ja, dit is de doodsteek voor alle content die nu al op SO staat. Je hoeft zo niet meer te googlen om de juiste thread te vinden op SO, je vraagt het aan chatGPT en je krijgt je antwoord. Maar IT verandert continue en nieuwe vragen en antwoorden kan chatGPT niet voor je beantwoorden voor ze eerst ergens anders afgekeken te hebben.
Reageer
MewBie
7 mei 2024 09:29
Dan gaat ChatGPT dus als antwoord geven dat de vraag al eerder gesteld is en je de zoek functie maar moet gebruiken. :+
Reageer
HarmJan1990
@MewBie • 7 mei 2024 09:41
Haha ja, 100% :D
Reageer
Kees
@MewBie • 7 mei 2024 09:49
Tja, het meest gegeven antwoord op de vraag "Hoe maak ik een .exe van source?" is natuurlijk "This is a duplicate question, please use the search". Dus dat moet dan wel het correcte antwoord zijn.
Reageer
Stukfruit
7 mei 2024 09:35
Dan vraag ik me af hoe ze alle onzinreacties van mensen die duidelijk nog niet zo lang programmeren gaan ontwijken. Is daar ook meer over bekend?

Tegenwoordig wordt best vaak voorgesteld om een enorm smerige hack te gebruiken. Of de reactie past er niet eens bij. Technisch klopt het misschien, maar de uitvoer is dan zo beroerd dat je er eigenlijk maar weinig aan hebt en alsnog zelf handleidingen moet doorzoeken en experimenten moet doen met een minimale versie van de betreffende code.

Het is één van de redenen waarom Stack Overflow bij mij steeds lager op de lijst met sites staat om in te zoeken. Als dit zo wordt overgenomen voor ChatGPT dan komt het de kwaliteit van de output niet echt ten goede.
Reageer
Mavamaarten
7 mei 2024 11:00
Yikes. Ik was net blij dat StackOverflow een policy had om geen AI-generated antwoorden toe te laten. De kracht van SO zat hem net in het feit dat je specifieke en complexe vragen kon stellen waar online nog geen simpel antwoord voor te vinden was.

ChatGPT is heel sterk in het beantwoorden van simpele (en zelfs complexe maar moeilijk te "zoeken") vragen die al te vinden zijn.

Ik hoop oprecht dat dit het platform niet om zeep helpt.
Reageer
ASNNetworks
@Mavamaarten • 7 mei 2024 11:21
Dit is bedoeld zodat ChatGPT antwoorden uit StackOverflow kan vissen, niet andersom. Juist met de AI policy in StackOverflow is dit mooi. ChatGPT krijgt zo namelijk alleen maar 'echte' antwoorden uit StackOverflow, zonder risico dat daar ook antwoorden inzitten die al van ChatGPT afkomstig zijn. StackOverflow is dus de bron, niet de bestemming, dat is ChatGPT.

Dit kan dus geen invloed hebben op hoe StackOverflow werkt.
Reageer
Mavamaarten
@ASNNetworks • 7 mei 2024 13:11
Aha. Klinkt al beter dan het beeld dat ik in mijn hoofd vormde.
Reageer
sklipnoty
7 mei 2024 10:11
SO heeft hetzelfde probleem als een paar andere sociaal gedreven netwerken; antwoorden worden niet beoordeeld op hoe correct ze zijn maar hoe populair ze zijn.

Onder het mom van het opdrijven van hun persoonlijk SO-scores doen sommige mensen echte rare dingen. Issues closen > issues correct beantwoorden.
Reageer
uiltje
@sklipnoty • 7 mei 2024 20:04
Dit is op zich correct, maar bij de meeste sites is er wel een grote groep gebruikers die alles de goede kant op stuurt. Het is zeker niet perfect - ik heb heel wat antwoorden moeten bijsturen, maar uiteindelijk levert het wel degelijk een enorm grote hoeveelheid bruikbare Q/A's op, in ieder geval wanneer een topic een beetje populair is.

Het is zeker niet perfect, verre van, maar goed dat geld bijvoorbeeld net zo hard voor bijvoorbeeld democratie. Uiteindelijk lijkt het resultaat erg redelijk en natuurlijk zijn die resultaten ook makkelijk te bereiken (in tegenstelling tot een antwoord in een boek of wetenschappelijk paper, bijvoorbeeld).
Reageer


Om te kunnen reageren moet je ingelogd zijn

Tweakers maakt gebruik van cookies

Tweakers plaatst functionele en analytische cookies voor het functioneren van de website en het verbeteren van de website-ervaring. Deze cookies zijn noodzakelijk. Om op Tweakers relevantere advertenties te tonen en om ingesloten content van derden te tonen (bijvoorbeeld video's), vragen we je toestemming. Via ingesloten content kunnen derde partijen diensten leveren en verbeteren, bezoekersstatistieken bijhouden, gepersonaliseerde content tonen, gerichte advertenties tonen en gebruikersprofielen opbouwen. Hiervoor worden apparaatgegevens, IP-adres, geolocatie en surfgedrag vastgelegd.

Meer informatie vind je in ons cookiebeleid.

Sluiten

Toestemming beheren

Hieronder kun je per doeleinde of partij toestemming geven of intrekken. Meer informatie vind je in ons cookiebeleid.

Functioneel en analytisch

Deze cookies zijn noodzakelijk voor het functioneren van de website en het verbeteren van de website-ervaring. Klik op het informatie-icoon voor meer informatie. Meer details

janee

    Relevantere advertenties

    Dit beperkt het aantal keer dat dezelfde advertentie getoond wordt (frequency capping) en maakt het mogelijk om binnen Tweakers contextuele advertenties te tonen op basis van pagina's die je hebt bezocht. Meer details

    Tweakers genereert een willekeurige unieke code als identifier. Deze data wordt niet gedeeld met adverteerders of andere derde partijen en je kunt niet buiten Tweakers gevolgd worden. Indien je bent ingelogd, wordt deze identifier gekoppeld aan je account. Indien je niet bent ingelogd, wordt deze identifier gekoppeld aan je sessie die maximaal 4 maanden actief blijft. Je kunt deze toestemming te allen tijde intrekken.

    Ingesloten content van derden

    Deze cookies kunnen door derde partijen geplaatst worden via ingesloten content. Klik op het informatie-icoon voor meer informatie over de verwerkingsdoeleinden. Meer details

    janee