We verbeteren 6 A.I. papers

Neen, ik kreeg geen heimwee naar wat elke rechtgeaarde prof aan een business-school verafschuwt: het verbeteren van enkele tientallen MBA- papers. Ik dacht: "als ik nu eens zes A.I-pakketten papers liet schrijven in mijn vakgebied, vervolgens die papers zo objectief mogelijk verbeter, valt daar iets over te leren?"

Ik gaf mijn opdrachten in het Engels, strikt volgens de regels van het prompten. De artificieel slimme studenten wisten exact wie ze waren, wat er van hen verwacht werd; ze kregen dus veel meer dan een titel, en ze wisten ook in welke stijl ze moesten antwoorden. Alleen de lengte liet ik onbepaald. Bij paper twee vroeg ik uitdrukkelijk naar tien concrete voorbeelden. Dit waren de drie papers: 'de onderbouw van hedendaagse competentiemodellen' 'het concept illusie van controle' 'hoe kijkt de organisatie-theorie naar een bedrijf?'

Ik vermeed opzettelijk een val open te zetten, zoals vragen of Musk nu echt een psychopaat is. In ieder geval bleken mijn zes studenten alle vragen goed begrepen te hebben. Hierbij de resultaten van mijn verbeterwerk. Achtereenvolgens vindt u de resultaten voor de eerste paper (competentiemodellen), de tweede paper (illusie van controle)  de derde paper (een bedrijf door de bril van de organisatietheorie) en de totaalscore

Co-pilot.    10 10 14          11
Chat GPT.   17 15 16         16
Gemini.       14 10 14         13
Deepseek    19 17 18         18
Perplexity   12 14 11         12
You.com      15 11 10          12

Op geen enkele paper haalde een student een onvoldoende. Soms was het nipt, en de reden kan je lezen bij de geïndividualiseerde feedback hieronder. Echte fouten, blunders of 'hallucinaties' kwamen niet voor.

Omdat mijn vragen niet sloegen op de Oeigoeren, kwam er een heel onverwachte winnaar uit de bus: het Chinese Deepseek. Let op: het verbeteren van studentenpapers in mijn vakgebied is vrij subjectief en waar ik bij Deepseek 'gecharmeerd' was door de aard van de antwoorden, bij elk van de papers, zou een collega misschien reageren met 'te literair'. In mijn verbeterschema had ik nochtans duidelijk aangegeven (en zelfs geprompt voor paper 3) dat ze niet naast de kwestie mochten antwoorden. Deepseek was technisch altijd correct, en concretiseerde zoals geen van zijn klasgenoten. En laat nu net 'hoe concreter, hoe beter' een mantra van mij zijn bij les geven, of bij het begeleiden van non-fictieschrijvers. Abstractie beluistert en leest uiterst moeizaam. Het gevolg was dat Deepseek het minst als A.I. las. Toch even waarschuwen: bij de derde en moeilijkste paper kon je vele punten verliezen voor 'gebrek aan diepgang' en Deepseek verloor er geen. Met mooi praten alleen kom je er niet bij deze columnist-prof.

Hierbij de feedback aan mijn studenten

• Beste Deepseek. U heeft waarlijk talent voor O.B. Uw antwoorden weerspiegelen een goed inzicht in de centrale concepten van het vak, en vooral je illustreert die inzichten met originele, boeiende, concrete voorbeelden. Let wel even op niet langdradig te worden. In een cultuur van 'one page memo's' haalt u het niet met uw stijl.
• Beste ChatGPT. Proficiat, u haalt een hoge consistente score. In vergelijking met uw medestudenten graaft u meestal nog een laagje dieper. U bent helder, relevant en u geeft net voldoende concrete voorbeelden. Mocht u ooit een PhD willen schrijven in OB, ik hou me aanbevolen als promotor.
• Beste Gemini. Uw antwoorden liggen meestal op hoog niveau. Waarom is uw score op de tweede paper toch laag? Uitsluitend toe te schrijven aan uw al te voorspelbare, te abstracte, voorbeelden.
• Beste Perplexity. Dit vakgebied ligt u wel, maar louter ad rem zijn (wat u zeker bent) garandeert hier geen hoge score, die u ongetwijfeld haalt in de meer technische vakken.
• Beste YOU. Ik was onder de indruk van uw analyse van de competentiemodellen, daar kwam uw rationele, ad rem benadering zeker tot zijn recht. De twee andere papers waren 'net voldoende'. Kleine waarschuwing: als mensen aan u advies vragen en zij geven dat advies zo maar door, dan zal iedereen zeggen: A.I.
• Beste Co-pilot. Dit was nipt; dit vakgebied is voor u geen thuiswedstrijd. Rationeel, kort, zakelijk en heel AI-achtig. U past perfect in een cultuur van one page memo's.