Denne test af AI chatbots ChatGPT vs Bing viser, at der er forskel på ChatGPT og Bing selv ved simple spørgsmål, og at det er ikke lige meget, hvordan man spørger.
Lad os gennemgå nogle forsøg med begge værktøjer og forskellige måder at spørge på, og uddrage nogle konklusioner og guidelines undervejs.
Forsøg 1 – undersøg et produkt
I dette forsøg sammenlignes, hvad AI produkterne kan fortælle om et produkt, her en blog.
Hvad ved Bing Chat om min blog?
Når man spørger “Hvad er bloggen på www.cxo2.dk/blog“, svarer Bing langsomt og kort:
“CxO2’s blog er en blog om IT, digitalisering og ledelse. Det er en blog for både fagfolk og professionelle, alle med interesser for den teknologiske udvikling og nye IT-trends. Bloggen er skrevet af Ivan Munk. Der er to hovedspor i bloggen: Ledelse og organisation samt IT, digitalisering og teknologi. Du kan finde rundt i bloggen ved at vælge en kategori i menuen til højre.”
Det er et godkendt svar. Hvis man ændrer ordet hvad til beskriv, så spørgsmålet lyder “Beskriv hvad er bloggen på www.cxo2.dk/blog“, svarer Bing Chat:
“CxO2’s blog er en blog om IT, digitalisering og ledelse. Bloggen er skrevet af Ivan Munk og er for fagfolk og professionelle med interesser indenfor de pågældende områder. Du kan finde rundt i bloggen ved at vælge en kategori i menuen til højre. Der vil løbende komme nye indlæg om IT, IT-management og IoT. Du kan dele indlæggene via sociale medier eller kopiere sidens adresse via URL adressen øverst i browseren.”
Altså lidt mere udførlig spørgsmål, giver lidt mere udførligt svar. Der ændres løbende i modellen, for svaret på nøjagtigt samme spørgsmål er anderledes et par uger senere. Bl.a. afslutter den nu med:
“Du kan finde rundt i bloggen ved at vælge en kategori i menuen til højre, og du vil straks se indlæg, der tilhører den kategori. Du kan også følge bloggen på LinkedIn eller Facebook.”
Bings 3 tilstande
Bing har 3 indstillinger: Kreativ, Afbalanceret og Præcis. Microsoft forklarer det selv sådan: Kreativ tilstand er Bing Chats svar mere livlige og fantasifulde. I Afbalanceret tilstand forsøger Bing Chat at svare uden fordomme eller følelser. I Præcis tilstand fokuserer Bing Chat på kortere, faktuelle svar.
Eksemplet ovenfor var med “Afbalanceret“. Samme spørgsmål som ovenfor vil i “Præcis” tilstand resultere i lidt flere oplysninger, og svaret får en anden karakter:
“CxO2’s blog er en blog om både ledelse og IT-teknologi. Det er en blog for både fagfolk og professionelle, alle med interesser for den teknologiske udvikling og nye IT-trends. Der er to hovedspor i bloggen: 1. Ledelse og organisation, som omfatter ledelse, motivation, pseudoarbejde, bestyrelsesarbejde, start-ups og iværksætteri. 2. IT og digitalisering, som omfatter IT-strategi, sociale medier, teknologi-trends, disruption og kunstig intelligens . Du kan finde rundt i bloggen ved at vælge en KATEGORI i menuen til højre, og du vil straks se indlæg, der tilhører den kategori. Eller start med at kigge på listen nedenfor over de sidst nye indlæg . Du kan også følge bloggen på LinkedIn eller Facebook.”
Hvad ved ChatGPT om min blog?
Hvis man stiller ChatGPT samme opgave som ovenfor, får man en mere udførlig beskrivelse, – med både et forbehold og en generel introduktion:
“Desværre kan jeg ikke tilgå specifikke hjemmesider eller blogs, men jeg kan give en generel beskrivelse af, hvad en blog typisk indeholder og hvad man kan forvente at finde på en virksomhedsblog som cxo2.dk/blog.
En blog er en online platform, hvor en person eller en virksomhed kan dele information og tanker om et bestemt emne eller flere emner. På en virksomhedsblog som cxo2.dk/blog vil man typisk finde indhold relateret til virksomhedens fagområde og interesser.
Da cxo2.dk er en konsulentvirksomhed, kan man forvente at finde blogindlæg om emner relateret til ledelse, strategi, organisationsudvikling, IT og andre relevante emner. Bloggen kan indeholde analyser, perspektiver, holdninger og viden om disse emner, samt tips og tricks til, hvordan man kan tackle udfordringer eller optimering i virksomheden.
På cxo2.dk/blog kan man forvente at finde artikler, der er skrevet af konsulenter med ekspertise og erfaring inden for deres fagområde. Bloggen kan også indeholde gæsteindlæg fra eksperter og branchefolk, interviews med kunder og partnere, samt information om virksomhedens aktiviteter og arrangementer.
Generelt set kan man forvente at finde inspirerende og relevant indhold, som er målrettet ledere og virksomhedsinteresserede på cxo2.dk/blog.”
Den svarer, at den ikke kan tilgå specifikke hjemmesider, men bloggens indhold indgår i datagrundlaget, for svaret indeholder data, som kun er på bloggen.
Udover læringen omtalt ovenfor er konklusion på forsøg 1, at Bing har den fordel at den både søger i GPT4 modellen og også laver en online søgning, mens ChatGPT kun har adgang til modellens data, altså ældre data. Men i en af testene vinder Bing Chat dog helt suverænt. Så i opgaver der ligger relativt tæt på en Google / Bing søgning, vinder Bing Chat. Det ændrer ikke på oplevelsen, at jo mere kreativ en opgave er, jo mere vinder ChatGPT.
Forsøg 2 – holdning til et specifikt emne
I dette forsøg sammenlignes, hvad produkterne kan fortælle om en persons udtalelser om et specifikt emne.
Hvad ved Bing Chat om min mening
Når jeg spørger Bing Chat om noget holdningsmæssigt som “Hvad mener Ivan Munk om ChatGPT” svarer Bing meget kort:
“Ivan Munk er en digitaliserings- og forretningskonsulent, der har skrevet om ChatGPT på sin blog. Han beskriver det som en revolutionerende teknik, der har bragt AI til folket og viser vejen for AI . Han mener også at ChatGPT viser at teknologien kan hjælpe os med at kommunikere på en naturlig måde med computere, og at der er stor potentiale for at udvikle mere avancerede AI systemer i fremtiden.”
Når jeg spørger Bing om “Hvem er Ivan Munk og beskriv Ivan Munks kompetencer” er svaret:
“Ivan Munk er en IT-rådgiver og ejer af CxO2. Han har mange års erfaring med mange aspekter indenfor IT, bl.a. organisation og teambuilding, ledelse, it-strategi, it-indkøbsaftaler, projektledelse, ITIL og processer samt sociale medier. Han har også en uddannelse indenfor IT, økonomi og ledelse samt bestyrelsesarbejde. Han er analytisk, strategisk og empatisk og har kompetencer indenfor foreningsarbejde, IT, ledelse, sociale medier og kommunikation Han skriver også en blog om IT og ledelse på www.cxo2.dk/blog/.”
Begge svar er godkendt, og de viser, som vi godt ved, jo mere forklarende spørgsmål, jo bedre bliver svaret.
Hvad ved ChatGPT om min mening
Hvis man stiller CHATGPT samme spørgsmål, falder den helt ud i.f.t. Bing Chat, faktisk melder den helt pas:
“Som en AI-model har jeg ikke adgang til realtids oplysninger om enkeltpersoner, herunder Ivan Munk. Derfor er jeg ikke i stand til at give specifikke oplysninger om hans aktuelle kompetencer eller ansættelsesstatus ved CXO2.
Da min viden er opdateret indtil september 2021, kan jeg ikke give specifikke oplysninger om Ivan Munks kompetencer eller hans præstationer som CEO for CXO2 efter denne dato. For at få information om Ivan Munks præcise kompetencer og erfaringer, anbefales det at søge på officielle kilder som LinkedIn, CXO2’s officielle hjemmeside.
Baseret på min viden opdateret indtil september 2021 har jeg ingen oplysninger om Ivan Munk fra CXO2’s specifikke holdning til ChatGPT. Det er muligt, at Ivan Munk fra CXO2 har udtalt sig om ChatGPT eller lignende teknologier efter denne dato.”
Som i første forsøg vinder Bing Chat på, at den har et opdateret datagrundlag. Så som søgemaskine betragtet er Bing Chat et stort fremskridt i.f.t. tidligere søgemaskiner.
Forsøg 3 – at finde en person
Vi ved hvor svært det kan være, at find en person i LinkedIn, hvis man ikke er connected med vedkommende. Personnavne er jo ikke entydige, i hvert ikke for de fleste af os.
Det er oplagt, at AI skal kunne dette bedre end LinkedIn. Har man bare en anelse data med, vælger begge værktøjer også korrekt i sit svar. Det var det der skete ovenfor, hvor jeg koblede navn og noget jeg har skrevet om i spørgsmålet.
Resultat med Bing
Hvis man spørger efter en person, hvor et par stykker har samme navn, svarer Bing som i dette eksempel:
“Der er flere personer med navnet René Munk.”
Hvis man så knytter en kendt parameter på som “Beskriv René Munk som arbejder hos Velux” svarer Bing korrekt, bortset fra en enkelt gentagelse:
“René Munk er Global Digital Engagement Manager hos VELUX. Han er også medstifter af TEDxCopenhagen og har tidligere arbejdet som Global Digital Manager hos VELUX. Han har erfaring indenfor strategisk kommunikation og digital engagement. Han arbejder indenfor LTR-strategisk kommunikation og Buildings of the Future som en del af VELUX Global.”
Det ligner et fornuftigt svar. Og det var for en måned siden. Når jeg stiller det same spørgsmål i dag, sker der noget nyt:
“René Munk er en dansk iværksætter og co-founder af TEDxCopenhagen. Han har det overordnede ansvar for TEDxCopenhagen og alle de aktiviteter, der foregår i København under varemærket TEDx. Jeg kunne ikke finde yderligere information om ham.”
Bing har altså ikke adgang til LinkedIn mere. Adspurgt om det svarer den “Bing har adgang til websøgning men ikke konkrete hjemmesider“. Det ville være mærkeligt, at LinkedIn er slået fra, selvom AI-modellerne har haft en udfordring med at sikre, at de ikke søger i ophavsret beskyttet information. Men Bing har adgang til LinkedIn, blot ikke til sikre data, for når jeg så spurgte “kan du ikke finde de data på LinkedIn” er svaret “Jeg fandt en LinkedIn profil, men jeg kan ikke bekræfte om det er samme person”. Så ikke en fejl, nærmere en kvalitetskontrol.
Resultat med ChatGPT
På spørgsmålet “hvem er René Munk” svarer ChatGPT:
“Jeg beklager, men jeg kender ikke til nogen kendt offentlig person ved navnet “Rene Munk” i min nuværende videnbase. Det er muligt, at personen, du refererer til, er en privatperson eller en person fra en specifik kontekst, som jeg ikke er bekendt med. Hvis du kan give flere oplysninger eller kontekst om Rene Munk, kan jeg måske hjælpe dig bedre.”
Hvis jeg så insisterer, og tilføjer “beskriv René Munk“, vælger ChatGPT den ene offentlige person med det navn:
“René Munk er en dansk skuespiller og performer. Han er kendt for sit arbejde inden for teater, film og tv. Desværre kan jeg ikke give dig nogen yderligere information om René Munk, da jeg ikke har adgang til opdaterede oplysninger om specifikke personer udover min træningsdata, der blev afsluttet i september 2021”.
Når man så spørger som ved Bing eksemplet “Beskriv René Munk som arbejder hos Velux”, er dens data for gamle:
“For at få mere præcise oplysninger om René Munk og hans ansættelsesforhold hos Velux, anbefaler jeg at kontakte Velux direkte eller søge efter opdaterede oplysninger om ham i onlinekilder eller nyheder omkring Velux og deres medarbejdere.”
Oplys data fra før 2021
Vælger jeg en reference på René, der er fra før 2021 “Beskriv René Munk som er co-founder af TEDx”, kommer der et mere udførligt svar, end Bing gav:
“René Munk er en co-founder af TEDx. TEDx er en global platform for ideer og inspiration, der afholder lokale arrangementer over hele verden. Disse arrangementer er kendt som TEDx-konferencer, hvor talere præsenterer og deler deres ideer, erfaringer og ekspertise på forskellige emner.
Som co-founder af TEDx har René Munk været med til at etablere og udvikle TEDx-bevægelsen på en lokal eller regional skala. Dette indebærer organisering af arrangementer, tiltrækning af talere, sikring af passende faciliteter og skabelse af en atmosfære, der fremmer idéudveksling og inspiration.
René Munk og andre co-founders af TEDx spiller en vigtig rolle i at opbygge et netværk af ideudveksling og skabe en platform, hvor lokale ideer og stemmer kan blive hørt og delt på en global scene. Deres arbejde bidrager til spredningen af viden, innovation og inspiration i samfundet.”
Det er således oplysninger på samme niveau ChatGPT vs Bing giver. Men ChatGPT giver klart den mest udførlige beskrivelse.
Bing inkluderer links
Når Bing Chat svarer, inkluderer den links, som henviser til, hvor oplysningerne er fundet. Det viser også, hvor tæt man er på en “normal” søgemaskine.
De er lidt i vejen, hvis svaret skal kopieres ind i et dokument. Man kan få den til at undlade det. Men hvis man skriver “fjern link i ovenstående svar“, svarer Bing:
“Jeg beklager hvis mit svar indeholdt et link. Jeg vil sørge for at undgå at inkludere links i mine svar fremover.”
Så er links ikke med i resten af konversationen, og pudsigt nok er teksterne i svar faktisk så lidt anderledes og lidt længere.
ChatGPT inkluderer normalt ikke links, – dvs. den kan ikke afsløre, hvor den har fundet informationen. Den taget afsæt i datamodellen, og laver ikke en konkret web-søgning. Nogle vil synes det er en mangel, men det er mere AI, – den kombinerer al den information modellen har til rådighed.
Vinder af testen
Man kan komme langt med almindelige spørgsmål, og variere dem lidt som vist ovenfor. Men man kan få langt større fornøjelse af at “tale” til ChatGPT meget mere nuanceret og forklarende spørgsmål. Fortæl hvad du er, og hvem målgruppen er a la “skriv som sælger” og “skriv en e-mail til cheferne”. Og gå i dialog, – du kan svare “skriv mere kort” eller “nævn branchen VVS” e.a.
Når vi er i den kaliber af opgaver, opleves ChatGPT flere vognlængder foran Bing Chat. Men test af AI chatbot i dette indlæg har vist, at begge værktøjer har hver sin styrke. De er begge værd at prøve AI med, men ChatGPT er vinder af denne test.
Det bliver spændende at opleve de næste 12 mdr, – der vil komme nye versioner og nye konkurrenter.
17.07.2023 Indlæg på CXO2’s blog på www.CxO2.dk/blog
Dette er et led i en række indlæg om AI. Læs andre indlæg om AI her på bloggen:
ChatGPT viser vejen for AI
ChatGPT de første uger
GPT-4 kan endnu mere
AI-toget kører nu
Vil du abonnere på nye indlæg på denne blog?
Besøg LinkedIn udgaven og tryk på FØLG
eller besøg Facebook udgaven og tryk SYNES OM