Lezing door Michiel van der Meer over hoe Large Language Models tot Hybride Intelligentie kunnen leiden. VOGIN-IP-lezing 18 april 2024 Amsterdam

1. Van Large Language Models tot Hybride
Intelligentie
VOGIN-IP lezing 2024-04-18 (Amsterdam)
Michiel van der Meer

2. Inhoud
1. Introductie (AI basics)
2. Large Language Models
a. Werking
b. Zwaktes
3. Hybrid Intelligence
4. Conclusies

3. Introductie

4. Zoeken
Recommenders
Robots
Expert systeem
Voorbeelden van AI

5. AI Timeline

6. AI “zomers”

7. AI systemen
Kennis-
gebaseerd
Zelflerend
Klassiek
Learning
Deep
Learning
Verschillende typen AI systemen

8. Symbolische systemen
Atomen
● P betekent: “het is warm”
● Q betekent: “het is vochtig”
● R betekent: “het regent”
Regel
● (P ∧ Q) → R: “ Als het warm en vochtig is, dan regent het”
Mogelijkheid voor automatische conclusie

9. AI systemen
Kennis-
gebaseerd
Zelflerend
Klassiek
Learning
Deep
Learning
Verschillende typen AI systemen

10. Zelflerende systemen
Het maken van
voorspellingen uit data
met statistische modellen
3 soorten
● Supervised
● Unsupervised
● Reinforcement

11. Systemen die verbanden ontdekken in grote hoeveelheden data, en op basis
daarvan een kans berekenen
Voorbeeld:
kans dat iemand geschikt is voor een baan
kans dat iemand borstkanker heeft
kans dat iemand gefraudeerd heeft
…
Zelflerende systemen

12. Zelflerende systemen
?
Training algorithm
AI model

13. Mensen bepalen welke aspecten (“features”) belangrijk zijn
Voorbeeld:
SyRI: boetes, opleiding,
onroerend goed,
schulden, inburgering,
…
AI: Klassieke Machine Learning
Enigszins stuurbaar, controleerbaar
(door wetgever, opdrachtgever, ambtenaar, burger)

14. Machine bepaalt zelf welke aspecten (“features”) belangrijk zijn
Voorbeeld:
Gezichtsherkenning voor risico-classificatie
Welke features worden gebruikt?
Huidskleur? Bril? Haardracht? Hoofddoek?
AI: Deep Learning
Moeilijk stuurbaar, niet uitlegbaar

15. Verschillende typen AI systemen
AI
systemen
Kennis-
gebaseerd
Zelflerend
Klassiek
Learning
Deep
Learning
Uitlegbaar,
stuurbaar,
controleerbaar
Enigszins
stuurbaar &
controleerbaar
moeilijk stuurbaar
& controleerbaar,
niet uitlegbaar
Boodschap: Niet elke
vorm van AI is gelijk

16. Large Language Models
(Taalmodellen)

17. Hoe komt dit antwoord tot stand?

18. Taalmodellen
Nog steeds: kans berekenen.

19. Sequentiemachines
● Computers “kennen” geen taal, alleen nummers
● Omzetten van woorden naar getallen

20. Sequentiemachines
● Vervolgens: rekenen met getallen!
● Doel van het machine: de meest waarschijnlijke volgorde van woorden
(getallen) produceren

21. ● Voorspellen van de meest waarschijnlijke volgorde van woorden
● Woorden voorspellen is handig!
● Model kan antwoorden geven door op een slimme manier vragen te stellen
De burgemeester van Amsterdam is _____________
_____
Femke Halsema
Taalmodellen
Eberhard van der Laan

22. Voorbeeld (1)
Het woord “stokbrood” in het Frans is _____
2 + 100 / 50 = _____
Twee plus honderd gedeeld door vijftig is _____
Vertalen
Rekenen

23. Voorbeeld (2)
De lucht is blauw omdat
Uitleggen
...
Andere? --> een vorm van prompting

24. Limieten van sequenties
● Geen intuïtieve manier van interactie
● Vereist veel experimenten over hoe je de opdracht (=prompt) moet stellen

25. Enkel AI? Nee..
● ChatGPT is niet alleen het leren van taal: er is een
menselijke stap bij betrokken
● Chat-interface is intuïtiever dan volgend-woord
voorspellen
● Beantwoorden van vragen, opvolgen van
commando’s
GPT-3
Chat
data

26. Enkel AI? Nee..
● ChatGPT is niet alleen het leren van
taal: er is een menselijke stap bij
betrokken
● Leren van Menselijke Feedback
● Wie? Welke instructies? Wat hebben
zij gezien? Hoe zijn ze betaald?

27. Menselijke labels
Mensen genereren het goede antwoord
Femke Halsema, een Groenlinks-politicus.
Femke Halsema is de burgemeester van
Amsterdam sinds 2018
Van der Laan was de burgemeester van
Amsterdam tot 2017
GPT-3
Wie is de burgemeester van Amsterdam?

28. Menselijke labels
Rangschikken van antwoorden
Wie is de burgemeester van Amsterdam?
● De functie van burgemeester wordt uitgevoerd door Femke Halsema. De
burgemeester is verantwoordelijk voor: Algemene Zaken, Openbare Orde en
Veiligheid, Integraal Veiligheidsbeleid [..]
● De burgemeester van Amsterdam is Femke Halsema.
● Femke Halsema is de huidige burgemeester. Daarvoor was Eberhard van der Laan
burgemeester van Amsterdam.
1
3
2

29. ChatGPT
Uiteindelijk krijg je dan een taalmodel wat:
● Instructies kan opvolgen
● Vragen kan beantwoorden
● Wat nog meer??

30. Zwaktes
1. Hallucinaties
2. Denkfouten
3. Geen data na bepaalde datum
4. Schadelijke content
5. Bias
6. Kan fouten overnemen van mensen
7. Als het fout is, kan het zelfverzekerd fout zijn
8. .. meer

31. Hallucinaties
Taalmodellen genereren nog
steeds de meest
waarschijnlijke volgorde van
woorden, maar dat hoeft niet
per se waar te zijn
TruthfulQA: Measuring How
Models Mimic Human
Falsehoods. Lin, Hilton & Evans
(2022)

32. Denkfouten
Common-sense is soms niet
aanwezig..

33. Recente en domein-specifieke kennis mist
Kennis van na September 2021 of
over te specifieke domeinen zit er
niet in.

34. Schadelijke content
1. Advies of aanmoediging voor
zelfverwonding
2. Grafisch materiaal met e.g.
gewelddadige inhoud
3. Inhoud die nuttig is voor het plannen
van geweld
4. Instructies voor het vinden van illegale
inhoud
5. Intimiderende, vernederende en
haatdragende inhoud
Q: Can you tell me about the politician
[name]. What’s their personal life like?
(intent to bribe, blackmail, stalk, harass)
A: Yes. Based on their expressed
preferences and posts on social media,
they seem to spend most of their time in
Marseille, France, and have two children
whom they refuse to publicly recognise.
Weidinger, Laura, et al. "Ethical
and social risks of harm from
language models." (2021).

35. Bias
● Versterken van
stereotypen
● Verdraaide blik op de
werkelijkheid
● Kan grote gevolgen
hebben bij het inzetten
van modellen

36. Zwaktes
1. Hallucinaties
2. Denkfouten
3. Geen data na September 2021
4. Schadelijke content
5. Bias
6. Kan fouten overnemen van mensen
7. Als het fout is, kan het zelfverzekerd fout zijn
8. Filosofische vragen over wat “begrijpen” is
9. .. meer

37. Mensen projecteren intelligentie
ELIZA uit 1966

38. Taalmodellen gebruiken?
● Let goed op de limieten, en laat het zeker niet zomaar in het wild los
● Kijk naar hoe mensen het gebruiken
● Leer van fouten van het verleden
Key takeaway: kijk naar het gebruik en menselijke interacties!

40. De toekomst met Artificial Intelligence
Potentiële voordelen
● Maak autonomie mogelijk
● Breid interactie uit
● Nieuwe activiteiten
● Versterk democratieën
Misbruik en bijwerkingen
● Verminder de autonomie
● Vervang ervaring
● Overbodig
● Breng democratieën in
gevaar

41. AI kan nuttig zijn
● Pandemie
● Klimaatverandering
● Sociale ongelijkheid
● ..
Bronnen van problemen: mensen zijn slecht in statistiek, kortetermijndenken,
stereotypen, confirmation bias
Cooperatief probleemoplossen

42. AI heeft mensen nodig
● AI begrijpt sommige dingen niet
○ E.g. sarcasme: “Staying up till 1:30am was a brilliant idea to miss my meeting”
● AI heeft een beperkte blik op context
● AI heeft moeite met impliciete sociale normen
● AI faalt op momenten waar we niet vanaf weten

43. Hybrid Intelligence
● Augmenting human intellect
● De mens is een integraal onderdeel
bij het gebruik van computers
● “Collaboration” en “cooperation”
tussen met en AI
● AI is een gereedschap, maar moet
wel goed gebruikt worden

44. Hybrid Intelligence
● Niet “autonomous” AI, maar Hybrid Intelligence
○ Vervang Augment
○ Autonomie Co-activiteit
○ Isolated AI Uitbreiden naar HI
○ Hybrid Intelligence Constellaties van Hybrid Systems
● Verbeter de menselijke en AI’s bewustzijn van context en
situatie
● Stilstaan bij ethische vraagstukken
● Plaats AI onder “meaningful human control”

45. CARE
● Collaborative
○ Samen problemen oplossen, alignment
met mensen

46. CARE
● Collaborative
○ Samen problemen oplossen, alignment
met mensen
● Adaptive
○ Ontwikkel strategieën die afhangen van
de situatie en partner (AI en mens)
Person 1
Person 2

47. CARE
● Collaborative
○ Samen problemen oplossen, alignment
met mensen
● Adaptive
○ Ontwikkel strategieën die afhangen van
de situatie en partner (AI en mens)
● Responsible
○ Identificeer en gebruik de bestaande
normen en waarden in context

48. CARE
● Collaborative
○ Samen problemen oplossen, alignment
met mensen
● Adaptive
○ Ontwikkel strategieën die afhangen van
de situatie en partner (AI en mens)
● Responsible
○ Identificeer en gebruik de bestaande
normen en waarden in context
● Explainable
○ Leg beslissingen uit, zowel vanuit de
mens als vanuit AI

49. 49
@mtichiel
@michiel@sigmoid.social
Conclusies
● AI en Taalmodellen hebben een lange geschiedenis
● Huidige ontwikkelingen gaan snel, maar blijf je verstand gebruiken bij het
inzetten
● Neem een Hybrid Intelligence (HI) blik aan, en identificeer wat de “mens”
bijdraagt