PHI 3330 : Théories philosophiques de l’IA

Le cours couvrira un large éventail de sujets : du débat classique entre les approches symboliques et connexionnistes à l’évolution de ces dernières, des perceptrons aux modèles d’apprentissage profond. Nous aborderons également des questions contemporaines comme le débat sur le scaling, les algorithmes de représentation vectorielle, les mécanismes d’attention, la convolution, la récurrence, et l’apprentissage par renforcement. D’autres thématiques incluront la créativité et l’agentivité et la patientivité des systèmes d’IA, les enjeux liés à leur alignement et leur interprétabilité, ainsi que les réflexions sur la nature de l’intelligence elle-même.

Lectures (ci-dessous) sont protegées par un mot de passe: contactez-moi

Calendrier:

Partie I : QUESTIONS PRÉLIMINAIRES

14 janvier: Qu’est-ce qu’un ordinateur ? Qu’est-ce qu’un algorithme ?

Littérature principale:

• Turing, A. « Machines informatiques et intelligence » [français], [anglais]

Littérature recommandé:

• Chalmers, D. « Do Dust Clouds Run Computer Programs » Reality+, Ch. 21 (sur STUDIUM)
• Marr, D. « Vision » ch. 1. [anglais]

Powerpoint de Prof. Simon pour séance 1

21 janvier: Quels algorithmes? Connectionisme vs Systèmes de Symboles

Littérature principale:

• Fodor, J. et Pylyshyn, Z. « Connexionnisme et architecture cognitive : Une analyse critique » [français], [anglais]

Littérature recommandé:

• Smolensky, P. « Le traitement approprié du connexionnisme » [français]

2024 Powerpoint de Prof. Simon pour séance 2

Partie II : LES CAPACITÉS (ET LES LIMITES) ÉTONNANTES DES RÉSEAUX NEURONAUX PROFONDS

28 janvier: Une légère introduction technique aux réseaux neuronaux, de l’approximation universelle à la back propagation (représentation et apprentissage)

Littérature principale:

• Nielsen, M. « Neural Networks and Deep Learning, Ch. 1, Ch. 4, Ch. 5 », [anglais]

Littérature recommandé:

• Nielsen, Ch. 6, [anglais]
• Goodfellow, I., Bengio, Y. et Courville, A. « Deep Learning », [anglais]

Powerpoint de Prof. Simon pour séance 3

4 février: Division du travail, non-linéarité et perception dans les réseaux neuronaux convolutionnels (CNN)

Littérature principale

• Buckner, C. « Deep Learning: A Philosophical Introduction » [anglais]

Littérature recommandé:

• Buckner, C. « Understanding Adversarial Examples Requires a Theory of Artifacts for Deep Learning », [anglais]
• Yann Lecun, Leon Bottou, Yoshua Bengio et Patrick Haffner « Gradient-Based Learning Applied to Document Recognition » [anglais]

Powerpoint de Prof. Simon pour séance 4

11 février: La compréhension en tant que similarité : la représentation vectorielle sémantique

Littérature principale:

• Piantadosi, S. et Hill, F. « Meaning without reference in large language models », [anglais]

Littérature recommandé:

• Alammar, J. « The Illustrated Word2Vec » (blog)
• Prinz, J. « Empiricism and State Space Semantics » [anglais]
• Günther, F., Rinaldi, L., et Marelli, M. « Vector-Space Models of Semantic Representation from a Cognitive Perspective: A Discussion of Common Misconceptions », [anglais]
• Daniel Jurafsky & James H. Martin. (2024) « Speech and Language Processing, Ch. 6. » [anglais]
• Yoshua Bengio, Réjean Ducharme, Pascal Vincent et Christian Jauvin. (2003) « A Neural Probabilistic Language Model » [anglais]

Powerpoint de Prof. Simon pour séance 5

18 février : Penser, faire attention et prédire (Transformers et modèles génératifs)

Littérature principale:

• Lindsay, G. « Attention in Psychology, Neuroscience and Machine Learning », [anglais]

Littérature recommandé:

• Vaswani, et. al. « Attention is all you need », [anglais]
• Jiang, L. « How GPT Works: A Metaphoric Explanation of Key-Value-Query in Attention Using a Tale of Potion», [anglais]
• Google, « Background: What is a Generative Model?», [anglais]
• Søgaard, A. « Understanding Models Understanding Language »,[anglais]
• Landgrebe, J. et Smith, B. « Why Machines do not Understand: A Reply to Søgaard »,[anglais]

Powerpoint de Prof. Simon pour séance 6

25 février: Agentivité, créativité et apprentissage par renforcement

Littérature principale:

• Julia Hass « Reinforcement Learning for Philosophers » [anglais]
• Lindsay Brainard, « The curious case of uncurious creation » [anglais]

Littérature recommandé:

• Berridge, K. et Kringelback, M. « Affective Neuroscience of Pleasure: Reward in humans and animals », [anglais]
• Schroeder, T. et Arpaly, N. « The Reward Theory of Desire in Moral Psychology », [anglais]
• Silver, D. et. al. « Reward is Enough », [anglais]
• Butlin, P. « Reinforcement Learning and Artificial Agency » [anglais]
• Campero, A. « Report on Candidate Computational Indicators for Conscious Valenced Experience », [anglais]
• Margaret Boden (2014) « Creativity and Artificial Intelligence : A Contradiction in Terms? », [anglais]
• Margaret Boden (2004) « Creativity and Artificial Intelligence », [anglais]
• « Eight Scholars on Art and Artificial Intelligence », [anglais]
• Nick Cave, « This Song Sucks » [anglais]

Powerpoint de Prof. Simon pour séance 7

Partie III : LA NATURE DE L’INTELLIGENCE

11 mars: Le romantisme contre les Lumières (et le débat sur la cognition incarnée)

Littérature principale

• Daniel Dennett, « Aching Voids and Making Voids » [anglais]
• Shane Legg and Marcus Hutter, « Universal Intelligence : A Definition of Machine Intelligence » [anglais]

Littérature recommandé:

• Godfrey-Smith, P. « Minds, Machines and Metabolism », [anglais]

Powerpoint de Prof. Simon pour séance 8

18 mars: L’innéisme contre l’empirisme (et le débat sur « scaling »)

Littérature principale:

• Sutton, R. « The Bitter Lesson » [anglais]
• Chollet
• Mandelbaum

Littérature recommandé:

• Bubeck, S. et. al. « Sparks of Artificial General Intelligence: Early experiments with GPT-4 » [anglais]
• Bommasani et. al. « On the Opportunities and Risks of Foundational Models », [anglais]
• Branwen, G. « The Scaling Hypothesis » (blog) [anglais]
• Kaplan, J. et. al. « Scaling Laws for Neural Language Models », [anglais]
• Tay, Y. et. al. « Scaling Laws vs Model Architectures: How Does Inductive Bias Influence Scaling? », [anglais]
• Hoffman, J. et. al. « Training Compute-Optimal Large Language Models », [anglais]
• LeCun, Y. « A Path Toward Autonomous Machine Intelligence », [anglais]
• Bengio, Y. « The Consciousness Prior », [anglais]
• Marcus, G. « Deep Learning is Hitting a Wall » (vulgarisation), [anglais]
• LeCun, Y. et Browning, J. « What AI Can Tell Us About Intelligence » (vulgarisation), [anglais]
• Marcus, G. « Deep Learning alone isn’t Getting us to Human-Level AI » (vulgarisation), [anglais]
• Marcus, G et Davis, E. « OpenAI’s Language Generator has No Idea What Its Talking About » (vulgarisation), [anglais]
• Alexander, S. « AI Size Solves Flubs » (blog), [anglais]
• Marcus, G. . « What Does it mean when an AI fails? A Reply.» (blog), [anglais]
• Alexander, S. « Somewhat Contra Marcus on AI Scaling » (blog), [anglais]
• Marcus, G. « Does AI Really Need a Paradigm Shift? » (blog), [anglais]

Powerpoint de Prof. Simon pour séance 9

Partie IV : AGENTS, PATIENTS, ET MONSTRES (SENTIENCE, INTERPRÉTABILITÉ, ALIGNEMENT, RESPONSIBILITÉ)

25 mars: Les esprits numeriques — La question de la conscience / la sentience

Littérature principale:

• Block, N. « Troubles with Functionalism » [français], [anglais]
• Dehaene, S.,Lau, H., et Kouider, S.. « What is consciousness, and could machines have it? » [anglais]
• Consciousness in Artificial Intelligence: Insights from the Science of Consciousness, Patrick Butlin, Robert Long, Eric Elmoznino, Yoshua Bengio, Jonathan Birch, Axel Constant, George Deane, Stephen M. Fleming, Chris Frith, Xu Ji, Ryota Kanai, Colin Klein, Grace Lindsay, Matthias Michel, Liad Mudrik, Megan A. K. Peters, Eric Schwitzgebel, Jonathan Simon, Rufin VanRullen
• Birch, J. « The Search for Invertebrate Consciousness », [anglais]

Littérature recommandé:

• Lemoine, B. « Is LAMDA Sentient? » (blog), [anglais]
• Shanahan, M. « Beyond Humans, What Other Kinds of Minds Might be Out There? », [anglais]
• Nagel, T. « Quel effet cela fait-il d’être une chauve-souris? » [français], [anglais]

Powerpoint de Prof. Simon pour séance 10

1 avril: L’interpretabilité et l’alignement

L’interpretabilité

• Beisbart, C. et Räz, T. « Philosophy of science at sea: Clarifying the interpretability of machine learning ».[anglais]
• Templeton, et. al, « Scaling Monosemanticity : Extracting Interpretable Features from Claude 3 Sonnet » [anglais], [blog]
• Elhage, et. al. « Softmax Linear Units », [anglais]

L’alignement

Powerpoint de Prof. Simon pour séance 11

8 avril: L’agentivité morale et la patientivité morale des IA

Long and Sebo report
Sharing the World, excerpts from Deep Utopia?
Alexander and Simon

Powerpoint de Prof. Simon pour séance 12