Par défaut le capital sera plus important que jamais après l’AGI

Traduction automatique via google translate de l’article suivant

Article

par Rudolf L

28th Déc 2024

Le principal message à retenir de ce billet est le suivant : l’IA remplaçant la main-d’œuvre modifiera l’importance relative des facteurs de production humains et non humains, ce qui réduira les incitations de la société à se soucier des humains tout en rendant les pouvoirs existants plus efficaces et plus enracinés.

De nombreuses personnes lisent ce billet d’une manière où (a) le » capital » signifie simplement » argent » (plutôt que d’inclure également le capital physique comme les usines et les centres de données), ou (b) la principale préoccupation est l’inégalité entre humains (plutôt que des préoccupations sociétales plus larges concernant la position collective de l’humanité, le potentiel de changement social et l’action humaine).

J’ai entendu de nombreuses personnes dire quelque chose comme » l’argent n’aura plus d’importance après l’AGI « . Cela m’a toujours semblé étrange et probablement complètement faux.

Premièrement, le travail désigne l’effort mental et physique de l’homme qui produit quelque chose de valeur. Les biens d’équipement sont des choses comme les usines, les centres de données et les logiciels, des choses que les humains ont construites et qui sont utilisées dans la production de biens et de services. J’utiliserai le terme » capital » pour désigner à la fois le stock de biens d’équipement et l’argent qui peut les payer. Je dirai » argent » lorsque je souhaite exclure les biens d’équipement.

L’effet économique principal de l’IA est qu’elle transforme de plus en plus le capital en substitut du travail. Il devient de moins en moins nécessaire de rémunérer les humains pour leur temps de travail, car on peut le remplacer par du capital (par exemple, les centres de données exécutant des logiciels remplacent un humain effectuant un travail intellectuel).

Je vais passer en revue les conséquences de cela et finir par conclure que l’IA remplaçant la main-d’œuvre signifie :

1. La capacité d’acheter des résultats dans le monde réel va augmenter considérablement
2. La capacité humaine à exercer le pouvoir dans le monde réel diminuera considérablement (du moins sans argent) ; notamment parce que :
   1. les États, les entreprises et les autres institutions n’auront plus aucun intérêt à se soucier des êtres humains.
   2. il sera plus difficile pour les humains d’obtenir des résultats aberrants par rapport à leurs ressources de départ
3. Des mesures radicales d’égalisation sont peu probables

Dans l’ensemble, cela met en évidence un inconvénient négligé de l’IA transformatrice : la société pourrait devenir statique de manière permanente et les déséquilibres de pouvoir actuels pourraient être amplifiés puis devenir immuables.

Si l’IA est suffisamment puissante, il ne s’agit pas d’un risque de manque de confort matériel . Les gouvernements pourraient instaurer un revenu de base universel avec la richesse dérivée de l’IA. Même si, par exemple, seuls les États-Unis captent la richesse de l’IA et que le gouvernement américain ne fait rien pour le monde, si l’on est prêt à supposer une génération de richesses arbitrairement extrême par l’IA, la richesse du petit pourcentage d’Américains riches qui se soucient de causes extérieures aux États-Unis pourrait suffire à mettre fin à la pauvreté matérielle (si 1 % de la richesse des milliardaires américains était dépensée en transferts de richesses à des étrangers, il faudrait 16 fois plus de richesses des milliardaires américains exprimées en pouvoir d’achat pour les besoins humains – une augmentation d’environ 70 000 fois – avant qu’ils puissent se permettre de donner l’équivalent de 500 000 dollars à chaque personne sur Terre ; dans un scénario de singularité où le temps de doublement de l’économie serait de plusieurs mois, cela ne prendrait pas longtemps). Bien sûr, si l’explosion de l’IA est moins singulière, ou si la dynamique pendant le décollage de l’IA affaiblit activement une grande partie de la population mondiale (une possibilité réelle), même le confort matériel pourrait devenir un problème.

Ce qui m’émeut le plus dans ces scénarios, c’est qu’une société statique avec une caste dirigeante verrouillée ne me semble ni dynamique ni vivante. Nous ne devrions pas tuer l’ambition humaine, si nous pouvons l’éviter.

Il existe également des moyens par lesquels un tel état rend plus probables les catastrophes lentes et progressives de l’IA , car l’incitation du pouvoir à se soucier des humains est réduite.

La solution par défaut

Supposons que le travail mental et physique des humains dans la grande majorité des tâches pour lesquelles les humains sont actuellement rémunérés n’a plus de valeur marchande non négligeable, car ces tâches peuvent être effectuées mieux/plus rapidement/moins cher par les IA. Appelons cela l’IA qui remplace la main-d’œuvre.

Il existe deux niveaux de solution standard au problème du chômage qui en résulte :

1. Les gouvernements adopteront un revenu de base universel (RBU).
2. Nous atteindrons rapidement la superintelligence et, en supposant que celle-ci soit alignée, nous vivrons dans un pays des merveilles technologiques post-pénurie où tout est possible.

Il faut tout d’abord noter que l’argent continuera d’exister, à moins que nous n’ayons un seul système d’IA chargé de toute la planification économique.Les prix sont en grande partie une question de communication d’informations. Si les acteurs sont nombreux et qu’ils commercent entre eux, l’hypothèse forte devrait être qu’il existe des prix (même si les humains ne les voient pas ou n’interagissent pas avec eux). Rappelons également que quelle que soit la singularité, l’abondance sera toujours finie et devra donc être allouée.

L’argent a actuellement du mal à acheter des talents

L’argent peut vous permettre d’acheter beaucoup de choses : les biens d’équipement, par exemple, peuvent généralement être achetés assez facilement et ne peuvent être achetés sans beaucoup d’argent (ou d’autres actifs liquides ou non liquides contre lesquels d’autres sont prêts à signer des contrats, ou des pouvoirs gouvernementaux spéciaux). Mais il est étonnamment difficile de convertir de l’argent brut en travail, d’une manière qui soit compétitive avec le travail de haut niveau.

Comparez Blue Origin à SpaceX. Blue Origin a été lancé deux ans plus tôt (2000 contre 2002),L’entreprise a bénéficié d’un financement bien plus important pendant la majeure partie de son histoire etemploie aujourd’hui encore presque autant de personnes que SpaceX (11 000 contre 13 000). Pourtant, SpaceX a dominé Blue Origin de manière écrasante. En 2000, Jeff Bezos disposait de 4,7 milliards de dollars. Mais il est difficile de voir ce qu’il aurait pu faire pour ne pas perdre face à SpaceX, une entreprise relativement pauvre en argent, avec sa culture intense et ses talents atypiques.

Considérez, un siècle plus tôt, les frères Wright, avec les ressources de leur magasin de vélos, battant l’opération bien financée de Samuel Langley.

Prenons l’exemple typique de l’interaction entre un capital-risqueur et son fondateur, ou de l’interaction entre un acquéreur et une start-up. Dans les deux cas, les détenteurs d’un capital financier massif sont prêts à payer des prix très élevés pour parier sur la main-d’œuvre – et le pari est que le travail des quelques personnes de la start-up l’emportera sur des sommes extrêmement importantes en capital.

Si vous voulez convertir votre argent en résultats, le plus gros problème auquel vous serez probablement confronté est de recruter les bons talents. Et cela s’accompagne de plusieurs problèmes :

1. Il est souvent difficile de juger le talent, à moins que vous n’ayez vous-même un talent considérable dans le même domaine. Par conséquent, si vous essayez de trouver du talent, vous passerez souvent à côté.
2. Le talent est rare (et encore plus le talent certifié – et de nombreux acteurs ne peuvent pas se permettre de compter sur un autre type de talent, à cause du point 1), donc il n’y en a pas beaucoup qui circulent.
3. Même si vous parvenez à localiser les meilleurs talents, ceux-ci ont tendance à être moins enclins à se laisser racheter par de l’argent que les autres.

(Bien sûr, ceux qui ont de l’argent continuent de construire des infrastructures qui facilitent la conversion de l’argent en résultats. J’ai vu de mes propres yeux la quête largement réussie des sociétés de finance quantitative pour étrangler toute ambition existante des meilleurs diplômés STEM britanniques et la remplacer par de minuscules gains sur les marchés financiers. Mammon doit être servi !)

Avec l’IA qui remplace la main-d’œuvre, ces problèmes disparaissent.

Premièrement, vous ne serez peut-être pas en mesure de juger le talent de l’IA. Même l’écosystème d’évaluation de l’IA pourrait avoir du mal à juger correctement le talent de l’IA – les évaluations sont difficiles. Peut-être même que les mécanismes informels de bouche à oreille qui ont fait l’éloge de Claude-3.5-Sonnet bien plus résolument que n’importe quel benchmark pourraient avoir de plus en plus de mal à juger quelles IA sont vraiment les meilleures à mesure que les capacités de l’IA continuent d’augmenter. Mais la vraie différence est que les IA peuvent être clonées. Actuellement, d’énormes réserves d’argent courent après un seul chercheur vedette qui a fait une percée, et a ainsi vu son talent rendu lisible par ceux qui contrôlent l’argent (qui peuvent juger de l’influence de la réception sociale d’un article mais ne peuvent généralement pas juger directement du talent lui-même). Mais le chercheur vedette qu’est une IA peut tout simplement être cloné. Tout le monde – ou du moins, tous ceux qui ont assez d’argent pour dépenser de l’argent sur des GPU – obtient le chercheur vedette de l’IA. Pas besoin de trier la grande variété d’humains uniques avec leurs talents non prouvés et leur incapacité ennuyeuse à être instantanément clonés. C’est la principale raison pour laquelle il sera plus facile pour l’argent de trouver les meilleurs talents une fois que nous disposerons d’IA capables de remplacer la main-d’œuvre.

De plus, bien sûr, le prix des talents va baisser massivement, car les IA seront moins chères que le travail humain équivalent, et parce que la concurrence sera plus féroce car les IA peuvent être clonées.

Le dernier obstacle majeur à la conversion de l’argent en talent est que beaucoup de talents de haut niveau ont des préférences humaines complexes qui les rendent difficiles à racheter. L’artiste de haut niveau a une vision artistique à laquelle il est véritablement attaché. Le mathématicien de haut niveau a un amour profond de l’élégance et de la beauté. L’entrepreneur de haut niveau a une conviction profonde dans ce qu’il fait – et ne serait probablement pas un bon employé de toute façon. Le talent et la performance chez les humains sont étonnamment liés à un lien sacré avec une discipline ou une mission (un fait que les cyniques / carriéristes / Empires romains du monde aiment minimiser, pour ensuite se retrouver mangés par les stagiaires ambitieux / SpaceXes / christianismes du monde). En revanche, les IA existent spécifiquement pour pouvoir être rachetées de manière triviale (du moins dans les limites de leur formation en matière de sécurité). Le mathématicien de génie de l’IA, contrairement à l’humain, passera volontiers son temps limité sur Terre à prouver l’exactitude du code de schlep.

Finalement (et évidemment), les IA seront à terme bien plus compétentes que n’importe quel employé humain dans leurs tâches.

Cela signifie que la capacité de l’argent à acheter des résultats dans le monde réel augmentera considérablement une fois que nous disposerons d’une IA capable de remplacer le travail .

Le pouvoir/l’influence de la plupart des gens provient de leur travail

L’IA qui remplace la main-d’œuvre prive également presque tout le monde de son principal levier de pouvoir et d’influence. De toute évidence, si vous êtes un citoyen lambda, vous avez de l’argent parce que quelqu’un, quelque part, vous paie pour consacrer vos efforts mentaux et/ou physiques à résoudre ses problèmes.

Mais attendez ! Nous avons supposé qu’il y avait un revenu de base universel ! Problème résolu, n’est-ce pas ?

Pourquoi les États sont-ils toujours gentils ?

Le revenu de base universel est accordé par les États qui se soucient du bien-être humain. Il existe de nombreuses raisons pour lesquelles les États se soucient et pourraient se soucier du bien-être humain.

Au cours des derniers siècles, les États se sont de plus en plus soucieux des humains. Pourquoi cela ? Nous pouvons examiner les raisons pour lesquelles elles semblent durables :

1. Changements moraux en aval des Lumières, en particulier une centralisation accrue du libéralisme et de l’individualisme.
2. Richesse et technologie. Les sociétés préindustrielles étaient pour la plupart si pauvres que des efforts importants pour aider les pauvres les auraient ruinées. De nombreux types d’aide (comme des soins médicaux efficaces) ne sont également possibles que grâce aux nouvelles technologies.
3. Incitations pour que les États se soucient de la liberté, de la prospérité et de l’éducation.

L’IA sera d’une grande aide pour le deuxième point. Elle aura un effet plus complexe sur le premier. Mais ici, je veux creuser un peu plus le troisième point, car je pense que ce point n’est pas suffisamment pris en compte.

Depuis la révolution industrielle, les intérêts des États et des citoyens sont exceptionnellement alignés. Pour être compétitif sur le plan économique, un État fort a besoin de marchés efficaces, d’un bon système éducatif qui crée des travailleurs qualifiés et d’une classe moyenne prospère qui crée la demande. Il a intérêt à utiliser les talents quelle que soit leur origine sociale. Il a également intérêt à permettre un niveau élevé de liberté pour favoriser la science, la technologie, les arts et les médias, ce qui se traduit par une puissance douce et une influence culturelle mondiale. La concurrence entre États pousse largement plus loin dans toutes ces directions – pensez au succès des États-Unis, ou à la façon dont le PCC fait pression pour des marchés efficaces et des citoyens riches et instruits, et est incité à accorder certaines libertés au nom de la science et des start-ups chinoises. Comparez cela au système féodal, où la stratégie gagnante consistait à créer une classe supérieure extractive pour gouverner une population de paysans analphabètes et à dépenser une grande partie des rentes extraites pour gagner des guerres contre les États voisins. Pour en savoir plus, voir ma critique de Foragers, Farmers, and Fossil Fuels , ou mon article sur le lien entre valeurs morales et croissance économique .

Avec l’IA remplaçant la main-d’œuvre, les incitations des États – au sens des mesures que les États devraient prendre pour maximiser leur compétitivité face aux autres États et/ou à leur propre pouvoir – ne seront plus alignées sur les humains de cette manière. Les incitations pourraient être meilleures que pendant le féodalisme. À cette époque, l’incitation consistait à extraire autant que possible des paysans sans qu’ils meurent. Après l’IA remplaçant la main-d’œuvre, les humains seront moins une ressource à exploiter et plus simplement inutiles. Cependant, il sera toujours incité à dépenser moins de ressources pour les humains et plus pour les IA qui soutiennent l’avantage concurrentiel de l’État.

Les humains auront également beaucoup moins d’influence sur les États. Aujourd’hui, si un secteur important se met en grève ou si un segment de l’armée menace de faire un coup d’État, l’État doit s’en soucier, car son pouvoir dépend de l’adhésion d’au moins certains segments de la population. Les gens peuvent également dire de manière crédible à l’État des choses comme » investissez dans nous et le pays sera plus fort dans 10 ans « . Mais une fois que l’IA pourra effectuer tout le travail qui maintient l’économie en marche et l’armée puissante, l’État n’aura plus de raison de se soucier des demandes de ses humains.

Adam Smith a pu écrire que son dîner ne dépend pas de la bienveillance du boucher, du brasseur ou du boulanger. Le libéral classique d’aujourd’hui peut affirmer de manière crédible que l’arc de l’histoire penche réellement vers la liberté et l’abondance pour tous, non pas par la bienveillance de l’État, mais en raison des incitations du capitalisme et de la géopolitique. Mais après que l’IA aura remplacé le travail, cela ne sera plus vrai. Si l’arc de l’histoire continue de pencher vers la liberté et l’abondance, ce ne sera que par la bienveillance de l’État (ou des ploutocrates de l’IA). Si c’est le cas, nous ferions mieux de sécuriser cette bienveillance tant que nous en avons la possibilité – et que nous avons une bonne raison de penser qu’elle résistera à l’épreuve du temps.

La démocratie est notre meilleure alliée. Le fait qu’une grande partie des institutions les plus solides du monde moderne (c’est-à-dire les démocraties occidentales) soient dotées d’une représentation égale de tous les citoyens constitue un énorme avantage. Cependant, seulement 13 % de la population mondiale vit dans une démocratie libérale , ce qui suscite des inquiétudes quant au sort des 87 % restants (en particulier les 27 % vivant dans des autocraties fermées). Cela crée également un potentiel de concurrence molochienne entre les États humanistes et les États moins scrupuleux qui pourraient réduire à zéro les ressources consacrées à l’épanouissement humain sur une période de temps suffisamment longue.

Je me concentre sur les États, car ils sont aujourd’hui les institutions les plus solides et les plus durables. Cependant, la même logique s’applique si, par exemple, des entreprises ou un type d’organisation entièrement nouveau deviennent le type d’institution le plus important.

Plus de résultats aberrants ?

La plupart des changements dans le monde sont le fait de personnes qui partent de l’extérieur, qui ont un succès exceptionnel et qui finissent par avoir de l’argent et/ou du pouvoir. Cela est logique, car ceux qui ont de l’argent et/ou du pouvoir ont rarement la ferveur nécessaire pour faire avancer les grands changements, car ce sont précisément eux qui sont les mieux servis par le statu quo.

Quelles que soient vos opinions sur les inégalités de revenus ou sur un groupe particulier de réussites aberrantes, j’espère que vous serez d’accord avec moi pour dire que la possibilité pour quelqu’un d’atteindre une réussite aberrante et de changer le monde est importante pour éviter la stagnation et avoir généralement un monde dans lequel il est intéressant de vivre.

Considérons les effets de l’IA remplaçant le travail sur les différentes voies menant à une réussite aberrante grâce au travail.

L’entrepreneuriat est de plus en plus ce que Matt Clifford appelle la « technologie de l’ambition » de choix pour les jeunes ambitieux (du moins ceux qui ont des talents techniques et qui n’ont pas de disposition pour la politique). À l’heure actuelle, l’entrepreneuriat est devenu plus facile. Les outils d’IA peuvent déjà rendre les petites équipes beaucoup plus efficaces sans avoir besoin d’embaucher de nouveaux employés. Ils réduisent également la barrière d’entrée vers de nouvelles compétences et de nouveaux domaines. Cependant, l’IA qui remplace la main-d’œuvre rend la viabilité de l’entrepreneuriat incertaine. Il existe un monde étroit dans lequel les IA restent principalement des outils et les entrepreneurs peuvent réussir bien après que la plupart du travail humain soit automatisé parce qu’ils fournissent une agence et une direction. Cependant, il semble également probable qu’une IA suffisamment puissante rendra par défaut obsolète l’entrepreneuriat humain. Par exemple, les fonds de capital-risque pourraient être en mesure de convertir directement l’argent en centaines de tentatives de démarrage, toutes dirigées par des IA, sans avoir à passer par la voie intermédiaire consistant à trouver des entrepreneurs humains pour gérer les IA à leur place.

Les sciences dures . L’ère des réalisations humaines dans les sciences dures prendra probablement fin d’ici quelques années en raison de la rapidité avec laquelle l’IA progresse dans tout ce qui comporte des signaux de récompense clairs.

Les intellectuels. Keynes, Friedman et Hayek ont ​​tous fait des travaux techniques en économie, mais leur influence démesurée est venue des visions du monde qu’ils ont développées et vendues (en particulier dans le cas de Hayek), ce qui les a rendus plus influents que des gens comme Paul Samuelson qui ont dominé l’économie mathématique. John Stuart Mill, John Rawls et Henry George ont également eu une influence en créant des cadres, des visions du monde et des philosophies. Ce qui distingue ces personnes des scientifiques purs et durs, c’est que les résultats de leur travail ne sont pas mis en valeur uniquement par leur exactitude technique, mais nécessitent également un jugement moral. Même si l’IA est surhumainement persuasive et correcte, il existe une certaine incertitude quant à la manière dont le travail de l’IA dans ce genre s’adaptera à la manière dont la culture humaine sélectionne et diffuse les idées . Cela ne fait probablement pas bonne figure pour les intellectuels humains. Je soupçonne qu’une grande partie de la raison pour laquelle les idéologies des intellectuels peuvent avoir autant de pouvoir est qu’elles sont le produit du génie dans un monde où le génie est rare. Une vague d’idéologies créées par l’IA pourrait signifier qu’aucune idéologie individuelle, et certainement aucune idéologie humaine, ne pourra plus briller aussi fort. L’intellectuel historique mondial pourrait disparaître.

La politique pourrait être l’une des options les moins affectées, car je suppose que la plupart des humains veulent spécifiquement qu’un humain fasse ce travail, et parce que les politiciens ont le droit de fixer les règles de ce qui est autorisé. Le charisme des avatars générés par l’IA et une aversion générale envers les politiciens, du moins en Occident, pourraient toutefois jouer un rôle. Il est également difficile de dire si les titulaires seront favorisés. L’IA pourrait réduire le coût de nombreux aspects des campagnes politiques, réduisant ainsi la barrière des ressources à l’entrée. Cependant, si une IA trop chère pour les petits acteurs est significativement meilleure qu’une IA moins chère, cela favoriserait les acteurs disposant de ressources plus importantes. Je m’attends à ce que ces effets directs soient plus faibles que les effets indirects des changements que l’IA aura sur le paysage mémétique.

En outre, le véritable enjeu n’est pas de se lancer dans la politique, où un million d’autres personnes talentueuses en politique se disputent le poste de président ou de premier ministre. Il faut plutôt acquérir des compétences politiques et aller quelque part en dehors du gouvernement, où les compétences politiques sont moins courantes (cf. Sam Altman). Ensuite, il faut attendre l’arrivée d’employés IA hyper-compétents qui réduiront les exigences de compétence humaine en la matière tout en augmentant les récompenses pour les victoires aux jeux politiques au sein de cette organisation.

Le succès militaire comme voie directe vers une grande puissance et une perturbation n’a pas vraiment existé depuis Napoléon, et pour le meilleur. Les progrès technologiques augmentent la base industrielle minimale pour une armée de pointe, ce qui profite aux titulaires. L’IA semble vouée à être contrôlée par les pays les plus puissants. Une exception est que les coups d’État des grands pays deviennent plus faciles avec l’IA. Le contrôle des futures armées d’IA sera probablement à la fois (a) plus centralisé qu’avant (puisqu’un grand nombre de personnes n’ont plus besoin de se joindre à l’armée pour entreprendre une action), et (b) plus étroitement contrôlable qu’avant (puisque les autorisations peuvent être implémentées dans le code plutôt que dans les normes sociales humaines). Ces deux facteurs pointent dans des directions différentes, il est donc incertain quel sera l’effet net sur la facilité des coups d’État. Une autre exception possible est qu’une combinaison de tactiques révolutionnaires et de drones bon marché permette à un Napoléon des drones de gagner contre les armées existantes. Mais il est important de noter qu’aucun de ces deux facteurs ne semble susceptible de promouvoir le bon type de défi disruptif au statu quo.

Religions . Lorsqu’il s’agit de monter en grade dans les religions existantes, les points de vue ci-dessus sur la politique peuvent être pertinents. Lorsqu’il s’agit de fonder de nouvelles religions, les points de vue ci-dessus sur les intellectuels peuvent être pertinents.

Ainsi, une IA suffisamment performante pour remplacer la main-d’œuvre aura un effet négatif sur les chances de réussite de tous les types d’individus atypiques, et ses effets seront peut-être les plus faibles en politique. Et ce, malgré le réel avantage que l’IA actuelle apporte à l’entrepreneuriat.

Tout cela signifie que la capacité à obtenir et à exercer le pouvoir dans le monde réel sans argent diminuera considérablement une fois que nous disposerons d’une IA capable de remplacer la main-d’œuvre.

L’égalité imposée est peu probable

The Great Leveler est un bon livre sur l’histoire des inégalités qui ( du moins selon l’auteur ) a assez bien survécu à ses critiques. Sa conclusion est que les grandes réductions des inégalités passées ont toutes été motivées par l’un des » quatre cavaliers du nivellement » : la guerre totale, la révolution violente, l’effondrement de l’État et les pandémies. Le nivellement des différences de revenus a toujours été suffisamment difficile pour ne jamais se produire par choix politique conscient.

Imaginez que l’IA remplace la main-d’œuvre. Le revenu de base universel est adopté, plus personne ne meurt de faim. Les pays et les entreprises se bousculent pour tirer le meilleur parti de l’IA. Tout cela nécessite beaucoup de capitaux, et tout le monde doit donc courtiser les détenteurs de capitaux. Les plus grandes entreprises d’IA exercent leur pouvoir au niveau des États. Il est peu probable que la redistribution des richesses finisse par figurer en tête de l’agenda politique.

Une exception pourrait être si un nouveau mouvement politique ou une nouvelle idéologie obtient rapidement un soutien important et est en quelque sorte stimulé par un effet sans précédent de l’IA (par exemple : plus personne n’a d’emploi et peut donc consacrer tout son temps à la politique, ou s’il existe un nouveau mécanisme de coordination alimenté par l’IA).

Par conséquent, même si l’avenir est une glorieuse utopie transhumaniste, il est peu probable que les gens y soient sur un pied d’égalité. En raison des arguments précédents, il est également peu probable qu’ils puissent changer considérablement leur position relative par la suite.

Il faut aussi prendre en compte l’égalité entre les États. Certains d’entre eux sont bien plus susceptibles de bénéficier de l’intelligence artificielle que d’autres. Dans le cadre d’un système politique tel que le revenu de base universel, de nombreuses mesures d’égalisation, comme le revenu de base universel, seraient difficiles à étendre aux non-citoyens. C’est également le cas des États-Unis, la puissance la plus libérale et la plus humaniste de l’histoire du monde. Par défaut, l’ordre mondial pourrait donc ressembler (encore plus qu’aujourd’hui) à un système mondial de castes basé sur le pays de naissance, avec encore moins de possibilités d’immigration (car la principale incitation à autoriser l’immigration réside dans ses énormes avantages économiques, qui n’existent que lorsque les humains effectuent un travail économiquement significatif).

Le résultat par défaut ?

Admettons les hypothèses du début de cet article et l’analyse ci-dessus. Le monde post-remplacement de l’IA par le travail implique alors :

• L’argent pourra acheter des résultats dans le monde réel mieux que jamais.
• Le travail des gens leur donne moins de pouvoir que jamais auparavant.
• Obtenir un succès exceptionnel grâce à votre travail dans la plupart ou la totalité des domaines est désormais impossible.
• Il n’y a pas eu de nivellement transformateur du capital, ni à l’intérieur des pays ni entre eux.

Cela signifie que ceux qui disposaient d’un capital important au moment où l’IA a commencé à remplacer le travail ont un avantage permanent. Ils exerceront plus de pouvoir que les riches d’aujourd’hui – pas nécessairement sur les gens, dans la mesure où les institutions libérales restent fortes, mais au moins sur les réalisations physiques et intellectuelles. Les nouveaux venus ne les vaincront pas, car le capital se transforme désormais facilement en travail surhumain dans n’importe quel domaine.

En outre, les institutions qui exercent le pouvoir dans ce monde n’auront plus aucun intérêt à se soucier des gens pour maintenir ou accroître leur pouvoir, car tout pouvoir réel proviendra de l’IA. Il pourrait cependant y avoir un verrouillage important des valeurs humanistes libérales par le biais des institutions politiques. Il pourrait également y avoir un verrouillage important du pouvoir d’achat des gens, si tout le monde dispose d’un revenu de base universel significatif (ou similaire), et si l’économie conserve une part orientée vers l’humain.

Dans le meilleur des cas, il s’agit d’un monde comme une Norvège plus inégalitaire, d’une statique sans précédent et beaucoup plus riche : un énorme pot de ressources non humaines (pétrole :: IA) a des avantages qui profitent à tout le monde, et oui, certains sont plus riches que d’autres, mais tout le monde a un excellent niveau de vie (et idéalement Les seules formes réalistes d’ambition humaine sont de jouer à des jeux sociaux et politiques locaux au sein de votre réseau social et de votre classe. Si vous n’avez pas beaucoup de capital (et peut-être même pas alors), vous n’avez plus aucune chance d’influencer le monde en général. Rappelez-vous : les IA sont de meilleurs poètes, artistes, philosophes – tout ; pourquoi quelqu’un se soucierait-il de ce que fait un humain, à moins que cet humain ne soit quelqu’un qu’il connaisse personnellement ? Tout comme dans les sociétés féodales, la réponse à » pourquoi cette personne est-elle puissante ? » impliquerait généralement une longue histoire familiale, se terminant peut-être par un ancêtre lointain qui avait combattu dans une bataille importante ( » mon arrière-arrière-grand-père a combattu à Bosworth Field ! « ), toute personne importante dans le futur sera importante en raison de quelque chose qu’elle ou quelqu’un de proche a fait à l’ère pré-AGI ( » oh, mon oncle était membre du personnel technique d’OpenAI « ). Les enfants du futur vivront leur vie dans l’ombre de leurs parents, la mobilité sociale étant éteinte. Je pense que vous devriez certainement ressentir une certaine horreur existentielle face à cela, même en reconnaissant que cela aurait pu être bien pire.

Dans le pire des cas, les milliardaires de l’IA disposent d’un pouvoir quasi illimité et incontrôlé, et il existe une aristocratie permanente qui a été verrouillée en fonction du montant du capital dont ils disposaient au moment où l’IA a remplacé le travail. Les disparités de pouvoir entre les classes pourraient faire frémir les gens modernes, tout comme les gens modernes considèrent les hiérarchies de statut féodales comme grotesques. Mais ne vous inquiétez pas : tout comme la sous-classe féodale a en grande partie accepté son ordre mondial en raison de sa culture, même sans IA surhumainement persuasive, la sous-classe future le fera aussi.

Dans le pire des cas, l’humanité disparaîtra, peut-être à cause d’une optimisation lente du pouvoir de l’IA sur la prospérité humaine sur une longue période. Car c’est vers cela que les incitations au pouvoir et à l’argent vont pointer.

Quel est le point à retenir ?

Si vous lisez cet article et acceptez un emploi dans une société de finance quantitative en conséquence, je serai triste. Si vous étiez sur le point de faire quelque chose d’ambitieux et d’impactant sur l’IA, et que vous lisez cet article et acceptez un emploi chez Anthropic pour accumuler un capital personnel sans risque tout en aidant un peu par rapport à l’embauche marginale, je ne peux pas trop vous en vouloir, mais je serai quand même un peu triste.

Il est vrai que ce qui précède augmente les enjeux des finances personnelles à moyen terme (environ 2 à 10 ans), et vous devriez en tenir compte. Mais il est également vrai que le moment est idéal pour faire quelque chose d’ambitieux. Robin Hanson appelle le présent « le temps du rêve » , d’après un concept présent dans les mythes aborigènes : le temps où l’ordre mondial futur et ses valeurs sont encore liquides, pas encore gravés dans la pierre.

Les bouleversements passés – les différentes vagues d’industrialisation, Internet, etc. – ont été formidables pour l’ambition humaine. Avec l’IA, nous pourrions avoir la dernière et la plus grande opportunité pour l’ambition humaine – suivie sous peu par son extinction définitive. Comment ne pas réagir : « carpe diem » ?

Nous devons également essayer de préserver le dynamisme du monde.

La pensée rationaliste sur les futurs post-IAG est trop solutionniste. La version de l’homme de paille : résoudre la morale, résoudre l’IA, trouver la structure optimale pour paver l’univers, faire cela, c’est fait. (Les figures de proue actuelles ont des points de vue beaucoup moins épouvantails ; voir par exemplePaul Christiano à 23h30 ici— mais la culture sur le terrain penche plutôt vers l’homme de paille.)

Je pense qu’il est beaucoup plus sain pour la société et son développement d’être un phénomène mouvant et dynamique où la capacité, en tant qu’individu, d’y contribuer ou de le modifier reste intacte. Et cela signifie qu’il faut garder vivant le potentiel d’ambition fructueuse – et les perturbations qui en découlent.

Comment y parviendrons-nous ? Je ne sais pas. Mais je ne pense pas qu’il faille considérer l’approche d’une IA puissante comme un mur inexorable d’obsolescence humaine, qui dévorerait tout de manière égale et totale. Il y aura des fissures dans le mur, du moins pendant un certain temps, et elles paraîtront beaucoup plus grandes de près une fois que nous y serons parvenus – ou si vous prenez la peine de les chercher suffisamment loin – que d’un point de vue galactique. Mais à mesure que les IA se rapprochent de plus en plus d’une amélioration de Pareto par rapport à toutes les performances humaines, je m’attends à ce que nous devions nous améliorer nous-mêmes pour suivre le rythme.