« Fondamentalement, nous devons supposer qu’une « superintelligence »serait en mesure de réaliser tout les objectifs dont elle dispose. Par conséquent, il est extrêmement important que les objectifs que nous lui conféront, et son système de motivation entier, soit « humain amicale »
Liste de projet d’intelligence artificielle
Source :
Il y a certaines choses importantes que l’évolution créés. Nous ne savons pas que l’évolution crée de façon fiable ces choses, mais nous savons que c’est arrivé au moins une fois. Un sens de l’humour, l’amour de la beauté, la joie de prendre en aidant les autres, la capacité de se laisser influencer par l’argument moral, le désir de devenir de meilleures personnes. Appelez ces choses humanité, les parties de nous-mêmes que nous trésor – nos idéaux, nos inclinations pour alléger les souffrances. Si l’homme est ce que nous sommes, puis humain est ce que nous souhaitons devenir. Le tribalisme et la haine, les préjugés et de la vengeance, ces choses font aussi partie de la nature humaine. Ils ne sont pas humains, mais ils sont des êtres humains. Ils sont une partie de moi, et non par mon choix, mais par la conception évolution, et le patrimoine de trois et demi milliards d’années de combat mortel. Nature, sanglante dans la dent et la griffe, inscrit chaque base de mon ADN. C’est la tragédie de la condition humaine, que nous ne sommes pas ce que nous souhaitons être. Les êtres humains n’ont pas été conçus par l’homme, les hommes ont été conçus par l’évolution, qui est un processus physique dépourvue de conscience et de compassion. Et pourtant, nous avons une conscience. Nous avons de la compassion. Comment ces choses évoluent? C’est une vraie question avec une vraie réponse, que vous pouvez trouver dans le domaine de la psychologie évolutionniste. Mais pour une raison quelconque, nos tendances humaines sont maintenant une partie de la nature humaine.
Si nous faisons bien notre travail, dans quatre milliards d’années, un étudiant … … peut-être sera surpris d’apprendre que l’altruisme, l’honneur, le plaisir, la beauté, la joie et l’amour peuvent résulter de la sélection naturelle sur les chasseurs-cueilleurs. Bien sûr, un esprit qui aime la beauté va essayer de concevoir un autre esprit qui aime la beauté, mais il est étrange que l’amour de la beauté doit aussi être produit par l’évolution seul. Il est l’événement le plus merveilleux dans l’histoire de l’univers – l’altruisme vrai, un véritable joie pour aider les gens, découlant de la concurrence féroce de la guerre sans fin de l’évolution. Il est un grand triomphe, qui ne doit pas être perdu.
C’est notre responsabilité, de préserver le modèle humain dans le cadre de la transition de l’évolution à auto-amélioration récursive (c.-à-d un esprit d’améliorer directement son propre esprit), parce que nous sommes les premiers. C’est notre responsabilité, de ne pas rompre la chaîne, que l’on considère la création de l’intelligence artificielle, la seconde intelligence qui ait jamais existé.
Les gens nous ont demandé comment nous pouvons garder lesIntelligences Artificielles sous contrôle, ou comment nous pouvons intégrer dans la société IA. La question n’est pas une situation de dominance, ou même la coexistence, mais la création. Nous avons des intuitions pour le traitement d’autres êtres humains comme des amis, les partenaires commerciaux, des ennemis, des esclaves qui pourraient se rebeller, ou des enfants ayant besoin de protection. Nous avons seulement des intuitions pour faire face aux esprits qui arrivent de l’usine avec la nature exacte de l’homme que nous connaissons. Nous n’avons pas d’intuitions pour créer un esprit d’une nature humaine. Il n’a pas de sens de se demander si « IA » sera amicale ou hostile. Quand vous parlez de l’intelligence artificielle que vous avez quitté le petit coin de l’espace de conception où l’humanité vit, et sortit dans une vaste place vide. La question est ce que nous allons créer en son sein.
Humain est ce que nous sommes, et humain est ce que nous souhaitons etre. L’Humanité est l’humanité renormalisée – l’homme tournant autour et à juger de nos propres émotions, se demandant comment nous pourrions être de meilleures personnes. L’Humanité est la trajectoire tracée par les émotions humaines sous auto-amélioration récursive. La nature humaine n’est pas un idéal statique, mais une voie – une voie qui mène quelque part. Ce que nous devons faire est de créer un esprit dans la voie humaine, ce que j’ai appelé une IA amicale . Ce n’est pas une chose banale à tenter. Ce n’est pas une question de quelques injonctions ajouté à un module ou boulonné sur le code existant. Ce n’est pas une chose simple pour déplacer simultanément une morale d’un endroit à un autre, tout en renormalisation par le transfert, mais encore faire en sorte que vous pouvez revenir sur les erreurs. Certains de ce qui est très élégante. Rien de tout cela est facile à expliquer. Ce n’est pas quelque chose que des chercheurs d’Amnesty International vont résoudre en quelques heures de temps libre.
Mais. Je pense que si nous pouvons traiter la question de l’IA du tout, nous devrions être en mesure de créer un esprit qui est une personne bien plus agréable que l’évolution aurait pu construire. Cette question ne peut être gagnée sur la défensive. Nous devons aller de l’avant aussi loin que nous le pouvons dans le processus de le résoudre. Ce qu’il nous faut n’est pas superintelligence , mais supermoralité, qui comprend superintelligence comme un cas particulier. C’est le modèle que nous devons préserver dans l’ère de l’auto-amélioration récursive.
Nous avons une chance de le faire, parce que nous sommes les premiers. Et nous avons une chance à l’échec, parce que nous sommes les premiers. Il n’y a pas de fatalité dans ce domaine. Il n’ya rien de ce qui nous arrive, que ce que nous faisons à nous-mêmes. Nous pouvons ne pas comprendre ce que nous construisons – nous pouvons nous attendre à une conception AI et nous croyons qu’il est humain, alors qu’en fait il n’est pas. Si c’est le cas,ce sera nous qui avons fait l’erreur. Ce sera notre propre compréhension qui a échoué. Tout ce que nous pouvons vraiment construire, nous serons ceux qui l’ont construit.
Le danger est que nous allons construire l’IA sans vraiment le comprendre.
Quel est le danger que, exactement? Quelle est la vitesse de l’auto-amélioration récursive des pistes une fois que ca à commencé? Une réponse classique est que la recherche de l’homme en Intelligence Artificielle est allé très lentement, donc il ne doit pas y avoir de problème. Ceci est le mélange le gâteau avec la recette. C’est comme regarder les physiciens sur le projet Manhattan, et en disant que parce qu’il leur a fallu des années pour comprendre leurs équations, donc réels des explosions nucléaires doit se développer très lentement. En fait, ce qui se passe, c’est qu’il ya une réaction en chaîne, les fissions la mise hors fissions d’autres, et le tout se déroule sur l’échelle de temps des interactions nucléaires, qui se trouve être extrêmement rapide par rapport à neurones humains. Donc, de notre point de vue, la chose entière va juste FOOM Maintenant, il est possible de prendre une explosion nucléaire dans le processus d’aller FOOM et façonner cette force extraordinaire dans un modèle constructif -. C’est ce que une centrale civile est – mais pour ce faire, vous besoin d’une compréhension très profonde des interactions nucléaires. Vous devez comprendre les conséquences de ce que vous faites, et pas seulement dans un sens moral, mais dans le sens d’être en mesure de faire des prédictions détaillées spécifiques techniques. Pour cette question, vous avez besoin de comprendre les interactions nucléaires juste pour faire la prédiction d’une masse critique va FOOM, et vous avez besoin de comprendre les interactions nucléaires de prévoir la quantité d’uranium dont vous avez besoin avant que quelque chose d’intéressant se passe. C’est la partie dangereuse de ne pas savoir, sans une théorie précise, vous ne pouvez pas prévoir les conséquences de l’ignorance.
Dans le cas de l’intelligence artificielle, il y a au moins trois raisons évidentes que l’IA pourrait améliorer de façon inattendue rapide une fois qu’elle est créé. La raison la plus évidente est que les puces d’ordinateur déjà exécuté à dix millions de fois la vitesse de série de neurones humains et sont encore en train d’allerplus rapidement. La raison suivante est que l’AI peut absorber des centaines ou des milliers de fois plus de puissance de calcul, où les humains sont limités à ce qu’ils sont nés avec. La troisième raison et la plus puissante, c’est que l’IA est un motif de façon récursive auto-amélioration. Tout comme l’évolution crée de l’ordre et la structure énormément plus vite que l’émergence accidentelle, nous pouvons constater que l’auto-amélioration récursif crée afin énormément plus vite que l’évolution. Si c’est le cas, nous pouvons avoir qu’une seule chance pour obtenir ce droit.
Il est normal d’échouer à la construction d’IA. La seule chose dangereuse est de réussir à construire l’IA et ne pas parvenir à une IA amicale. À l’heure actuelle, le droit à cette minute, l’humanité n’est pas prête à gérer cela. Nous ne sommes pas prêts du tout. La raison pour laquelle nous avons survécu jusqu’ici, c’est que l’IA est entouré par une coque de protection d’énormes difficultés théoriques qui nous ont empêchés de jouer avec l’IA avant que nous sachions ce que nous faisions.
AI ne suffit pas. Vous avez besoin d’AI amicale. Cela change tout. Cela modifie l’image entière stratégique du développement AI. Disons que vous êtes un visionnaire, et vous pensez AI Vous ne pensez pas à AI amicale comme une question distincte;. Qui n’a pas eu lieu envous encore. Ou peut-être vous pensez AI, et que vous venez de supposer que ça va être sympa, ou on suppose que celui qui construit AI va résoudre le problème. Si vous supposez que, alors vous devez conclure que l’IA est une bonne chose, et que l’AIS sera des gens sympas. Et si oui, tu veux que AI dès que possible.
Et la loi de Moore est une bonne chose, car il apporte que l’IA soit proche.
Mais voici une autre façon de voir les choses. Lorsque les futuristes tentent de convaincre les gens que les IA seront développés, ils parlent de la loi de Moore parce que la loi de Moore est stable, et mesurables, et très impressionnant, à la différence radicale de progresser sur notre compréhension de l’intelligence. Vous pouvez convaincre les gens que l’IA va se passer en faisant valoir que la loi de Moore finira par le rendre possible pour nous de faire un ordinateur avec la puissance d’un cerveau humain, ou si nécessaire, un ordinateur avec dix mille fois la puissance d’un cerveau humain, et choque et produits jusqu’à ce que l’intelligence vient, même si nous ne comprends pas très bien ce que nous faisons.
Mais si vous prenez le problème de l’IA amicale en compte, les choses semblent très différent. La loi de Moore ne font plus facile de développer l’IA sans comprendre ce que vous faites, mais ce n’est pas une bonne chose. La loi de Moore abaisse progressivement la difficulté de la construction AI, mais il ne fait pas AI amicale plus facile. Amical AI n’a rien à voir avec le matériel, c’est une question de compréhension. Une fois que vous avez juste assez de puissance de calcul que quelqu’un peut construire AI s’ils savent exactement ce qu’ils font, la loi de Moore n’est plus votre ami. La loi de Moore est lentement affaiblir le bouclier qui nous empêche de déconner avec AI avant de vraiment comprendre l’intelligence. Finalement, cette barrière va baisser, et si nous n’avons pas maîtrisé l’art de la grippe aviaire bienvenus à ce moment, nous sommes dans une situation très grave. La loi de Moore est le compte à rebours et il est compté. La loi de Moore est l’ennemi.
Eric Drexler sur les nanosystèmes , il y a une description d’un nano-ordinateur d’un kilogramme capable d’effectuer dix à vingt-des opérations premiers par seconde. C’est autour de dix mille fois la puissance estimée d’un cerveau humain. C’est notre limite. Bien sûr, la véritable date butoir pourrait être plus tôt que cela, peut-être beaucoup plus tôt. Ou il pourrait même en théorie être plus tard. Je ne sais pas comment effectuer ce calcul. Il ne s’agit pas d’un seuil , vraiment – c’est la possibilité que la nanotechnologie va soudainement créer un saut énorme dans la puissance de calcul avant que nous soyons prêts à y faire face (note passer de 3Ghz à des processeurs à 300 Ghz ). Il s’agit d’un majeur, souvent négligé, et au début d’apparence risque de la nanotechnologie – qu’il sera utilisé pour la force brute AI Ceci est un risque beaucoup plus grave que la gelée grise.. Ordinateurs extrêmement puissants sont une application beaucoup plus tôt de la nanotechnologie en plein air que les réplicateurs. Certains personne bien intentionnée est beaucoup plus probable de l’essayer aussi.
Maintenant, vous pouvez, bien sûr, donner la réponse standard que tant que les supercalculateurs sont également disponibles pour tout le monde, puis avec de bons programmeurs d’IA amicale auront plus de ressources que les fripons, et le solde sera maintenu. Ou vous pourriez donner la réponse moins rassurant mais plus réaliste que la première IA amicale ira FOOM, d’une manière agréable, après quoi que l’IA sera en mesure de faire face à tous les prédateurs. Mais ces deux scénarios requièrent que quelqu’un soit en mesure de créer une IA amicale. Si personne ne peut construire une IA amicale, car nous n’avons pas pensé à elle, alors elle n’a pas d’importance si les bons ou les méchants ont des plus grands ordinateurs, parce que nous allons être aussi coulé de l’autre manière. Les bonnes intentions ne suffisent pas. Efforts héroïques ne suffisent pas. Nous avons besoin d’un morceau de la connaissance. Les solutions standard pour traiter avec les nouvelles technologies ne s’appliquent à la grippe aviaire après que nous avons fait il serait théoriquement possible de gagner. Le domaine de l’IA, tout en omettant de faire progresser ou, à défaut de faire avancer assez loin, peut-il gâcher pour tout le monde, peu importe la qualité de leurs intentions.
Si nous attendons pour commencer sur la grippe aviaire bienvenus qu’après il devient une urgence, nous allons perdre. Si les nanoordinateurs se montrent et nous n’avons toujours pas résolu IA amicale, il y a quelques choses que je peux penser qui gagnera du temps, mais il serait très coûteux. Il est beaucoup plus facile de gagner du temps avant la situation d’urgence que par la suite. Que faisons-nous gagner du temps pour? Il s’agit d’un problème prévisible. Nous allons courir dans cette course. Tout ce que nous pouvons imaginer nous-mêmes faire alors, nous devrions commencer maintenant. Sinon, au moment où nous nous déplaçons à accorder une attention, nous pouvons constater que le conseil a déjà été joué dans une position à partir de laquelle il est impossible de gagner.
singularite 