"Box 8 - Anthropic capture: The AI might assign a substantial probability to its simulation hypothesis, the hypothesis that it is living in a computer simulation."


In "Superintelligence - Paths, Dangers, Strategies" by Nick Bostrom



Would you say that the desire to preserve 'itself' comes from the possession of a (self) consciousness? If so, does the acquisition of intelligence according to Bostrom also mean the acquisition of (self) consciousness? 

The unintended consequence of a super intelligent AI is the development of an intelligence that we can barely see, let alone control, as a consequence of the networking of a large number of autonomous systems acting on inter-connected imperatives. I think of bots trained to trade on the stock market that learn that the best strategy is to follow other bots, who are following other bots. The system can become hyper-sensitive to inputs that have little or nothing to do with supply and demand.

 

 

If you're into stuff like this, you can read the full review.

This book is more frightening than any book you'll ever read. The author makes a great case for what the future holds for us humans. I believe the concepts in "The Singularity is Near" by Ray Kurzweil are mostly spot on, but the one area Kurzweil dismisses prematurely is how the SI (superintelligent advanced artificial intelligence) entity will react to its circumstances.

The book doesn't really dwell much on how the SI will be created. The author mostly assumes a computer algorithm of some kind with perhaps human brain enhancements. If you reject such an SI entity prima facie this book is not for you, since the book mostly deals with assuming such a recursive self aware and self improving entity will be in humanities future.

The author makes some incredibly good points. He mostly hypothesizes that the SI entity will be a singleton and not allow others of its kind to be created independently and will happen on a much faster timeline after certain milestones are fulfilled.

The book points out how hard it is to put safeguards into a procedure to guard against unintended consequences. For example, making 'the greater good for the greatest many' the final goal can lead to unintended consequence such as allowing a Nazi ruled world (he doesn't give that example directly in the book, and I borrow it from Karl Popper who gave it as a refutation for John Stuart Mill's utilitarian philosophy). If the goal is to make us all smile, the SI entity might make brain probes that force us to smile. There is no easy end goal specifiable without unintended consequences.

This kind of thinking within the book is another reason I can recommend the book. As I was listening, I realized that all the ways we try to motivate or control an SI entity to be moral can also be applied to us humans in order to make us moral to. Morality is hard both for us humans and for future SI entities.

There's a movie from the early 70s called "Colossus: The Forbin Project", it really is a template for this book, and I would recommend watching the movie before reading this book.

I just recently listened to the book, "Our Final Invention" by James Barrat. That book covers the same material that is presented in this book. This book is much better even though they overlap very much. The reason why is this author, Nick Bostrom, is a philosopher and knows how to lay out his premises in such a way that the story he is telling is consistent, coherent, and gives a narrative to tie the pieces together (even if the narrative will scare the daylights out of the listener).

This author has really thought about the problems inherent in an SI entity, and this book will be a template for almost all future books on this subject.

Superälyyn: Polkuja, vaarat, strategioistaan Nick rumpaliksi

 

Superälyyn Nick rumpaliksi väittää, että meidän täytyy antaa robotit inhimillisten arvojen

 

1950-luvulta lähtien tekoäly kannattajat ovat väittäneet, että koneiden ajattelu ihmiset ovat vain pari vuosikymmentä myöhemmin. Superälyyn-humoristinen Katso ja menneisyyden, nykyisyyden ja ennen kaikkea tulevaisuuden AI-Nick Boström, perustajajäsen johtaja Oxfordin yliopiston tulevaisuuden ja ihmiskunnan Institute, alkaa pilkkaamalla futuristit.

 

"Kaksi vuosikymmentä on sweet spot prognosticators murrosaikaa: lähellä tarpeeksi huomiota herättäviä ja tarvittaessa vielä tarpeeksi pitkälle tehdä mahdollista, että merkkijono läpimurtoja, tällä hetkellä vain epämääräisesti kuviteltavissa, ehkä silloin on tapahtunut," hän kirjoittaa. Hän toteaa myös, että 20 vuotta voi olla lähellä tyypillinen jäljellä oleva kesto ennustajan ura, rajoittaa "rohkean päätöksen maineeseen liittyvät riskit".

 

Vielä hänen kirja perustuu oletukseen, että AI tutkimus ennemmin tai myöhemmin tuottaa tietokoneen yleistä tietoa (eikä erityistä kykyä kuten shakista), joka vastaa ihmisen aivot. Kun yritysten vanhan kaartin kuten IBM on pitkään ollut kiinnostunut alalla, uuden sukupolven Yhdysvaltojen länsirannikolla tekee hyvää vauhtia. Johtajia Google tarjoaa PR johti välähdyksiä sen työelämään Kuljettajattomat autot ja Neuroverkkojen, että oppia tunnistaa kasvoja, kun he etsivät kuvia miljoonia verkkosivuja.

 

Lähestymistapoja AI kuuluvan kahteen päällekkäisiä luokkaan. Joka perustui neurobiologian, tavoitteena on ymmärtää ja jäljitellä ihmisaivojen toimintaa. Toisaalta perustuu tietotekniikan, käyttää epäorgaaniset arkkitehtuuri elektroniikan ja ohjelmistojen tuottaa älykkyyttä, ilman huolta liikaa, miten ihmiset ajattelevat. Rumpaliksi tekee tuomitsematta joka todennäköisesti onnistuisi.

 

Olemme vielä kaukana todellinen AI huolimatta viime kuussa yleisesti tunnettu "Enigma" temppu, jossa tietokone mimicked 13-vuotias poika jonkin verran menestystä lyhyt teksti keskustelun. Noin puolet maailman AI asiantuntijat odottavat ihmisen tason koneen älykkyyttä saavuttamiseksi vuoteen 2040 viimeaikaisten tutkimusten mukaan, ja 90 prosenttia sanoa se on perillä viimeistään 2075. Rumpaliksi suhtautuu varovaisen ajoitus, mutta katsoo, että teon ihmisen tason AI todennäköisesti johtaa paljon suuremmassa mittakaavassa "superälyyn" nopeammin kuin paras asiantuntijas – ja että sen vaikutus on todennäköisesti joko hyvä tai erittäin huono ihmiskunnalle.

 

Kirja tulee omaperäisempi alueelle puhuttaessa superälyyn syntymistä. Älykkäät koneet ottaen maailmassa sci-fi skenaario voisi tulla todellisuutta hyvin pian kun toimivalta ylittää ihmisen aivot, rumpaliksi väittää. Koneita voisi parantaa kykyihinsä paljon nopeammin kuin ihmisten tietotekniikan tutkijoita.

 

"Koneita on useita keskeisiä etuja, jotka antavat heille ylivoimainen paremmuus," hän kirjoittaa. "Biologiset ihmisillä, vaikka entistä olla outclassed." Hän esittelee eri tavoin Ai paeta fyysinen joukkovelkakirjojen laitteiston, jolla se kehittynyt. Esimerkiksi se voisi käyttää hakkerointi suurvalta hallita robotti käsittelylaitteet ja automaattisten labs; tai käyttää toimivaltaansa sosiaalisen manipuloinnin suostutella ihmisen yhteistyökumppaneita työtä. On peitelty valmisteluvaiheessa, jossa mikroskooppisen yhteisöt pystyvät jäljittelemään nanoteknologia tai biotekniikan sijoitettu maailmanlaajuisesti erittäin alhainen pitoisuus. Sitten on esiasennettu nanofactories tuottaa hermokaasu tai kohde tavoitteleva mosquito, kuten robotteja voi keväällä esiin (vaikka rumpaliksi toteaa, superälyyn voisi todennäköisesti kehittää tehokkaampia julkisia ostotarjouksia koskevan suunnitelman kuin hän).

 

Mitä maailma olisi kun ottivat? Se sisältää paljon monimutkaisia ja älykkäitä rakenteita kuin mitä kuvitella tänään- mutta puuttuu tahansa että se on tietoinen tai joiden hyvinvointia on moraalinen merkitys. "Yhteiskunnan talouden ihmeitä ja teknologian ihanuutta, kukaan saada," kuten rumpaliksi. "Disneyland lapseton."

 

Rumpaliksi kirjallisesti, usein selkeät ja kirkkaat, joskus veers läpinäkymätön kielelle, joka paljastaa hänen tausta filosofian professori. Mutta ei ole epäilystäkään voimassa hänen väitteitä. Vaikka hän ei väitä, että eksistentiaalinen katastrofi on väistämätön pitkän aikavälin seuraus AI tutkimus, hän osoittaa, on riittävän suuri yhteiskunta nyt miettiä keinoja estää se kartuttaa tulevia AI positiivisia inhimillisiä arvoja.

 

Miten niin ei ole selkeätä; yksinkertaisesti siirtää inhimillisiä arvoja ohjelmakoodia ei todennäköisesti toimi. Ongelma on tutkimuksen haaste arvoinen seuraavan sukupolven