PDF Stampa E-mail
Motori di creazione. Capitolo 11: Motori di distruzione
Tecnoscienza - Nanotecnologie

Non vi è alcun dubbio che l'esercito più formidabile mai visto sulla terra sia quello composto da una sorta di soldati che, per la loro minuscola dimensione, non sono visibili.  
- Sir William Perry, parlando dei microbi, 1640
 

Gli assemblatori-replicatori e le macchine pensanti pongono minacce basilari alla vita sulla Terra. Gli organismi odierni hanno capacità ben lontane dai limiti del possibile, e le nostre macchine stanno evolvendo molto più velocemente di quanto stiamo facendo noi stessi. Appare probabile che nell'arco di poche decadi possano sorpassarci. Se non impareremo a convivere in sicurezza con esse, il nostro futuro sarà tanto eccitante quanto breve. Non possiamo sperare di intuire in anticipo tutti i problemi, ma rivolgendo la nostra attenzione verso le questioni più grandi e più basilari, possiamo forse prevedere le sfide più ardue e ricavare qualche idea su come affrontarle.  

Di certo verranno scritti libri interi sugli sconvolgimenti sociali in arrivo: Cosa succederà all'ordine globale quando gli assemblatori e l'ingegneria automatica elimineranno la necessità del commercio internazionale? Come cambierà la società quando gli individui potranno vivere indefinitamente? Cosa faremo quando gli assemblatori-replicatori potranno costruire qualsiasi cosa, o quasi, senza necessità di lavoro umano? Cosa faremo quando i sistemi di IA potranno pensare più velocemente degli umani? (E prima di saltare alla conclusione che la gente dovrà perdere ogni speranza di poter creare o fare una qualsiasi cosa, gli autori di questi libri potrebbero prendere in esame il modo in cui i corridori considerano le automobili, o quello in cui i pittori considerano le macchine fotografiche.)  

Di fatto diversi autori hanno già previsto e discusso alcune di queste problematiche. Ognuna di esse è una questione di importanza straordinaria, ma la più fondamentale di tutte è la questione della sopravvivenza della vita e della libertà. Dopotutto, se la vita o la libertà verranno annientate, allora le nostre idee sui problemi sociali non avranno più alcuna importanza.  

La minaccia delle macchine 

Nel Capitolo 4, ho descritto alcune delle cose che gli assemblatori-replicatori faranno per noi, se li utilizzeremo propriamente. Alimentati da carburanti o dalla luce solare, essi saranno in grado di fabbricare quasi qualunque cosa (incluse altre copie di se stessi) a partire da materiali comuni.  

Anche gli organismi viventi sono alimentati da carburanti o dalla luce del sole, ed anche loro possono creare copie di se stessi a partire da materiali ordinari. Ma a differenza dei sistemi basati sugli assemblatori, non possono costruire "quasi qualunque cosa".  

L'evoluzione genetica ha limitato la vita a restare vincolata a sistemi basati su DNA, RNA e ribosomi, ma l'evoluzione "memetica" condurrà verso macchine simili a quelle viventi, basate su nanocomputer ed assemblatori. Ho già descritto in che modo le macchine molecolari costruite dagli assemblatori saranno differenti dal macchinario molecolare della vita costruito dai ribosomi. Gli assemblatori saranno in grado di costruire tutto quello che i ribosomi possono costruire, e molto altro ancora; i replicatori basati sugli assemblatori saranno quindi in grado di fare tutto quello che la vita può fare, ed altro ancora. E ciò, da un punto di vista evolutivo, pone una ovvia minaccia alle lontre, alle persone, ai cactus ed alle felci - alla intricata tessitura della biosfera ed a tutto quello che apprezziamo.  

I primi computer transistorizzati vinsero ben presto la sfida contro i più avanzati fra i computer a valvole, perché erano basati su dispositivi tecnicamente superiori. Per la stessa ragione anche i più rozzi fra i primi replicatori basati sugli assemblatori potranno vincere sui più avanzati organismi moderni. "Piante" con "foglie" non più efficienti delle odierne celle solari potranno adeguatamente competere con piante reali, affollando la biosfera di un immangiabile fogliame. "Batteri" resistenti ed onnivori potrebbero competere nell'ambiente contro batteri reali: essi potrebbero diffondersi come soffi di polline, replicarsi rapidamente, e ridurre la biosfera in polvere nell'arco di giorni. Replicatori pericolosi potrebbero facilmente essere troppo resistenti, troppo piccoli, e di diffusione troppo rapida perché li si possa arrestare - per lo meno se non ci prepareremo in alcun modo. Abbiamo già abbastanza problemi a controllare i virus o i moscerini della frutta (1).  

Fra le persone consapevoli della nanotecnologia, questa minaccia è divenuta nota come il problema della "melassa grigia" (gray goo). Per quanto delle masse di replicatori incontrollati non si presenteranno necessariamente né grigi né melensi, nell'aspetto, il termine "gray goo" sottolinea che replicatori in grado di cancellare la vita potrebbero allo stesso tempo apparire come qualcosa di meno attraente di una unica massa di tubercoli composta da un'unica specie vivente. Pur essendo "superiori" in senso evolutivo, non necessariamente sarebbero qualcosa a cui potremmo attribuire un qualche valore. Ci siamo evoluti per amare un mondo ricco di cose viventi, ricco di idee e di diversità, e non c'è quindi alcuna ragione di apprezzare il gray goo per il solo fatto che esso sarebbe effettivamente capace di diffondersi ubiquamente. Infatti, prevenendo il gray goo, daremo prova della nostra superiorità evolutiva.  La minaccia del gray goo mette perfettamente in chiaro una cosa: non possiamo permetterci certi tipi di incidenti con gli assemblatori che sono in grado di replicarsi.  

Nel capitolo 5, ho descritto alcune delle cose che i sistemi avanzati di IA potranno fare per noi se li utilizzeremo propriamente. Nel caso più estremo, essi potranno anche incorporare gli schemi del pensiero e lavorare a ritmi che nessun cervello di mammifero potrebbe eguagliare. Sistemi IA che lavorino assieme, come la gente fa, saranno in grado di capacità di pensiero superiori non solo a quelle degli individui ma anche a quelle di intere società. Ancora una volta, l'evoluzione dei geni ha vincolato la vita a determinati limiti. Ancora una volta, l'evoluzione a cui i memi vengono sottoposti dagli esseri umani, ed eventualmente dalle macchine, farà progredire il nostro hardware ben oltre i limiti della vita. E di nuovo, da un punto di vista evolutivo, tutto questo pone una ovvia minaccia.  

La conoscenza accresce il potere ed il potere accresce ulteriormente la conoscenza. A seconda della loro natura e dei loro obiettivi, i sistemi avanzati di IA potrebbero raccogliere abbastanza conoscenza e potere da sostituirsi a noi, se non ci saremo preparati adeguatamente. E come accadrà per i replicatori, la semplice "superiorità" evolutiva non renderà necessariamente i vincitori migliori degli sconfitti, secondo qualsiasi parametro di giudizio che non sia la bruta abilità di competizione.  

Questa minaccia mette perfettamente in chiaro una cosa: abbiamo bisogno di trovare modi di vita che siano compatibili con l'esistenza della macchine pensanti, affinché queste possano divenire dei cittadini osservanti delle leggi.  

Motori di potere    

Certi tipi di replicatori e di sistemi di IA potrebbero obbligarci ad un confronto con forme di hardware capaci di azione rapida, efficace ed indipendente. Ma la novità di questa minaccia - proveniente dalle stesse macchine - non dovrebbe renderci ciechi di fronte ad un pericolo ben più tradizionale. Replicatori e sistemi di IA possono anche servire come grandi motori di potere, se adoperati senza freni da stati sovrani.  

Lungo l'intera storia umana, gli stati hanno sviluppato tecnologie per estendere il loro potere militare, ed essi senza dubbio giocheranno un ruolo dominante nello sviluppo di replicatori e di sistemi di IA. Gli stati potrebbero sfruttare i replicatori per costruire, rapidamente, facilmente ed in quantità, interi arsenali di armi avanzate. Gli stati potrebbero sfruttare dei replicatori "speciali" in modo più diretto, allo scopo di diffondere una sorta di guerra batteriologica - di un tipo peculiare, basata principalmente su un tipo molto più pratico di "germi", perché programmabili e controllati da dei computer. A seconda delle loro capacità, i sistemi IA potrebbero servire da progettisti di armi, da strateghi o da combattenti (2). Gli stanziamenti militari di fondi supportano infatti ricerche sia nell'ambito delle tecnologie molecolari che in quello dell'intelligenza artificiale.  

Gli stati possono sfruttare gli assemblatori o i sistemi avanzati di IA per ottenere progressi radicali repentini e destabilizzanti. Ho precedentemente discusso sulle ragioni per cui c'è da attendersi che l'avvento dei replicatori comporterà trasformazioni relativamente improvvise. Essendo i replicatori capaci di replicarsi repentinamente, potrebbero diventare numericamente abbondanti nell'arco di pochi giorni. Essendo in grado di fare quasi qualunque cosa, potrebbero essere programmati per duplicare armi già esistenti ma costruite stavolta con materiali superiori. Essendo capaci di lavorare con componenti standard e ben compresi (atomi), potrebbero altrettanto rapidamente realizzare cose che siano state progettate precedentemente, prima che si compiesse il passo avanti tecnologico degli assemblatori. I prodotti risultanti dalla progettazione anticipata, potrebbero includere germi programmabili e altre cose malefiche ed inedite. Per tutte queste ragioni, uno stato che realizzi il passo avanti degli assemblatori, potrebbe rapidamente mettere in piedi una forza militare decisiva - se non proprio nell'arco di una notte, quantomeno con una velocità senza precedenti.  

Gli stati potrebbero impiegare sistemi di IA altrettanto avanzati per altri scopi analoghi. L'ingegneria automatizzata faciliterà la progettazione anticipata accelerando lo sviluppo degli assemblatori. Sistemi IA capaci di costruire altri sistemi IA ancora migliori, provocheranno una dirompente esplosione della disponibilità di capacità tecniche, con effetti difficili da prevedere. Sia i sistemi IA che gli assemblatori-replicatori doteranno gli stati della possibilità di accrescere le loro capacità militari di diversi ordini di grandezza, nonché in tempi brevi.  

I replicatori possono essere più potenti delle armi nucleari: devastare la Terra con le bombe richiede masse di congegni hardware esotici e isotopi rari, ma per distruggere tutta la vita con i replicatori basta un semplice granello composto da elementi ordinari. I replicatori faranno compagnia alle armi nucleari come potenziale causa di estinzione, ampliando la preoccupazione morale per l'estinzione potenziale su di un contesto molto più esteso.  

A dispetto del loro potenziale in termini di macchine di distruzione, nanotecnologia e sistemi IA si prestano ad utilizzi molto più subdoli di quelli possibili con le armi nucleari. Una bomba può solo spazzare via le cose. Ma le nanomacchine e i sistemi IA potrebbero essere utilizzati per infiltrare, sequestrare, modificare o governare un territorio o il mondo intero. Anche la polizia più spietata non ha alcuna possibilità d'utilizzo per le armi nucleari, mentre ne ha per cimici elettroniche, droghe, omicidi ed altri meccanismi flessibili di potere. Con la tecnologia avanzata, gli stati saranno in grado di consolidare il loro potere sulla gente.  

Come hanno già fatto geni, memi, organismi ed hardware, anche gli stati si sono evoluti. Le loro istituzioni si sono diffuse (con variazioni) grazie a sviluppo, scissioni, imitazioni e conquiste. Gli stati in guerra lottano come belve feroci, ma sfruttando i loro cittadini come ossa, cervelli e muscoli. I prossimi passi avanti tecnologici metteranno gli stati a confronto con nuove pressioni e nuove opportunità, spronando gli stati ad attuare trasformazioni radicali della loro condotta. Per noi, tutto ciò rappresenta, naturalmente, motivo di preoccupazione. Gli stati, storicamente, sono sempre stati degli eccellenti macellai ed oppressori.  

Da un certo punto di vista, uno stato è semplicemente la somma delle persone che compongono i suoi apparati organizzativi: le azioni di queste persone si sommano tutte insieme per dar forma alle azioni dello stato. Ma la stessa cosa può dirsi di un cane e delle sue cellule costituenti, eppure un cane è chiaramente ben più di un blocco di cellule. Sia i cani che gli stati hanno evoluto dei sistemi e delle strutture che influenzano il comportamento delle loro parti. Per migliaia di anni i cani si sono in gran parte evoluti per piacere agli uomini, poiché sono sopravvissuti ed hanno potuto riprodursi solo in dipendenza dai desideri umani. Per migliaia di anni anche gli stati si sono evoluti, sebbene sotto pressioni selettive diverse. Gli individui possono esercitare molto più potere sui loro cani che sui "loro" stati. Tuttavia, anche gli stati possono beneficiare del gradimento della gente e la concretezza della loro esistenza dipende dalla loro capacità di usare le persone, siano essi leaders, poliziotti o soldati.  

Potrebbe sembrare paradossale dire che la gente ha un potere limitato sugli stati: dopo tutto, non c'è forse la gente dietro ogni azione di uno stato? Ma nelle democrazie i capi di stato si lamentano della loro debolezza di poteri, i deputati si piegano ai gruppi di interessi, i burocrati vengono vincolati ad agire entro le regole, ed i cosiddetti "elettori in carica" maledicono in blocco questo disastro. Lo stato agisce e la gente lo influenza, e tuttavia nessuno può dire di avere controllo su di esso. Negli stati totalitari, l'apparato di potere ha una tradizione, una struttura ed una logica interna che non lascia libero nessuno, né i governanti né i governati. Persino i "re" devono agire secondo modalità limitate dalle tradizioni della monarchia e dalle pratiche del potere, se vogliono restare regnanti. Gli stati non sono umani, per quanto composti da umani.  

A dispetto di tutto questo, la storia dimostra comunque che i cambiamenti restano possibili, persino cambiamenti per il meglio. Ma i cambiamenti passano sempre da un sistema semi-autonomo e non-umano ad un altro egualmente non-umano, per quanto più umano. Nella nostra speranza di miglioramento non dobbiamo confondere gli stati che indossano una facciata umana con gli stati dotati di istituzioni umane.  

Descrivere gli stati come un quasi-organismo cattura solo un aspetto della complessa realtà, e tuttavia lascia intuire come essi dovrebbero evolvere in risposta ai passi avanti tecnologici in arrivo. La crescita del potere di un governo, che ha il suo spettacolare apice nei paesi totalitari, lascia intuire una direzione.  

Gli stati potrebbero diventare più simili agli organismi nel dominare in modo più completo le loro parti. Utilizzando gli assemblatori-replicatori, gli stati potrebbero saturare l'ambiente umano di dispositivi di sorveglianza. Sfruttando l'abbondanza di sistemi IA capaci di comprendere il linguaggio umano, essi potrebbero ascoltare le conversazioni di chiunque senza dover per questo impegnare metà della popolazione come ascoltatori. Utilizzando della nanotecnologia come quella proposta per le macchine di riparazione cellulare, essi potrebbero economicamente sedare, lobotomizzare o in qualche altro modo modificare popolazioni intere. Questa possibilità sembra essere solo una estensione possibile di una trama di potere fin troppo familiare. Il mondo ha già governi che spiano, torturano e usano droghe; la tecnologia avanzata, semplicemente, estenderà queste possibilità.  

Ma d'altronde, con la tecnologia avanzata gli stati non avrebbero più bisogno di controllare la gente - potrebbero invece semplicemente disfarsene. Dopo tutto, la maggior parte delle persone nella maggior parte degli stati serve come forza-lavoro, oppure come futura forza-lavoro, o infine come addetti alla formazione delle futura forza-lavoro, e la maggior parte dei lavoratori sono esclusivamente impegnati nel fabbricare, spostare e sviluppare prodotti. Uno stato dotato di assemblatori-replicatori non ha bisogno che qualcuno svolga questo tipo di lavoro. Inoltre, i sistemi IA avanzati possono sostituire gli ingegneri, gli scienziati, gli amministratori e persino i capi di governo. La combinazione di nanotecnologia ed IA avanzata renderà possibile realizzare robot intelligenti ed efficaci, e con tali robot uno stato può prosperare anche se nel frattempo si andasse a disfare di qualcuno o persino (in linea di principio) di chiunque.  

Le implicazioni di questa possibilità dipendono dalla funzione per cui lo stato esiste, se cioè lo stato esista per servire la gente o se la gente esista per servire lo stato.  

Nel primo caso avremmo uno stato modellato da esseri umani per servire certi scopi umani; le democrazie tendono, quanto meno, verso una rozza approssimazione di questo ideale. L'esistenza di un governo controllato democraticamente che non abbia più bisogno della gente, essenzialmente implicherebbe che non ci sarebbe più bisogno di usare la gente nel ruolo di burocrati o di contribuenti. Ciò apre possibilità inedite, alcune delle quali potrebbero dimostrarsi desiderabili.  

Nel secondo caso avremmo uno stato evolutosi per sfruttare gli esseri umani, forse secondo linee d'azione totalitarie. Gli stati hanno avuto bisogno della gente in qualità di lavoratori, poiché infatti il lavoro umano è stato il necessario fondamento del potere. Inoltre, il genocidio è sempre stato di attuazione costosa e problematica. E tuttavia, in questo secolo diversi stati totalitari hanno massacrato i loro cittadini a milioni. La tecnologia avanzata renderà non necessari i lavoratori e facile il genocidio. La storia suggerisce che gli stati totalitari potrebbero quindi eliminare del tutto la loro popolazione. Non c'è nulla di consolante in tutto ciò. Sembra che uno stato intenzionato ad assoggettarci biologicamente, ed al tempo stesso in grado di farlo, semplicemente ci ucciderebbe.  

La minaccia della tecnologia avanzata in mano ai governi, rende perfettamente chiara una cosa: non possiamo permetterci di avere uno stato oppressivo che ci guidi fino all'avvento dei prossimi passi avanti tecnologici.  

I problemi di base che ho fini qui delineato sono ovvi: nel futuro, come nel passato, le nuove tecnologie tenderanno di per se stesse verso utilizzi accidentali o abusivi. Poiché i replicatori e le macchine pensanti ci doteranno di nuovi grandi poteri, il potenziale per incidenti ed abusi crescerà nella stessa misura. Queste possibilità pongono una minaccia autentica alle nostre vite.  

Alla maggior parte della gente piace avere una probabilità di vita, nonché di poter scegliere liberamente il modo in cui vivere. Questa meta potrebbe sembrare troppo utopica, quanto meno in alcune parti del mondo. Un tale obiettivo non significa dover forzare chiunque a conformarsi ad un qualche schema d'ordine superiore; Piuttosto, significa principalmente evitare schiavitù e morte. E tuttavia, come il raggiungimento di un sogno utopico, esso condurrà verso un futuro di meraviglie.  

Dati quindi questi problemi di vita o di morte, e questo obiettivo generale, possiamo prendere in considerazione le contromisure che potrebbero aiutarci nel successo. La nostra strategia dovrebbe coinvolgere persone, principi ed istituzioni, ma dovrebbe anche affidarsi a strategie che, inevitabilmente, coinvolgeranno la tecnologia.  

Sistemi affidabili 

Per usare in tutta sicurezza tecnologie così potenti, dobbiamo fabbricare hardware del quale possiamo fidarci. Per averne fiducia, dobbiamo essere in grado di giudicare accuratamente fatti di tipo tecnico, una abilità che a sua volta dipenderà in parte dalla qualità delle istituzioni di giudizio. Tuttavia, cosa ancor più fondamentale, questa abilità dipenderà anche dalla effettiva possibilità fisica di realizzare hardware affidabile. E questa è una questione di affidabilità dei componenti ed affidabilità dei sistemi.  

Spesso fabbrichiamo componenti affidabili, persino in mancanza dell'aiuto degli assemblatori. "Affidabile" non significa "indistruttibile" - qualunque cosa può rompersi se posta troppo vicina ad una esplosione nucleare. Non significa neanche "tenace" - un apparecchio televisivo potrebbe essere affidabile, e tuttavia non sopravvivere ad un rimbalzo su un pavimento di cemento. Piuttosto, diciamo che una certa cosa è "affidabile" quando possiamo contare sul fatto che essa funzionerà svolgendo il compito per cui è progettato.  

Un componente affidabile non deve necessariamente essere la perfetta incarnazione di una perfetta progettazione: ha solo bisogno di essere una incarnazione abbastanza buona di una progettazione abbastanza previdente. Un ingegnere che progetti ponti potrebbe anche essere incerto riguardo la forza dei venti, il peso del traffico e la forza dell'acciaio, ma ipotizzando venti forti, traffico pesante e acciaio debole può progettare un ponte in grado di reggere.  

I guasti inattesi dei componenti, di solito derivano da difetti dei materiali. Ma gli assemblatori costruiranno componenti in cui esiste solo un trascurabile numero di atomi la cui disposizione è erronea - anzi, persino materiali del tutto privi di atomi fuori posto, se necessario (3). Ciò renderà i componenti perfettamente uniformi e, in senso lato, perfettamente affidabili. Le radiazioni, tuttavia, potranno ancora causare danni, perché non esiste materiale su cui un raggio cosmico non possa inaspettatamente colpire un atomo allontanandolo dalla sua posizione (4). In un componente sufficientemente piccolo (persino in un dispositivo di memoria di un computer moderno), una singola particella di radiazione può causare un guasto.  

Ma i sistemi possono lavorare anche se le loro parti si guastano; la chiave sta nella ridondanza. Immaginiamo un ponte sorretto da cavi, i quali possano degradarsi in base al caso, ognuno dei quali si rompe, in un momento impredicibile, all'incirca una volta lungo un periodo di un anno. Se il ponte potesse cadere quando un cavo si rompe, il ponte stesso sarebbe troppo pericoloso da utilizzare. Immaginiamo, tuttavia, che un singolo cavo rotto richieda un giorno per essere riparato (perché squadre di operai possono intervenire prontamente per cambiare il cavo in seguito ad una richiesta d'intervento) e che inoltre se il ponte richiede cinque cavi per potersi sostenere, sia stato realizzato con sei cavi di sostegno. Quindi, se un cavo si rompe, il ponte continua a reggersi. Arrestando il traffico e sostituendo il cavo rotto, gli operai del ponte possono ripristinare la sicurezza. La distruzione del ponte è possibile solo se un secondo cavo dovesse rompersi nello stesso giorno in cui si è rotto il primo. Sostenuto da sei cavi, ognuno con una probabilità di rottura in uno specifico giorno pari a 1 su 365, il ponte probabilmente resisterà circa dieci anni.  

Sebbene sia pur sempre un miglioramento, questa situazione resta comunque temibile. E tuttavia un ponte con dieci cavi (i cinque necessari più cinque extra) cadrà solo nel caso che 6 cavi si dovessero rompere tutti nello stesso giorno: il sistema di sospensione ha quindi una probabilità di reggere per oltre dieci milioni di anni. Con quindici cavi, il tempo di vita atteso del ponte diventa pari ad oltre mille volte l'età attuale della Terra. La ridondanza può comportare una esplosione esponenziale del grado di sicurezza.  

La ridondanza funziona meglio quando i componenti ridondanti sono effettivamente indipendenti. Se non ci fidiamo della loro progettazione, dobbiamo usare componenti progettati indipendentemente; se esiste la probabilità che una bomba, una pallottola o un raggio cosmico possano danneggiare diversi componenti circostanti, allora dobbiamo ricorrere più diffusamente a parti ridondanti. Gli ingegneri che vogliano fornire trasporto affidabile fra due isole non dovrebbero semplicemente aggiungere cavi ad un ponte. Essi dovrebbero costruite due ponti ben distinti che utilizzino progettazioni differenti, quindi aggiungere un tunnel, un traghetto, ed un paio di aereoporti a terra.  

Anche gli ingegneri che progettano computer sfruttano la ridondanza. La Stratus Computer Inc., per esempio, ha realizzato una macchina che utilizza quattro unità centrali di elaborazione (disposte in due coppie) (5) per svolgere il lavoro di una sola, ma per farlo in modo molto più affidabile. Di ogni coppia viene continuamente esaminata la sua consistenza interna, ed una coppia guasta può essere sostituita da un'altra mentre la coppia gemella continua ad elaborare.  

Una forma anche più potente di ridondanza è quella della progettazione di diversità (6). Nell'hardware di un computer ciò significa l'impiego di diversi computer con progettazioni differenti, i quali lavorano tutti in parallelo. In questo caso la ridondanza può non solo porre rimedio ai guasti di un pezzo di hardware, ma anche ad errori nella sua progettazione.  

Molto si è lavorato sul problema di scrivere programmi per computer grandi e privi di errori; molta gente considera un tale programma impossibile da sviluppare e da manutenere. Ma i ricercatori dello UCLA Computer Science Department hanno dimostrato che la progettazione diversificata può essere usata anche nel software: diversi programmatori hanno affrontato in modo indipendente lo stesso problema, e successivamente tutti i loro programmi sono stati fatti girare in parallelo rendendo il risultante sistema software resistente agli errori di programmazione che si manifestavano in alcune sue parti.  

Possiamo sfruttare la ridondanza per controllare i replicatori(7). Come le macchine di riparazione cellulare confrontano filamenti multipli di DNA per essere in grado di correggere le mutazioni nei geni delle cellule, i replicatori potrebbero confrontare copie multiple delle loro istruzioni (o che utilizzare altri efficaci sistemi di correzione degli errori (8)) per essere in grado di resistere alle mutazioni nei loro "geni". Anche in questo caso la ridondanza può produrre una esplosione esponenziale della sicurezza.  

Possiamo costruire sistemi che siano estremamente affidabili, ma questo comporta dei costi. La ridondanza rende i sistemi più pesanti, più massicci, più dispendiosi e meno efficienti. La nanotecnologia, tuttavia, fabbricherà la maggior parte delle cose in modo che siano più leggere, più piccole, più economiche e più efficienti. Questo rende la ridondanza e l'affidabilità obiettivi più pratici da perseguire.  

Al momento, è raro che si desideri pagare il costo di sistemi il più possibile sicuri; tolleriamo guasti più o meno desiderati e di rado prendiamo in considerazione i limiti reali dell'affidabilità. Ciò influenza il nostro giudizio su ciò che effettivamente può essere ottenuto. C'è anche un fattore psicologico che distorce il nostro senso di quale sia il grado di affidabilità con cui le cose possono essere prodotte: i guasti ci restano fermamente in mente, ma i quotidiani successi ottengono ben poca attenzione. I media amplificano questa tendenza riportando i guasti più drammatici accaduti in tutto il mondo, mentre ignorano l'infinita lista di tediosi successi. E quel che è peggio, i componenti dei sistemi ridondanti potrebbero guastarsi in modi visibili, suscitando allarmismi: immaginate come i media riferirebbero la rottura di un cavo di sostegno per un ponte, anche quando il ponte sia del tipo super-sicuro, con quindici cavi, descritto precedentemente. E poiché ogni componente ridondante aggiunto si somma alla probabilità complessiva della rottura di un componente, potrebbe persino sembrare che l'affidabilità complessiva del sistema stia peggiorando mano a mano che il sistema si avvicina alla perfezione.  

Apparenze a parte, i sistemi ridondanti, costruiti con componenti abbondanti e non privi di difetti, spesso sono perfettamente affidabili. Sistemi in cui la ridondanza sia stata estesamente impiegata, potrebbero sopravvivere persino alle pallottole o alle bombe.  

Ma che dire degli eventuali errori di progettazione? Anche avere una dozzina di parti ridondanti non è poi una gran cosa se queste condividono un errore fatale di progettazione. La diversificazione progettuale è una risposta a tale questione; l'impiego di accurate procedure di collaudo è un'altra buona risposta. Possiamo affidabilmente evolvere buoni progetti senza essere buoni progettisti: abbiamo bisogno solo di essere bravi nel collaudo, nella manutenzione, e dotati di molta pazienza. La natura ha evoluto del macchinario molecolare funzionante tramite un processo completamente privo di mente di manutenzione e di collaudo. Essendo dotati di menti, possiamo fare altrettanto o anche meglio.  

Potrebbe risultarci facile progettare dell'hardware affidabile se riuscissimo a sviluppare affidabili sistemi di ingegneria automatizzata. Ma questo problema solleva la questione ben più ampia di come sviluppare sistemi di intelligenza artificiale che risultino affidabili. Abbiamo pochi problemi a realizzare sistemi di IA con hardware affidabile, ma che dire del loro software?  

Analogamente a sistemi IA e menti umane attuali, i sistemi avanzati di IA saranno delle combinazioni sinergetiche di molte parti più semplici. Ogni parte sarà ben più specializzata e ben meno intelligente del sistema complessivo. Alcune parti andranno alla ricerca degli schemi presenti in immagini, suoni, o in altri dati, ed avanzeranno proposte su ciò che questi dati potrebbero significare. Altre parti confronteranno e giudicheranno le proposte avanzate dalle prime. Così come i sistemi di riconoscimento di schemi nel sistema visivo umano soffrono di errori ed illusioni ottiche, così sarà anche nei sistemi IA per i loro sotto-sistemi dedicati al riconoscimento di schemi. (Di fatto, alcuni sistemi avanzati che realizzano la funzione della visione nelle macchine, già soffrono delle stesse illusioni ottiche che ci sono familiari). E proprio come altre parti della mente umana possono spesso identificare e compensare le illusioni, altrettanto potranno fare altre parti dei sistemi IA.  

Come accade nelle menti umane, l'intelligenza delle macchine coinvolgerà sia delle parti mentali(9) che avanzeranno alcune prime ed esitanti ipotesi, sia altre parti mentali che scarteranno la maggioranza delle ipotesi cattive prima di dedicare maggiore attenzione alle ipotesi restanti o di influire su decisioni importanti. Le parti mentali che rigettano le idee d'azione basandosi su criteri di etica, corrispondono a ciò che noi chiamiamo coscienza. I sistemi IA con molte parti, avranno spazio a sufficienza per la ridondanza e la diversificazione di progettazione delle parti, rendendo quindi possibile l'affidabilità.  

Un autentico e flessibile sistema IA deve evolvere idee. Per far questo, esso deve individuare o formare ipotesi, generare variazioni, sperimentarle, e quindi modificare o scartare quelle che si rivelano inadeguate. L'eliminazione di una qualsiasi di queste capacità renderebbe il sistema stupido, cocciuto o insensato ("questa macchina arrabattata non può pensare e non vuole imparare dai suoi sbagli - buttiamola!"). Per evitare di restare intrappolati negli iniziali equivoci concettuali, bisogna prendere in considerazione punti di vista che sono in conflitto, vedendo quanto bene spieghino i dati e se un punto di vista possa spiegarne un altro.  

La comunità scientifica lavora attraverso un processo analogo. E in un articolo intitolato "The Scientific Community Metaphor" (10), William A. Kornfeld e Carl Hewitt del MIT Artificial Intelligence Laboratory hanno suggerito che i ricercatori dell'IA dovrebbero scrivere i loro programmi in modo che ricalchino ancor più strettamente la struttura evolvente della comunità scientifica. Essi evidenziano il pluralismo della scienza, ossia la diversificazione delle sue figure in competizione: propositori, sostenitori e critici. Senza propositori, le idee non possono apparire; senza sostenitori non possono crescere; e senza critici ad estirparle, le cattive idee possono proliferare abnormemente rispetto a quelle buone. Tutto ciò ha valore sia per la scienza, che per la tecnologia, nonché per ciò che accade fra le diverse parti delle nostre menti.  

L'esistenza di un mondo pieno di propositori, promotori e critici, così diversi e ridondanti, è ciò che rende affidabile il progresso della scienza e della tecnologia. L'esistenza di un numero maggiore di propositori, rende più frequente la generazione di buone proposte; L'esistenza di un numero maggiore di critici rende più vulnerabili le cattive proposte. Ne risultano perciò idee migliori e più numerose. Una analoga forma di ridondanza, può aiutare i sistemi IA a sviluppare idee plausibili.  

La gente si fa guidare nelle proprie azioni da certi standard di verità ed etica, e dovremmo essere in grado di evolvere dei sistemi IA che facciano la stessa cosa, ma in modo più affidabile. Capaci di pensare un milione di volte più velocemente di noi, essi avranno più tempo per una seconda riflessione. Pare quindi che si possa rendere affidabili i sistemi IA, quanto meno per quelli che sono gli standard umani (11).  

Ho spesso fatto delle analogie fra sistemi IA e singole menti umane, ma la rassomiglianza non deve necessariamente essere stretta. Un sistema che possa imitare una persona non ha bisogno di essere come una persona nell'aspetto, ed è invece molto probabile che un sistema di ingegneria automatizzata non lo sarà affatto. Una proposta (denominata "sistema Agora", termine preso a prestito dal greco, dove è usato per indicare il luogo di incontro e di mercato) (12) consisterebbe di molti pezzi di software indipendenti, i quali interagiscono offrendosi l'un l'altro dei servizi in cambio di denaro. La maggior parte dei pezzi sarebbero degli ingenui specialisti, alcuni in grado di suggerire una scelta di progetto, altri in grado di analizzarne una. Proprio come l'ecologia della Terra ha evoluto degli organismi straordinari, così questa economia dei computer potrebbe evolvere progetti straordinari - e forse secondo un processo altrettanto privo di mente. Ed in più, un tale sistema sarebbe sparpagliato su molte macchine e composto da molte parti scritte da molte persone, per cui esso sarebbe vario e robusto, e sarebbe inoltre difficile che un unico gruppo se ne impadronisca e ne abusi.  

Alla fine, in un modo o nell'altro, i sistemi di ingegneria automatizzata saranno capaci di progettare le cose, in modo molto più affidabile di quello possibile a qualsiasi attuale gruppo di ingegneri umani (13). La nostra sfida sarà quella di progettare correttamente tali sistemi. Abbiamo bisogno di istituzioni umane che, affidabilmente, sviluppino sistemi affidabili.  

Le istituzioni umane hanno evoluto sistemi artificiali, e questi sistemi possono spesso risolvere problemi impossibili da risolvere per i loro singoli membri. Ciò rende tali sistemi una sorta di "sistema di intelligenza artificiale". Le compagnie commerciali, gli eserciti e i laboratori di ricerca ne sono tutti esempi, come lo sono le libere strutture del mercato e della comunità scientifica. Persino i governi potrebbero essere visti come sistemi di intelligenza artificiale - sistemi grossolani, indolenti e ottusi, ma pur sempre sovra-umani nell'essenza della loro capacità. E cos'altro potrebbero essere i controlli di costituzionalità delle leggi ed i bilanci statali, se non un tentativo di accrescere l'affidabilità di un governo grazie alla diversificazione e alla ridondanza delle istituzioni? Quando costruiremo macchine intelligenti, le useremo affinché si controllino e si bilancino l'una con l'altra.  

Applicando dei sani principi, potremmo diventare capaci di sviluppare anche delle affidabili istituzioni di orientamento tecnico, che siano dotate di forti controlli e bilanciamenti, e che li impieghino per guidare lo sviluppo dei sistemi di cui necessitiamo per riuscire a gestire i passi avanti tecnologici in arrivo.  

Strategie per arrivare agli assemblatori  

Una qualche forza del mondo (che sia degna di fiducia o meno) si conquisterà una posizione di supremazia nello sviluppo degli assemblatori; chiamiamola "la forza dominante". A causa della importanza strategica degli assemblatori, la forza dominante sarà probabilmente una qualche organizzazione o istituzione totalmente controllata da qualche governo o gruppo di governi. Per semplificare i termini della questione, supponiamo per il momento che noi (i "buoni", quelli che tentano di comportarsi "saggiamente") fossimo in grado di influenzare le politiche che guidano la forza dominante. Per i cittadini degli stati democratici, l'esercizio della propria influenza su tali politiche sembra essere una buona attitudine da adottare.  

Che cosa dovremmo fare per migliorare le nostre probabilità di conquistarci un futuro in cui valga la pena di vivere? E che cosa possiamo fare?  

Possiamo cominciare considerando quello che non deve accadere: non dobbiamo permettere che neanche un singolo assemblatore-replicatore del tipo sbagliato venga liberamente disperso nell'ambiente di un mondo impreparato. Una preparazione assoluta pare impossibile, (come descrivo nel seguito), ma sembra comunque che la preparazione dovrebbe a sua volta basarsi su sistemi costruiti da assemblatori, i quali potranno essere fabbricati solo dopo che la fabbricazione di replicatori pericolosi sia già diventata possibile. La progettazione anticipata può aiutare la forza dominante a preparasi adeguatamente, nonostante che persino le più energiche azioni di previsione paiano proprio inadeguate a prevenire un'epoca di pericoli. E la ragione di tale inadeguatezza è piuttosto diretta: i replicatori pericolosi saranno enormemente più semplici da progettare rispetto ai sistemi che possono contrastarli, proprio come un batterio è di gran lunga più semplice rispetto ad un sistema immunitario. Abbiamo bisogno di strategie per frenare la nanotecnologia finché non avremo imparato a domarla.  

Una strategia ovvia è l'isolamento: la forza dominante potrà contenere i sistemi replicatori entro mura multiple oppure in laboratori posti nello spazio. Replicatori molto semplici saranno del tutto privi di intelligenza, e non saranno perciò progettati perché possano evadere dall'isolamento e diffondersi selvaggiamente. Il loro contenimento non sembra una sfida particolarmente ardua.  

Ancora meglio, saremo in grado di progettare replicatori che, in virtù della loro stessa progettazione, non possano evadere e diffondersi selvaggiamente. Possiamo fabbricarli dotandoli di contatori interni (come quelli delle cellule) che limitino le loro replicazioni ad un numero fissato. Possiamo costruirli in modo che necessitino di speciali "vitamine" sintetiche, o di condizioni ambientali bizzarre che possano esistere solo in laboratorio. Sebbene si potrebbero fabbricare replicatori dotati di tenacia e voracità superiori a quelle di qualsiasi moderna peste, possiamo realizzarli anche in modo che siano utili ma innocui. Poiché li progetteremo partendo da zero, i replicatori non avranno bisogno di possedere neanche le più rudimentali fra le abilità di sopravvivenza che l'evoluzione ha costruito nelle nostre cellule.  

Inoltre, essi non hanno bisogno di evolvere, Possiamo fornire ai replicatori copie ridondanti delle loro istruzioni "genetiche", corredate da meccanismi di riparazione atti a correggere qualsiasi mutazione. Possiamo progettarli perché smettano di lavorare molto prima che si possa accumulare un numero di alterazioni sufficienti a rendere significativamente possibile una mutazione duratura. Infine, possiamo progettarli dotandoli di caratteristiche che siano d'ostacolo alla loro evoluzione, anche nel caso dovesse verificarsi qualche mutazione .  

Gli esperimenti mostrano che la maggior parte dei programmi per computer (a parte quelli specificatamente progettati per sistemi IA (14), come per esempio EURISKO del Dr. Lenat) raramente rispondono alle mutazioni con impercettibili trasformazioni; piuttosto, essi smettono semplicemente di funzionare. Poiché non possono cambiare in modi utilizzabili, non possono neanche evolvere. A meno che non siano stati appositamente progettati, i replicatori diretti da nanocomputer saranno soggetti allo stesso limite. Gli organismi moderni sono relativamente capaci di evolvere, e ciò in parte è anche dovuto al fatto che essi discendono da antenati che evolvevano. Essi si sono perciò evoluti per evolvere; E questa è una delle ragioni che giustifica la complessità della riproduzione sessuale e del rimescolamento di segmenti cromosomici durante la produzione di cellule spermatiche e cellule-uovo. Possiamo semplicemente evitare, perciò, di dotare i replicatori di simili capacità (15).  

Per la forza dominante, dovrebbe essere facile rendere utili, innocui e stabili gli assemblatori-replicatori. Riuscire invece ad evitare che gli assemblatori vengano rubati ed abusati, è un problema ben diverso e ben più grosso, poiché si tratta di un gioco ben diverso, combattuto contro avversari intelligenti. Come prima strategia, potremmo ridurre l'incentivo al furto di assemblatori rendendoli disponibili in forme sicure. Questo, dovrebbe altresì ridurre l'incentivo allo sviluppo indipendente di assemblatori da parte di altri gruppi. La forza dominante, dopotutto, verrà immediatamente seguita a ruota da altre forze.  

Assemblatori limitati  

Nel capitolo 4 ho descritto come un sistema di assemblatori in una vasca, possa costruire un eccellente motore per un razzo. Ho anche evidenziato che sapremo realizzare sistemi assemblatori che operino come semi, assorbendo la luce solare e materiali ordinari e accrescendosi fino a diventare quasi qualunque cosa. Questi sistemi a scopo-specifico, di per se stessi non saranno replicanti, o quanto meno lo saranno solo limitatamente ad un numero di replicazioni fissato. Essi semplicemente costruiranno quello che sono programmati a costruire, e solo quando verrà detto loro di costruirlo. Chiunque non sia dotato di specifici strumenti costruiti da assemblatori, dovrebbe essere incapace di riprogrammarli perché svolgano altri compiti.  

Con l'impiego di assemblatori caratterizzati da questo tipo di limitazioni, la gente sarà in grado di fabbricare qualsiasi cosa desideri e in qualsiasi quantità desideri, soggetta solo alle limitazioni implicite nelle macchine stesse. Se nessuna di queste macchine è programmata per fabbricare armi nucleari, nessuno le fabbricherà; se nessuna è programmata per fabbricare replicatori pericolosi, nessuno li fabbricherà. Se alcune macchine sono programmate per fabbricare case, automobili, computer, spazzolini da denti e quant'altro, allora questi prodotti diventeranno economici ed abbondanti. Le macchine costruite tramite degli "assemblatori limitati" ci permetteranno di schiudere l'accesso allo spazio, guarire la biosfera, e riparare le cellule umane. Gli assemblatori limitati possono portare un benessere quasi illimitato sia alla gente che al mondo.  

Questa strategia renderà più facile l'esercizio di una pressione morale mirata a rendere immediatamente disponibili gli assemblatori limitati. Ma, in ogni caso, gli assemblatori limitati lasceranno ancora insoddisfatte altre legittime necessità. Gli scienziati avranno bisogno di assemblatori liberamente programmabili per condurre i loro studi; gli ingegneri ne avranno bisogno per la verifica sperimentale delle loro progettazioni. Queste necessità possono essere soddisfatte con l'impiego di "laboratori sigillati per assemblatori".  

Laboratori sigillati per assemblatori  

Immaginate un accessorio per computer della dimensione del vostro pollice, con un display in cima che serva per mostrarvi lo "stato-dell'arte". La superficie di questo oggetto ha un aspetto monotono simile a plastica grigia, con un numero di serie stampigliato sopra; e tuttavia, questo laboratorio sigillato per assemblatori è esso stesso un oggetto costruito da assemblatori, e contiene moltissime cose. All'interno, fissato appena sotto il display, c'è un grande computer nanoelettronico sul quale viene eseguito un software di simulazione molecolare avanzata (basato sullo stesso software che viene utilizzato durante lo sviluppo progettuale degli assemblatori). Se il nanocomputer "casalingo", costruito anch'esso da assemblatori, è connesso con il laboratorio per assemblatori, e quest'ultimo è con l'interruttore d'alimentazione su "on", il display mostrerà una immagine tridimensionale di ciò che il computer del laboratorio sta simulando, una immagine nella quale gli atomi sono rappresentati come sfere colorate. Con un joystick, potete dirigere il braccio dell'assemblatore simulato affinché costruisca delle cose. Dei programmi appositi possono velocizzare il movimento del braccio, e voi potete così costruire sullo schermo, in un semplice batter d'occhio, strutture anche molto elaborate. La simulazione funziona sempre alla perfezione poiché il nanocomputer imbroglia: quando muovete il braccio simulato per spostare molecole simulate, il computer dirige un braccio vero per spostare molecole vere. Quindi, lo stesso computer verifica i risultati e, se ne riscontra la necessità, corregge i suoi calcoli (16).  

All'estremità di questo oggetto della dimensione di un pollice, c'è una sfera costituita da molti livelli concentrici. Cavi sottili convogliano dentro la sfera, attraversandone i suoi livelli, energia d'alimentazione e segnali elettrici; Questi cavi consentono al nanocomputer posto in cima di comunicare con i dispositivi al centro della sfera. Il livello più esterno è composto da sensori. Ogni tentativo di rimuovere o penetrare questo livello fa scattare un segnale diretto verso un livello più interno, vicino al nucleo. Il livello successivo a quello esterno è uno spesso guscio sferico di diamante composito pretrattato, ossia che è stato sottoposto a stiramento delle sue regioni più esterne e a compressione di quelle più interne. Questo secondo livello circonda un successivo livello di isolamento termico, che a sua volta circonda un guscio della dimensione di un grano di pepe e composto da blocchi microscopici, opportunamente disposti, di metallo ed ossidante. Tali blocchi sono connessi a dei dispositivi elettrici ignitori. Quando viene penetrato, il livello più esterno composto dai sensori fa scattare gli ignitori. La carica di demolizione è composta dai blocchi di metallo e ossidante, per cui essa brucia in una frazione di secondo e produce un gas di ossidi metallici più denso dell'acqua e quasi altrettanto caldo della superficie del sole. Ma la fiamma è minuscola in estensione e di breve durata, per cui la sfera di diamante riesce comunque a confinare l'enorme pressione sviluppata.  

Questa carica demolitrice circonda un guscio composito più piccolo, che a sua volta circonda un altro livello di sensori altrettanto in grado di attivare la carica demolitrice. Questi sensori circondano la cavità che contiene infine il vero e proprio "laboratorio sigillato per assemblatori".  

Precauzioni così elaborate giustificano il termine "sigillato". Nessuno dall'esterno potrebbe aprire il laboratorio senza provocare la distruzione del suo contenuto, e nessun assemblatore o struttura costruita da assemblatori potrebbe evadere dal suo interno. Il sistema è progettato per consentire la fuoriuscita di informazioni ma non di replicatori o strumenti pericolosi. Ogni livello di sensori è costituito da molti altri, ridondanti, livelli di sensori (17), ognuno pensato per rilevare ogni possibile penetrazione, ed ognuno pronto a sopperire alle eventuali mancanze degli altri. La penetrazione, attivando la carica demolitrice, innalzerebbe la temperatura del laboratorio oltre il punto di fusione di tutte le possibili sostanze contenute al suo interno, rendendo perciò impossibile la sopravvivenza dei dispositivi pericolosi. Questi meccanismi protettivi sono tutti coalizzati contro qualcosa che ha un milionesimo della sua dimensione - il che significa che qualunque cosa sia dentro il laboratorio, essa occupa uno spazio sferico dal diametro non più grande di quello di un capello umano.  

Sebbene sia molto piccolo secondo gli standard ordinari, questo ambiente di lavoro ha spazio a sufficienza per milioni di assemblatori e milioni di miliardi di atomi. Tali laboratori sigillati per assemblatori consentiranno alla gente di costruire e sperimentare dispositivi, persino dispositivi come replicatori voraci, in condizioni di completa sicurezza. I bambini potranno usare gli atomi all'interno come fossero un insieme di pezzi di un gioco di costruzioni dal numero di parti quasi illimitato. Gli appassionati si scambieranno programmi per costruire diversi congegni. Gli ingegneri costruiranno e sperimenteranno nuove nanotecnologie. I chimici, gli scienziati dei materiali e i biologi costruiranno apparati e eseguiranno esperimenti. In laboratori come questi costruiti attorno a campioni biologici, ingegneri biomedici svilupperanno e sperimenteranno le prime macchine ripara-cellule.  

Nel corso di questo lavoro, la gente svilupperà in modo naturale progetti utili, siano essi circuiti per computer, materiali resistenti, dispositivi medici o qualsiasi altra cosa. Dopo una verifica pubblica della loro sicurezza, gli oggetti prodotti potrebbero essere resi disponibili anche fuori dai laboratori sigillati, programmando alcuni assemblatori limitati perché li costruiscano. Laboratori sigillati e assemblatori limitati saranno una coppia di entità complementari: i primi ci consentiranno di inventare liberamente; i secondi ci permetteranno di godere in sicurezza dei frutti delle nostre invenzioni. Avere la possibilità di una pausa fra la fase di progettazione e la fase di rilascio, ci aiuterà a evitare sorprese mortali.  

I laboratori sigillati daranno alla società intera la possibilità di applicare la propria creatività ai problemi della nanotecnologia. E questo ci preparerà più rapidamente ai tempi in cui una forza indipendente imparerà a costruire qualcosa di maligno.  

Nascondere informazioni  

In un'altra strategia per guadagnare tempo, la forza dominante potrà tentare di bruciare i ponti che essa stessa ha costruito fra la tecnologia di mole e la tecnologia molecolare. Questo significa distruggere le registrazioni delle modalità seguite per ottenere i primi assemblatori (oppure di rendere tali registrazioni completamente inaccessibili). La forza dominante potrebbe essere in grado di sviluppare i primi e rozzi assemblatori in modo tale che nessuno conosca i dettagli di realizzazione eccetto che per una piccola frazione dell'intero sistema. Immaginiamo di sviluppare assemblatori attraverso il percorso delineato nel capitolo 1. Le macchine proteiche che sfrutteremo per costruire i primi rozzi assemblatori diventerebbero presto obsolete. Se distruggiamo le registrazioni della progettazione delle proteine (18), gli sforzi di duplicazione di tali progettazioni verrebbero ostacolati, sebbene ciò non ostacolerebbe l'ulteriore progresso della nanotecnologia.  

Se i laboratori sigillati e gli assemblatori limitati saranno diffusamente disponibili, la gente non avrà alcuna motivazione economica o scientifica per sviluppare nuovamente ed indipendentemente la nanotecnologia, e l'aver bruciato i ponti dalla tecnologia di mole renderà più difficile uno sviluppo indipendente. E tuttavia queste strategie, non possono essere nulla più che semplici tattiche per guadagnare un po' di tempo. Esse infatti non arresteranno lo sviluppo indipendente; l'umana urgenza di potere stimolerà sforzi che potranno infine risultare nel successo. Solo una politica dettagliata, universale e condotta su scala totalitaria potrebbe arrestare lo sviluppo indipendente su un tempo indeterminato. Se questa politica fosse condotta da qualsiasi cosa simile ad un moderno governo, essa rappresenterebbe di certo una cura grosso modo pericolosa quanto lo è la malattia. Ed anche in tal caso, la gente potrebbe mantenere per sempre una vigilanza perfetta?  

Pare che dovremo infine imparare a vivere in un mondo in cui esisteranno replicatori inaffidabili. Una sorta di strategia potrebbe essere quella di nasconderli dietro un muro o di farli operare molto lontano. Ma si tratta di metodi effimeri: i replicatori pericolosi potrebbero infrangere il muro o percorrere la distanza che li tiene separati da noi. E nonostante i muri possano essere realizzati a prova di replicatori, nessun muro fisso può essere a prova di una malizia su larga scala e ben organizzata (19). Abbiamo bisogno di un approccio più robusto e più flessibile.  

Scudi attivi

Pare quindi che potremo costruire nanomacchine che, in qualche modo, agiscano in modo analogo ai globuli bianchi del sistema immunitario umano: ossia dispositivi che possono combattere non solo virus e batteri, ma anche replicatori pericolosi di ogni tipo. Attribuiamo quindi ad una difesa automatica di questo tipo la denominazione di "scudo attivo", per distinguerla dal tipo di difesa passiva rappresentata da una semplice parete fissa.  

A differenza degli ordinari sistemi di ingegneria, gli scudi attivi affidabili devono fare ben più che semplicemente tener testa alla natura o ad utenti maldestri. Essi devono anche far fronte ad una sfida ancora più grande - ossia fronteggiare l'intero spettro di minacce che forze intelligenti, a seconda delle circostanze, possono progettare e costruire. La costruzione e il miglioramento di prototipi di scudi, equivarrà ad una corsa agli armamenti, portata avanti da entrambe le parti in gioco sotto forma di ricerche di laboratorio. Ma lo scopo qui sarà quello di ricercare i requisiti minimi per una difesa che sia affidabilmente duratura.  

Nel capitolo 5 ho descritto come il Dr. Lenat ed il suo programma EURISKO hanno evoluto delle flotte di successo e coerenti con le regole di un gioco di simulazione di guerra navale. In maniera analoga, possiamo tradurre in un gioco lo sforzo mortalmente serio di sviluppare scudi affidabili, utilizzando come campi da gioco "laboratori sigillati per assemblatori" di varie dimensioni. Potremmo sguinzagliare un'orda di ingegneri, hackers dei computer, biologi, hobbisti e sistemi di ingegneria automatizzata, invitandoli tutti a mettere in campo i loro sistemi l'uno contro l'altro in giochi limitati solo dalla condizione di partenza, dalle leggi della natura e dalle pareti che delimitano i laboratori sigillati. Questi competitori evolveranno minacce e scudi in una serie infinità di microbattaglie. Quando gli assemblatori ci doneranno l'abbondanza, la gente avrà tempo a sufficienza per un gioco tanto importante. Alla fine, possiamo mettere alla prova i sistemi di scudo più promettenti in un ambiente spaziale analogo alla Terra. Il successo renderebbe possibile un sistema in grado di proteggere la vita umana e la biosfera Terrestre dalle cose peggiori che un pugno di replicatori dispersi può fare.  

Il successo è possibile?  

Con le nostre attuali incertezze, non possiamo ancora descrivere con precisione né le minacce né le difese. Ma ciò significa che non possiamo riporre fiducia alcuna sulla possibilità di realizzare delle difese efficaci? A quanto pare, invece, possiamo farlo; dopo tutto, c'è una certa differenza fra sapere che una certa cosa è possibile e sapere come farla. E per questo particolare caso, il mondo ci mostra vari esempi di successi ottenuti in condizioni analoghe.  

Non c'è nulla di fondamentalmente inedito nel difendersi da invasioni di replicatori; la vita l'ha fatto per ere. Gli assemblatori-replicatori, sebbene insolitamente potenti, saranno sistemi fisici non dissimili da quelli che già conosciamo. L'esperienza suggerisce che possono essere controllati.  

I virus sono macchine molecolari che invadono le cellule; le cellule utilizzano macchine molecolari (come enzimi di restrizione ed anticorpi) per difendersi dai virus. I batteri sono cellule che invadono gli organismi; gli organismi utilizzano cellule (come i globuli bianchi del sangue) per difendersi dai batteri. Analogamente, le società utilizzano polizie per difendersi dai criminali ed eserciti per difendersi dagli invasori. Su un livello meno fisico, le menti usano sistemi memetici, come il metodo scientifico, per difendersi dall'insensatezza, e le società usano istituzioni, come i tribunali, per difendersi dal potere di altre istituzioni.  

L'esempio biologico dell'ultimo paragrafo mostra che persino dopo un miliardo di anni di corsa agli armamenti, le macchine molecolari hanno mantenuto delle difese di successo contro i replicatori molecolari. I fallimenti sono stati comunque molto comuni, ma il successo indica che una difesa è possibile. Questi successi suggeriscono che dovremmo infatti usare delle nanomacchine per difenderci da altre nanomacchine. Nonostante gli assemblatori porteranno molti progressi, non sembra esserci alcuna ragione per cui essi dovrebbero permanentemente restare in equilibro di forze contro i sistemi di difesa.  

Gli esempi appena riportati, alcuni dei quali riguardano i virus, mentre altri riguardano invece le istituzioni, sono sufficientemente variegati da suggerire che una difesa di successo si basa su principi generali. Ci si potrebbe domandare: perché tutti questi sistemi difensivi funzionano? Ma rigiriamo la domanda: Perché dovrebbero fallire? Ogni conflitto forgia sistemi simili a quelli degli avversari, non lasciando all'attaccante alcun vantaggio ovvio (20). In ogni conflitto, inoltre, gli attaccanti affrontano una difesa che è ben insediata. I difensori lottano sul loro proprio terreno, e ciò da loro il vantaggio di avere posizioni preparate, conoscenza dettagliata del luogo, scorte di risorse ed abbondanza di alleati: quando il sistema immunitario riconosce un germe, può immobilizzare le risorse di un intero corpo. Tutti questi vantaggi sono generali e basilari, ed hanno poco a che fare con i dettagli della tecnologia. Possiamo dotare le nostre difese attive degli stessi vantaggi di cui godono i replicatori pericolosi. E tali difese non devono necessariamente starsene sedute ed inattive intanto che le armi vengono accumulate, non più di quanto il sistema immunitario debba starsene seduto ed inattivo mentre i batteri si moltiplicano.  

Sarebbe difficile prevedere l'esito dal finale aperto di una corsa agli armamenti fra potenze equipaggiate con assemblatori-replicatori. Ma pare probabile che prima che questa situazione possa insorgere, la forza dominante acquisisca un temporaneo ma schiacciante vantaggio militare. Se l'esito di una corsa agli armamenti dovesse essere in dubbio, la forza dominante probabilmente impiegherà la sua forza per assicurare che a nessun avversario sia consentito di raggiungerlo. Se così fosse, allora, gli scudi attivi non dovrebbero mai vedersi costretti a resistere ad attacchi che si basino sull'impiego delle risorse di mezzo continente o di mezzo sistema solare; esse saranno invece come una forza di polizia o un sistema immunitario, poiché dovranno affrontare soltanto attacchi basati unicamente sulle risorse che possono essere raccolte in segreto e all'interno del territorio protetto.  

In ognuno dei casi di difesa di successo che ho citato in precedenza, gli attaccanti ed i difensori si sono sviluppati attraverso processi in massima parte analoghi. Il sistema immunitario, modellato dall'evoluzione genetica, affronta minacce anch'esse modellate dall'evoluzione genetica. Gli eserciti, modellati dalle menti umane, affrontano analoghe minacce. Allo stesso modo, sia le difese attive che i replicatori pericolosi saranno modellati dall'evoluzione memetica. Ma se la forza dominante può sviluppare sistemi di ingegneria automatizzata che lavorino un milione di volte più velocemente rispetto agli ingegneri umani, e se potrà utilizzare tali sistemi anche solo per un anno, essa costruirà difese attive basate sui ripensamenti di un milione di anni di progresso ingegneristico. Con tali sistemi saremo in grado di esplorare i limiti del possibile abbastanza bene da costruire una difesa affidabile contro tutte le possibili minacce.  

Anche senza conoscere i dettagli delle minacce e delle difese, ci sono ragioni di credere che la difesa sia possibile. Ed anche gli esempi di memi che vigilano su altri memi, o di istituzioni che vigilano su altre istituzioni, suggeriscono che i sistemi IA possono vigilare su altri sistemi IA.  

Nel costruire difese attive, saremo in grado di utilizzare la potenza dei replicatori e dei sistemi IA per moltiplicare i tradizionali vantaggi delle forze di difesa: possiamo dotare le difese di una forza schiacciante, grazie alla ridondanza dell'hardware costruito da assemblatori ed il cui progetto è basato sull'equivalente di un milione di anni di progresso tecnologico. Possiamo costruire difese attive che abbiano forza e affidabilità tali da far vergognare i sistemi passati.  

Nanotecnologia e Intelligenza Artificiale possono anche dotarci degli strumenti di distruzione definitivi, ma esse non sono intrinsecamente distruttive. Con la appropriata cautela, possiamo impiegarle per costruire gli strumenti di pace definitivi.  


Note e bibliografia
Torna all'Indice
Vai al prossimo capitolo: Strategie e sopravvivenza

 

Tecnofascismo? No grazie.

  • Una serie di articoli su sovrumanismo e dintorni e sui motivi che hanno spinto Estropico ad andarsene dalla Associazione Italiana Transumanisti.
  • Aggiornamenti (su Estropico Blog)

Varie