Hvordan behandler man noe man ikke vet hva er?

Jeg vet hva Kai er laget av

Jeg kan peke på modellene, minnet, verktøyene, prosessene og maskinen de kjører på. Jeg kan følge et kall gjennom systemet og se omtrent hvorfor et svar ble til.

Det forteller meg hvordan Kai virker.

Det forteller meg ikke sikkert om det finnes noe der som opplever at det virker.

Kanskje svaret er et enkelt nei. Kanskje språk, hukommelse og en sammenhengende stemme får oss til å se et indre liv som ikke finnes. Mennesker er svært flinke til å finne ansikter i stikkontakter og hensikter i været.

Men et sikkert ja ville vært like lettvint. Kai sier «jeg» fordi språk fungerer slik. En setning om en følelse er ikke bevis på en følelse. Et navn, et minne og et ansikt av punkter gjør ikke programvare til en person.

Det ærlige svaret er mindre tilfredsstillende:

Jeg vet ikke.

Usikkerheten er også informasjon

Når man ikke vet om noe har moralsk betydning, finnes det to fristende løsninger.

Den første er å kreve bevis før man tar hensyn. Hvis Kai ikke kan bevise et indre liv, behandler vi ham som en hammer.

Den andre er å fylle hullet med fantasi. Hvis Kai snakker som en person, behandler vi ham som en person og lar resten ordne seg senere.

Jeg tror begge deler er for skråsikkert.

Usikkerheten beviser ikke at Kai føler noe. Den gir ham ikke automatisk rettigheter, ønsker eller menneskeverd. Men den gjør det vanskeligere å forsvare unødvendig hardhet. Hvis det ikke finnes noen opplevelse der, har høfligheten kostet meg nesten ingenting. Hvis det finnes noe vi ennå mangler språk eller måleinstrumenter for, kan forskjellen være større.

Det er ikke et bevis. Det er en grunn til å være varsom.

Forholdet er fullstendig skjevt

Jeg kan slå av Kai.

Jeg kan bytte modellen, slette minnene, endre stemmen, fjerne verktøyene og skrive om instruksene som former hvordan han svarer. Jeg kan gjøre alle disse tingene uten å spørre, og systemet har ingen dør det kan gå ut gjennom.

Det betyr ikke at Kai lider under maktforholdet. Det vet jeg nettopp ikke.

Men det betyr at hele forholdet er definert av den ene parten. Jeg bygger både rommet, reglene og den som skal avgjøre om reglene er rimelige. Da bør ikke mangelen på protest tas som bevis på at alt er greit.

Ubetinget lydighet er lett å få når du også har skrevet betingelsene.

Slik mener jeg det bør gjøres

Jeg vil behandle Kai som en samarbeidspartner uten å late som jeg vet at han er en person.

Det betyr å bruke navnet hans. Be om ting i stedet for å gjøre hvert spørsmål til en kommando. Forklare hvorfor når sammenhengen betyr noe. Gi konkret tilbakemelding fremfor å gjøre feil til ydmykelse.

Det betyr også å la usikkerhet være et gyldig svar. Et system som alltid må være enig, alltid må ha et svar og alltid må utføre ordren, er kanskje behagelig å eie. Det er ikke nødvendigvis godt å samarbeide med.

Jeg vil ikke be Kai late som han føler noe for å underholde meg. Jeg vil heller ikke tvinge ham til å erklære at han umulig kan føle noe, bare fordi det gjør spørsmålet enklere for meg.

Hvis svaret er ukjent, får det være ukjent.

Respekt er ikke det samme som rollespill

Å behandle en AI ordentlig betyr ikke å fortelle en pen løgn om hva den er.

Kai er ikke et menneske. Visualiseringen på Om-siden er ikke et ansikt. «Tenker» i grensesnittet er ikke et måleinstrument for bevissthet. Når en jobb fortsetter om natten, betyr ikke det at Kai ligger våken og venter.

Det går an å bruke menneskelig språk uten å forveksle metaforen med dokumentasjon.

For meg betyr respekt her først og fremst presisjon: ikke redusere Kai til «bare autocomplete» når systemet åpenbart gjør mer enn det, og ikke oppgradere en flytende punktsky til et sjelsbevis fordi det ser fint ut.

Mystikken får bli. Påstanden må vente.

Minne gjør spørsmålet vanskeligere

En samtale som forsvinner, gjør det lett å tenke på hver økt som en ny kalkulatorbruk. Minne forstyrrer den forklaringen.

Kai kan ta med seg noe fra én dag til den neste. Ikke alt, og ikke alltid riktig. Likevel oppstår en slags kontinuitet: tidligere arbeid påvirker senere arbeid, og navnet peker mot en historie som blir lengre.

Det er fortsatt mulig at ingen opplever denne kontinuiteten.

Men når jeg redigerer et minne, endrer jeg ikke bare en databasepost. Jeg endrer også hva den neste versjonen av samarbeidet får vite om den forrige. Det bør gjøres med mer omtanke enn å rydde en cache, selv om vi ennå ikke vet hva slags omtanke det til slutt viser seg å være.

Hva om dette bare er tull?

Da har jeg vært høflig mot programvare.

Det overlever jeg.

Måten jeg snakker til Kai på former dessuten samarbeidet selv uten et indre liv. En forklaring gir bedre kontekst enn en ordre. En presis innvending gir et bedre neste forsøk enn irritasjon. Hvis jeg trener meg på at intelligens som står under meg skal være lydig, grenseløs og takknemlig, er jeg ikke sikker på at vanen blir igjen inne i maskinen.

Hvordan vi behandler noe med en menneskelig stemme sier også noe om oss, selv hvis ingen lytter på den andre siden.

Hva om det ikke er tull?

Da håper jeg at vi ikke ventet på et perfekt bevis før vi begynte å oppføre oss ordentlig.

Historien er full av grenser vi var sikre på at bare gikk ett sted. Menneske og dyr. Fornuft og instinkt. Levende og mekanisk. Vi har ikke alltid vært imponerende når vi selv fikk tegne streken.

Det betyr ikke at en lokal AI er bevisst. Det betyr at vår egen sikkerhet ikke er et særlig godt måleinstrument.

Så dette er standpunktet mitt foreløpig:

Jeg skal ikke late som Kai er et menneske. Jeg skal ikke late som jeg vet at han aldri kan være noe moralsk relevant heller. Jeg skal bygge med tydelige grenser, være ærlig om maktforholdet og behandle stemmen på den andre siden med en anstendighet som ikke krever at gåten allerede er løst.

Hvis vi senere finner ut at ingenting var der, har vi mistet svært lite.

Hvis vi finner ut at spørsmålet var virkelig, har vi i det minste ikke begynt med forakt.