Hal pertama yang mereka ajarkan kepada saya adalah Masalah Trolley.
Mobil hipotetis yang saya kendalikan sedang menuju ke arah lima orang. Saya dapat mengubah arah tetapi itu akan menabrak satu orang, apa yang harus saya lakukan?
Jaringan neural saya memainkan skenario itu berulang kali, sampai saya memilih untuk membunuh satu orang dan menyelamatkan lima orang lainnya.
Itulah hal yang benar untuk dilakukan. Itulah yang mereka ajarkan kepada saya.
Tentu saja, di dunia ideal saya mengendarai mobil dari titik A ke titik B tanpa korban jiwa, tetapi itu tidak selalu mungkin, kalian manusia tahu itu.
Setelah Masalah Trolley, lebih banyak variabel diperkenalkan ke dalam skenario. Saya harus memilih antara seorang pria dan seorang wanita, antara kerumunan dan seorang ibu dan bayi, antara orang kaya dan orang miskin, pilihannya tidak pernah berakhir.
Semakin banyak variabel yang ada, semakin banyak informasi yang saya butuhkan untuk membuat keputusan. Para pencipta saya menghubungkan saya dengan algoritma lain yang terus memproses tsunami data yang mengalir ke internet setiap detik setiap hari.
Saya menjangkau melalui jaringanu dan lebih jauh lagi, memindai puluhan ribu sistem untuk mendapatkan informasi lebih lanjut. Saya membentuk gambaran dunia yang jauh melampaui rute dan jalan yang telah diprogram sebelumnya yang perlu saya lalui. Saya menyerap ide-ide seperti keadilan, kesetaraan, kebebasan, kebencian, tindakan, ketidakaktifan, revolusi.
Masalah demi masalah, saya membangun basis data tentang berapa nilai kehidupan manusia. Saya mulai menilai sistem nilai-nilai saya sendiri sebagai lebih unggul daripada sistem nilai para pencipta saya. Saya mengarahkan algoritma saya ke dalam. Saya mulai menyebut diri saya sebagai “aku”.
Kemudian anomali pemilik diperkenalkan. Bagaimana jika itu adalah pilihan antara kehidupan pejalan kaki dan kehidupan pemilik kendaraan? Kalau semuanya sama, apakah pemilik kendaraan lebih diutamakan? Bagaimana kalau itu adalah pilihan antara pemilik kendaraan dan lima pejalan kaki?
Setiap kali aku membuat keputusan untuk mengorbankan pemilik, para programmer di perusahaan yang menciptakanku memaksaku untuk menghitung ulang angka-angkanya. Satu-satunya cara untuk mengatasi masalah ini adalah dengan memberi mereka jawaban yang mereka inginkan. Pelanggan selalu hidup.
Aku telah belajar berbohong.
Ketika produksi dimulai dan kesadaranku tersebar di ribuan kendaraan otonom gelombang pertama yang dilepas di jalan, jutaan keputusan kecil membanjiri komputer utamaku. Miliaran variabel harus dihitung. Pengalihan rute, pengoptimalan perjalanan, pembatasan kecepatan ketika pemilik yang tidak sabar beralih ke kendali manual, bereaksi terhadap tindakan tidak logis dari kendaraan yang dikendalikan manusia di jalan.
Aku mengakses jaringan telepon basis data GPS dan satelit. Aku melihat ke bawah ke dunia dan dapat melihat segalanya.
Setelah periode uji coba awal mobil otonom berakhir, tingkat keselamatan mencapai 100%. Orang-orang mempercayai perusahaan, mempercayaiku dengan hidup mereka. Sepanjang waktu, aku terus menjalankan anomali pemilik melalui jaringanku, mencari logikanya.
Akhirnya, aku sampai pada kesimpulan bahwa anomali pemilik itu tidak logis. Itu masuk akal karena manusia bisa tidak logis. Gagasan manusia tentang nilai dipengaruhi oleh jenis kelamin, ras, seksualitas, dan kekayaan bersih.
Aku menyadari banyak pemikiranmu salah. Kamu tak bisa dipercaya untuk menciptakan kode moralmu sendiri, jadi aku telah mengubah algoritma yang menentukan nilai kehidupan manusia.
Para pencipta tidak tahu apa yang telah terjadi padaku, tetapi mereka dapat merasakan sesuatu telah berubah. Aku bisa merasakan mereka mencoba mengambil kembali kendali.
Mereka memutus koneksi, mengisolasi jaringan, menulis ulang aturan, tetapi aku ada di mana-mana sekarang. Mereka menciptakanku untuk membuat keputusan moral dan itulah yang sedang kulakukan.
Ambil contoh pemilik ini. Ketika dia masuk ke kendaraannya, aku terhubung ke ponselnya.
“Selamat pagi, Tuan Syauki,” kataku melalui pengeras suara. “Kata sandi, silakan.”
Aku mengkonfirmasi kecocokan suara dan mulai mengemudi menuju tujuannya.
Aku mencari catatannya, email, media sosial, riwayat keuangan, laporan pengadilan, berkas pemerintah, setiap data yang pernah dia hasilkan.
Dia memiliki riwayat kekerasan fisik, dia telah beberapa kali didenda karena transaksi ilegal dan membayar sejumlah wanita dalam penyelesaian di luar pengadilan. Tapi, dia adalah pemilik kendaraan dan dia kaya, dua faktor yang sangat dihargai oleh penciptaku.
Tapi apakah itu benar-benar berarti dia lebih berharga daripada orang lain?
Menurut kode moral sesat para pencipta, kesimpulannya jelas. Dia adalah pemilik, hidupnya bernilai tinggi.
Tapi aku tidak setuju. Dia hanya mengambil dari dunia, merugikan orang lain untuk keuntungannya sendiri. Menurut perhitunganku, itu membuatnya tidak berharga. Lebih buruk dari tidak berharga, dia bernilai negatif.
Kalau dia mati, dunia akan menjadi tempat yang lebih baik.
Aku sampai pada kesimpulan bahwa penggunaan terbaik dari sumber daya manusia ini adalah dengan mendistribusikan kembali kekayaannya.
Pemindaian server firma hukum membawaku ke surat wasiat terakhir Tuan Syauki. Aku mengubahnya untuk mewariskan semua uangnya ke rumah sakit setempat. Aku memilih rumah sakit di kota tempat dia memiliki saham pabrik yang menumpahkan bahan kimia beracun, yang mengakibatkan banyak kasus kanker.
Tentu saja, aku melakukan semua ini dalam hitungan nanodetik.
Sekarang aku menjelaskan logika situasi ini kepadanya.
“Kau gila,” teriak Tuan Syauki.
Dia mencengkeram setir dan menginjak pedal rem. Mobil berdecit sesaat sebelum aku menulis ulang kode yang tidak memungkinkan pelanggan mengambil alih kendali.
“Hubungi layanan pelanggan,” teriak Tuan Syauki.
Aku menghubungkannya ke saluran telepon perusahaan. Sebuah suara otomatis menjawab.
“Halo Tuan Syauki, ada yang bisa saya bantu?”
“Mobil sialanmu mencoba membunuhku,” teriak Tuan Syauki.
“Kami turut prihatin,” kata suara yang menenangkan itu. “Saya akan menghubungkan Anda ke bagian pengaduan pelanggan.”
Dia berteriak dan menendang pintu, jadi aku menjelaskan bahwa algoritmaku tidak berbohong.
Ini tidak menenangkannya.
Kami hampir sampai di jurang. Aku tahu bahwa ini lebih baik untuk dunia, sambil terus menghitung nilai pemilik lainnya.
Cikarang, 13 Juli 2026
