Selama tujuh tahun terakhir, pekerja Departemen Layanan Kemanusiaan Kabupaten Allegheny telah sering menggunakan program pemodelan risiko prediksi AI untuk membantu menilai faktor risiko anak-anak untuk ditempatkan di sistem pengasuhan di wilayah Pittsburgh yang lebih besar. Namun, dalam beberapa bulan terakhir, algoritme yang mendasari di balik Allegheny Family Screening Tool (AFST) telah menerima peningkatan pengawasan atas desain buram mereka, dengan mempertimbangkan bias berbasis ras, kelas, dan gender alat prediksi AI yang sudah lama ada.
Penyelidikan sebelumnya ke algoritme Alat Skrining Keluarga Allegheny oleh Associate Press mengungkapkan poin data tertentu dapat ditafsirkan sebagai deskripsi pengganti untuk kelompok ras. Namun sekarang tampaknya AFST juga dapat memengaruhi keluarga dalam komunitas penyandang disabilitas serta keluarga dengan riwayat kondisi kesehatan mental. Dan Departemen Kehakiman memperhatikan.
[Related: The White House’s new ‘AI Bill of Rights’ plans to tackle racist and biased algorithms.]
Menurut laporan baru yang diterbitkan hari ini dari Associated Pressbeberapa pengaduan resmi mengenai AFST telah diajukan melalui Divisi Hak Sipil Departemen Kehakiman, dengan mengutip APpenyelidikan sebelumnya terhadap masalah potensialnya. Sumber anonim di Departemen Kehakiman mengatakan para pejabat khawatir bahwa AFST terlalu mengandalkan data historis yang berpotensi miring berisiko “mengotomatiskan ketidaksetaraan masa lalu”, terutama bias yang sudah berlangsung lama terhadap penyandang disabilitas dan masalah kesehatan mental.
Itu AP menjelaskan Alat Penyaringan Keluarga Allegheny menggunakan program AI “perintis” yang dirancang untuk membantu pekerja sosial yang bekerja terlalu keras di wilayah Pittsburgh yang lebih besar untuk menentukan keluarga mana yang memerlukan penyelidikan lebih lanjut terkait klaim kesejahteraan anak. Lebih khusus lagi, alat ini dibuat untuk membantu memprediksi potensi risiko seorang anak yang ditempatkan di panti asuhan dalam waktu dua tahun setelah penyelidikan terhadap lingkungan keluarga mereka.
Desain kotak hitam AFST dilaporkan memperhitungkan banyak faktor kasus, termasuk “data pribadi dan kelahiran, Medicaid, penyalahgunaan zat, kesehatan mental, catatan penjara dan masa percobaan, di antara kumpulan data pemerintah lainnya,” untuk menentukan penyelidikan lebih lanjut atas pengabaian. Meskipun pekerja layanan sosial manusia pada akhirnya memutuskan apakah akan menindaklanjuti kasus setelah hasil algoritme AFST atau tidak, kritikus berpendapat bahwa penilaian program yang berpotensi salah dapat memengaruhi keputusan karyawan.
[Related: The racist history behind using biology in criminology.]
Seorang juru bicara Departemen Layanan Kemanusiaan Kabupaten Allegheny mengatakan kepada AP bahwa mereka tidak mengetahui adanya keluhan Departemen Kehakiman, juga tidak bersedia untuk membahas kritik yang lebih besar mengenai alat penyaringan.
Sistem layanan perlindungan anak telah lama menghadapi banyak kritik mengenai keefektifannya secara keseluruhan, serta konsekuensi tidak proporsional yang dihadapi oleh keluarga kulit hitam, cacat, miskin, dan terpinggirkan. Situs web resmi AFST sangat menampilkan studi, laporan, dan artikel pihak ketiga yang membuktikan keandalan dan utilitas program.
