الأسبوع الماضي ، WIRED نشر سلسلة من القصص المتعمقة المستندة إلى البيانات حول الخوارزمية الإشكالية التي نشرتها مدينة روتردام الهولندية بهدف القضاء على الاحتيال المتعلق بالمزايا.
بالشراكة مع Lighthouse Reports ، وهي منظمة أوروبية متخصصة في الصحافة الاستقصائية ، تمكنت WIRED من الوصول إلى الأعمال الداخلية للخوارزمية بموجب قوانين حرية المعلومات واستكشفت كيفية تقييمها لمن من المرجح أن يرتكب الاحتيال.
لقد وجدنا أن الخوارزمية تميز على أساس العرق والجنس – مما يمنح النساء والأقليات درجات مخاطر أعلى بشكل غير عادل ، مما قد يؤدي إلى تحقيقات تتسبب في إلحاق ضرر كبير بالحياة الشخصية للمدعين. مقال تفاعلي يتعمق في تفاصيل الخوارزمية ، ويأخذك من خلال مثالين افتراضيين لإظهار أنه في حين أن العرق والجنس ليسا من بين العوامل التي يتم إدخالها في الخوارزمية ، فإن البيانات الأخرى ، مثل إتقان اللغة الهولندية للشخص ، يمكن أن تكون بمثابة وكيل التي تمكن من التمييز.
يوضح المشروع كيف يمكن للخوارزميات المصممة لجعل الحكومات أكثر كفاءة – والتي غالبًا ما يتم الإعلان عنها على أنها أكثر عدلاً وأكثر اعتمادًا على البيانات – أن تضخم سرًا التحيزات المجتمعية. وجد تحقيق WIRED و Lighthouse أيضًا أن دولًا أخرى تختبر أساليب معيبة بالمثل للعثور على المحتالين.
يقول Dhruv Mehrotra ، مراسل البيانات الاستقصائية في WIRED الذي عمل في المشروع: “ظلت الحكومات تدمج الخوارزميات في أنظمتها لسنوات ، سواء كانت جداول بيانات أو بعض التعلم الآلي الرائع”. “ولكن عندما يتم تطبيق خوارزمية مثل هذه على أي نوع من أنواع إنفاذ القانون العقابية والتنبؤية ، فإنها تصبح شديدة التأثير ومخيفة للغاية.”
قد يكون تأثير التحقيق الذي أجرته خوارزمية روتردام مروعًا ، كما رأينا في حالة أم لثلاثة أطفال واجهت الاستجواب.
لكن ميهروترا يقول إن المشروع كان قادرًا فقط على تسليط الضوء على مثل هذه المظالم لأن WIRED و Lighthouse كان لديهما فرصة لفحص كيفية عمل الخوارزمية – تعمل أنظمة أخرى لا حصر لها مع الإفلات من العقاب تحت غطاء الظلام البيروقراطي. ويقول إنه من المهم أيضًا إدراك أن الخوارزميات مثل تلك المستخدمة في روتردام غالبًا ما تُبنى فوق أنظمة غير عادلة بطبيعتها.
يقول: “في كثير من الأحيان ، تعمل الخوارزميات على تحسين تقنية عقابية بالفعل للرفاهية أو الاحتيال أو ضبط الأمن”. “لا تريد أن تقول أنه إذا كانت الخوارزمية عادلة ، فسيكون ذلك جيدًا.”
من الأهمية بمكان أيضًا إدراك أن الخوارزميات أصبحت منتشرة بشكل متزايد في جميع مستويات الحكومة ، ومع ذلك غالبًا ما تكون أعمالها مخفية تمامًا عن من هم الأكثر تضررًا.
يُظهر تحقيق آخر أجراه مهروتا في عام 2021 ، قبل انضمامه إلى WIRED ، كيف استهدف برنامج التنبؤ بالجرائم الذي تستخدمه بعض إدارات الشرطة مجتمعات السود واللاتينكس بشكل غير عادل. في عام 2016 ، كشفت ProPublica عن تحيزات مروعة في الخوارزميات التي تستخدمها بعض المحاكم في الولايات المتحدة للتنبؤ بالمتهمين الجنائيين الأكثر تعرضًا لخطر إعادة الإجرام. تحدد الخوارزميات الإشكالية الأخرى المدارس التي يلتحق بها الأطفال ، وتوصي الشركات التي يجب أن توظفها ، وتقرر طلبات الرهن العقاري للعائلات التي تمت الموافقة عليها.
تستخدم العديد من الشركات الخوارزميات لاتخاذ قرارات مهمة أيضًا ، بالطبع ، وغالبًا ما تكون أقل شفافية من تلك الموجودة في الحكومة. هناك حركة متزايدة لمحاسبة الشركات على اتخاذ القرارات الحسابية ، ودفع لتشريع يتطلب رؤية أكبر. لكن القضية معقدة – وجعل الخوارزميات أكثر عدلاً قد يجعل الأمور أسوأ في بعض الأحيان.
