كان تأثير الخوارزمية على مجتمع الغجر في صربيا دراماتيكيًا. يقول أحمدوفيتش إن أخته قد قطعت أيضًا مدفوعات الرعاية الاجتماعية منذ إدخال النظام ، لأن لديهم العديد من جيرانه. يقول Danilo Ćurčić ، منسق برنامج A11 ، وهي منظمة صربية غير ربحية تقدم المساعدة القانونية: “لقد فقد جميع الأشخاص الذين يعيشون في مستوطنات الروما في بعض البلديات تقريبًا مزاياهم”. تحاول A11 مساعدة Ahmetovićs وأكثر من 100 عائلة أخرى من الغجر لاستعادة مزاياهم.
لكن أولاً ، يحتاج أورسيتش إلى معرفة كيفية عمل النظام. حتى الآن ، رفضت الحكومة طلباته لمشاركة كود المصدر على أسس الملكية الفكرية ، زاعمة أنه ينتهك العقد الذي وقعوا عليه مع الشركة التي قامت بالفعل ببناء النظام ، على حد قوله. وفقًا لـ Ćurcić وعقد حكومي ، فإن شركة صربية تدعى Saga ، متخصصة في الأتمتة ، شاركت في بناء نظام البطاقة الاجتماعية. لم تستجب Saga ولا وزارة الشؤون الاجتماعية الصربية لطلبات WIRED للتعليق.
باعتبارها govtech نما القطاع ، وكذلك نما عدد الشركات التي تبيع أنظمة للكشف عن الاحتيال. وليس كلهم شركات ناشئة محلية مثل Saga. Accenture – أكبر شركة عامة في أيرلندا ، والتي توظف أكثر من نصف مليون شخص في جميع أنحاء العالم – عملت على أنظمة الاحتيال في جميع أنحاء أوروبا. في عام 2017 ، ساعدت شركة Accenture مدينة روتردام الهولندية في تطوير نظام يحسب درجات المخاطر لكل مستفيد من الرعاية الاجتماعية. تشير وثيقة الشركة التي تصف المشروع الأصلي ، والتي حصلت عليها Lighthouse Reports و WIRED ، إلى نظام التعلم الآلي المبني من Accenture والذي قام بتمشيط البيانات الخاصة بآلاف الأشخاص للحكم على مدى احتمالية ارتكاب كل منهم للاحتيال في مجال الرعاية الاجتماعية. وتقول الوثيقة: “يمكن للمدينة بعد ذلك فرز متلقي الرعاية الاجتماعية حسب خطر عدم شرعية الأفراد ، بحيث يمكن التحقيق مع الأفراد الأكثر عرضة للخطر أولاً”.
قال مسؤولون في روتردام إن نظام Accenture كان يستخدم حتى عام 2018 ، عندما تولى فريق في قسم الأبحاث وذكاء الأعمال في روتردام تطوير الخوارزمية. عندما قامت Lighthouse Reports و WIRED بتحليل إصدار 2021 من خوارزمية الاحتيال في روتردام ، أصبح من الواضح أن النظام يميز على أساس العرق والجنس. وحوالي 70 في المائة من المتغيرات في نظام 2021 – فئات المعلومات مثل الجنس واللغة المنطوقة وتاريخ الصحة العقلية التي استخدمتها الخوارزمية لحساب مدى احتمالية ارتكاب شخص ما للاحتيال في مجال الرعاية الاجتماعية – بدت أنها مماثلة لتلك الموجودة في Accenture إصدار.
عند سؤاله عن أوجه التشابه ، قال المتحدث باسم شركة Accenture ، تشينيدو أوديزو ، إن “نموذج بدء التشغيل” للشركة قد تم نقله إلى المدينة في عام 2018 عندما انتهى العقد. توقفت روتردام عن استخدام الخوارزمية في عام 2021 ، بعد أن وجد المدققون أن البيانات التي استخدمتها تنطوي على مخاطرة بخلق نتائج متحيزة.
تقوم الشركات الاستشارية عمومًا بتنفيذ نماذج التحليلات التنبؤية ثم تغادر بعد ستة أو ثمانية أشهر ، كما يقول شيلز ، رئيس الخدمات العامة في أوروبا في شركة Accenture. ويقول إن فريقه يساعد الحكومات على تجنب ما يصفه بلعنة الصناعة: “الإيجابيات الكاذبة” ، مصطلح شيلز للأحداث المدمرة للحياة لخوارزمية تقوم بشكل غير صحيح بوضع علامة على شخص بريء للتحقيق. “قد يبدو هذا وكأنه طريقة سريرية للغاية للنظر إليه ، ولكن من الناحية الفنية ، هذا كل ما في الأمر.” يدعي شيلز أن Accenture يخفف من ذلك من خلال تشجيع العملاء على استخدام الذكاء الاصطناعي أو التعلم الآلي لتحسين ، بدلاً من استبدال ، صنع القرار لدى البشر. وهذا يعني ضمان عدم تعرض المواطنين لعواقب وخيمة على أساس قرار الذكاء الاصطناعي فقط. ”
ومع ذلك ، فإن الأخصائيين الاجتماعيين الذين طُلب منهم التحقيق في الأشخاص الذين تم الإبلاغ عنهم بواسطة هذه الأنظمة قبل اتخاذ قرار نهائي لا يمارسون بالضرورة حكمًا مستقلاً ، كما تقول إيفا بلوم دومونتيت ، مستشارة سياسة التكنولوجيا التي بحثت في الخوارزميات في نظام الرعاية الاجتماعية في المملكة المتحدة لمجموعة حملات الخصوصية الدولية. . تقول: “لا يزال هذا الإنسان متأثرًا بقرار الذكاء الاصطناعي”. “وجود إنسان في الحلقة لا يعني أن الإنسان لديه الوقت أو التدريب أو القدرة على التشكيك في القرار.”
