دوفصلنامه تحقیق و توسعه در حقوق خصوصی

دوفصلنامه تحقیق و توسعه در حقوق خصوصی

تحلیل حقوقی نقش هوش‌مصنوعی در امتیازدهی اجتماعی مبتنی بر تبعیض الگوریتمی با تأکید بر قانون هوش‌مصنوعی اتحادیه اروپا

نوع مقاله : مقاله پژوهشی

نویسندگان
1 استادیار دانشگاه امام صادق(ع)
2 دانشجوی کارشناسی، گروه حقوق، پردیس خواهران، دانشگاه امام صادق(ع)، تهران، ایران. نویسنده دوم
چکیده
عنوان مقاله: تحلیل حقوقی نقش کاربست هوش‌مصنوعی در امتیازدهی اجتماعی مبتنی بر تبعیض الگوریتمی با تأکید بر قانون هوش‌مصنوعی اتحادیه اروپا

چکیده

تحولات شتابان در عرصۀ هوش‌مصنوعی، الگوهای سنتی تصمیم‌گیری را دگرگون ساخته و ابعاد نوینی از تعامل انسان و داده را پیش‌روی حقوق‌دانان و سیاست‌گذاران نهاده‌است. در این میان، امتیازدهی اجتماعی به‌عنوان سازوکاری نوظهور که بر مبنای داده‌های رفتاری و ویژگی‌های شخصی افراد، آنان را ارزیابی و طبقه‌بندی می‌کند، به یکی از مناقشه‌برانگیزترین چالش‌های حقوقی روز بدل‌شده‌است. این فرایند، هرچند می‌تواند کارآمدی تصمیمات اداری و تخصیص منابع را افزایش‌دهد، اما در سطح حقوق بنیادین با مفاهیمی چون برابری، کرامت انسانی و حق حریم‌خصوصی در تعارض قرارمی‌گیرد و زمینه‌ساز تبعیض‌های سیستماتیک و نقض حقوق اشخاص می‌شود.

پژوهش حاضر با روش توصیفی ـ تحلیلی، به واکاوی مبانی، چالش‌ها و سازوکارهای حقوقی امتیازدهی اجتماعی مبتنی بر تبعیض الگوریتمی به ویژه در قانون هوش‌مصنوعی اتحادیه اروپا پرداخته‌است. یافته‌ها نشان می‌دهد که اتحادیه اروپا با اتخاذ رویکردی ریسک‌محور و مرحله‌ای، میان نظام‌های ممنوع و پرخطر تمایز نهاده و صرفاً اشکالی از امتیازدهی اجتماعی را که منجر به رفتار ناموجه یا نامتناسب با اشخاص شود، منع‌کرده‌است؛ درحالیکه سایر کاربردها را مشروط به رعایت الزامات شفافیت، توضیح‌پذیری و نظارت انسانی مجازدانسته‌است. در مقابل، نظام حقوقی ایران علی‌رغم برخورداری از اصول کلی منع تبعیض و حمایت از داده‌های شخصی، هنوز فاقد چارچوبی منسجم برای تنظیم و نظارت بر سامانه‌های امتیازدهی مبتنی بر هوش‌مصنوعی است. بر این اساس، مقاله حاضر بر ضرورت طراحی یک نظام بومی حکمرانی ریسک تأکیددارد؛ نظامی که با تلفیق اصول شفافیت، حق اعتراض و مداخلۀ انسانی، از بازتولید تبعیض‌های الگوریتمی جلوگیری‌کرده و به پاسداری از کرامت و برابری اشخاص در عصر داده‌محور بینجامد.

کلید واژگان: امتیازدهی اجتماعی، تبعیض سیستماتیک (الگوریتمی)، سوءگیری الگوریتمی، تعصب.

عنوان مقاله: تحلیل حقوقی نقش کاربست هوش‌مصنوعی در امتیازدهی اجتماعی مبتنی بر تبعیض الگوریتمی با تأکید بر قانون هوش‌مصنوعی اتحادیه اروپا
کلیدواژه‌ها
موضوعات

الف- منابع فارسی

1.        قانون اساسی (۱۳۵۸).
2.        قانون رسیدگی به تخلفات اداری (۱۳۷۲).
3.       سند ملی هوش‌مصنوعی (۱۴۰۳).
4.       مصوبه شورای‌عالی اداری درباره حقوق شهروندی در نظام اداری (۱۳۹۵).
5.       اسماعیلی، محسن، و مهدی نریمان‌پور. (۱۴۰۳). مبانی حقوقی تبادل داده‌های شخصی (مطالعه تطبیقی در مقررات عمومی حفاظت از داده اتحادیه اروپا و حقوق ایران). حقوق اسلامی، ۲۱(۸۲).
6.       انصاری، باقر. (۱۴۰۱). مطالعه حقوقی تبعیض الگوریتمی. دانش حقوق عمومی، ۱۱(۳۸)، ۱۴۱–۱۷۰.
7.       خدایی، زهره، توحیدی، نسیم، کریمی واقف، نرگس و براتی جوآبادی، محمد. (۱۴۰۰). هوش سفید: از اخلاق ماشین تا ماشین اخلاق‌مند. مؤسسه مطالعات فرهنگی و اجتماعی.
8.       خردمندنیا، سهیلا، و تقی‌زاده، مسلم (۱۴۰۳). هوشمصنوعی مولد: چالش‌ها و الزامات برای توسعه و پیاده‌سازی. مرکز پژوهش‌های مجلس، دفتر مطالعات انرژی، صنعت و معدن.[eg1] 
9.       سلحشور، عباس، توکلی، احمدرضا، و حیدری، محمدعلی. (۱۴۰۴). حوزه‌های بهره‌مندی هوش مصنوعی در حقوق بنیادین افراد در پرتو بررسی جهات مشروعیت آن. دانشنامه فقه و حقوق تطبیقی، ۳(۱).
11.      صادقی، محسن، و ملک‌زاده قلعه، امیر. (۱۴۰۵). بازاندیشی مبانی مالکیت خصوصی در بستر دارایی‌های دیجیتال. تحقیق و توسعه در حقوق خصوصی، ۳(۵)، ۲۷۸–۳۲۳.[eg2]  Doi: 10.22034/analysis.2025.2076273.1136
12.     قربان‌نیا، امیرمحمد، و شاکری، زهرا. (۱۴۰۴). اهمیت و چالش‌های حقوقی مستعارسازی داده‌ها؛ با نگاهی به اصول پردازش داده‌های شخصی. پژوهش‌های حقوق اقتصادی و تجاری، ۳(۲)، ۷۱–۱۰۰.
13.     قربان‌نیا، امیرمحمد، و شاکری، زهرا. (۱۴۰۴). چالش‌های حقوقی ناشناس‌سازی و بازشناسایی داده‌های شخصی. بررسی‌های بازرگانی، ۲۳(۱۳۲)، ۶۵–۸۶.
14.     مشرفیان، محمدرضا. (۱۴۰۴). کنوانسیون چارچوب شورای اروپا در مورد هوش مصنوعی و حقوق بشر، دموکراسی و حاکمیت قانون. مجله حقوقی بین‌المللی، پیاپی ۷۷، ۱۳۷–۱۵۱.
15.     مصطفوی اردبیلی، سیدمحمدمهدی، تقی‌زاده انصاری، مصطفی، و رحمت‌فر، سمانه (۱۴۰۱). کارکردها و بایسته‌های هوش‌مصنوعی ازمنظر دادرسی منصفانه. حقوق فناوری‌های نوین، ۳(۶)، ۴۷–۶۰.
16.     مصطفوی اردبیلی، سیدمحمدمهدی، تقی‌زاده انصاری، مصطفی، و رحمت‌فر، سمانه. (۱۴۰۲). تأثیر هوشمصنوعی بر نظام حقوقبشر بین‌الملل. حقوق فناوری‌های نوین، ۴(۸)، ۸۵–۱۰۰.

ب- منابع انگلیسی

 
1.          Abid, A., Farooqi, M., & Zou, J. (2021). Persistent anti-Muslim bias in large language models. arXiv. https://doi.org/10.48550/arXiv.2101.05783
2.          Access Now. (2023). Extreme vetting and the future of immigration control. https://www.accessnow.org
3.          Article 29 Data Protection Working Party. (2018). Guidelines on Automated Individual Decision-Making and Profiling for the Purposes of Regulation 2016/679 (wp251rev.01). https://ec.europa.eu/newsroom/article29/items/
4.          Backer, L. C. (2017, June). Measurement, assessment and reward: The challenges of building institutionalized social credit and rating systems in China and in the West. Paper presented at The Chinese Social Credit System 2017 Conference, Shanghai, China.
5.          Batte, B. (2025). Algorithmic borders: The role of artificial intelligence in immigration control and refugee protection. University of the Cumberlands. https://www.researchgate.net/publication/301600648
6.          Betzalel, E., Penso, C. Navon, A. & Fetaya, E. (June.22th, 2022).”A study on the Evaluation of Generative Models”, Retrieved from https://arxiv.org/abs/2206.10935
7.          Bhardwaj, G., Singh, S. V., & Kumar, V. (2020). An empirical study of artificial intelligence and its impact on human resource functions. In 2020 International Conference on Computation, Automation and Knowledge Management (ICCAKM) (pp. 47-51). IEEE.
8.          Brennan, D., Fry, W., & O'Flynn, C (2018). Artificial intelligence in the workplace (part 3): ai and gender equality. https://www.williamfry.com/newsandinsights/news-article/2018/08/01/artificial-intelligence-in-theworkplace-(part-3)-ai-and-gender-equality
9.          C., Stanton, N. A., & Salmon, P. M. (2021). The risks associated with artificial general intelligence: A systematic review. Journal of Experimental & Theoretical Artificial Intelligence, 35(5), 649–663. https://doi.org/10.1080/0952813X.2021.1964003
10.      Case C-634/21 SCHUFA Holding (Scoring) [2023] ECLI:EU:C:2023:957
11.      Cobbe, J. (2021). Administrative law and the machines of government: Judicial review of automated public-sector decision-making. Legal Studies, 39(4), 636–655.
12.      Cofone, I. N. (2019). Algorithmic discrimination is an information problem. Hastings Law Journal, 70(6), 1389–1406. https://repository.uchastings.edu/hastings_law_journal/vol70/iss6/1
13.       Comel, L. (2025). Scoring systems in the General Data Protection Regulation and Artificial Intelligence Act: A critical appraisal (MCEL Master’s Thesis Series No. 2025/03). Maastricht University, Faculty of Law, Maastricht Centre for European Law.
14.      Committee of experts on internet intermediaries (2018), Study on the Human Rights Dimensions of Automated Data Processing Techniques (in particular algorithms) and possible regulatory implications, https://edoc.coe.int/en/internet/7589-algorithms-and-human-rights-study-onthe-human-rights-dimensions-of-automated-data-processing-techniques-andpossible-regulatory-implications.html.
15.      Convention concerning Discrimination in respect of Employment and Occupation. https://www.ilo.org/dyn/normlex/en/f?p=NORMLEXPUB:12100:0::NO::P12100_ILO_CODE:C111
16.      Cossette-Lefebvre, H., & Maclure, J. (2022). AI's fairness problem: understanding wrongful discrimination in the context of automated decision-making. AI and Ethics, 3(4), 1255–1269.
17.      Court of Justice of the European Union. (2023). Case C-634/21 SCHUFA Holding (Scoring). ECLI:EU:C:2023:957. https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=ECLI:EU:C:2023:957
18.      Dencik, L., Redden, J., Hintz, A., & Warne, H. (2019). The “golden view”: Data-driven governance in the scoring society. Internet Policy Review, 8(2), 1-24. Retrieved July 20, 2024, from https://policyreview.info/node/1413
19.      Duncan Minty, The EU’s Social Scoring Ban – What Does It Mean?, Oct 23, 2024, https://www.ethicsandinsurance.info/the-eus-social-scoring-ban-what-does-it-mean/
20.      European Commission, 2019, High-Level Expert Group on Artificial Intelligence,  https://www.aepd.es/sites/default/files/2019-12/aidefinition.pdf.
21.      European Commission, Proposal for a Regulation laying down harmonised rules on Artificial Intelligence (Artificial Intelligence Act) and amending certain Union legislative acts,Brussels, 21.4.2021, https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:52021PC0206.
22.      Ferrer Aran, X., van Nuenen, T., Such, J., Coté, M., & Criado Pacheco, N. (2021). Bias and discrimination in AI: A cross-disciplinary perspective. IEEE Technology and Society Magazine, 40(2), 72–80. https://doi.org/10.1109/MTS.2021.3056293
23.      Genicot, N. (2025). Scoring the European citizen in the AI era. Computer Law & Security Review, 57, 106130. , https://doi.org/10.1016/j.clsr.2025.106130. https://www.sciencedirect.com/science/article/abs/pii/S2212473X25000033
24.      Gerards, J., & Xenidis, R. (2021). Algorithmic discrimination in Europe: Challenges and opportunities for gender equality and non-discrimination law. European Commission. https://doi.org/10.2838/544956
25.      Heinrichs, B. (2021). Discrimination in the Age of Artificial Intelligence. Ethics and Information Technology, 37, pp. 143 – 154.
26.      High-Level Expert Group on Artificial Intelligence. (2019). Ethics Guidelines for Trustworthy AI. European Commission.
27.       Hinton, G.E, Osindero, S.& Whye The, Y. (2006). “A Fast-Learning Algorithm for Deep Belief Nets”, Retrieved from https://www.cs.toronto.edu/~hinton/absps/ncfast.pdf .
28.      HiPeople. (2023). Candidate scoring. HiPeople. Retrieved July 20, 2024, from https://www.hipeople.io/glossary/candidate-scoring
31.      Javier Sánchez-Monedero and Lina Dencik, ‘The Datafication of the Workplace’ (Data Justice Lab, Cardiff University 2019) Working paper; Wolfie Christl, ‘Corporate Surveillance in Everyday Life. How Companies Collect, Combine, Analyze, Trade, and Use Personal Data on Billions’ (Cracked Labs 2017) <https://crackedlabs.org/en/corporate-surveillance> accessed 14 January 2025.
32.      Kaye, David, Special Rapporteur on the promotion and protection of the right to freedom of opinion and expression (2018), Report on Artificial Intelligence technologies and implications for freedom of expression and the information environment, 29 August 2018, https://www.undocs.org/A/73/348.https://www.ohchr.org/EN/Issues/FreedomOpinion/Pages/ReportGA73.aspx.
33.      Law Library of Congress (2019), Regulation of Artificial Intelligence in Selected Jurisdictions, January 2019, pp. 16-132. https://www.loc.gov/law/help/artificial-intelligence/regulation-artificialintelligence.pdf. Ko¨chling, Alina, Marius Claus Wehner, Discriminated by an algorithm: a systematic review of discrimination and fairness by algorithmic decision-making in the context of HR recruitment and HRdevelopment,https://link.springer.com/article/10.1007/s40685--020-00134-w.
34.      Lina Dencik and others, ‘Data Scores as Governance: Investigating Uses of Citizen Scoring in Public Services. Project Report’ [2018] Data Justice Lab Cardiff University 10.
35.      Louise Amoore, The Politics of Possibility: Risk and Security beyond Probability (Duke University Press 2013).
36.      Mann, M., & Matzner, T. (2019). Challenging algorithmic profiling: The limits of data protection and anti-discrimination in responding to emergent discrimination. Big Data & Society, 6(1), 205395171989580. https://doi.org/10.1177/205395171989580
37.      Mikella Hurley and Julius Adebayo, ‘Credit Scoring in the Era of Big Data’ [2016] Yale Journal of Law and Technology 148.
38.      Moore, J. (Aprill 27th, 2023). “7 Generative AI Challenges that Businesses should consider”, Retrieved from https://www.techtarget.com/searchenterpriseai/tip/Generative-AI-challenges-that-businesses-should-consider.
39.      Mourby, M., Mackey, E., Elliot, M., Gowans, H., Wallace, S. E., Bell, J., Smith, H., Aidinlis, S., & Kaye, J. (2018). Are ‘pseudonymised’ data always personal data? Implications of the GDPR for administrative data research in the UK. Computer Law & Security Review, 34(2), 222–233.
40.      R (JCWI) v. Home Office. (2020). [UK visa algorithm case].Regulation (EU) 2024/1689 of the European Parliament and of the Council of 13 June 2024 laying down harmonised rules on artificial intelligence and amending Regulations (EC) No 300/2008, (EU) No 167/2013, (EU) No 168/2013, (EU) 2018/858, (EU) 2018/1139 and (EU) 2019/2144 and Directives 2014/90/EU, (EU) 2016/797 and (EU) 2020/1828 (Artificial Intelligence Act) [2024] OJ L.
41.      Rovatsos, Michael, Brent Mittelstadt and Ansgar Koene (2019), Landscape Summary: Bias in Algorithmic Decision-Making, The Centre for Data Ethics and Innovation.
42.      Wang, J., Li, H., Xu, W., & Xu, W. (2023). Envisioning a credit society: Social credit systems and the institutionalization of moral standards in China. Media, Culture & Society, 45(3), 451–470. https://doi.org/10.1177/01634437221127364
43.      Wiltrud Weidner, Fabian WG Transchel and Robert Weidner, ‘Telematic Driving Profile Classification in Car Insurance Pricing’ (2017) 11 Annals of Actuarial Science.
44.      Xenidis, Raphaële and Linda Senden (2020), EU non-discrimination law in the era of artificial intelligence: Mapping the challenges of algorithmic discrimination in Ulf Bernitz et al (eds), General Principles of EU law and the EU Digital Order (Kluwer Law International), https://cadmus.eui.eu/handle/1814/65845.
45.      Zuiderveen Borgesius, Frederik (2018), Discrimination, Artificial Intelligence, and Algorithmic Decision-making. Council of Europe, https://rm.coe.int/discrimination-artificial-intelligence-and-algorithmicdecision-making/1680925d73
 

ج- منابع فرانسوی

1.       Dubois, V. (2021). Contrôler les assistés : Genèses et usages d’un mot d’ordre. Paris. Raisons d’agir.
2.       Institut Montaigne (2020), Algorithmes: contrôle des biais S.V.P., Rapport Mars 2020, pp.17-18. https://www.institutmontaigne.org/ressources/pdfs/publications/algorithmescontrole-des-biais-svp.pdf.
3.       Lucchesi, Laure, Simon Chignard (2019), Rapport-Ethique et responsabilité des algorithmes publics,Juin2019.https://www.etalab.gouv.fr/wpcontent/uploads/2020/01/RapportENAEthique-et-responsabilité-des-algorithmes-publics.pdf .
 

د- منبع ایتالیایی

 
1.         Garante per la Protezione dei Dati Personali. (2022, June 8). "Cittadinanza a punti": Garante privacy ha avviato tre istruttorie. Preoccupanti i meccanismi di scoring che premiano i cittadini "virtuosi".
ارسال نظر در مورد این مقاله
نام را وارد کنید.
نشانی پست الکترونیکی را به درستی وارد کنید.
وابستگی سازمانی را به درستی وارد کنید.
توضیحات را وارد کنید (حداقل 50 حرف)
CAPTCHA Image
شناسه امنیتی را به درستی وارد کنید.