科技频道美国纽约算法监管遇挫录

科技频道 2020-01-21120未知admin

  原文首发于502期《周末》11版

  提要

  即使算法透明之障碍重重,我们仍需找到透明度与商业秘密、科技频道专有信息等因素之间的平衡点以促进算法之规制

  资料图/网络

  两年前的2018年1月17日,美国纽约市的“1696提案”——自动化决策特别工作组法(Auto Decision System Task Force Law)正式成为法律。随后,纽约市市长组建算法特别工作组,展开了算法监管行动,监管目标为使用的各种算法。

  彼时,全世界的目光都投向这座城市,这项开创性的举措被认为是世界算法规制的灯塔。然而,时光流转至2020年1月,算法工作小组至今尚无法获取纽约市使用算法自动化决策系统的基本信息。纽约大学助理教授朱莉娅·斯托扬诺维奇公开:“如果不能提供任何信息,那么根本没有必要组建工作组。”

  2019年11月,科技频道纽约市发布了《纽约市自动决策系统特别工作组报告》(the New York City Autoted Decision System Task Force report)。报告回避了活动评价,却提出了诸如“要求制定公开披露部分信息的协议”“呼吁开展更多以基于算法的系统为内容的教育”等一系列的广泛。

  此举招致了一些学者的不满。一个月之后,美国非组织“今日人工智能”(AI NOW)协会针对报布了一份影子报告,直言此次监管活动的诸多不足。

  该组织政策研究总监理查德森直言:“纽约市在算法监管上开了一个的先例。纽约市在算法监管方面未能取得任何有意义的进展,这为树立一个榜样。”

  那么,此次监管行动究竟效果如何?又为我国算法监管提供了何种?

  应对算法歧视和错误

  人工智能时代,算法已经逐渐脱离网络平台系统,逐渐被越来越多的公共部门纳入使用范围,应用于公共治理领域。

  在美国纽约,在公共校车的线规划、屋质量检测、再犯罪风险预估,儿童福利制度、预测性警务等诸多领域,部门逐渐使用与依赖算法的自动化决策。算法成为了公共资源分配与治理主角,切实地影响着近900万纽约市民的日常生活。

  自动决策系统是指基于数据的算法决策系统,以社区治理为目标,其目的在于对治理对象的预测、识别、、检测。算法被广泛应用于预测性警务、审前风险评估、欺诈检测系统、交通管理系统、筛选工具等。纽约市对算法自动化决策的依赖引发了强烈的不安。因为算法的自动化决策的“名誉”受到了两个著名事件的严重影响。

  使算法自动化决策陷入广泛质疑的事件之一,是纽约“为了”(ProPublica)组织在调查中发现一款名为COMPAS的软件存在种族歧视的倾向。在该软件作出的高风险错误判定中,黑人数量是白人的两倍以上。换句话说,两倍于白人的黑人被预测为高风险人群。

  在美国,布里沙·博尔登和弗农·帕特均因窃取价值80美元财物被罪,前者无经历、有过4次行为不当、指数为8(高危),而后者有5年经历、曾两度持枪抢劫、指数却仅仅被评定为3(一般)。二者的区别之一即是种族,前者是一名黑人女性,后者是一名白人男性。

  COMPAS全称为提供替代性制裁矫正犯罪管理画像,是运用算法依据累犯和犯罪职业特征相关行为和心理结构设计的犯罪嫌疑人风险预测评估软件。即使这一算法自动化决策得到了纽约州刑事司法部门的支持,也未能平息的质疑。这种算法决策被存在种族歧视、侵害等风险,加剧了现有的不公平现象。

  另一个使算法自动化决策遭受质疑的事件,是美国伊利诺伊州儿童和家庭服务部采用的预测儿童和家庭算法也出现大量错误案例。结果显示,该算法并未能识别出大量最终死于忽视或的高危儿童。

  2016年,美国卡内基梅隆大学的统计学家亚历山德拉·丘尔德乔娃对美国北卡罗莱纳州阿利根尼县用于家庭风险筛查的AFST算法进行后发现:在同样得到最高风险得分的情况下,待的白人儿童转移率要低于黑人儿童,且原因未知。

  由此可见,算法本身并们刻板印象中始终客观、中立并且绝对正确的,算法决策具有高效特点,但并不当然地准确与无。

  为了应对算法歧视和错误问题,纽约市于2018年1月17日通过了“1696法案”,使其成为了纽约市第49地方法律。继而,纽约市根据第49法律成立一个“算法问责特别工作组”,对所使用的算法进行调研,并就加强算法问责制、提高透明度等提出。

  纽约市算法监管缘何遇挫

  那么,为何这次监管活动未达到预期的效果呢?

  首要原因是与企业均不愿遵循法案要求披露算法使用情况和算法设计信息,算法透明度制度面临重重现实阻碍。

  事实上,“1696法案”的原始草案关于披露的要求是公布任何“算法或者自动处理数据系统”的源代码,而科技以“披露专有信息,损害其竞争优势”为由表对该条款示了强烈反对。

  在后续草案修订过程中,关于算法透明性的尝试与“商业秘密”的较量一直在持续进行着,后来立法者无需披露源代码,但有关算法信息的披露仍被市驳回。最终通过的法案取消了所有关于披露的要求。在此次监管活动中,纽约市从未向工作组提供一份市政机构使用的自动化决策系统清单以及相关具体信息,仅提供了一部分机构使用的示例。

  另外,就程序而言,工作组进展动态缺乏公开、听证会等会议信息不及时公布、随意缩短听证会提问时间、对的关切和质疑有所回避等可以看出,此次监管活动在参与和程序公开、信息披露等方面始终存在问题,工作透明度有所欠缺。

  其次,本次监管行动在立法上也存在缺陷,致使工作组监管职能落空。纽约市自动决策系统工作组的立法中存在一项不合理的宽泛豁免——“允许机构不披露信息或不遵守工作组的”。限的工作组在要求相关机构提供当前使用自动化决策系统相关信息时被许多机构,这直接导致监管行动重大挫折。

  由于缺乏获得基本信息的途径,对于没有法律授权的工作组而言,获取采购花费、共享数据量等相关信息只能依靠于机构和商的自愿披露,最终致使工作组的监督职能难以实现。

  最后,此次监管行动遇挫的另一重要原因在于未能对“自动决策系统”的定义进行界定。工作组在2018年秋季和2019年冬季召开会议,其主要任务为讨论自动决策系统的定义,但在2019年4月的上,工作组表示他们仍未就定义问题达成共识。界定算法自动化决策之于监管活动的意义无异于基石,在连执法范围都不明确的执法行动,遇挫也成为了必然。

  找到监管平衡点至关重要

  纽约市之后,美国地方与欧盟均紧随及后展开了算法监管的立法与实践。

  欧盟于2018年5月正式全面实行《通用数据条例》(简称为PR)并提供了一系列有关算法自动化决策的行为指南文件。美国继《伊利诺伊州人工智能视频面试法案》《消费者隐私法案》、HB1665及SB5527法案(旨在为采购和使用自动决策系统制定指导方针)等州相关法案施行之后,若干立法者正在推进联邦层面的立法,《算法问责法案》正在等待的表决。我国虽尚未颁布专门法规,但也在《电子商务法》《网络安全法》等中了与算法相关的条款,旨在全面将算法规则纳管领域。未来,我国的算法监管可从纽约市的失败中汲取教训。

  此次纽约算法监管行动的主要教训是在监管中如何把握对算法透明度的要求。科技频道技术是中立的,但技术的应用不可能中立。透明并非是把源代码的技术秘密公之于众,而是对算法应用风险的监督与管控。算法的透明性应针对使用算法的透明、算法决策因素的透明,使算法透明度成为针对算法应用中潜在问题所必需的“诊断工具”,这对解决使用自动化决策系统可能引起的、和公平问题至关重要。

  人工智能时代对算法的监管应包括事前规制、事中监测、事后救济三个方面,最重要的即是通过立法手段对算法透明度予以保障,避免对研发者信息披露义务过于宽泛的豁免。规范建立自动化决策系统清单,清单内所列的自动化决策系统均应纳入事先评估影响、事中持续监测审查的范围,授予监管机构调查权限以访问与自动化决策系统相关的信息。

  因此,即使算法透明之障碍重重,我们仍需找到透明度与商业秘密、专有信息等因素之间的平衡点以促进算法之规制。

  同时,应机构与自动化决策系统的供应商达成任何有碍于合理信息披露的协议,将算法的透明度要求与合同批准联系起来,从源头上杜绝供应商等利用商业秘密、贸易等“伞”规避披露义务的行为。

  除了行政监管,应对“算法”的扩张,可考虑增强“算法”的途径。对于任何私受到自动化决策系统不当侵害的个人,都应赋予其私人救济的途径。

  (作者分别系科技大学文院副教授、东北师范大学学院研究生)

原文标题:科技频道美国纽约算法监管遇挫录 网址:http://www.dzine-studios.com/kejipindao/2020/0121/2569.html

Copyright © 2002-2020 志同道合新闻网 www.dzine-studios.com 版权所有  

联系QQ:1352848661