据英国《连线》杂志近日报道，因准确率显著低于预期和未通过伦理审查等原因，英国警方近两年斥资打造的人工智能暴力犯罪预测系统被叫停。

　　该系统被称为“最严重暴力”（简称MSV，即Most Serious Violence），是英国国家数据分析解决方案（NDAS）的一个组成部分。“最严重暴力”系统的目标是预测人们是否会在未来两年中持枪或持刀实施暴力犯罪。过去两年，英国内政部已为NDAS投入了超过1000万英镑。

　　一旦发现潜在的犯罪分子，该程序会建议为其提供咨询服务、社会或医疗帮助，以避免他们真的犯罪。项目负责人伊恩·唐纳利曾表示，这样做的目的不是为了预防性地逮捕任何人，而是要分析警方已经锁定的人员，并且会优先分析那些最需要干预的人员，例如有心理疾病史的人暴力犯罪的可能性更大，以便让他们获得社会帮助。

　　系统准确性不尽人意

　　在“最严重暴力”系统的开发过程中，英国警方分别收集了西米德兰兹郡和西约克郡240万人和110万人的历史数据，数据类型包括犯罪、拘留记录、情报和英国国家警察局数据等。

　　该系统为与西米德兰兹郡和西约克郡的警察局打过交道的人进行风险评分，分数越高，代表着他们越有可能实施暴力犯罪。

　　在正式运行之前，NDAS声称该系统的准确度高达75%，而且功能性在世界范围内遥遥领先。具体指，在西米德兰兹郡，每100个被系统认为有高风险实施持枪或持刀严重暴力犯罪的人中，预测有54人会实施上述某项罪行。在西约克郡，100个高风险者中，预测有74人会实施上述某项罪行。

　　事实上，该系统的真实精度远远低于这个水平。2020年年初，NDAS开始尝试运作“最严重暴力”系统，却发现因编码缺陷而无法准确预测暴力行为，不得不“回炉重造”。

　　改造过后的系统准确率直线下降，对于持枪或持刀的暴力犯罪事件，系统在西米德兰兹郡的准确率降至14%至19%，在西约克郡的准确率降至9%至18%。总之，最初该系统的效果被夸大了。

　　有数据专家认为，“最严重暴力”系统的核心问题并不在于准确性。技术缺陷可以通过时间来弥补，但即使算法达到100%的准确率，这个系统仍然会存在偏差。

　　据介绍，“最严重暴力”系统使用多种指标用于确定个人未来行为的风险程度，例如年龄、初次犯罪距今时间、数据显示的社会关系、犯罪严重程度以及个人的情报报告中提到“刀”的次数（不包括地点和种族数据）。

　　罗格斯大学法学院访问学者拉希达•理查森对《连线》表示，上述指标中的很多已在其他数据分析中被证明会导致不平等的结果。她介绍，犯罪历史因素本身往往存在偏见，基于其训练出的算法，如果不受人类干预，也会出现同样的问题。

　　由于试用失败，英国警方已经停止开发目前形式的预测系统。

　　伦理委员会一致否决

　　除准确性不尽人意外，“最严重暴力”系统一直在伦理方面饱受争议。

　　英国西米德兰兹郡政府官方网站显示，其伦理委员会在2020年7月一致否决了警方持续推进该系统的建议，并指出没有足够的信息表明该模式可以改善预防青少年暴力的决策现状。

　　系统设计之初，英国艾伦·图林研究所也对该系统的伦理问题表示关切。据参考消息报道，艾伦·图林研究所指出，在一个人尚未犯罪的情况下对其进行干预是否是一个公益项目，这值得商榷。

　　该研究所还警告称，该系统可能会有一些误差，因为在分析时会侧重于分析人口密集、贫困和冲突频发的地区的居民。这些地方驻扎着更多警力，因此警方逮捕嫌犯的概率更高。

　　《连线》杂志报道称，NDAS的项目负责人尼克·戴尔说“最严重暴力”系统到目前为止一直是试验性的，且“同意这个模型不能以目前的形式继续进行下去”。

　　但尼克·戴尔没有否认可能会以其他形式改善“最严重暴力”系统。“我们不能肯定地说，最终的模型会是什么样子，如果我们能够创建一个合适的模型。我们的所有工作都将受到伦理委员会的审查，他们的审议结果将被公布。”

　　类似的人工智能警务预测系统在近期受到学界抵制。据《自然》新闻报道，2020年7月，在“黑人的命也是命”（Black Lives Matter）抗议活动之后，有1400多名数学家签署公开信，呼吁该学科停止研究用于警务的预测性算法和模型，理由是存在种族偏见。