本文从监管科技算法歧视对法律权益的损害角度,可将监管科技算法歧视分为损害公众基本权利的算法歧视、损害竞争性利益的算法歧视、损害特定个体利益的算法歧视等三种类型。监管科技算法歧视的根源在于算法垄断和算法黑箱。
第一章 绪论
1.1 研究背景与研究方法
随着互联网技术、数字技术等广泛应用,算法逐步运用到监管科技中,并在经济、政治、文化领域发挥重要作用。金融监管部门采用先进的计算机技术实施依法监管是实现科学监管、创新监管的重要手段,对于提高监管效率具有重要意义。监管科技1是一种监管技术手段,作为辅助手段用来提高审查被监管主体的行为是否符合市场规则、行业规范、国家法律法规的工作效率的技术[1]。随着监管科技应用领域的逐步扩大,需要更准确地界定监管科技。英国人工智能委员会将算法界定为用计算机执行计算或解决问题的一系列指令,其构成计算机可以执行的所有事项的基础,是所有人工智能系统的基本方面[2]。然而,由于训练数据、算法技术以及其他社会价值取向等因素[3],导致监管科技中算法应用因缺乏透明度、问责机制、监测制度以及正当程序约束而产生了由于算法垄断、算法黑箱导致的监管科技算法歧视法律问题,对金融监管部门提出了新的挑战。
本文主要采用文献研究法、案例分析法等研究方法,通过搜集、整理我国有关监管科技与算法的法律法规和相关文献资料,从算法垄断和算法黑箱导致监管科技算法歧视两个角度研究监管科技算法歧视法律问题。
.....................
1.2 研究内容与研究意义
本文主要围绕监管科技算法歧视法律问题展开研究。首先,以监管科技、算法、算法歧视的概念界定为起点,并进一步梳理了监管科技算法歧视的理论基础和根源、监管科技算法歧视的法律关系及其具体表现;其次,通过分析研究,发现导致监管科技算法歧视法律问题的根源在于算法垄断和算法黑箱,基于此分别研究算法垄断和算法黑箱的现状、问题和导致的监管科技算法歧视法律问题,并提出加强规制算法垄断和算法黑箱导致监管科技算法歧视的法律建议。
在大数据、云计算等计算机技术快速发展的背景下,应用创新科技手段提高监管效率具有重要意义,但是因算法黑箱的隐秘性和算法的高科技性等技术特征容易产生算法歧视等法律问题,将直接影响监管的公平性、公开性,进而导致对监管的合法性怀疑。
监管科技算法歧视法律问题是未来科技法律问题中的冰山一角,如果不在监管科技算法歧视尚未导致重大权益遭受侵害时防范于未然,监管科技算法歧视必将带来更多法律问题。本文通过对监管科技算法歧视法律问题进行剖析,得出算法垄断和算法黑箱是其存在的根源,针对其根源提出了相应法律规制建议,以期通过对根源的规制来减少并最终消除监管科技算法歧视问题,研究具有重要现实意义和理论价值。
........................
第二章 监管科技算法歧视的基本理论
2.1 监管科技算法歧视的概念
监管科技可以追溯到 2013 年,随着监管科技逐渐发展,直到 2015 年监管科技才得到了更加充分和长足的发展,尤其受到了互联网金融领域学者和法学领域学者的青睐,随即成为监管领域一个颇为重要的研究新方向[4]。随着大数据、云计算的迅猛发展,监管科技包含的内容也随着创新科技的发展得以扩展,尤其是在监管科技具体监管模式和被监管主体等方面。2015 年就有专门研究金融监管的欧洲学者对金融监管以及随之应运而生的监管科技的发展有过预测,伴随着大数据、云计算等创新科技的推广,这将对监管科技的发展有着极大的推动作用,也将在更大程度上降低监管成本,促进监管效率提高[4]。
随着对监管科技研究的进一步深入,在 2015 年底,为了进一步减少金融管管部门在监管过程中的挑战同时降低监管成本,国际金融协会对监管科技进行重新界定,提出监管科技是一种处理监管难题的算法技术[5]。2016 年英国金融行为监管局在金融监管实际应用的背景下,将监管科技界定为金融科技的子集,也即监管科技是金融科技的一部分,其作用只是为满足金融科技监管效率的需要[5]。但从近年金融监管相关产业实际发展情况分析,上述定义均存在一定的局限性[4],其局限性主要体现在两个角度:一是上述监管科技的定义在监管科技适用者的主体范围方面具有缺失,二是对监管对象体现的比较片面。换言之,我们不能仅将监管科技视作金融科技领域的一个构成部分,不能将监管科技的监管服务范围仅仅局限在金融行业范围之内[6]。随着监管科技的进一步发展,2017 年新加坡金融管理局将英文单词supervisory与英文单词technology通过英文语法和口语的结合,创造出英文单词 sup-tech,同时提到监管科技的技术应用应可以对监管者和被监管者共同适用,二者并行不悖[7]。学者杜宁对监管科技提出新的观点,将监管科技界定为促进金融监管机构更加有效果、更加高效率地实现金融监管机构降低对监管对象合规、审查时成本的一种算法技术手段[3]。此外,巴塞尔银行监督管理委员会通过对 2019 年金融监管行为的研究,也对监管科技加以界定,认为监管科技是金融监管机构在当前算法技术的广泛应用中产生的算法与金融监管相结合的金融监管技术创新[8]。国际清算银行在对银行业的监督管理研究中也认为,所谓监管科技就是金融监管主体利用新的创新科技对金融行业进行监管的技术创新[8]。
..........................
2.2 监管科技中算法的法律关系
在厘清监管科技、算法、算法歧视三者关系的基础上,下文将分析监管科技中算法的法律关系。
为分析监管科技中算法的法律关系,笔者从算法的设计、算法服务的提供和算法服务的使用三个角度对监管科技中算法的法律关系主体进行区分[16],主要分为三类:第一类是算法设计者,即运用代码逻辑设计算法模型的主体,比如程序员;第二类是算法服务提供者,即通过算法为他人提供服务的主体,比如算法平台公司、投资公司等;第三类是算法服务使用者,即通过算法服务提供者提供的平台在平台上使用算法的主体,比如电子商务平台的消费者、投资理财机构的投资者等[16]。
算法服务使用者在监管科技算法法律关系主体中较易遭受权益侵害。相较于算法服务使用者,算法服务提供者和算法设计者具有先天的优势,由于算法是由算法设计者设计,算法服务使用平台是由算法服务提供者提供,应对算法设计者和算法服务提供者课以更为严格的法律义务和法律责任。比如算法服务设计者和算法服务提供者应对算法服务使用者负有在算法设计和算法服务提供方面的忠诚义务[17],同时应负有对可能因算法设计导致意外发生的注意义务。此外,算法服务提供者作为算法法律关系主体中最强势的一方还应负有其他特殊义务[13]。算法服务提供者与算法服务使用者在监管科技算法法律关系中具有千丝万缕的联系,甚至可以说算法服务提供者的任何行为或者策略变动都会影响到每一位算法服务使用者的法律权益[4]。算法服务提供者还可直接通过算法对算法服务使用者的行为施加影响,因而一旦这种强制的算法控制行为出现,将会使得算法服务使用者的合法权益更加难以保障。算法是人工智能应用的逻辑、核心和行为方式。随着大数据、云计算等创新科技的推广和使用,这也进一步驱动算法打破既有权利结构并不断改造社会关系,在一定程度上促进了传统社会治理向科技型社会治理体系的跃迁[18]。因此,在监管科技中算法所涉及的主体中,除了应对算法设计者和算法服务使用者课以义务和法律责任以外,更应对算法服务提供者的法律义务和法律责任予以明确规定。
..........................
第三章 算法垄断导致的监管科技算法歧视规制.............. 11
3.1 算法垄断导致的监管科技算法歧视 ......................... 11
3.1.1 算法垄断的产生.......................... 11
3.1.2 算法垄断导致的算法歧视..................... 11
第四章 算法黑箱导致的监管科技算法歧视规制.............. 18
4.1 算法黑箱导致的算法歧视及现实困境 .......................18
4.1.1 算法黑箱导致的算法歧视.....................18
4.1.2 算法黑箱的现实困境..................19
第五章 结论与展望.................. 23
第四章 算法黑箱导致的监管科技算法歧视规制
4.1 算法黑箱导致的算法歧视及现实困境
4.1.1 算法黑箱导致的算法歧视
当前算法运用与新闻业开启了深度交融并互为促进时代,如近几年通过算法推荐模式迅速发展的今日头条,围绕今日头条 APP 引发的关于算法推荐1运用的讨论甚嚣尘上,比如算法推荐中的算法黑箱问题引起了互联网金融界和法学界的关注。随着算法在新闻线索搜集、文字内容生产、新闻评论引导甚至新闻编辑发布上的逐步应用与推广,曾经专属于专业记者和编辑的各种新闻媒体事务已经越来越依赖于算法。随着大数据、云计算等创新技术的进一步深化和推广运用,算法的适用模式和应用范围也在不断丰富和扩充[69]。由于算法本身具有复杂性、隐秘性的特征以及算法设计者、算法服务提供者为利益论的排他商业策略,加之算法服务使用者自身知识能力的局限性和算法的隐秘性使得算法服务使用者很难了解算法设计的目的和初衷,也不能通过算法设计者、算法服务提供者以及算法机器获悉算法处理的相关信息,就更遑论对算法进行评判和监督[70],这些诱因共同触发了算法黑箱机制,而算法透明度的缺失进而易引发算法歧视问题。上述算法生成媒体新闻作品的过程就是典型的算法黑箱运行过程,这个过程在一个框架中运行,对算法设计者、算法服务提供者是一种相对明了的过程,但是对算法服务使用者而言形成了认知上的算法黑箱[71]。监管科技在运用算法进行合规处理过程中,也可能会因算法黑箱而导致监管科技算法歧视问题。
从算法设计来看,传统机器学习通常通过数据输入、特征提取、特征选择、逻辑推理、预测的过程来进行分析和计算,最后得出结论[72]。在算法利益的引诱中,为了通过算法运用来谋取更大的利益,算法设计者和算法服务提供者往往会以算法黑箱为借口逃避承担法律责任。英国议会人工智能委员会报告指出“在某些形式下,我们采取偏见,并将其称之为‘文化’,我们将它放在黑箱中,使之永远结晶”[73]。对此有必要提高算法的透明性,尽量克服算法黑箱带来的算法歧视等弊端。
.............................
第五章 结论与展望
监管科技算法歧视,是指监管机构在运用以算法为基础的监管科技中,由于算法本身和数据处理过程的问题而导致的系统性、可重复性的不公平、不合理的结果。从监管科技算法歧视对法律权益的损害角度,可将监管科技算法歧视分为损害公众基本权利的算法歧视、损害竞争性利益的算法歧视、损害特定个体利益的算法歧视等三种类型。监管科技算法歧视的根源在于算法垄断和算法黑箱。
如果算法设计者和算法服务提供者利用容易导致算法垄断的数据应用在监管科技算法中,其输出结果将会导致监管科技算法歧视问题[89]。实践中由于监管科技存在算法垄断现象,监管科技运用过程中必然会出现监管数据的偏差和片面性等因素,这是导致监管科技算法歧视的重要根源之一。
我国对算法垄断导致的监管科技算法歧视缺乏有效法律规制,只是在针对不同的权益主体受到歧视时分别适用不同的法律规范进行保护和救济。对算法垄断导致的监管科技算法歧视问题,本文提出下列法律规制建议:构建代码规范与法律规制双重保护模式,健全平台法律责任制度,在算法中引入反垄断法律规制(包括通过扩张解释将算法垄断纳入《反垄断法》规制范围、在反垄断法中增加规定算法垄断的推定和抗辩规则、创新反垄断执法机构执法手段、明确算法垄断行为的责任分配等)。
监管科技在运用算法进行合规处理过程中,可能因算法黑箱导致监管科技算法歧视问题。由于算法黑箱导致的算法歧视具有隐秘性,并且在监管科技中确定算法存在歧视意图并找到算法歧视的证据比较困难,目前我国对算法黑箱导致的监管科技算法歧视缺乏有效法律规制。
针对算法黑箱导致的监管科技算法歧视问题,本文提出建立监管科技算法歧视识别机制、确立算法设计者和算法服务提供者算法信息披露制度、引入第三方机构对监管科技中算法运用进行监督等法律规制建议。
参考文献(略)