澎湃新闻网消息，近日，联合国披露的一份关于2020年3月利比亚军事冲突中的报告称，土耳其STM公司生产的“卡古-2”(kargu)型四旋翼无人攻击机被编程为在不依靠操作员的情况下自主攻击了撤退的哈夫塔尔指挥的“利比亚国民军”，并很有可能造成了一名国民军相关成员的死亡。
这是有史以来第一例记录在案的无人机在没有人为命令的情况下向人发动攻击的案例，引发了各界关于人工智能与自主武器的关注。
“卡古-2”(kargu)型四旋翼无人攻击机。
机器自主杀人的担忧
随着技术的进步，人工智能已经得到了越来越广泛的应用，可随之而来就是与之相关问题的争论。如从长远角度考虑，不少人担心，有朝一日人工智能通过不断的学习，其“心智”水平越来越高，有可能萌生脱离人类控制、独立自主的倾向，再往后会与人类发生冲突甚至奴役或者灭绝人类。在各类科幻大片中，人工智能造反一直是经久不衰的主题。此前早已有很多学者提出并表达过这样的忧虑，如英国理论物理学家霍金就表示，未来 100 年内人工智能将比人类更为聪明，机器人将控制人类。2013年霍金还与特斯拉 CEO 伊隆·马斯克共同发表公开信，认为人工智能的发展应该受到控制。
而就近期来说，人工智能在军事领域大显身手的同时也是毁誉参半。目前军用人工智能的发展主要集中在三个方面：
自主情报分析：机器算法的快速、准确、无疲劳等特点，可以高速开展目标识别和数据分析，提取有效情报，将海量的数据转换为有价值的信息。
自主指挥控制系统：人工智能可以依据战场情况和作战需求的变化发展，动态生成作战指挥命令，快速实现作战形态的自我聚合与分解，为作战指挥提供前所未有的自治性和灵活性。
“卡古-2”(kargu)型四旋翼无人攻击机可自主作战。
自主武器：对于自主武器系统概念的界定，依据美国国防部2012年的定义，自主武器系统是“一种激活后就无需操作人员进一步干预，可以自主选择和攻击目标的武器系统”。国际红十字委员会（ICRC）2014 年将自主武器系统定义为“可以独立选择和攻击目标的武器，即在获取、跟踪、选择和攻击目标等‘关键功能’方面具有自主权”。
前两类军用人工智能虽然会参与作战行动的策划与指挥，但毕竟没有“亲自手动”，而自主武器系统的最大特点是能够在不依赖外界指令和设备支持的情况下，在复杂作战环境中依靠人工智能系统独立做出开火决定，让“机器杀人”成为现实，因此争论的焦点更多集中在了自主武器上。
虽然目前绝大部分无人武器平台的开火权仍然掌握在远程控制中心的操控员手中，但从技术角度出发全自主武器早就可行了。一些国家已经开始研制开发具备自主开火模式的完全自主武器。譬如英国军方研发的“硫磺石”导弹，就具备“发射后不管”的极高自主性，操作人员只需为“硫磺石”导弹设置一个大致的“杀伤范围”（Kill Box），它就会向该区域内的敌方目标发起自主攻击，即每枚导弹可自行决定攻击哪辆坦克或其他作战车辆。而韩国军方部署在朝韩边境的SGR-A1武装机器人“哨兵”，不但可以通过使用模式识别软件和弱光摄像头识别、锁定“越境者”，并在必要的时候也会自主掌握攻击权限。
俄罗斯研制的“平台”-M履带式无人战车。
“两面开刃”的自主武器
现在争论的核心是：自主武器该不该被使用。对于使用自主武器的后果，各方存在较大的分歧。一方面，美俄等国从巩固其技术先发优势的立场出发，提出自主武器系统具有人类战士无可比拟的优越性。有人认为，智能化自主武器系统不仅能够使人与武器实现实质性分离，使实际伤亡率无限趋近于0，而且自主武器系统无需考虑自身安全，不受主观情绪左右，具有“理性优势”，加上更快的信息处理速度，武器的使用效率和不同武器之间的协作也将大大提升，可以最大限度地获得战场主动权。因此未来具备人工智能的“无人军团”必将成为大国的“标配”，进一步拉大国与国之间的军力差距，甚至出现单方面“碾压”。
在2018 年 3 月，美国在向联合国政府专家组会议提交的文件中就指出，“致命性自主武器系统领域的新兴技术可以提高国家运用武力时降低平民伤亡风险的能力……较之压制或禁止致命性自主武器系统领域新兴技术的做法，美国选择鼓励相关领域技术创新”。而就在几天前，俄罗斯国防部长谢尔盖·绍伊古宣布 ：“作战机器人的批量生产已经开始。现在出现的机器人不仅仅是试验性的，而是真的像科幻电影中所显示的那样，是能独立战斗的（智能）机器人”。
美国海军“海上猎人”无人艇。
另一方面，联合国、国际红十字会和一些技术后发国家基于潜在的安全风险指出，摆脱人类控制的自主武器系统将使得战争更加冷血，在战场上被授予了“自由开火权”人工智能可能会自作主张，滥杀无辜，将战争变成一场场无法“重启”的游戏。有分析认为，从道义角度出发，如果让机器来决定人类生死，就会从根本上抹去人性在战场上的存在感，使人类缺乏对杀戮行为的道德负担，其结果必然使杀戮变得毫无人性。同时，在战场上作出“开火”的决定，是综合衡量大量复杂因素的结果，但目前的机器算法存在区分目标的盲区，无法可靠地区分合法与非法目标。如军服、武器装备等一系列明确标识可以设置区分规则，但如果对手采取伪装等手段，就会导致军事目标缺乏明显的视觉标识；而且根据战争法则，在战斗中不得射杀伤兵、医护兵、跳伞飞行员、投降者及俘虏等人员；这些都会给自主武器系统执行区分任务带来巨大挑战。有人担心，失去人类控制的自主武器系统一旦应用于战争，可能导致攻击范围、时间和毁伤程度等方面的诸多不确定性，进而加剧危机意外爆发和升级的风险。
另外，即使自主武器在“主观”上并不想与人类为敌，但因为受控于计算机软件，就一定有出错的可能。如在2007年10月，美军第3机步师下属部队携带3台“利剑”机器人进攻一个反美武装据点，由于没有及时更新软件，其中1台“利剑”竟把枪口对准美军操作人员，即便在操作人员发出“行动取消”的指令后，失控的“利剑”依然不听指挥，直到另一名美军上尉用火箭筒把它炸翻才化险为夷。而同样是2007 年 10 月美军在南非举行的一场军事演习中，具有高度自主性的防空系统突然出现故障，从而导致美军参演防空火炮整体失控，即便该防空系统的操控员多次尝试关闭火炮自动发射装置，但由于火炮已经被计算机系统接管而造成关闭指令失效，只能等待防空火炮系统中装弹机内的炮弹自行发射完毕，该意外事故也造成美军多名参演官兵死伤。
正是鉴于以上自主武器的潜在风险，2018年7月，超过2400名AI领域科学家发表 《致命性自主武器系统宣言》，承诺“将不参与也不支持致命性自动武器的开发、制造、贸易或使用”，并呼吁各国政府和政府领导人“利用强大的国际规范、法规和法律打击致命性自动武器”。
本文开头提到的“卡古-2”无人机由土耳其研制，是“卡古”无人机的升级版。“卡古-2”重约6.8千克，最高时速约145公里，续航时间约30分钟，可携带1.36千克重的武器，还拥有面部识别能力，可以寻找特定的个人。而当被设定为“高效的自主模式”时，无需操作员的指令，“卡古-2”就可瞄准目标自爆。此次联合国专家在报告中指出，这是一次真正的“发射后不管”，也是第一次在利比亚发现使用这种无人机，这违反了联合国第1970号决议第9条。 “卡古-2”在利比亚的表现打开了机器自主向人类攻击的“魔盒”，各方对此必须予以高度重视。
（作者系远望智库特约研究员，察哈尔学会研究员）
原标题：无人机首次自主杀人，机器杀人的“潘多拉魔盒”打开？
【免责声明】上游新闻客户端未标有“来源：上游新闻-重庆晨报”或“上游新闻LOGO、水印的文字、图片、音频视”等稿件均为转载稿。如转载稿涉及版权等问题，请联系上游。
