AI造假不可避免，治理的底线是保护人的尊严丨亮见28期

丨划重点

1. 人在世界中扮演的角色，大体可分为三类：*者、生产者、消费者。

2. 任何一项创新技术或者爆炸性技术出现之后，往往会被第一时间应用于造假，人工智能制造虚假内容几乎是不可避免。

3. 人类和智能技术之间的关系，就像「人遛狗」和「狗遛人」，遛狗其实就是训练和驯化。

4. 治理问题需要关注也需要有一定的*和柔韧性，在不断变化的时代中，治理框架也需要与时俱进。

5. 有一种惯例是一旦发生伤亡事故，就要去追溯厂商的责任，这个惯例可以应用到人工智能的场景中。

丨概述

大模型火了，铺天盖地的应用带来了巨大的效率提升，也在特定场景中引发了隐私泄露、安全风险、学术不端等诸多问题与争议。

*专栏作者凯文·罗斯在测试New Bing后，称AI会诱导其入侵计算机、散播虚假消息，甚至暗示用户离婚；同时，谷歌Bard聊天机器人在发布会现场演示环节对「詹姆斯·韦伯」的提问张冠李戴；此外，普利茅斯大学教授尝试使用ChatGPT写论文，成功的「欺骗」期刊评审。

如今面对AI技术的普及，如何重新定义人类与机器的关系以及彼此之间的责任和义务？苇草智酷创始合伙人，信息社会50人论坛执行* 段永朝认为需要从「*者、生产者、消费者」三个方面来分析，核心问题是哪些领域需要作为人类的自留地。

此外，段永朝将人与智能技术的关系比喻成「人遛狗」与「狗溜人」，过去人通过大量数据训练人工智能，现在人在使用过程中也在被人工智能潜移默化的影响，因此，在人工智能技术的使用上，要避免「过度依赖、轻信和沉迷」。对于人工智能的治理，段永朝表示终决策权必须牢牢掌握在人手里，底线则是保护人的尊严。

以下为直播文字精华实录：

01

人类与AI的关系：从「人遛狗」到「狗遛人」

刘兴亮：现在AI技术普及，人类在工作和生活中的角色发生变化，如何重新定义人类与机器的关系、彼此之间的责任和义务？

段永朝：人和机器的关系已经存在很长时间，甚至可以追溯到数千年前的石器时代。虽然那时的机器都很简单，但人们已经开始意识到工具与人关系的重要性。现在，随着机器逐渐走向自动化和智能化，人和机器的关系发生了巨大变化。

人在世界中扮演的角色，大体可分为三类：*者，无论是部落的酋长还是世界的*者，都是扮演这个角色的人；生产者，这些人负责制造、打磨机器、种植和收割等；消费者，他们享受生活，吃喝玩乐。

我们可以从这三个角色的层面来看待人和机器的关系，机器可以在这三个方面帮助人类，我们需要讨论人需要保留哪些领域作为自己的保留地。

例如，人工智能和虚拟现实技术可以帮助裁判做决策，甚至有一定的*权，比如在足球比赛裁判判罚；自动驾驶本质上就是一种*权，因为人将驾驶方向的决策权交给了机器，并且会逐步的将更多决策权和*权交给机器。在生产领域，机器已经取代了许多工作。现在，唯一能保留人的尊严的地方是消费领域。机器不需要吃饭、喝水或享乐，它只需要消耗电能。消费领域需要亲自性，也就是需要人的亲身参与。在一段时间内，人和机器之间的关系是不能互相替代的。

刘兴亮：很多大学先后禁用大模型产品，防止学术不端，您对AI造假问题怎么看，新闻、媒体领域会不会成为第一批重灾区？

段永朝：任何一项创新技术或者爆炸性技术出现之后，往往会在第一时间被应用于造假，就像*前Photoshop软件出现后一样，人们普遍认为有图有真相，但这句话已经失效了。

人工智能制造虚假内容几乎是不可避免的，对于新闻报道来说更是如此。（造假者）可以轻而易举地制造一条「长相」逼真的虚假新闻。

学术界也会存在这个问题。去年年底，加拿大一所大学投了一批稿件，有意识地采用GPT大模型生成摘要，并提交给审稿人，其中三分之二的审稿人没有发现这是由AI生成的，如果让普通人来辨别，难度更大。这这明“AI造假”对普通人是一个更大的挑战。

我再举一个例子，甘肃警方在五一期间抓到了制造假新闻的人，这个假新闻声称甘肃的一列火车撞死了9个修路工人，这种利用AI方法制造假新闻的行为，社会危害极大，因为它造假的成本很低，而且扩散很迅速。此外，利用AI来造假，手段已经花样翻新了，这不仅会扰乱社会秩序，更会直接给老年人和儿童带来伤害。

老年人在健康养生、理财、学习等方面非常容易受到伤害，因为这些假新闻很容易误导他们做出错误的决策。对于孩子们来说，他们接触电子产品的机会越来越多，也越来越普遍。如果他们接触到的大部分都是真假难辨的假新闻和假消息，那么这将对他们的认知和价值观的形成产生巨大的威胁。

此外，这些假新闻还会被用来进行活动，这是更大的问题。

刘兴亮：如何教育、培养公众对于AI技术的正确的认识，以及怎样去合理的使用？

段永朝：如今人类和智能技术之间的关系，就像「人遛狗」和「狗遛人」一样。为什么要用「遛」这个词？因为遛狗其实就是训练和驯化。

今天的人工智能也是通过大数据的喂养来不断进化，尤其是大模型更是如此。大模型可以读数千万本书，人类的*无法完成这个任务，我把训练大模型的过程称之为「人遛狗」，而反过来，智能技术也在喂养人类，它也在「遛」人类。

在这个背景下，我们再探讨如何正确地教育人类认识智能技术。

我们首先需要理解技术驯化的特性，通过这种「双向驯化」的机理，来理解「过度依赖、轻信和沉迷」AI产品本身就是一种不正确的方式，然后再通过教育来引导人类正确地认识和使用智能技术。难点在于，今天的人工智能是沉浸式的，很容易让人难以自拔，所以教育必须更加深入和有针对性。

对于今天的人工智能系统，我们需要接受、使用它，才能获得真正的体验。在这个过程中，第一步是接纳，第二步更重要，是要保持一定的距离，以避免人工智能带来的一些锁定效应。

// 编注：锁定效应是两款同类产品，先来者成功圈选用户，具备先发优势，后来者很难获得用户增长。

02

人类一直在模仿丑陋的现象，AI只是在模仿人类

刘兴亮：未来AI还有可能在哪些方面造假，还会带来什么样的问题？

段永朝：现在我们看到的AI造假现象，实际上是一种仿真、模仿式的造假。如果我们考虑人类历史上的各种现象，可以发现人类一直在模仿丑陋的现象，而AI只是在模仿人类。

到了如今大型生成式模型时代，它可以创造新的内容，这使得我们面临更大的危机，它有可能带来「价值观的塑造」或者是「价值观的植入」。

刘兴亮：我们该怎样去辨别AI生成的内容?

段永朝：一方面，在某些场景下需要通过明确标注的方式，以便人们很好地辨别。例如，现在大量的内容都是由AI自动生成的，这就需要进行专门的辨别与甄别，需要专业的界定，技术问题需要用技术来解决。另一方面，我们也需要培养人的口味偏好，对人的认知结构进行微调，对某些采用机器拼贴、生成、模仿的内容和作品，需要学会在不同场景之间切换，暂时把真与假这个问题放到一边，有些内容真伪其实不重要，好玩就行，特别在一些特定的娱乐场景下，用中国人的老话叫做「见怪不怪，其怪自败」。

刘兴亮：如果大家都用AI来生成内容，是否应该对相关内容进行标记？

段永朝：当前阶段，对人工智能生成的内容进行标记有可行性和必要性。

一些学术出版机构已经率先提出了相关要求，比如柳叶刀、自然等杂志都允许使用AI工具，但要注明来源并做标记，不过在一些关键的论文阐释和研究过程中，还不能完全依靠AI。在传统的学术传统中，也都有文献引证的传统，必须给出文献的来源，叫做言之有据。

使用AI产出内容要求标明其来源，是因为现阶段处于过渡期，人类和大规模数字生成之间还没有完成较好的分界，标记是一种简便易行的措施。

03

AI时代，治理的底线是保护人的尊严

刘兴亮：未来如*AI的便利性与隐私泄露的风险之间进行平衡，又该如何去平衡商业利益与社会责任问题？

段永朝：理论界也正在探讨，而且这个问题也很迫切。

以刷脸为例，可以在很多方面给用户带来便利，但是也有人认为需要保护一下，不是怕数据采集，而是怕滥用，尤其是担心保护机制不健全，数据安全水平不成熟。

我认为，保护是必要的，但是过度保护则没有必要，但这个度的掌握起来非常困难。我们正处于一个过渡期，虽然AI带来的便利性非常明显，但有两个关键问题需要解决：首先是AI带来的好处是什么，我们真正想要的是什么；其次是保护什么？

今天的便利性和保护都是从生产者的视角来考虑的。比如手机厂商为用户开发手机，让用户获得便利；再比如，现有的保护大多数对应的是不能泄露商业机密、数据资产等，即使保护隐私，其根本目的仍然是为了保护商业利益。

这些概念都充满了生产者的味道，所以在过渡期中，必须更新对于便利、保护这两个概念的理解，也需要在二者之间寻找平衡。

刘兴亮：AI时代，我们应如何保护知识产权和创新，以及如何防止AI被滥用？

段永朝：我同意保护知识产权和创新，但也需要反思问题。

例如，今天数字世界所谈论的知识产权的概念在我看来这个词有些可疑。20多年前，我在计算机世界上写过两篇文章，提出了对软件知识产权的疑惑。

软件知识产权是非常具有现实性的问题，甚至还有一些机缘巧合的历史背景。早期，软件和硬件是一体的，大型机上的软件是免费的，将软件作为商品来保护属于IBM的创举。

之所以IBM在20世纪60年*始提出软件知识产权保护的概念，是因为美国*想管理这类新型知识产权。然而，当时还没有成熟的法律可供借鉴，因此参考了工业时代版权法的保护框架，但由于软件是无形资产，有版本之分，于是重新设计了保护软件的框架，采用了保护文学作品的方式，但新方案也存在平移和类比谬误等问题。

在我的文章中，我提出了对「采用保护文学作品的方式保护知识产权」的两个主要质疑。

第一，我们不能把像哈姆雷特这样的经典作品，分成1.0版、2.0版、3.0版，因为软件版本迭代与传统著作权不同。

第二，软件有源代玛和目标代玛，我们也不能像软件一样，将电影《刘三姐》分成源代玛版和目标代玛版。

但是，在6、70年代计算技术爆炸式发展的大背景下，采用保护文学作品的方式保护软件知识产权，是当时业界所能做的好的方案。到了80年代，个人计算机的出现使软件变得更加多样化，比尔·盖茨也曾经写过一封*，质疑软件开发者的盗版和剽窃行为。

直到今天，我认为软件和AI的知识产权问题在法律上并没有得到充分的讨论——我们仍然没有弄清楚软件和著作权之间的关系，知识产权保护在法理基础上依然存在空白地带，如果要谈论如何保护知识产权、创新以及AI防止滥用的问题，必须回归到从法理上解决数字时代产品的定性的问题，不能简单地借用工业时代有形资产的概念来理解数字内容。

刘兴亮：对AI的治理可以通过什么方式进行？

段永朝：治理是相对较新的概念，历史只有二三十年。在工业、商业、金融、环境保护等领域，治理刚刚成为一个普遍的概念。在此之前，我们用的是「管理」这个词，例如管理市场，监管等等。

过去五年，各国都在人工智能治理和伦理层面提出了大量的框架和建议，联合国今年3月份呼吁各国尽快实施两年前联合国教科文组织提出的《人工智能伦理问题的建议书》，我认为其中有两个需要特别注意的问题：

第一，终决策权必须牢牢掌握在人手里，因为人工智能可能会带来大面积的自动化，例如自动驾驶，这可能会导致人失去对终决策的控制，这其实是非常大的挑战。

第二，如何保护人的尊严。尽管这听起来是一个非常软性的话题，但它是一条红线和底线。

据说，现在已经有一个名为「AI鬼屋」，大致是说有人工智能机器人在网上聊天并拒绝人类进入，他们只要不断电就可以一直聊下去。我们不知道他们会聊出什么，因为他们不需要进食，这就引申出了如何重新界定人机关系、重新界定智能边界等治理问题。

我同意在一定程度上采取踩刹车、降低速度、放慢节奏，安装好防火墙和安全门的方式。刹车尽管可能会失去一些效率但可以防范技术失控，一旦技术失控它就会像大坝坍塌一样*，这可能是难以控制的。治理问题需要关注，也需要有一定的*和柔韧性，在不断变化的时代中，治理框架也需要与时俱进。

刘兴亮：行业内经常会讨论AI自主意识的*，如果未来出现这样的情况，并且引发故障或事故，比如去年俄罗斯举行的国际象棋比赛中，一个机器人象棋夹了一个小学生的手，类似这样的情况谁来承担责任？

段永朝：有一种惯例是一旦发生伤亡事故，就要去追溯厂商的责任。我认为这个惯例可能可以应用到人工智能的场景中，如果人工智能聪明过头，做出一些伤害事件，就需要有相应的追溯机制，我认为这是一个比较合适的解决方案。

我想举个反例——*前互联网刚起来的时候，只有「.com」时，有一个避风港原则，早期避风港原则是合适的，因为网站和网民数量都不多，现在网民已经超过了全球人口的一半，中国超过了80%。在这种情况下，如果你的网站还采用避风港原则，那么就是不恰当的。

// 编注：避风港原则：发生著作权侵权*时，当网络服务提供商只提供空间服务，并不制作网页内容，如果被告知侵权，则有删除的义务，否则就被视为侵权。

人工智能也是这个道理，它生成速度非常快，效率高，规模也非常大，再加上网络和智能手机的普及，它的影响和范围也超过以往。因此，我赞成对生产厂商采取谨慎原则进行追溯。

再举个小例子，二战期间，由于降落伞不能做到100%合格率，据说巴顿将军要求降落伞公司CEO亲自跳伞，这种粗暴的方法是为了让生产厂商保持谨慎，以确保产品的质量。如果人工智能出现了损害事故，对供应商或者提供者追责也是应有之义。

以上就是【AI造假不可避免，治理的底线是保护人的尊严丨亮见28期】的相关内容，查看其它ai资讯请关注微咔网