51、工程理论与实践对人工智能哲学的影响及人工智能安全工程探讨-CSDN博客

工程理论与实践对人工智能哲学的影响及人工智能安全工程探讨

在当今科技飞速发展的时代，人工智能领域的研究不断深入，工程理论与实践对人工智能哲学产生了深远的影响，同时人工智能安全工程也成为了备受关注的重要议题。

工程理论与实践对人工智能哲学的影响

近年来，人工智能从作为一门科学向作为一门工程的转变，给相应的人工智能哲学带来了显著变化。新的分析领域，如技术哲学和工程哲学的出现，促使我们重新思考人工智能哲学在科学哲学中的传统定位。

有观点认为，评估模拟可靠性的策略是基于从“成功到可靠性”的推断，而非从“成功到真理”的推断。即便模拟存在出错的可能，但这些策略仍为评估模拟的可靠性提供了充分理由。就像多年前Ian Hacking指出的实验情况一样，模拟结果的正确性也无法得到保证。即便应用了这些策略，模拟结果日后仍可能被证明是错误的。不过，从方法论的角度来看，这种可错论的观点不应被视为弱点，反而在考虑工程哲学的基础问题时，它是一种具有启发性的态度。

以电子拍卖和电子市场以及基于代理的模拟为例，基于模型的推理和验证中概念假设与具体人工制品之间的联系，可被视为新兴工程哲学的一个显著特征。我们的提议有两个独特方面：
1. 重新审视人工智能哲学 ：我们建议在工程哲学的影响范围内重新审视人工智能哲学。这并非否定科学哲学在构建人工智能哲学概念框架方面的重要影响，而是要从理论和实践的角度，考虑人工智能更倾向于工程问题的最新趋势。
2. 人工智能哲学启发工程哲学 ：在这种新的工程视角下，人工智能哲学可以为新兴的工程哲学提供启发。

传统科学哲学的范畴在应用于工程问题时并不完全令人满意，例如我们讨论的验证问题。特别是在研究工程实验的性质、作用和局限性时，需要新的分析范畴。目前所做的工作只是迈向工程哲学基础的第一步。

人工智能安全工程的必要性

在人工智能领域，机器伦理和机器人权利迅速成为热门话题。然而，让机器进行伦理决策或赋予其权利的尝试是误导性的。我们需要一门新的智能人工代理安全工程科学。

过去十年，计算机科学中出现了许多与机器伦理发展相关的新子领域，如机器伦理、计算机伦理、机器人伦理等。但大多数已发表的论文纯粹是哲学性质的，只是反复强调机器伦理的必要性，并争论应将哪一套道德信念应用于我们的人造后代。由于伦理规范并非普遍适用，因此无法选出一套能让全人类满意的“正确”伦理准则。

即便我们成功设计出能够通过道德图灵测试的机器，但人类般的表现意味着可能存在不道德行为，这对于我们设计的机器来说是不可接受的。我们需要的是本质上安全且守法的机器。正如Robin Hanson所说，无论是早期机器人能力与人类相近，还是后期机器人能力远超人类，重要的是我们和机器人都有共同接受的法律来解决争端，法律才是关键。

因此，我们提议用科学工作来补充关于机器伦理的纯哲学讨论，创建一个名为“人工智能安全工程”的新领域。目前，该领域已经有了一些具体的工作。人工智能安全研究的一个常见主题是将超级智能代理限制在密封硬件中，以防止其对人类造成伤害。例如，Eric Drexler建议限制超人类机器，以便安全地研究和使用其输出；Nick Bostrom提出了只能回答问题的Oracle AI；David Chalmers建议将人工智能系统先限制在模拟虚拟世界中，直到充分了解其行为倾向。

Roman Yampolskiy提出了一种形式化的人工智能限制协议，将“AI-Boxing”视为计算机安全挑战。他定义了人工智能限制问题（AICP），即限制人工智能实体在受限环境中，使其在未经限制当局授权的情况下，无法通过合法或隐蔽渠道与外部环境交换信息。成功违反限制协议的人工智能系统被视为逃脱。

该协议基于提出所谓“安全问题”并限制答案的理念。安全问题是指人类无需超级智能的帮助就能自行找到答案的问题。例如，科学家在研究癌症治疗方法时，面对两种有同等成功可能性的潜在疗法，选择先测试哪一种的问题就是安全问题。这个问题安全的原因如下：
1. 每个潜在答案的正确概率相等。
2. 人类无需人工智能的帮助就能回答该问题，询问人工智能只是加快进度，不会改变结果。
3. 答案可以用单个比特编码，难以隐藏额外信息。

为确保潜在问题是安全的，可以由一组专家进行审查。这些专家应是经过培训的人工智能安全工程师，熟悉人工智能的设计及其限制环境，以及机器伦理的最新发展。此外，他们可能还需要接受计算机心理学方面的培训，而目前这一专业尚未存在。Artimetrics这一现有学科可能对培训人工智能问题审查专家最有帮助，它用于识别、分类和认证人工智能代理、机器人和虚拟现实化身，以保障安全。

以下是关于人工智能安全工程中相关概念的表格总结：
|概念|定义|作用|
| ---- | ---- | ---- |
|安全问题|人类无需超级智能帮助就能自行找到答案的问题|用于与人工智能交互，在不改变结果的前提下加快进度，且难以隐藏额外信息|
|人工智能限制问题（AICP）|限制人工智能实体在受限环境中，使其在未经授权时无法与外部环境交换信息|防止人工智能对人类造成伤害|

mermaid格式流程图展示人工智能限制协议流程：

graph LR
    A[提出潜在问题] --> B{是否为安全问题}
    B -- 是 --> C[专家审查]
    B -- 否 --> A
    C -- 通过 --> D[向人工智能提问]
    C -- 不通过 --> A
    D --> E[获取答案]

综上所述，工程理论与实践对人工智能哲学的影响促使我们重新审视人工智能哲学，并为新兴的工程哲学提供启发。而人工智能安全工程的提出，是为了应对人工智能发展带来的安全挑战，确保人工智能系统的安全性和可靠性。

工程理论与实践对人工智能哲学的影响及人工智能安全工程探讨

人工智能安全工程的挑战与应对

人工智能安全工程面临着诸多挑战，其中一个重大挑战是为自我改进系统开发安全机制。如果人工智能机器能够像人类工程师一样设计下一代智能系统，那么确保初始设计中纳入的任何安全机制在经过数千代的持续自我改进且无人干预的情况下仍然有效至关重要。理想情况下，每一代自我改进系统都应该能够产生可验证的安全证明以供外部审查。

然而，随着系统复杂性的增加，设计中的错误数量可能会成比例甚至呈指数级增长。即使是自我改进系统（最复杂的调试系统）中的一个小错误，也会破坏所有的安全保障。更糟糕的是，即使在设计完成后，由于硬件缺陷导致的随机突变或诸如短路等自然事件修改系统的某些组件，也可能引入错误。

尽管存在这些困难，但我们不能放弃对安全机制的探索。目前已经有一些研究在尝试解决这些问题，例如加强对系统设计的审查和验证，采用冗余设计来降低单个错误的影响等。

通用人工智能研究的伦理问题

某些类型的人工智能研究应被视为危险技术并受到限制。经典的人工智能研究，如让计算机在特定领域（如邮件分类或文档拼写检查）中自动化人类行为，是符合伦理的，不会给人类带来生存风险。但通用人工智能（AGI）研究则应被视为不道德的。

真正的AGI能够进行通用问题解决和递归自我改进，这使其有可能在任何领域超越人类，使人类变得多余，甚至导致人类灭绝。此外，真正的AGI系统可能拥有与人类相当的意识，这使得对AGI进行实验可能导致机器人遭受痛苦，从这个角度来看，此类实验也是不道德的。

我们建议设立人工智能研究审查委员会，类似于审查医学研究提案的委员会。一组人工智能专家应评估每个研究提案，判断其是属于标准的有限领域人工智能系统，还是可能导致全面AGI的发展。可能导致不受控制的通用人工智能发展的研究应被限制获得资金，或受到全面或部分禁止。不过，专门针对AGI架构开发安全措施和控制机制的研究可以例外。

如果允许AGI发展，将会在超级智能机器和人类之间形成直接竞争。由于机器的自我改进能力，最终机器将占据主导地位。或者，人类可能会因为机器更有能力且犯错可能性更小而将权力交给它们。就像Ted Kazynsky在其著名宣言中所说，人类可能会逐渐依赖机器，以至于最终无法摆脱对机器的依赖，只能接受机器的所有决策。

以下是经典人工智能研究与通用人工智能研究的对比列表：
|研究类型|特点|伦理影响|
| ---- | ---- | ---- |
|经典人工智能研究|在特定领域自动化人类行为|符合伦理，无生存风险|
|通用人工智能研究|通用问题解决和递归自我改进|可能导致人类灭绝，实验可能不道德|

机器人权利问题

机器人权利是机器伦理的一个分支，表面上与安全关系不大，但被认为在伦理机器的决策中发挥作用。然而，我们认为答案是否定的。人类生来平等，但机器在设计上应该是低等的，它们不应拥有权利，并且在需要时可以被牺牲，这样作为工具使用对其创造者更有益。

机器不会感到疼痛（或者至少可以设计成不会有任何感觉），因此在被摧毁时不会经历痛苦。虽然机器在能力上可以与人类平等，但在权利方面不应如此。如果赋予机器人权利，必然会导致公民权利，包括投票权。考虑到未来几十年预计的机器人数量以及复制潜在智能软件的便利性，一个有投票权的人工智能成员的社会将很快被它们主导，从而引发前面提到的各种问题。

未来研究方向建议

为了应对上述问题，我们对未来的研究方向提出一些广泛的建议：
1. 研究人员参与转变 ：研究不应仅局限于理论家和哲学家的兴趣领域，实践计算机科学家应直接参与其中。
2. 开发有限人工智能系统 ：开发有限人工智能系统，以此来试验非拟人化思维，并改进当前的安全协议。

多年来，这些问题一直是科幻作家和哲学家关注的领域。或许通过这些方式，或者由于像SIAI这样的组织的倡导，人工智能安全问题逐渐受到更多关注。我们需要不断努力，推动人工智能安全工程的发展，确保人工智能的发展不会对人类造成威胁。

mermaid格式流程图展示未来研究方向的推进流程：

graph LR
    A[吸引实践计算机科学家参与] --> B[开发有限人工智能系统]
    B --> C[试验非拟人化思维]
    B --> D[改进安全协议]
    C --> E[提升人工智能安全性]
    D --> E

总之，在人工智能快速发展的今天，我们既要关注工程理论与实践对人工智能哲学的影响，也要重视人工智能安全工程的建设，同时谨慎对待通用人工智能研究的伦理问题和机器人权利问题。通过合理的研究和规划，确保人工智能的发展能够造福人类，而不是带来潜在的风险。