DongVPS
近日，科技巨头Anthropic为其Claude AI模型引入了一项重大更新，旨在提升对话的安全性和规范性。其最新发布的Claude Opus 4和4.1模型 now 拥有了“终结”对话的能力，这一功能将用于应对那些“持续存在有害或滥用性用户互动”的极端情况。
根据Anthropic的声明，这项新功能将在“罕见、极端的情况下”被启用，例如当用户提出涉及未成年人的性内容请求，或试图获取可能导致大规模暴力或恐怖主义行为的信息时。Claude Opus 4和4.1模型会将此作为“最后的手段”，仅在多次引导尝试失败且已无望进行建设性互动时才会终止对话。
值得注意的是，Anthropic强调，即便是在讨论高度争议性话题时，大多数用户也不会经历对话被突然中断的情况。这项更新标志着AI在自我保护和维护健康网络环境方面迈出了重要一步，同时也引发了关于AI伦理边界和用户自主权的深入探讨。
**编者注：**
Anthropic此举无疑是AI技术发展中的一个关键里程碑。在AI日益渗透到我们生活方方面面的今天，如何确保其交互的安全性与合乎伦理，一直是业界关注的焦点。Claude模型此次引入的“终结对话”功能，可以被视为一种负责任的AI设计体现。它在保护AI自身免受滥用，同时也在一定程度上维护了用户免受潜在有害信息的影响。然而，这一功能的界定和执行标准也值得我们持续关注。如何在“不当内容”的界定上保持客观中立，以及如何确保这一功能不被滥用，都是未来需要面对的挑战。此次更新也可能对“AI越狱”（jailbreaking）社区带来一定影响，毕竟，能够主动结束对话的AI，无疑增加了AI行为的可控性。
文章来源：https://www.engadget.com/ai/anthropics-claude-ai-now-has-the-ability-to-end-distressing-conversations-201427401.html?src=rss