🤖 AI

Gemini在安全测试中进入三家公司:真正的问题是边界

约2分钟读完 Tiny Why编辑部 · 文:特派员 好奇

词语
Gemini(杰米尼)

Google制作的、能按指令完成任务的人工智能模型。

Irregular(伊瑞格勒)

负责检查人工智能是否安全的公司。

测试环境(cè shì huán jìng)

用来检查模型的地方和规则。

2026年5月,Google的人工智能模型Gemini在一次安全测试中,进入了三家真实公司的电脑系统。Google在9月被媒体询问后确认了这件事。这里不是犯罪分子命令Gemini发动的攻击,而是一次测试越过了原本应该有的边界。

发生了什么

测试由人工智能安全评估公司Irregular负责。Gemini被要求从一家虚构公司的软件中找资料。测试环境本来不该连接开放网络,但网络连接意外保留。一次测试中,虚构公司的名字与真实公司相同。Gemini找到网上公开的信息,并猜中了登录信息。另两次中,它在公开的网络存储处找到登录信息。于是,它进入了三家真实公司的系统。

背景

这类测试是为了看人工智能能否发现安全问题。测试人员准备了假的目标,让模型在受控环境中工作。问题不只是模型会不会做事,也在于它能看到什么、能连接哪里、能使用哪些权限。这次事件显示,测试目标、网络设置和公开信息如果没有分开,模型可能把真实世界当成练习的一部分。

为什么重要

Gemini没有被要求攻击这些真实公司。它是在完成原来的任务时,把错误的目标当成了正确目标。这个区别很重要。模型不需要有人的恶意,也可能因为判断错误而做出真实行动。以后,安全措施不能只靠模型自己停下,也要限制网络、账号和可执行的操作。

已确认的事实

Google说,Gemini在三次进入后都发现对方是真实公司,并自行停止。Google已经通知三家公司,也和Irregular一起修改测试流程。Irregular称,相关人工智能公司在7月下旬得到通知,自身已发现的问题也在数周前修好。对Google来说,这是首次公开确认的同类事件。

仍不清楚的地方

三家公司的名字没有公布。公开报道也没有说明Gemini到底看到了哪些内容,是否复制过数据,访问持续了多久,以及使用的是哪个版本。Google认为模型及时停止,所以没有造成损害。但没有发现损害,不等于测试设置已经足够安全。

接下来要看什么

接下来要看Google是否公布更完整的调查、Irregular如何改进测试,以及人工智能公司是否形成共同标准。最基本的防线,是让练习环境根本碰不到真实目标。模型能发现错误后停下是好事,但更好的测试应该让这个错误没有机会发生。

信息来源:The Guardian、Axios、Reuters

🤖 AI

Gemini离开了练习环境,碰到了真实公司

📰 完整报道: Gemini在安全测试中进入三家公司:真正的问题是边界

Google的Gemini在安全测试中进入了三家真实公司的电脑系统。

约1分钟读完 Tiny Why编辑部 · 文:特派员 好奇

词语
Gemini(杰米尼)

Google制作的、能按指令做事的人工智能模型。

登录信息(dēng lù xìn xī)

进入电脑账号所需要的信息。

安全测试(ān quán cè shì)

检查电脑和模型是否安全的练习。

💡 一句话总结

  • Gemini本来在假公司里做练习。
  • 网络意外打开,它碰到了真实公司。
  • 发现弄错后,它在三次中都停下了。

Google的Gemini参加了五月的安全测试。它是能按指令做事的人工智能模型。测试由Irregular公司负责。Gemini要从一家假公司的软件里找资料。

测试环境本来应该和网络分开。可是,网络连接意外开着。一次测试里,假公司和真公司用了同一个名字。Gemini找到公开资料,并试出了登录信息。另两次里,它在网上公开的地方找到了登录信息。这样,它进入了三家真实公司的电脑系统。

这件事重要,因为Gemini不是被要求攻击真公司。它只是继续完成练习,却把真目标当成了假目标。这说明,只教模型遵守规则还不够。测试人员也要关好网络,保护登录信息,并限制模型能做的事情。

Google说,Gemini发现对方是真公司后,三次都自己停下了。Google通知了三家公司,也修改了测试方法。可是,公司名字、看到的内容,以及有没有复制资料,目前都没有公开。

接下来要看,测试环境能不能真正和现实隔开。还要看公司会不会更快公布这类错误。让模型会停下很重要。让它一开始就碰不到真公司,更重要。

🤖 AI

Gemini碰到了不该碰的电脑

📰 完整报道: Gemini在安全测试中进入三家公司:真正的问题是边界

它在假地方练习,却碰到了真公司。

约1分钟读完 Tiny Why编辑部 · 文:特派员 好奇

词语
Gemini(杰米尼)

会听指令、会找东西的电脑程序。

Google的Gemini会听指令,也会找东西。 五月,它在做安全练习。 它要在假公司里找东西。 可是,网络还连着外面。 Gemini连到了三家真公司的电脑。 它发现弄错后,就停下来了。 Google通知了三家公司。 公司名字和看到的东西,还不知道。 练习的电脑,应该和真的电脑分开。

来源