据《纽约时报》报道，一名父亲用手机拍下孩子腹股沟感染的照片并将其发送给医生后，谷歌 AI 识别出该照片并将其标记为儿童性虐待材料（CSAM），并禁止了该父亲的账户。向国家失踪和受虐儿童中心提交了一份报告，促使警方调查此事。然而，即使警方宣布父亲无罪后，谷歌仍然拒绝解封他的账户。

南都AI前哨梳理公开信息发现，不少科技公司利用AI工具对涉嫌CSAM的图像进行审核，每年被标记的次数超过百万次。但这种行为是否侵犯用户隐私以及AI审核的准确性常常受到质疑。

父亲将生病孩子的照片发给医生

但被谷歌禁止了

去年2月，受-19疫情影响，许多诊所关闭。来自旧金山的马克注意到孩子的腹股沟区域肿胀。与医生沟通后，给他发了一张该地区的照片，医生开了治疗感染的药物。

然而，拍摄照片两天后，马克收到谷歌的通知，称他的帐户因“严重违反谷歌政策且可能违法”的“有害内容”而被锁定。

帐户被锁定后，马克无法访问他的电子邮件、联系人、照片，并且由于他使用谷歌的移动消息服务，他无法再访问他的电话号码。马克试图对谷歌提出投诉，但谷歌拒绝了马克的请求。

2021 年 12 月，旧金山警察局致信马克，告知他正在接受调查。当马克与警方取得联系时，警方告诉他调查已经结束，最终认定该事件“不符合犯罪要件，没有发生犯罪”。

值得注意的是，警方在调查过程中试图联系马克，但他的电话和电子账户均无法接通。

收到警方报告后，马克再次向谷歌投诉，要求解封他的账户。谷歌不仅不同意，甚至永久删除了他的账户。

谷歌表示，事件发生后，当评论者审查马克的账户时，他们发现了他拍摄的一段视频，其中显示一个孩子和一个赤身裸体的女人躺在床上。马克说，视频中的是他的妻子和孩子。他只是记录了一个私人的时刻，并没有想到会被别人观看和评判。

无独有偶，同样的事件也发生在德克萨斯州。

休斯顿一名腹股沟感染儿童的父亲应儿科医生的要求拍了照片。照片已自动备份到 相册。他还使用谷歌的聊天服务将照片发送给他的妻子，他的谷歌帐户随后被黑客入侵。残疾人。我当时正在买房，签署了很多数字文件，邮箱被禁用给我带来了很大的不便。

对被指控侵犯用户隐私的虐待儿童图像进行审查

公开资料显示，科技公司通常会使用人工智能工具来审查涉嫌 CSAM 的图像，这些图像每年可能被标记超过一百万次。

第一个人工智能工具由微软于 2009 年开发，名为“”，它是一个已知虐待图像的数据库，这些图像被转换为​​唯一的数字代码。它可以快速梳理大量图像并快速检测与数据库匹配的图像。许多科技公司使用它来审查和禁止非法图像。 2018 年，谷歌开发了一款人工智能工具，可以识别从未见过的受虐儿童图像。这意味着它不仅可以找到已知的图像，还可以找到未知的受害者。

在人工智能标记出可疑图像后，谷歌的人工审核人员将再次审核该图像，并及时向有关当局报告。据悉，2021年，仅谷歌就向警方报告了超过60万起CSAM案件，并向警方报告了4,260名潜在受害者——《纽约时报》称，这份名单包括马克和他的孩子。

保护儿童免受虐待无疑很重要，但批评者表示，扫描用户照片的做法无理侵犯了他们的隐私。

据报道，非营利性数字版权组织电子前沿基金会（EFF）的技术项目总监乔恩称谷歌的做法非常“侵入性”。 “这是我们都担心的噩梦，”他说。 “他们要扫描我的家庭相册，我会有麻烦了。”

另一方面，一些研究表明审查制度不太准确。对 150 个被 AI 视为涉嫌 CSAM 的账户进行的研究发现，75% 的账户发送相关图片并非出于恶意，甚至意识到该图片涉嫌 CSAM，通常是为了表达“愤怒”或“试图幽默” 。通过AI检测发现75个涉嫌CSAM的账户并向欧盟报告。但经过人工审核，只有31个被认定为问题账户，准确率不足50%。

南方都市报()、N视频报道

综合/编译：实习生韩艳艳、南都记者姜琳