OpenAI反作弊工具发布受阻:透明度与用户流失的两难抉择

699.jpg

OpenAI开发了一种能够检测某人何时使用ChatGPT撰写论文的工具,但在透明度承诺和保持用户之间的权衡中,这一工具尚未发布。

据《华尔街日报》8月4日报道,OpenAI的反作弊项目在内部争论了近两年,准备发布的时间也已超过一年。OpenAI首席执行官山姆·奥特曼(Sam Altman)和首席技术官米拉·穆拉蒂(Mira Murati)都参与了反作弊工具的讨论。知情人士透露,奥特曼对该项目表示支持,但没有推动其发布。

OpenAI内部对透明度承诺和用户保留之间的平衡进行了反复权衡。一项针对ChatGPT用户的调查发现,近三分之一的用户会因为反作弊技术而停止使用这项服务。受访者表示,如果ChatGPT使用反作弊技术而竞争对手没有,他们将减少使用ChatGPT。

OpenAI发言人表示,公司担心该工具可能会对非英语母语者等群体产生不成比例的影响。“我们正在开发的文本水印方法在技术上很有前景,但在研究替代方案时我们正在权衡重要的风险。”支持该工具发布的员工则认为,与该技术可能带来的好处相比,这些争论显得微不足道。

ChatGPT可以预测句子中接下来会出现的token,OpenAI的反作弊工具将略微改变token的选择方式,从而留下水印。这些水印对人眼来说是不明显的,但可以被OpenAI的检测技术发现。根据内部文件,当ChatGPT生成足够多的新文本时,水印的有效性为99.9%。OpenAI今年早些时候进行的一项测试发现,水印技术不会影响ChatGPT的性能。

然而,一位熟悉此事的OpenAI员工表示,员工们担心水印可能通过简单的技术被删除,比如把文本翻译成另一种语言然后再转换回来,或者让ChatGPT在文本中添加表情符号,然后手动删除这些表情。

OpenAI内部普遍认为,决定谁可以使用这种检测器是一个挑战。如果拥有权限的人太少,这个工具将没有用处;如果太多人拥有权限,水印技术就可能被破解。OpenAI的员工已经讨论过直接向教育工作者或外部公司提供检测器,以帮助学校识别由人工智能撰写的论文和抄袭作品。

关于水印工具的讨论始于OpenAI在2022年11月推出ChatGPT之前。2023年1月,OpenAI发布了一种算法,旨在检测人工智能模型编写的文本,但成功率仅为26%,7个月后OpenAI取消了这一算法。据《华尔街日报》报道,实际上,外部公司和研究人员也在开发其他工具来检测由人工智能创建的文本,教师已经开始使用这些工具,但有时无法检测到高级大模型编写的文本,有时也会产生误报。

请注意:本文内容来源于网络,如涉及侵权,请联系我们,我们将及时处理。


留言

Copyright© 中国信息化系统集成行业协会 版权所有