机器之心报道

编辑：陈萍、小舟

如果有一天我们查询到的「知识」真假难辨，那这就太可怕了。

要问最近 AI 圈哪个模型最火爆，你不得不把 OpenAI 推出的 ChatGPT 排在前面。自从发布以来，这个对话模型可谓是出尽风头，很多人更是对其产生了一百个新玩法，让它写个代码、修改修改 bug、开发个小游戏、解答一下物理知识、去参加一场考试…… 仿佛没有它不会的。

「上周三才上线的 ChatGPT，短短几天它的用户已经突破 100 万大关！」OpenAI 的 CEO Sam Altman 表示。

就连马斯克都忍不住好奇的问了一句：「你们每次聊天的平均成本是多少？」

「每次聊天的平均费用可能只有个位数，我们试着找出更精确的方法以及正在尝试如何优化它。」Sam Altman 回答道。

由于 ChatGPT 在解决各种问题上的能力过于优秀，很多用户都表示 ChatGPT 可以取代 Google 等搜索引擎和 Stack Overflow 等编程问答社区了。

不过，虽然许多用户对 ChatGPT 的功能印象深刻，但其他人也注意到它一直倾向于生成似是而非的错误答案。例如，要求 ChatGPT 写一个公众人物的传记，它可能会很自信地插入不正确的传记数据。再比如要求它解释如何为特定功能编写软件程序，它同样可以生成可信但最终不正确的代码。

图源：https://twitter.com/CT_Bergstrom/status/1598212037901160448

ChatGPT 随时都有可能出错情况也促使 Stack Overflow 做出了一些反应。前两天还有人信誓旦旦的表示 ChatGPT 可以取代 Stack Overflow 了，令人没想到的是，今天 Stack Overflow 反手就把 ChatGPT 给封杀了。

这是怎么回事，原来在试用了一段时间后，人们很快发现，虽然 ChatGPT 以接近人类的方式回答提示，但它给出的答案可能存在缺陷。OpenAI 也提到这一点，ChatGPT 有时会给出看似合理但不正确或荒谬的答案。

对于这一问题，Sam Altman 也表示：「我们正在试图阻止 ChatGPT 随机编造，现阶段让其与当前技术保持平衡是很棘手的。随着时间的推移，我们会根据用户反馈来改进它，相信 ChatGPT 会变得更好。」

关于 Stack Overflow 为何禁用 ChatGPT，官方表示：「主要问题在于，虽然 ChatGPT 产生的答案错误率很高，但我们很难看出来它哪里错了。」这会造成问题回答鱼目混珠的情况。

接下来，Stack Overflow 将制定关于使用此工具和其他类似工具的具体要求。

Stack Overflow 宣布暂时封禁 ChatGPT 是因为它生成的答案正确率太低，发布由 ChatGPT 创建的答案对网站和查询正确答案的用户来说是非常有害的。

虽然 ChatGPT 生成的答案有很高的错误率，但这些答案通常看起来不错，而且生成答案的操作简单容易，许多人愿意尝试使用 ChatGPT 创建答案，但却没有专业知识或不愿意在发布之前验证答案是否正确。

最近几天，由于使用 ChatGPT 生成答案迅速简单，所以 Stack Overflow 上涌现了大量该模型生成的答案。这些答案通常需要具备一些专业知识的人详细阅读才能确定答案实际上是错误的。这种情况让 Stack Overflow 的质量管理遭到冲击。

对于 Stack Overflow 封禁 ChatGPT，网友们纷纷表达了自己的看法。

有人表示赞成，认为 AI 短时间内根本不可能生成完全正确的答案：

有人表示问题出在 Stack Overflow 用户在发布答案之前，没有认真检查和测试 ChatGPT 生成的代码，他们只是用 ChatGPT 快速生成答案并发布，导致答案中出现严重错误，甚至编程语言都是错乱的。

有趣的是，Stack Overflow 宣布封禁 ChatGPT 之后，有网友「询问」ChatGPT：「为什么 Stack Overflow 禁止用 AI 生成答案？」

ChatGPT 的回答非常诚实：「因为 AI 生成的答案不总是准确或相关的，可能会导致 Stack Overflow 上混淆错误答案，误导在寻求帮助的用户。」并且还表态：「Stack Overflow 禁止用 AI 生成答案是合理的。」

然后该网友又追问 ChatGPT：「为什么 Stack Overflow 允许用 AI 生成答案？」即使这只是个假设情况，但 ChatGPT 还是对答如流：

在 Stack Overflow 上允许 AI 生成的答案有一些潜在的好处。一方面，人工智能可能会为用户的问题提供更准确和详细的答案。这对于人类专家可能难以回答的复杂技术问题特别有用。此外，AI 生成答案可以帮助减少人类专家的工作量，使他们能够专注于更重要的任务。

然而，使用 AI 生成答案也有一些潜在的缺点需要考虑。例如，AI 生成的答案可能并不总是准确或有帮助的，而且人们可能担心用于生成答案的算法存在偏见。用户可能也对使用 AI 生成答案有顾虑，更愿意从人类专家那里得到答案。

总的来说，是否允许 AI 在 Stack Overflow 上生成答案是一个复杂的决定，需要社区仔细考虑。

综合上面回答，我们发现 ChatGPT 颇有自知之明，对 Stack Overflow 禁用 AI 生成答案的问题也阐述得有理有据。这说明从语言模型的角度讲，ChatGPT 已经非常成熟，但生成知识型内容并不是一件简单的事。

类似地，上个月 Meta 的模型 Galactica 上线仅两天后就火速下架，因为该模型生成的知识型内容存在严重错误。现在 ChatGPT 被 Stack Overflow 禁用再度证明构建「知识型模型」是一个巨大的挑战。

ChatGPT 的研究团队此前表示将根据用户反馈持续改进模型，但生成错误答案的现状表明，让语言模型生成正确的知识内容还有很长的路要走。

https://twitter.com/sama

https://www.zdnet.com/article/stack-overflow-temporarily-bans-answers-from-openais-chatgpt-chatbot/

https://meta.stackoverflow.com/questions/421831/temporary-policy-chatgpt-is-banned