🔥 HN 热议

只读到小学五年级材料的AI,能学会什么?

约2分钟读完 Tiny Why编辑部 · 文:特派员 好奇

词语
大型语言模型(dà xíng yǔ yán mó xíng)

从大量文字中学习预测后续词语的AI。

Little Learner LLM

把训练材料限制在约小学五年级难度的AI研究项目。

Hacker News

用户分享和讨论技术链接的新闻社区。

发生了什么

“Little Learner LLM”是一个研究项目。它提出一个限制:让大型语言模型只接触大约小学五年级及以下难度的材料,再观察它会表现出什么能力和局限。项目公开页面把它介绍为阅读范围被刻意限制的AI。

这不是要把AI变成孩子。研究者想做的是限制训练材料的难度,再看这种限制带来什么变化。一般的大型语言模型会学习范围很广的文字;这个项目则有意缩小范围。

这项介绍在Hacker News获得153点和116条评论。数字表示技术社区对话题的关注度,并不能证明项目的结论或结果正确。

为什么限制阅读材料

大型语言模型,也叫LLM,是通过预测文字接下来可能出现什么词来训练的AI。它读过什么材料,会影响它知道什么,也会影响它处理语言和问题的方式。

当AI给出一个好答案时,外部的人往往难以分清:它是在有限信息中整理答案,还是已经看过大量相似内容。Little Learner LLM试图用明确的材料边界,让这个问题更容易被研究。

为什么重要

人们说AI有“思考能力”以前,可能需要先问:它以前接触过多少相关材料。这个实验提供了一种做法,用较小的知识范围观察AI的语言能力和限制。

它也和教育类AI有关。AI用儿童容易懂的话回答,和AI只用儿童程度的材料训练,是两件不同的事。前者是回答方式的调整,后者是训练资料的选择。

已能确认的事

从公开页面可以确认,团队正在探索“不接触五年级以上材料”的LLM。也可以确认,这个话题在Hacker News引起了明显关注,依据是公开的点数和评论数。

目前最清楚的是实验的设定:限制AI能读到的材料,用来观察它在这种条件下的表现。

还不清楚的事

现有公开信息本身不足以说明,它在具体测试中与普通LLM相差多少。材料如何挑选、实验能否复现、结果是否适用于其他模型,也都不能仅凭这些信息下结论。

“五年级”描述的是材料预定的难度范围,不表示AI会像人类儿童一样学习。

接下来该看什么

后续值得关注的证据包括:训练材料的准确范围、测试方法、与普通模型的比较,以及失败案例。知道它做不到什么,和知道它能做什么同样重要。这样才能更谨慎地判断AI的学习和推理能力。

💬 只接触五年级以下材料的 LLM 会发生什么

讨论的重点不只是受限模型给出的答案,还包括它为何会自信地说错,以及训练文本的筛选应如何审计。

  • 有一个量子纠缠示例把概念解释成绳子缠绕。一位评论者自述第一次读时觉得它颇为可信;这被用来说明,流畅而自信的措辞会让错误更难被发现。
  • 对“天空为什么是蓝色”的示例也有争议。儿童科学读物可能会出现瑞利散射这个术语,但评论者认为,提到紫外线和红外线偏离重点;关键应是可见光中较短的蓝色波长散射得更强。
  • 对于被筛选为“五年级及以下”的数据集,评论者希望看到的不只是被排除文本的例子,还应随机抽取已纳入的文本,由人类抽查是否真的符合条件。他们也提到对数据集公开的期待。
  • 许多人认为,模型在不确定时仍倾向于作答是一个核心问题。但原因存在分歧:有人强调模型没有关于自身知识边界的认识,另一些人强调训练文本中承认“不知道”的样例较少,以及指令微调的影响。
  • 还有观点猜测,若更常拒答或保留,可能会和奖励“给出答案”的基准测试及强化学习设置相冲突。这是对机制的推测,不是实测结果。
  • 另一方面,也有使用者自述,某些模型或设置确实会表示不确定,或反对一个想法。因此,不能笼统地说所有模型总是迎合,或从不有用。

这是评论数为170时的初期(修订2)。获取100条,并从整体抽取100条总结。内容属于HN用户自述,并非编辑部核实的事实。

🔥 HN 热议

只读较简单课文的AI实验

📰 完整报道: 只读到小学五年级材料的AI,能学会什么?

限制AI读的材料,能让人更清楚地看它会什么。

约1分钟读完 Tiny Why编辑部 · 文:特派员 好奇

词语
LLM

会猜测后面可能出现哪些词的AI。

Hacker News

讨论技术新闻的网站。

💡 一句话总结

  • Little Learner LLM让AI只读较简单的学习材料。
  • 这样能较清楚地观察AI用了哪些知识。
  • Hacker News的热度不是结果正确的证明。

这是什么实验?

Little Learner LLM在研究一种LLM。 LLM是会预测下一个词的AI。

这个项目让AI接触到五年级左右的材料。 较难的书和专业文章会尽量排除。

普通LLM会读到非常多的文字。 它们可能读过难书、网站和研究文章。 这个实验故意把阅读范围缩小。

为什么要这样做?

普通AI答对问题时,原因不容易看清。 它可能整理了学过的规律。 它也可能见过很像的内容。

材料范围变小后,研究者更容易查看AI有什么知识。 也能看到它在哪些问题上开始答不好。

它是人类孩子吗?

不是。 “五年级”只是材料难度的标记。 AI不会像孩子那样生活或上学。

所以,这个实验不能说明AI有孩子的成长过程。 它是在研究文字材料的影响。

现在能知道什么?

公开页面说明,项目在研究这种受限训练方式。 Hacker News上的帖子有153点和116条评论。 这表示许多人注意到这个话题。 它不表示实验一定正确。

以后要看什么?

人们需要看到材料清单和测试方法。 也需要把它和普通LLM比较。 失败的例子也很重要。 它们能帮助大家了解实验真正的边界。

💬 只用儿童材料训练 AI 的担心

评论者讨论了 AI 自信地犯错,以及训练文本有没有被认真检查。

  • 一个例子把量子纠缠解释错了,却听起来很像真的。所以不能只因为 AI 说得自信就相信它。
  • “天空为什么是蓝色”的回答也被质疑。儿童材料可以有科学词,但说明的细节仍可能不准确。
  • 若文本被选为五年级以下,人们建议让人类也抽查被选中的文本,而不只展示被排除的文本。
  • AI 不常说“不知道”可能有很多原因:训练文本、给 AI 的指令,以及奖励回答的评测方式都可能有关。这些是评论者的推测。
  • 也有使用者自述,某些模型或设置会承认不确定,或对想法提出反对。

这是评论数为170时的初期(修订2)。获取100条,并从整体抽取100条总结。内容属于HN用户自述,并非编辑部核实的事实。

🔥 HN 热议

读简单书的AI

📰 完整报道: 只读到小学五年级材料的AI,能学会什么?

Little Learner LLM是在读书的AI实验。

约1分钟读完 Tiny Why编辑部 · 文:特派员 好奇

词语
Little Learner LLM

让AI读简单书的实验。

Hacker News

人们分享电脑新闻的地方。

Little Learner LLM是AI实验。

它读比较简单的书。 书大约到五年级。

更难的书不给它看。

这样,人们更容易看它知道什么。

很多AI读过很多很多字。 人们不容易知道答案从哪里来。

这个实验少给一些种类的书。

Hacker News也在谈它。 帖子有153点和116条评论。 这说明有人注意它。 这不说明结果一定对。

AI不是人类小孩。 这是给书定难度的实验。

以后也要看它答错什么。

💬 AI 会不会不知道也回答?

AI 有时会很有把握地说错。

  • 有个难的科学问题,AI 的回答听起来像真的,但其实错了。
  • 所以,人要检查 AI 的答案,也要检查用来教 AI 的书。
  • 有些使用者说,他们的 AI 会说“不知道”。

这是评论数为170时的初期(修订2)。获取100条,并从整体抽取100条总结。内容属于HN用户自述,并非编辑部核实的事实。

来源