对 AI Safety / AI open source 以及 large scale AI deployment 的看法
对 AI Safety / AI open source 以及 large scale AI deployment 的看法 Q: 大家觉得， 人类接下来五年能实现的 super intelligence 到底能有多强，以及它到底是有多大程度的 safety concern? 研究员1：保守估计从去年这个时候到现在一年时间已经intelligence提升是2倍，那么2的5次方就是32倍 研究员2：目前认为safety是一种幻觉，当AI智力突破临界值后，是不存在可靠的手段产生“safety”的 研究员3：AI 对于人类的影线也不一定是完全的，可能是局部的，比如说，如果模型在某些特定疾病上 halluscinate 但在其他疾病上极为精准，那么人类可能会因为模型在其他疾病上都很精准所以对模型有足够的信任，但是刚好就是有那一种病的人遭殃；然后，AI 对人类的影响也不一定是在时间维度是上局部的，它也可能是代际的。比如说，如果 2010 年生下来这一代人精神上只想跟 character 谈恋爱，肉体上过几年各种娃娃也造得很真；然后再来个 Sam 给你发 UBI，国内发低保，那可能他们这一代人就比我们这一代更不想繁衍了。刘慈欣在一次 talk 上也讲了这个观点；再然后，当 AI 的能力到了一定程度之后，它就有自我进化的可能，如果 AI 可以自我演化那就没人类什么事了。 研究员4：OAI 做过演化的研究 https://openai.com/research/evolution-through-large-models。 是否有一种轻量方法可以动态压缩序列，在不考虑工程的情况下，可以大幅降低计算复杂度 研究员1： https://arxiv.org/abs/2305.11170 之前做过一个压缩prompt的，不过不是压缩hidden state 研究员2： 如果指的是prompt compression, LLMLingua 做的是类似的事，如果考虑在hidden上做，确实somehow和稀疏attention，LongNet这种很像，不过如果考虑到 lost in the middle, 目前认为是觉得非常有必要做某种denoise，（如果把context windows 比如RAM，那一定有L1, L2） 研究员3： 目前认为把 retrieval 也直接接上，like 原先的 retrieval 都是用小模型产生 embedding，可以直接用大模型本身把 memory encode 成 embedding...