Skip to main content

AI OS：LLMs更像是新操作系统的核心程序

🍙 Andrej Karpathy 最近的一条推文引起了热议，

推文原文：https://twitter.com/karpathy/status/1707437820045062561

发表于9月29日，观看次数1.9M

从聊天机器人到“新操作系统的内核进程”的演变是一个革命性的转变 当我们看到LLM的多模态功能扩展时，您认为这种新计算模式的下一个重大里程碑是什么？.

正文解读：

最近有很多新的研究成果和进展，这使得我们对LLMs（大型语言模型，比如ChatGPT）有了更全面的认识。我们发现LLMs不仅仅是一个聊天机器人，它更像是新操作系统的核心程序。

让我们通过一个比喻来理解这个观点：

比喻： 想象你有一个拼图。最初，你只有几块碎片，所以你可能会认为这只是一个小图案。但随着时间的推移，你得到了更多的拼图碎片，最终你发现，这不仅仅是一个小图案，而是一个巨大而复杂的画面。

现在，回到LLMs：

  • LLMs能处理多种方式的输入和输出，如文本、音频和视觉。
  • 它可以解释、编写和运行程序。
  • 它有类似浏览器的功能，可以访问互联网。
  • 它还有一种嵌入数据库，用于文件和内部存储的存储和检索。

再用一个比喻：LLMs目前的操作方式就像一个运行在10Hz（代币/秒）的单线程程序，你可以看到其底层的执行过程。

当我们谈论LLMs的安全性时，它也面临着攻击、防御和新出现的脆弱性，这与计算机安全的概念非常相似。

此外，作者还提到一个"最近邻"的比喻，将操作系统比作不同的大型语言模型，例如Windows、OS X和Linux与GPT、PaLM、Claude和Llama/Mistral。每个操作系统都有默认的应用程序，并有一个应用商店。大多数应用程序可以适应多个平台。

总结： 如果我们只把LLMs看作是聊天机器人，那就像我们早期只把计算机看作是计算器一样。现在，我们看到的是一个全新计算范式的诞生，而且这只是开始。

原文内容：

x

☕
With many dropping recently, a more complete picture is emerging of LLMs not as a chatbot, but the kernel process of a new Operating System. E.g. today it orchestrates:

  • Input & Output across modalities (text, audio, vision)
  • Code interpreter, ability to write & run programs
  • Browser / internet access
  • Embeddings database for files and internal memory storage & retrieval

A lot of computing concepts carry over. Currently we have single-threaded execution running at ~10Hz (tok/s) and enjoy looking at the assembly-level execution traces stream by. Concepts from computer security carry over, with attacks, defenses and emerging vulnerabilities.

I also like the nearest neighbor analogy of "Operating System" because the industry is starting to shape up similar:
Windows, OS X, and Linux <-> GPT, PaLM, Claude, and Llama/Mistral(?:)).
An OS comes with default apps but has an app store.
Most apps can be adapted to multiple platforms.

TLDR looking at LLMs as chatbots is the same as looking at early computers as calculators. We're seeing an emergence of a whole new computing paradigm, and it is very early.

原文翻译：

☕ 直译:

近期随着众多🧩的出现，一个更加完整的画面开始浮现：LLMs 并不只是一个聊天机器人，而是新型 Operating System 的核心过程。例如，今天它协调：

  • 跨多种模式的输入与输出（文本，音频，视觉）

  • 代码解释器，具有编写和运行程序的能力

  • 浏览器 / 上网功能

  • 用于文件和内部内存存储与检索的嵌入式数据库

许多计算概念得以延续。目前，我们拥有运行在大约10Hz (tok/s) 的单线程执行，并享受观看汇编级别执行的迹象流。计算机安全的概念也得以延续，伴随着攻击、防御和新兴的脆弱性。

我还喜欢用“Operating System” 的最近邻比喻，因为行业开始呈现出类似的趋势：Windows、OS X 和 Linux <-> GPT、PaLM、Claude 和 Llama/Mistral(？)。一个 OS 自带默认应用程序，但也有一个应用商店。大多数应用可以适应多个平台。

简而言之，将 LLMs 视为聊天机器人就像我们早期将计算机视为计算器一样。我们正目睹一个全新计算范式的兴起，而这只是开始。

意译:

近期，随着许多关键信息的公布，人们逐渐认识到LLMs不仅仅是个简单的聊天机器人，更像是新一代操作系统的“大脑”。例如，它如今可以：

  • 整合各种形式的信息输入与输出，包括文本、音频和图像

  • 解读代码，并有能力编写及执行程序

  • 浏览网页和上网

  • 拥有一种专门用于文件和内部数据存储与查找的系统

这背后蕴含了丰富的计算理念。目前，这种技术的运作速度约为每秒10次（10Hz），我们也能直观地看到其执行过程的细节。与此同时，现有的计算机安全策略和对策也被纳入其中，以应对可能的威胁。

有趣的是，我觉得当前的这种技术发展与操作系统的发展轨迹颇为相似，例如 Windows、OS X 和 Linux 与 GPT、PaLM、Claude 和 Llama/Mistral 的关系。与传统操作系统默认搭载的应用相似，大多数现有应用也可以移植到这些新平台上。

总之，仅将 LLMs 视作聊天机器人，就如同我们曾将初代计算机仅视为计算器一般。现在，一个全新的计算时代正在到来，而这只是冰山一角。

摘录了一些网友的评论

以下是一个llm和计算机的类比

“脚手架LLM不仅仅是很酷的玩具，实际上是一种新型通用自然语言计算机的基础” CPU <=> LLM RAM <=>上下文窗口 磁盘<=>向量数据库内存 内存控制器<=>嵌入向量搜索 驱动程序<=>插件/链接 FLOPs <=> NLOPs 编程语言<=>思想链、自校正循环等。 编译器<=> langchain，prompt templates

x

x

x

最新发表