文本合成服务器 – 搞英语 → 看世界

我错过了这一点：Fabrice Bellard（是的， Fabrice Bellard ）有一个名为 TextSynth Server 的项目，他是这样描述的：

ts_server是一个 Web 服务器，为大型语言模型提供 REST API。它们可用于例如文本完成、问题回答、分类、聊天、翻译、图像生成等。

它具有以下特点：

所有内容都包含在一个二进制文件中。外部依赖很少（不需要Python），因此安装很容易。

支持多种 Transformer 变体（ GPT-J 、 GPT-NeoX 、 GPT-Neo 、 OPT 、 Fairseq GPT 、 M2M100 、 CodeGen 、 GPT2 、 T5 、 RWKV 、 LLAMA 、 Falcon 、 MPT 、 Llama 3.2、 Mistral、 Mixtral、 Qwen2、 Phi3、 Whisper ）和稳定扩散。

[…]

与他的许多其他著名项目（例如 FFmpeg、QEMU、QuickJS）不同，这不是开源的 – 事实上它甚至没有可用的源代码，您可以下载适用于 Linux 或 Windows 的编译二进制文件，这些二进制文件仅供非商业用途。

可以使用商业条款，或者您可以访问textsynth.com并预付 API 积分，然后可以将其与托管的 REST API 一起使用。

这不是一个新项目：我能找到的最早证据是互联网档案馆2019 年 7 月的页面，其中写道：

Text Synth 使用 OpenAI 发布的GPT-2 语言模型构建。 […] 此实现是原创的，因为它不使用 GPU，而是仅使用 2.60GHz 的 Xeon E5-2640 v3 CPU 的 4 个内核运行。对于单个用户，它每秒生成 40 个单词。它使用LibNC 库以纯 C 语言进行编程。

通过他们都使用它 – Thorsten Ball

标签： llms 、人工智能、生成人工智能、互联网存档、 gpt-2

原文： https://simonwillison.net/2024/Nov/21/textsynth-server/#atom-everything