开源生态之GPT4ALL介绍

2023-06-13 AI让生活更美好

GPT4All是在 CPU 上本地运行的开源助手式大型语言模型。

GitHub地址：https://github.com/nomic-ai/gpt4all

1、GPT4All：开源边缘大型语言模型的生态**。

GTP4All 是一个生态**，用于训练和部署在消费级 CPU 上本地运行的强大和定制的大型语言模型。

目标很简单——成为任何个人或企业都可以**使用、分发和构建的**指令调优助手式语言模型。

GPT4All 模型是一个 3GB - 8GB 的文件，您可以下载该文件并将其** GPT4All 开源生态**软件。Nomic AI支持和维护这个软件生态**，以加强质量和安全性，同时带头努力让任何个人或企业轻松训练和部署他们自己的边缘大型语言模型。

聊天客户端

使用自动更新的桌面聊天客户端在您的家庭桌面上本地运行任何 GPT4All 模型。请访问GPT4All 网站，了解您可以使用这个强大的桌面应用程序运行的开源模型的完整列表。

直接安装程序链接：

· Mac

· Windows

· Ubuntu

训练 GPT4All-J

GPT4All-J Training Data

我们正在发布精心策划的训练数据，供任何人在此处**GPT4All-J：GPT4All-J训练数据
这里是训练数据: GPT4All-J Training Data

Atlas Map of Prompts
Atlas Map of Responses

我们已经发布了GPT4All-J模型和训练数据的更新版本。

v1.0: The original model trained on the v1.0 dataset
v1.1-breezy: Trained on a filtered dataset where we removed all instances of AI language model
v1.2-jazzy: Trained on a filtered dataset where we also removed instances like I'm sorry, I can't answer... and AI language model

可以通过传递参数来指定模型和数据revision版本。

例如，要加载v1.2-jazzy模型和数据集，请运行：

from datasets import load_dataset

from transformers import AutoModelForCausalLM

dataset = load_dataset("nomic-ai/gpt4all-j-prompt-generations", revision="v1.2-jazzy")

model = AutoModelForCausalLM.from_pretrained("nomic-ai/gpt4all-j-prompt-generations", revision="v1.2-jazzy")

GPT4All-J 训练说明

accelerate launch --dynamo_backend=inductor --num_processes=8 --num_machines=1 --machine_rank=0 --deepspeed_multinode_launcher standard --mixed_precision=bf16 --use_deepspeed --deepspeed_config_file=configs/deepspeed/ds_config_gptj.json train.py --config configs/train/finetune_gptj.yaml

训练数据格式

每行包含一个序列化为 JSON 对象的对话，数据格式：

{

"pid": "894686@1",

"title": "Mother Mary Alphonsa",

"passage": "Two years after Nathaniel's death in 1864, Rose was enrolled at a boarding school run by Diocletian Lewis in nearby Lexington, Massachusetts; she disliked the experience. After Nathaniel's death, the family moved to Germany and then to England. Sophia and Una died there in 1871 and 1877, respectively. Rose married author George Parsons Lathrop in 1871. Prior to the marriage, Lathrop had shown romantic interest in Rose's sister Una. Their brother...",

"sentences": [

"Two years after Nathaniel's death in 1864, Rose was enrolled at a boarding school run by Diocletian Lewis in nearby Lexington, Massachusetts; she disliked the experience.",

"After Nathaniel's death, the family moved to Germany and then to England.",

"Sophia and Una died there in 1871 and 1877, respectively.",

"Rose married author George Parsons Lathrop in 1871.",

"Prior to the marriage, Lathrop had shown romantic interest in Rose's sister Una.",

"..."],

"utterances": [

"Hi, I'm your automated assistant. I can answer your questions about Mother Mary Alphonsa.",

"What was Mother Mary Alphonsa's first education?",

"Two years after Nathaniel's death in 1864, Rose was enrolled at a boarding school run by Diocletian Lewis in nearby Lexington, Massachusetts; she disliked the experience.",

"Did she stay in the USA?",

"After Nathaniel's death, the family moved to Germany and then to England.",

"Why did they move?",

"Sophia and Una died there in 1871 and 1877, respectively.",

"..."],

"author_num": [0, 1, 0, 1, 0, 1, 0, 1, 0, 1, 0, 1, 0]

}

这些字段是：

Ø pid (string)：与公共 OR-QuAC 数据集中的段落 ID 相对应的段落的唯一标识符。

Ø title (string)：源****页面的标题passage

Ø passage (string): 英文****的一段话

Ø sentences (list of strings)：从中分割出来的所有句子的列表passage。

Ø utterances (list of strings)passage：由我们的 Dialog Inpainter 模型生成的合成对话框。该列表包含每个说话者的交替话语 ( [utterance_1, utterance_2, …, utterance_n])。在此数据集中，第一个话语是提供给模型的“提示”，每个交替话语都是段落中的一个句子。

Ø author_num (list of ints): 一个整数列表，表示text. [utterance_1_author, utterance_2_author, …, utterance_n_author]. 作者编号为 0 或 1。

请注意，中的对话utterances仅使用了段落的前 6 个句子；其余句子在该sentences字段中提供，可用于扩展对话。

相关知识介绍：

1）LangChain：通过可组合性使用 LLM 构建应用程序，大型语言模型 (LLM) 正在成为一种变革性技术，使开发人员能够构建他们以前无法构建的应用程序。但是单独使用这些 LLM 往往不足以创建一个真正强大的应用程序——当您可以将它们与其他计算或知识来源相结合时，真正的力量就来了。

2）Nomic AI：Nomic AI是世界上第一家信息制图公司。信息制图是制作和使用数据地图的研究和实践。Nomic AI的第一个产品Atlas，使任何人都能在他们的浏览器中可视化、组织、交互和搜索大规模数据集。目前Atlas处于封闭测试阶段。

从公元前***00年开始，人们就依靠地图来导航。早期的地图关注的是物理地理学，它们描述了**的形状、海洋的潮汐和山脉的高度。这些地图是勇敢冒险到已知世界边缘的探险家们不可或缺的工具。

今天，由于人工智能的崛起，我们的世界正在经历一场巨大的转型。现代人工智能模型是在互联网规模的数据集上训练的，可以以前所未有的规模进行内容生产。它们正在迅速渗透到全球各个行业，从国防、医学、金融到艺术等领域。

尽管它们崛起迅速，我们对这些模型仍知之甚少。它们的训练数据是什么？它们学到了什么？我们如何比较它们？人们如何使用它们？我们目前缺乏回答这些问题所需的工具。我们就像没有地图的船只在已知世界的边缘航行。

Nomic旨在使用信息制图的方法来解决这些问题。我们的第一个产品Atlas使任何人都能在他们的浏览器中可视化、组织、交互和搜索大规模数据集。我们希望通过使用户能够无缝地探索和交互他们的数据，帮助促进人工智能的更安全和负责任的出现。

3）gpt4all-datalake项目：一个开源数据湖，用于摄取、组织和有效存储对 gpt4all 所做的所有数据贡献。GitHub地址：https://github.com/nomic-ai/gpt4all-datalake

4）nomic项目：在 Web 浏览器中与海量嵌入和文本数据集交互。

️Twitter 地图（540 万条推文）：https://atlas.nomic.ai/map/twitter

️StableDiffusion Generations 地图（640 万张图片）：https://atlas.nomic.ai/map/stablediffusion

️NeurIPS 会议记录地图（16,623 份摘要）：https://atlas.nomic.ai/map/neurips

GitHub地址：https://github.com/nomic-ai/nomic

5）技术报告

技术报告一：GPT4All

技术报告二：GPT4All-J

技术报告 3：GPT4All Snoozy 和 Groovy

股票资讯