导航菜单

Prompt2Model:可自动生成专用NLP模型

导读 卡内基梅隆大学和清华大学的研究人员开发了Prompt2Model系统,可以根据提示自动生成专用NLP模型。Prompt2Model并不是GPT-

文章摘要:

1. Prompt2Model可以根据提示自动生成专用的NLP模型,并且在某些情况下性能超过GPT-3.5Turbo。

2. Prompt2Model使用OpenAI的GPT-3.5Turbo生成合成训练数据,然后使用预训练的Hugging Face模型进行微调。

3. Prompt2Model依赖于OpenAI的GPT-3.5 Turbo,这是商业应用的限制,开源语言模型的使用正在探索中。

9月5日消息:卡内基梅隆大学和清华大学的研究人员开发了Prompt2Model系统,可以根据提示自动生成专门的NLP模型。

当然,Prompt2Model并不是GPT-4的替代品,而是专用NLP模型的自动化管道,这些模型可以很好地执行特定任务,并且比大型模型小得多,因此可以在低端硬件上运行。 本地运行。

Prompt2Model系统首先将提示分解为结构化语句,然后查找可能对当前任务有用的数据集。 然后使用 OpenAI 的 GPT-3.5 Turbo 生成该任务的合成训练数据。 然后确定合适的预训练模型进行微调。

研究人员在三个基准上评估了 Prompt2Model 的结果。 由此产生的 Flan-T5 模型在这两项任务中都优于 GPT-3.5Turbo。 但在第三次基准测试中,Prompt2Model 明显落后于 OpenAI 模型。

Prompt2Model 目前主要仅限于纯英语任务。 团队表示,原因是GPT-3.5Turbo本身的语言支持有限。 Prompt2Model依赖OpenAI模型生成数据也限制了其商业应用。 OpenAI 禁止使用自己的模型来训练可能与之竞争的模型。

然而,该团队正在探索集成大规模开源语言模型,以减少对专有 API 的依赖。

免责声明:本文由用户上传,如有侵权请联系删除!

猜你喜欢:

最新文章: