开源 LLM （大语言模型）整理（一）

Large Language Model (LLM) 即大规模语言模型，是一种基于深度学习的自然语言处理模型，它能够学习到自然语言的语法和语义，从而可以生成人类可读的文本。

所谓 "语言模型"，就是只用来处理语言文字（或者符号体系）的 AI 模型，发现其中的规律，可以根据提示 (prompt)，自动生成符合这些规律的内容。

LLM 通常基于神经网络模型，使用大规模的语料库进行训练，比如使用互联网上的海量文本数据。这些模型通常拥有数十亿到数万亿个参数，能够处理各种自然语言处理任务，如自然语言生成、文本分类、文本摘要、机器翻译、语音识别等。

本文对国内外公司、科研机构等组织开源的 LLM 进行了全面的整理。

LLaMA —— Meta 大语言模型

LLaMA 语言模型全称为 "Large Language Model Meta AI"，是 Meta 的全新大型语言模型（LLM），这是一个模型系列，根据参数规模进行了划分（分为 70 亿、130 亿、330 亿和 650 亿参数不等）。

其中 LaMA-13B（130 亿参数的模型）尽管模型参数相比 OpenAI 的 GPT-3（1750 亿参数）要少了十几倍，但在性能上反而可以超过 GPT-3 模型。更小的模型也意味着开发者可以在 P

开源 LLM （大语言模型）整理（一）相关推荐

【自然语言处理】【大模型】大语言模型BLOOM推理工具测试
相关博客 [深度学习][分布式训练]DeepSpeed:AllReduce与ZeRO-DP [自然语言处理][大模型]BLOOM模型结构源码解析(单机版) [自然语言处理][大模型]极低资源微调大模型 ...
开源大语言模型(LLM)汇总（持续更新中）
开源大语言模型(LLM)汇总随着ChatGPT的火爆,越来越多人希望在本地运行一个大语言模型.为此我维护了这个开源大语言模型汇总,跟踪每天不发的大语言模型和精调语言模型. 我将根据个模型采用的基础大 ...
开源大语言模型完整列表
开源大语言模型完整列表 Large Language Model (LLM) 即大规模语言模型,是一种基于深度学习的自然语言处理模型,它能够学习到自然语言的语法和语义,从而可以生成人类可读的文本. 所 ...
张俊林：由ChatGPT反思大语言模型（LLM）的技术精要
文|张俊林源|知乎@张俊林导读:ChatGPT出现后惊喜或惊醒了很多人.惊喜是因为没想到大型语言模型(LLM,Large Language Model)效果能好成这样:惊醒是顿悟到我们对LLM的认 ...
由ChatGPT反思大语言模型（LLM）的技术精要
人工智能与算法学习作者:张俊林, 编辑:夕小瑶的卖萌屋导读:ChatGPT出现后惊喜或惊醒了很多人.惊喜是因为没想到大型语言模型(LLM,Large Language Model)效果能好成这 ...
中文LLaMa和Alpaca大语言模型开源方案 | 扩充中文词表针对中文语料进行高效编码
欢迎关注『CVHub』官方微信公众号! Title: Efficient and Effective Text Encoding for Chinese Llama and Alpaca PDF: h ...
目前有哪些方式训练一个领域的大语言模型？ Beyond One-Model-Fits-All A Survey of Domain Specialization LLM
目前有哪些方式训练一个领域大语言模型?方法分类与调研 Origin Paper:Beyond One-Model-Fits-All: A Survey of Domain Specialization ...
开源大语言模型是否可以商用的调查报告
开源大语言模型是否可以商用的调查报告 0. 背景 1. 调查结果 1.1 基础大模型(LLM) 1.2 对话大模型(ChatLLM) 1.3 多模态对话大模型(MultiModal-ChatLLM) ...
张俊林：由ChatGPT反思大语言模型（LLM）的技术精要（2）
原文:张俊林:由ChatGPT反思大语言模型(LLM)的技术精要(2) 02 学习者:从无尽数据到海量知识从目前研究结果看,Transformer是足够强大的特征抽取器,尚不需要做特别的改进.那么通 ...

开源 LLM （大语言模型）整理（一）

LLaMA —— Meta 大语言模型

开源 LLM （大语言模型）整理（一）相关推荐

最新文章

热门文章