大型语言模型

ChatGPT作者John Schulman：通往TruthGPT之路

OneFlow编译翻译｜贾川、徐佳渝、杨婷大型语言模型（LLM）有一个众所周知的“硬伤”——它们经常会一本正经编造貌似真实的内容。 OpenAI团队希望通过改进强化学习反馈步骤“原生地”阻止神经网络产生幻觉，OpenAI首席科学家Ilya …

深入理解Transformer架构：从Seq2Seq到无监督预训练的演进

Transformer问答-2 根据我的了解，最开始Transformer的架构为encoderdecoder，是用于处理Seq2Seq任务的，后来GPT系列只采用decoder-only架构专注于next toke prediction任务，在我的认识当中，这两者都可以归为next toke …

微调大型语言模型（LLM）：应用案例示例

微调大型语言模型（LLM）：应用案例示例摘要： 本文讨论了大型语言模型（LLM）的微调，这是一种通过少量数据训练已经预训练好的模型以执行特定任务的过程。微调可以让LLM在翻译、文本分类、文本生成…

阅读LINGO-1: Exploring Natural Language for Autonomous Driving

1 背景2 Motivation3 具体过程 1 背景 wayve在9月14日公布了大语言模型和自动驾驶的结合模型LINGO-1，可以用自然语言解释自动驾驶的决策原因。网页链接：https://wayve.ai/thinking/lingo-natural-language-autonomous-driving/ 但是目前没有论文和开源…

深入理解生成型大型语言模型：自监督预训练、细调与对齐过程及其应用

分析概述本文主要介绍了生成型大型语言模型（LLM）的预训练过程，特别是通过下一个令牌（token）预测的自监督学习方法，以及后续的细调（finetuning）和对齐（alignment&#x…

GeneGPT：用领域工具增强大型语言模型，以改善对生物医学信息的访问

文章目录一、论文关键信息二、主要内容1. Motivations2. 解决方案关键3. 实验和结果三、总结与讨论 🍉 CSDN 叶庭云：https://yetingyun.blog.csdn.net/ 一、论文关键信息论文标题：GeneGPT: Augmenting Large Language Models with Domain …

LlamaParse: 高效的PDF文件RAG解析工具

LlamaParse: 高效的PDF文件RAG解析工具通过Thomas Reid的深入探索，LlamaParse成为了目前我所见最优秀的RAG实现用PDF解析器。基于AI的技术，尤其在处理像SEC Q10这样的复杂文件时表现出色，这些文件通常包含文本、数字及其组合构成的表格&…

CancerGPT：使用大型预训练语言模型进行少样本药物配对协同作用预测

文章目录一、论文关键信息二、基础概念三、主要内容1. Motivations2. Insights3. 解决方案的关键4. 实验结果四、总结与讨论🍉 CSDN 叶庭云：https://yetingyun.blog.csdn.net/ 一、论文关键信息论文标题：CancerGPT: Few-shot Drug Pair Synergy Prediction using Large P…

用于 ChatGPT 的 FPGA 加速大型语言模型

简介：大型语言模型近年来，大型语言模型 （LLM） 彻底改变了自然语言处理领域，使机器能够生成类似人类的文本并进行有意义的对话。这些模型，例如 OpenAI 的 GPT，具有惊人的理解和生成语言的能力。…

ChatGPT/GPT-4 或将从根本上改变软件工程

文章目录一、前言二、主要内容 🍉 CSDN 叶庭云：https://yetingyun.blog.csdn.net/ 一、前言编程也可能是最容易被 AI 技术取代的工作之一，软件的构建方式将产生根本性的转变。今年以来，相信大家都听说过 ChatGPT、New Bing 和…