明天你会感谢今天奋力拼搏的你。ヾ(o◕∀◕)ノヾ
目前对于大模型的微调已经有很多成熟的框架,基本都只要准备好训练集合测试集,进行一些简单的配置就可以执行起来(当然,你得显卡足够好,显存足够大)。不过入门容易,要微调到理想的模型状态还是要花很多功夫。
之前一直只是把Sentence Transformer组件作为一个Embedding向量生成的组件,不经意间发现其还有模型微调的能力,深入了解后就有了这篇文章。 一、Sentence Transfor
原文出自:https://jalammar.github.io/illustrated-transformer/ 注意力机制是一个有助于提升神经机器翻译应用性能的概念。在本文中,我们将研究Transf
一、Tokenization简介 通常来说,大模型处理文本的时候会用分词算法,把字词拆分为(token),这种方式就叫做Tokenization(词元化)。它是将文本分割成更小的单元(称为token,
Transformer 是一种深度学习模型架构,主要用于处理序列数据,尤其在自然语言处理(NLP)领域表现突出。它由 Vaswani 等人在 2017 年的论文《Attention is All Yo
LangChain 是一个用于构建大语言模型(LLM)驱动应用的开发框架,旨在帮助开发者更高效地将 LLM(如 GPT、Claude 等)与外部数据、工具及计算逻辑结合,实现复杂任务的自动化与智能化。
一、LlamaIndex介绍 LlamaIndex 是一个为实现「上下文增强」的大语言模型应用框架。其更偏向RAG应用的流程,面向RAG的功能更丰富全面。Github 地址 LlamaIndex 有
一、Assistants API介绍 Assistants API是2023年11月由ChatGPT在提供的一个工具,初衷是为了降低开发者的门槛。 能快速用Assistants API快速搭建一个原型
目的:通过自己编写一个RAG系统,来了解RAG系统的核心逻辑。 一、整体架构 本RAG 系统主要包含以下几个核心组件: 文档加载器(loaders):支持三种文件格式,txt、pdf、docx 文本分
本篇文章,主要让读者对RAG和Embeddings做一个初步的了解。 一、 检索增强生成模型 RAG(Retrieval Augmented Generation)顾名思义,通过检索的方法来增强生成模