cyxCoder

之前一直只是把Sentence Transformer组件作为一个Embedding向量生成的组件，不经意间发现其还有模型微调的能力，深入了解后就有了这篇文章。

一、Sentence Transformer 概述

在自然语言处理领域，Sentence Transformer 是一款强大的 Python 库，专注于生成句子、文本段落和图像的嵌入向量。其基于 Transformer 架构，能够将文本转化为固定长度的向量表示，可有效捕捉文本语义信息，在语义搜索、文本聚类、文本分类等任务中表现出色。

核心模块：

• SentenceTransformer类是库的核心，用于加载预训练模型并生成文本嵌入；
• util模块提供实用函数，如计算向量相似度。

常用方法：

• encode方法可将输入文本（单个句子或句子列表）编码为向量；
• cos_sim函数用于计算向量间的余弦相似度。

代码示例：

from sentence_transformers import SentenceTransformer
from sentence_transformers.util import cos_sim

# 加载预训练模型
model = SentenceTransformer('all-MiniLM-L6-v2')

# 定义要编码的句子
sentences = [
    "这是一个示例句子。",
    "一个示例不够。",
    "另一个示例句子。"
]

# 生成句子嵌入
embeddings = model.encode(sentences)

# 计算第一句和第二句的相似度
similarity = cos_sim(embeddings[0], embeddings[1])
print(f"Similarity between sentence 1 and 2: {similarity.item()}")

二、Sentence Transformer 的模型微调

Sentence Transformer 支持模型微调，以更好地适配特定任务和数据集。微调步骤如下：

• 数据准备：依据具体任务准备包含文本对及对应标签（如相似度分数）的数据集。
• 损失函数定义：根据任务类型（语义相似度、分类等）选择合适的损失函数，如对比损失、交叉熵损失。
• 模型微调：使用准备好的数据和选定的损失函数对预训练模型进行微调。

微调示例代码：

from sentence_transformers import SentenceTransformer, InputExample, losses
from torch.utils.data import DataLoader

# 加载预训练模型
model = SentenceTransformer('all-MiniLM-L6-v2')

# 准备训练数据
train_examples = [
    InputExample(texts=['This is a positive pair', 'These are similar sentences'], label=1.0),
    InputExample(texts=['This is a negative pair', 'These are different sentences'], label=0.0)
]

# 创建数据加载器
train_dataloader = DataLoader(train_examples, shuffle=True, batch_size=2)

# 定义损失函数
train_loss = losses.CosineSimilarityLoss(model)

# 微调模型
model.fit(
    train_objectives=[(train_dataloader, train_loss)],
    epochs=1,
    warmup_steps=100,
    output_path='输出路径'
)

三、与其他模型微调组件的对比

在此把Sentence Transformer与Hugging Face Transformers、ModelScope、PyTorch Lightning进行对比。因为Sentence Transformer本身更偏向于Embedding相关场景，下文不是对其优劣进行比较，而是把这几个组件放在一起，可以互相参照，了解它们在不同特性下的表现。

选型场景建议

• Sentence Transformer：适用于任务主要为句子嵌入和语义相似度计算，且希望快速开发和实验的场景。对于初学者和专注于特定任务的开发者来说是理想选择。
• Hugging Face Transformers：当任务涵盖多种自然语言处理任务，需要通用模型和灵活配置时，Hugging Face Transformers 更合适。它能满足不同类型的自然语言处理需求。
• PyTorch Lightning：对于研究人员和需要对模型训练过程进行深入定制和实验的开发者，PyTorch Lightning 提供了高度的灵活性，可满足复杂的研究需求。
• ModelScope：若任务涉及多个领域，需要使用丰富的预训练模型资源，并希望借助平台优势进行开发和交流，ModelScope 是最佳选择。它能为跨领域任务提供一站式解决方案。