Lit-GPT官网

快捷微调LLM

网站服务：AI开源项目，ai，AI编程，AI开源项目，ai。

Lit-GPT简介

Hackable implementation of state-of-the-art open-source LLMs based on nanoGPT. Supports flash attention， 4-bit and 8-bit quantization， LoRA and LLaMA-Adapter fine-tuning， pre-training. Apache 2.0-licensed. – GitHub – Lightning-AI/lit-gpt: Hackable implementation of state-of-the-art open-source LLMs based on nanoGPT. Supports flash attention， 4-bit and 8-bit quantization， LoRA and LLaMA-Adapter fine-tuning， pre-training. Apache 2.0-licensed.
一个基于 Lit-LLaMA 和 nanoGPT 实现，支持 LLaMa 2、Mistral 7B、Mixtral 8x7B 等模型的微调。支持闪存注意力，Int8和GPTQ 4bit量化，LoRA和LLaMA-Adapter微调，预训练等功能。

Lit-GPT官网入口网址

https://github.com/Lightning-AI/lit-gpt

86aigc小编发现Lit-GPT网站非常受用户欢迎，请访问Lit-GPT网址入口试用。