Průvodce: Jak spustit Phi-2 na počítači s 32GB RAM

Úvod

Phi-2 je výkonný jazykový model, který vyžaduje dostatečně silné hardware pro spuštění. V tomto průvodci vám ukážeme, jak nainstalovat a spustit Phi-2 na počítači s 32GB RAM. Pokusíme se pokrýt všechny klíčové kroky, od přípravy prostředí po spuštění modelu.

Požadavky

Než začnete s instalací, ujistěte se, že váš systém splňuje následující požadavky:

• Operační systém: Linux (doporučené Ubuntu 20.04/22.04) nebo Windows 10/11
• Procesor: Intel i7 nebo novější, AMD Ryzen 7 nebo novější
• Operační paměť: 32GB (doporučené 64GB pro lepší výkon)
• Grafická karta: NVIDIA RTX 3060 nebo novější (doporučené RTX 4090 pro lepší výkon)
• Místo na disku: alespoň 50GB volného místa

Instalace prostředí

1. Instalace Python

Phi-2 vyžaduje Python 3.8 nebo novější verzi. Můžete jej nainstalovat pomocí správce balíčků:

sudo apt update
sudo apt install python3.8 python3.8-venv

2. Vytvoření virtuálního prostředí

Vytvoření virtuálního prostředí pomůže vyhnout se konfliktům s jinými balíčky:

python3.8 -m venv phi2_env
source phi2_env/bin/activate

3. Instalace závislostí

Nainstalujte potřebné balíčky:

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip install transformers accelerate bitsandbytes

Stahování modelu Phi-2

Model Phi-2 můžete stáhnout pomocí knihovny Hugging Face Transformers:

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "microsoft/phi-2"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, device_map="auto", load_in_8bit=True)

Konfigurace paměti

Pro počítač s 32GB RAM se doporučuje použití optimalizací paměti, jako je 8bitová kvantizace:

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    device_map="auto",
    load_in_8bit=True,
    offload_folder="offload",
    offload_state_dict=True,
)

Spuštění modelu

Nyní můžete spustit model a otestovat ho:

prompt = "Jaký je smysl života?"
inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
outputs = model.generate(**inputs, max_new_tokens=100)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

Optimalizace

1. Použití DeepSpeed

DeepSpeed je nástroj pro optimalizaci paměti a výkonu:

pip install deepspeed

2. Konfigurace DeepSpeed

Vytvořte soubor ds_config.json:

{
    "train_batch_size": "auto",
    "gradient_accumulation_steps": "auto",
    "optimizer": {
        "type": "AdamW",
        "params": {
            "lr": "auto",
            "betas": "auto",
            "eps": 1e-8,
            "weight_decay": 0.01
        }
    },
    "fp16": {
        "enabled": "auto"
    },
    "zero_optimization": {
        "stage": 3,
        "offload_optimizer": {
            "device": "cpu",
            "pin_memory": true
        },
        "offload_param": {
            "device": "cpu",
            "pin_memory": true
        }
    }
}

3. Spuštění s DeepSpeed

from transformers import AutoModelForCausalLM, AutoTokenizer
import deepspeed

model_name = "microsoft/phi-2"
tokenizer = AutoTokenizer.from_pretrained(model_name)

model = AutoModelForCausalLM.from_pretrained(model_name, export=False)

ds_config = {
    "train_batch_size": "auto",
    "gradient_accumulation_steps": "auto",
    "optimizer": {
        "type": "AdamW",
        "params": {
            "lr": "auto",
            "betas": "auto",
            "eps": 1e-8,
            "weight_decay": 0.01
        }
    },
    "fp16": {
        "enabled": "auto"
    },
    "zero_optimization": {
        "stage": 3,
        "offload_optimizer": {
            "device": "cpu",
            "pin_memory": true
        },
        "offload_param": {
            "device": "cpu",
            "pin_memory": true
        }
    }
}

model_engine, optimizer, _, _ = deepspeed.initialize(
    model=model,
    config=ds_config
)

Shrnutí

Spuštění Phi-2 na počítači s 32GB RAM vyžaduje správnou přípravu prostředí a použití optimalizací paměti. V tomto průvodci jsme diskutovali klíčové kroky, jako je instalace Pythonu, vytvoření virtuálního prostředí, stahování modelu a konfigurace paměti. Díky těmto krokům byste měli být schopni spustit Phi-2 a těšit se z jeho výkonných možností.