ওপেন সোর্স এআই মডেলের ফাইন-টিউনিং-এর জন্য নতুনদের গাইড

হ্যালো!

যেহেতু আপনি এখানে এসেছেন, তাই সম্ভবত আপনি নিজের ডেটা বা অ্যাপ্লিকেশনের জন্য একটি ওপেন সোর্স এআই মডেলকে কীভাবে ফাইন-টিউন করতে হয় (যেমন LLaMA, Mistral, GPT‑J, ইত্যাদি) সে বিষয়ে আগ্রহী। নিচে একটি সুস্পষ্ট, ধাপে ধাপে ওভারভিউ দেওয়া হল, যা আপনি অনুসরণ করতে পারেন, সেইসাথে লিঙ্ক এবং সরঞ্জামগুলি যা সাধারণত বাস্তব প্রকল্পে ব্যবহৃত হয়।

1. “ওপেন সোর্স এআই মডেলের ফাইন-টিউনিং” মানে কী?

ফাইন-টিউনিং মানে:

• আপনি একটি প্রি-ট্রেইনড মডেল (যেমন: একটি বৃহৎ ভাষার মডেল) দিয়ে শুরু করেন।
• আপনি এটিকে আপনার নিজের ডেটা সেটে আরও একটু প্রশিক্ষণ দেন।
• ফলাফল হল একটি মডেল যা:
  • মডেল বেসটি যা জানত তার সবকিছুই জানে, প্লাস
  • আপনার নির্দিষ্ট ডোমেনে আরও ভাল পারফর্ম করে (কোড, পিডিএফ, চ্যাট স্টাইল, পণ্যের ডকুমেন্টেশন ইত্যাদি)।

এটি RAG (Retrieval Augmented Generation) থেকে আলাদা, যেখানে আপনি মডেলের ওজন পরিবর্তন করেন না; আপনি কেবল একটি ভেক্টর ডেটাবেস থেকে প্রাসঙ্গিক প্রসঙ্গ সরবরাহ করেন। অনেক ব্যবসায়িক ব্যবহারের ক্ষেত্রে, RAG যথেষ্ট; ফাইন-টিউনিং কার্যকর হয় যখন:

• আপনি ধারাবাহিকভাবে একটি কাস্টম টোন বা স্টাইল চান।
• আপনি চান মডেলটি নির্ভরযোগ্যভাবে জটিল নির্দেশাবলী অনুসরণ করুক।
• আপনার প্রয়োজন এটি খুব ভালভাবে একটি বিশেষ প্রযুক্তিগত বা ব্যবসায়িক ভাষা বলুক।
• আপনি পুনরাবৃত্তিমূলক প্যাটার্নের জন্য প্রম্পটের দৈর্ঘ্য এবং খরচ কমাতে চান।

2. সঠিক ওপেন সোর্স মডেলটি নির্বাচন করুন

মডেলগুলি খুঁজে পাওয়ার জন্য জনপ্রিয় স্থান:

• হাগিং ফেস হাব - ওপেন সোর্স এআই মডেলগুলির প্রধান ক্যাটালগ।
• কিছু সুপরিচিত পরিবার:
  • LLaMA / Llama 3 ভেরিয়েন্ট
  • Mistral / Mixtral
  • Phi মডেল
  • Falcon
  • Qwen

কীভাবে নির্বাচন করবেন:

• কাজের ধরন

  • চ্যাট / সাধারণ সহকারী - নির্দেশনার জন্য টিউন করা LLM নির্বাচন করুন (যেমন *-instruct)।
  • কোড - CodeLlama-এর মতো কোডে বিশেষ মডেল।
  • শ্রেণীবিভাগ / এম্বেডিং - ছোট ট্রান্সফরমার এনকোডার (যেমন sentence-transformers)।

• আকার বনাম হার্ডওয়্যার

  • 7B–8B মডেল: একটি 24GB একক জিপিইউ (যেমন RTX 4090 বা A5000) এর জন্য ভাল।
  • 13B–34B+ মডেল: একাধিক জিপিইউ বা 4-বিট কোয়ান্টাইজেশন প্রয়োজন হতে পারে।

3. ফাইন-টিউনিংয়ের জন্য আপনার ডেটা সেট প্রস্তুত করা

আপনার ডেটা সেটটি আপনি মডেলটিকে যেভাবে আচরণ করতে চান তা প্রতিফলিত করা উচিত।

3.1 চ্যাট মডেলগুলির জন্য সাধারণ বিন্যাস

একটি সাধারণ JSONL বিন্যাস (প্রতি লাইনে একটি JSON অবজেক্ট):

{"instruction": "ফাইন-টিউনিং কী তা ব্যাখ্যা করুন।", "input": "", "output": "ফাইন-টিউনিং হল..."}
{"instruction": "এই লেখাটি ফরাসি ভাষায় অনুবাদ করুন।", "input": "শুভ সকাল", "output": "Bonjour"}

অথবা একটি কথোপকথনমূলক বিন্যাস (OpenAI শৈলী):

{
  "messages": [
    {"role": "system", "content": "আপনি একজন সহায়ক কোডিং সহকারী।"},
    {"role": "user", "content": "দুটি সংখ্যা যোগ করার জন্য একটি পাইথন ফাংশন লিখুন।"},
    {"role": "assistant", "content": "def add(a, b):
    return a + b"}
  ]
}

এসইও এবং আবিষ্কারের জন্য: অনেক লোক "fine-tuning LLaMA JSONL format" বা "instruction fine tuning dataset example" অনুসন্ধান করে - উপরের দুটি বিন্যাসের একটি ব্যবহার করলে সাধারণত আধুনিক ফাইন-টিউনিং স্ক্রিপ্টগুলির সাথে কাজ করে।

3.2 ডেটার গুণমান টিপস

• সঙ্গতি: সর্বত্র একই কাঠামো ব্যবহার করুন (একই কী, ফাংশন, বিন্যাস)।
• পরিষ্কার প্রতিক্রিয়া: হ্যালুসিনেশন এবং ভুল বিষয়বস্তু এড়িয়ে চলুন।
• বৈচিত্র্য: সহজ/মাঝারি/কঠিন উদাহরণ এবং বিভিন্ন বাক্যাংশ মিশ্রিত করুন।
• যথেষ্ট ডেটা:
  • ছোট আচরণগত পরিবর্তন: 1k–5k উচ্চ-মানের উদাহরণ কাজ করতে পারে।
  • বৃহত্তর ডোমেন অভিযোজন: 10k–100k+ উদাহরণ ভাল।

4. হার্ডওয়্যার এবং পরিবেশের প্রয়োজনীয়তা

4.1 হার্ডওয়্যার

• 7B–8B মডেলের জন্য (QLoRA / LoRA):
  • 1 × 16–24 GB GPU সাধারণত যথেষ্ট।
• 13B+ মডেলের জন্য:
  • একাধিক জিপিইউ বা আরও আক্রমণাত্মক কোয়ান্টাইজেশন।
• শুধুমাত্র সিপিইউ: সম্ভব, তবে খুব ধীর; প্রস্তাবিত নয় যদি না মডেলটি ছোট হয়।

4.2 সফ্টওয়্যার

সাধারণ স্ট্যাক:

• পাইথন 3.10+
• CUDA সহ PyTorch (NVIDIA GPU-এর জন্য) এর মাধ্যমে ইনস্টল করুন: https://pytorch.org/get-started/locally/
• হাগিং ফেস সরঞ্জাম:
  • transformers – https://github.com/huggingface/transformers
  • datasets – https://github.com/huggingface/datasets
  • accelerate – https://github.com/huggingface/accelerate
  • peft – https://github.com/huggingface/peft
• ঐচ্ছিক, তবে প্রস্তাবিত:
  • 4-বিট / 8-বিট কোয়ান্টাইজেশনের জন্য bitsandbytes https://github.com/TimDettmers/bitsandbytes

বেসিক ইনস্টল করুন:

pip install "transformers[torch]" datasets accelerate peft bitsandbytes

5. ফাইন-টিউনিং পদ্ধতি: সম্পূর্ণ ফাইন-টিউন বনাম লোরা / QLoRA

5.1 সম্পূর্ণ ফাইন-টিউনিং

• আপনি মডেলের সমস্ত ওজন আপডেট করেন।
• সুবিধা: সর্বোচ্চ ক্ষমতা এবং নমনীয়তা।
• অসুবিধা: প্রচুর জিপিইউ মেমরি এবং সময়ের প্রয়োজন।

বেশিরভাগ দলের জন্য, 7B+ মডেলের সম্পূর্ণ ফাইন-টিউনিং একটি বাড়াবাড়ি।

5.2 LoRA / QLoRA (বেশিরভাগ ক্ষেত্রে প্রস্তাবিত)

• শুধুমাত্র একটি হিমায়িত বেস মডেলের উপরে ছোট অ্যাডাপ্টার স্তরগুলি প্রশিক্ষণ দিন।
• QLoRA = LoRA + কোয়ান্টাইজড বেস মডেল (যেমন: 4 বিট)।
• অনেক বেশি সস্তা এবং এর জন্য খুব ভাল কাজ করে:
  • স্টাইল / আচরণ পরিবর্তন
  • ডোমেন জ্ঞান
  • নির্দেশাবলী অনুসরণ করা

সম্পদ:

• লোরা পেপার: https://arxiv.org/abs/2106.09685
• QLoRA পেপার: https://arxiv.org/abs/2305.14314

আপনি অনলাইনে যে বেশিরভাগ "কীভাবে একটি একক জিপিইউতে একটি ওপেন সোর্স LLM ফাইন টিউন করবেন" টিউটোরিয়াল দেখেন তা QLoRA ব্যবহার করে।

6. ধাপে ধাপে: LoRA এর সাথে একটি ওপেন সোর্স মডেলের ফাইন-টিউন

নিচে হাগিং ফেস থেকে transformers এবং peft ব্যবহার করে একটি হ্রাসকৃত উদাহরণ দেওয়া হল। এটি একটি উত্পাদন কোড নয়, তবে এটি আপনাকে প্রয়োজনীয় সঠিক অংশগুলি দেয়।

6.1 একটি বেস মডেল লোড করুন

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "mistralai/Mistral-7B-Instruct-v0.2"  # উদাহরণ

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    load_in_4bit=True,            # QLoRA শৈলী লোডিং
    device_map="auto"
)

6.2 আপনার ডেটা সেট প্রস্তুত করুন

from datasets import load_dataset

# ধরে নিচ্ছি আপনার ডেটা সেট একটি JSONL ফাইল {"instruction", "input", "output"} সহ
dataset = load_dataset("json", data_files={"train": "train.jsonl", "validation": "val.jsonl"})

def format_example(example):
    if example["input"]:
        prompt = f"Instruction: {example['instruction']}
Input: {example['input']}
Answer:"
    else:
        prompt = f"Instruction: {example['instruction']}
Answer:"
    return {
        "prompt": prompt,
        "label": example["output"]
    }

dataset = dataset.map(format_example)

def tokenize(batch):
    inputs = tokenizer(batch["prompt"], truncation=True, padding="max_length", max_length=1024)
    labels = tokenizer(batch["label"], truncation=True, padding="max_length", max_length=1024)
    inputs["labels"] = labels["input_ids"]
    return inputs

tokenized = dataset.map(tokenize, batched=True, remove_columns=dataset["train"].column_names)

6.3 LoRA অ্যাডাপ্টার সংযুক্ত করুন

from peft import LoraConfig, get_peft_model, TaskType

lora_config = LoraConfig(
    r=16,
    lora_alpha=32,
    target_modules=["q_proj", "v_proj"],  # মডেলের উপর নির্ভর করে ভিন্ন হতে পারে
    lora_dropout=0.05,
    bias="none",
    task_type=TaskType.CAUSAL_LM,
)

model = get_peft_model(model, lora_config)
model.print_trainable_parameters()

6.4 প্রশিক্ষণ

from transformers import TrainingArguments, Trainer

training_args = TrainingArguments(
    output_dir="./mistral-finetuned",
    per_device_train_batch_size=2,
    per_device_eval_batch_size=2,
    gradient_accumulation_steps=8,
    num_train_epochs=3,
    learning_rate=2e-4,
    fp16=True,
    logging_steps=50,
    save_steps=500,
    evaluation_strategy="steps",
    eval_steps=500,
    save_total_limit=3,
    report_to="none"
)

trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=tokenized["train"],
    eval_dataset=tokenized["validation"]
)

trainer.train()
model.save_pretrained("./mistral-finetuned-lora")
tokenizer.save_pretrained("./mistral-finetuned-lora")

এখন আপনার ডেটা সেটে ফাইন-টিউনিং সহ একটি লোরা অভিযোজিত ওপেন সোর্স মডেল রয়েছে।

7. উত্পাদনে আপনার ফাইন-টিউনিং মডেল ব্যবহার করা

7.1 LoRA ওজন মার্জ করুন (ঐচ্ছিক)

স্থাপনার সুবিধার্থে, আপনি লোরা অ্যাডাপ্টারগুলিকে বেস মডেলে মার্জ করতে পারেন:

from peft import PeftModel

base_model = AutoModelForCausalLM.from_pretrained(model_name, device_map="auto")
lora_model = PeftModel.from_pretrained(base_model, "./mistral-finetuned-lora")
merged = lora_model.merge_and_unload()
merged.save_pretrained("./mistral-finetuned-merged")
tokenizer.save_pretrained("./mistral-finetuned-merged")

তারপর আপনি পারেন:

• GGUF বা অন্যান্য ফর্ম্যাটে রূপান্তর করুন এবং llama.cpp বা Ollama দিয়ে চালান।
• text-generation-inference বা vLLM এর মাধ্যমে পরিবেশন করুন:
  • https://github.com/huggingface/text-generation-inference
  • https://github.com/vllm-project/vllm

7.2 একটি লারাভেল অ্যাপ্লিকেশনের সাথে ইন্টিগ্রেশন

সাধারণ প্যাটার্ন:

1. মডেলটি একটি HTTP API (পাইথন মাইক্রোসার্ভিস) হিসাবে পরিবেশিত

   • একটি /generate এন্ডপয়েন্ট প্রকাশ করুন যা আপনার ফাইন-টিউনিং মডেলটিকে কল করে।
   • Guzzle বা Http ক্লায়েন্ট ব্যবহার করে লারাভেল থেকে এটি কল করুন।

2. একটি অনুমান প্রদানকারী ব্যবহার করুন যা কাস্টম মডেল সমর্থন করে

   • উদাহরণস্বরূপ: হাগিং ফেস অনুমান এন্ডপয়েন্ট বা অন্যান্য ক্লাউড প্রদানকারী।
   • আপনার মডেলটি ব্যক্তিগতভাবে সংরক্ষণ করুন এবং আপনার লারাভেল ব্যাকএন্ড থেকে REST এর মাধ্যমে কল করুন।

একটি সাধারণ লারাভেল কনফিগারেশনের জন্য, লোকেরা "use fine tuned LLaMA model in Laravel" বা "connect Laravel to local LLM" অনুসন্ধান করে; মূল বিষয় হল মডেলটিকে একটি আলাদা পরিষেবা হিসাবে বিবেচনা করা এবং HTTP এর মাধ্যমে এর সাথে যোগাযোগ করা।

8. কখন আপনার ফাইন-টিউনিংয়ের প্রয়োজন নাও হতে পারে

অনেক বাস্তব-বিশ্বের অ্যাপ্লিকেশনগুলিতে, আপনি নিম্নলিখিতগুলির সংমিশ্রণ করে দুর্দান্ত ফলাফল পেতে পারেন:

1. একটি শক্তিশালী ওপেন সোর্স মডেল (যেমন: Llama 3 Instruct বা Mistral Instruct)।
2. প্রম্পট ইঞ্জিনিয়ারিং (স্পষ্ট নির্দেশাবলী, ধারাবাহিক সিস্টেম বার্তা)।
3. একটি ভেক্টর ডেটাবেসের সাথে RAG:
   • Qdrant
   • Pinecone
   • Weaviate
   • Chroma

ফাইন-টিউনিং বিশেষভাবে মূল্যবান যদি:

• আপনি বারবার একই প্রশ্ন জিজ্ঞাসা করেন এবং ছোট প্রম্পট চান।
• আপনি একটি ব্র্যান্ড ভয়েস সহ একটি সহকারী চান যা ব্র্যান্ডের জন্য নিরাপদ।
• আপনাকে একটি নির্দিষ্ট ডোমেনে উচ্চ মানের সাথে ছোট হার্ডওয়্যারে চালাতে হবে।

9. আইনি এবং লাইসেন্সিং বিবেচনা

যেকোন ওপেন সোর্স মডেল ফাইন-টিউনিং করার আগে:

• আপনার হাগিং ফেস পৃষ্ঠায় লাইসেন্স পরীক্ষা করুন।
  • কিছু অবাধে বাণিজ্যিক ব্যবহারের অনুমতি দেয়।
  • অন্যদের সীমাবদ্ধতা রয়েছে (যেমন: Llama 2 / 3 লাইসেন্স, শুধুমাত্র গবেষণার জন্য মডেল ইত্যাদি)।
• আপনার ব্যবহৃত প্রশিক্ষণ ডেটার লাইসেন্স পরীক্ষা করুন (যথাযথ সম্মতি এবং সুরক্ষা ছাড়া কোনও ব্যক্তিগত/গোপনীয় ডেটা নয়)।

দরকারী পঠন:

• হাগিং ফেস লাইসেন্সিং ডকুমেন্টেশন
• প্রতিটি মডেলের নিজস্ব LICENSE ফাইল তার সংগ্রহস্থলে।

10. সারসংক্ষেপ: কীভাবে একটি ওপেন সোর্স এআই মডেল ফাইন-টিউন করবেন

1. হাগিং ফেস থেকে একটি মডেল নির্বাচন করুন যা আপনার কাজ এবং হার্ডওয়্যারের সাথে খাপ খায়।
2. একটি স্থিতিশীল JSON/JSONL চ্যাট বা নির্দেশ বিন্যাসে উচ্চ মানের প্রশিক্ষণ ডেটা প্রস্তুত করুন।
3. PyTorch, transformers, datasets, peft এবং (ঐচ্ছিকভাবে) bitsandbytes দিয়ে পরিবেশ কনফিগার করুন।
4. যুক্তিসঙ্গত খরচে একটি একক জিপিইউতে ফাইন-টিউনিংয়ের জন্য LoRA/QLoRA ব্যবহার করুন।
5. ধরে রাখা ডেটাতে মূল্যায়ন করুন এবং প্রম্পট এবং প্রশিক্ষণ সেট পরিমার্জন করুন।
6. একটি পরিষেবা হিসাবে স্থাপনা করুন (যেমন: vLLM, TGI বা llama.cpp এর মাধ্যমে) এবং আপনার লারাভেল বা অন্যান্য ব্যাকএন্ড থেকে এটি কল করুন।

যদি আপনি আমাকে বলেন:

• আপনি কী ধরণের অ্যাপ্লিকেশন তৈরি করছেন (চ্যাটবট, কোড সহকারী, বিষয়বস্তু জেনারেটর ইত্যাদি),
• আপনার কাছে কী হার্ডওয়্যার রয়েছে,
• আপনি অন-প্রিম বা ক্লাউডে স্থাপন করতে চান কিনা,

আমি আপনার ব্যবহারের ক্ষেত্রে উপযোগী একটি কংক্রিট এবং ন্যূনতম কনফিগারেশন বর্ণনা করতে পারি।