Ollama API কী?

Ollama হলো একটি ওপেন-সোর্স টুল যা আপনার মেশিনে স্থানীয়ভাবে বড় ভাষার মডেল (LLMs) চালানোর জন্য ব্যবহৃত হয়। এটি একটি REST API প্রদান করে যা HTTP রিকোয়েস্ট গ্রহণ করে, যা আপনাকে Llama 3, Mistral, Gemma এবং আরও অনেক মডেলের সাথে সরাসরি আপনার টার্মিনাল বা অ্যাপ্লিকেশন কোড থেকে ইন্টারঅ্যাক্ট করতে দেয়। API টি একটি সহজ JSON-ভিত্তিক রিকোয়েস্ট/রেসপন্স প্যাটার্ন অনুসরণ করে এবং টেক্সট জেনারেশন, মাল্টি-টার্ন চ্যাট কথোপকথন এবং টেক্সট এম্বেডিং সমর্থন করে।

cURL হলো Ollama API পরীক্ষা করার এবং ইন্টারঅ্যাক্ট করার সবচেয়ে সাধারণ উপায়। তবে সঠিক প্যারামিটার, হেডার এবং JSON বডি ফরম্যাটিং সহ সঠিক cURL কমান্ড তৈরি করা বেশ কঠিন এবং ত্রুটিপ্রবণ হতে পারে, বিশেষত যখন temperature এবং top-k স্যাম্পলিংয়ের মতো মডেল অপশন সামঞ্জস্য করা হয়।

টুলের বিবরণ

এই টুলটি Ollama API এন্ডপয়েন্টের জন্য ব্যবহারযোগ্য cURL কমান্ড তৈরি করে। একটি এন্ডপয়েন্ট নির্বাচন করুন, আপনার মডেল এবং প্যারামিটার কনফিগার করুন এবং তাৎক্ষণিকভাবে একটি সঠিকভাবে ফরম্যাট করা cURL কমান্ড পান। তৈরি করা কমান্ডে সমস্ত প্রয়োজনীয় হেডার, JSON বডি স্ট্রাকচার এবং মডেল অপশন অন্তর্ভুক্ত থাকে — আপনার টার্মিনালে পেস্ট করার জন্য প্রস্তুত।

উদাহরণ

মৌলিক টেক্সট জেনারেশন:

curl -X POST "http://localhost:11434/api/generate" \
  -H "Content-Type: application/json" \
  -d '{
  "model": "llama3",
  "prompt": "Explain quantum computing in simple terms",
  "stream": true
}'

সিস্টেম প্রম্পট এবং কাস্টম temperature সহ চ্যাট:

curl -X POST "http://localhost:11434/api/chat" \
  -H "Content-Type: application/json" \
  -d '{
  "model": "llama3",
  "messages": [
    { "role": "system", "content": "You are a helpful coding assistant." },
    { "role": "user", "content": "Write a Python function to reverse a string" }
  ],
  "stream": false,
  "options": {
    "temperature": 0.3
  }
}'

এম্বেডিং তৈরি করুন:

curl -X POST "http://localhost:11434/api/embeddings" \
  -H "Content-Type: application/json" \
  -d '{
  "model": "llama3",
  "prompt": "The quick brown fox jumps over the lazy dog",
  "stream": false
}'

বৈশিষ্ট্যসমূহ

  • তিনটি প্রধান Ollama এন্ডপয়েন্ট সমর্থন করে: /api/generate, /api/chat, এবং /api/embeddings
  • কনফিগারযোগ্য মডেল অপশন: temperature, top-p, top-k, সর্বোচ্চ token, repeat penalty এবং seed
  • generate এবং chat এন্ডপয়েন্টের জন্য সিস্টেম প্রম্পট সমর্থন
  • কাঠামোবদ্ধ আউটপুটের জন্য JSON রেসপন্স ফরম্যাট অপশন
  • তৈরি করা কমান্ড .sh ফাইল হিসেবে ডাউনলোড করুন

অপশনসমূহের ব্যাখ্যা

অপশন বিবরণ ডিফল্ট পরিসীমা
Temperature আউটপুটের এলোমেলোতা নিয়ন্ত্রণ করে। কম মান আরও মনোযোগী টেক্সট তৈরি করে, বেশি মান সৃজনশীলতা বাড়ায়। 0.7 0–2
Top P Nucleus স্যাম্পলিং থ্রেশহোল্ড। মডেলটি সেই token গুলো বিবেচনা করে যাদের ক্রমবর্ধমান সম্ভাবনা এই মানে পৌঁছায়। 0.9 0–1
Top K প্রতিটি ধাপে K সবচেয়ে সম্ভাব্য প্রার্থীদের মধ্যে token নির্বাচন সীমিত করে। 40 1–100
সর্বোচ্চ token রেসপন্সে তৈরি করার জন্য সর্বোচ্চ token সংখ্যা। সীমাহীনের জন্য -1 সেট করুন। 128 -1–4096
Repeat penalty পুনরাবৃত্ত token গুলোকে জরিমানা করে। 1.0-এর উপরের মান পুনরাবৃত্তি নিরুৎসাহিত করে। 1.1 0–2
Seed পুনরুৎপাদনযোগ্য আউটপুটের জন্য নির্দিষ্ট seed। এলোমেলো ফলাফলের জন্য খালি রাখুন। — যেকোনো পূর্ণসংখ্যা
রেসপন্স ফরম্যাট মডেলকে বৈধ JSON আউটপুট ফেরত দিতে বাধ্য করতে JSON-এ সেট করুন। নেই নেই / JSON
Stream সক্রিয় থাকলে, রেসপন্স token দ্বারা token স্ট্রিম করা হয়। সম্পূর্ণ রেসপন্স একসাথে পেতে নিষ্ক্রিয় করুন। চালু চালু / বন্ধ

ব্যবহারের ক্ষেত্রসমূহ

  • ম্যানুয়ালি JSON না লিখে টার্মিনাল থেকে দ্রুত Ollama API কল প্রোটোটাইপ এবং পরীক্ষা করা
  • দলের সদস্যদের সাথে শেয়ার করতে বা ডকুমেন্টেশনে অন্তর্ভুক্ত করতে cURL কমান্ড তৈরি করা
  • আপনার ব্যবহারের ক্ষেত্রে সর্বোত্তম সেটিংস খুঁজে পেতে বিভিন্ন মডেল প্যারামিটার নিয়ে পরীক্ষা-নিরীক্ষা করা