Документація Mistral api: Швидка інтеграція

Аутентифікація: Встановлення вашого заголовка

Почніть із генерування ключа на нашій панелі керування. Процес миттєвий і не вимагає верифікації за номером телефону. Для створення облікового запису потрібна лише електронна адреса або обліковий запис Google. Після генерування ключ відображається на екрані миттєво. Збережіть його безпечно, оскільки ми не зберігаємо повний рядок для відновлення. Ви передасте цей рядок у Authorization header для кожного запиту. Наша система перевіряє цей токен проти вашого передоплаченого балансу перед обробкою запиту. Якщо ключ недійсний або прострочений, ви отримаєте помилку 401. Ми дозволяємо лише один активний ключ на обліковий запис, щоб спростити доступ. Новий ключ миттєво замінює старий, коли ви генуєте заміну.

Ендпоінт /v1/chat/completions

Надішліть свій перший запит до нашої базової URL-адреси, використовуючи стандартний ендпоінт chat completions. Замініть заповнювач ключа на свої реальні облікові дані. Ідентифікатор моделі — просто uncensored. Ця модель налаштована для відповідей без відмов для законного дорослого контенту. Вона ефективно обробляє текстовий вхід і вихід. Вам не потрібно налаштовувати складне маршрутизування або обирати конкретні версії моделей. Просто вкажіть клієнту наш базовий URL і надішліть запит. Наші сервери обробляють інференс і повертають згенерований текст. Цей підхід забезпечує сумісність із існуючими інструментами та бібліотеками.

Потокова передача відповідей з SSE

Увімкніть потокову передачу, щоб отримувати токени по мірі їх генерації. Це зменшує сприйняту затримку для довгих виводів. Встановіть stream параметр на true у тілі запиту. Сервер поверне серію подій, надісланих сервером. Кожна подія містить частковий дельта-відповідь. Ви можете обробляти ці токени в реальному часі для чат-інтерфейсу. Останній фрагмент включає загальне використання токенів для запиту. Це дозволяє вам точно відстежувати витрати по мірі прогресу розмови. Потокова передача ідеально підходить для додатків, де миттєвий зворотний зв'язок покращує користувацький досвід.

Виклик функцій та режим JSON

Структуруйте вивід надійно за допомогою підтримуваних нами параметрів. Увімкніть режим JSON, встановивши response_format до {"type": "json_object"}. Це змушує модель повертати дійсний JSON без маркдаун-огорож (fences). Ви також можете визначити схеми функцій для використання інструментів. Модель суворо дотримуватиметься наданої структури. Це корисно для автоматизованого вилучення даних або ланцюжкових API. Використовуйте tools параметр для визначення доступних функцій. Модель може вибрати, яку функцію викликати, на основі промпту. Ця можливість є суттєвою для створення агентних робочих процесів без додаткової логіки парсингу.

Параметри: Temperature, Top-p, Seeds

Керуйте випадковістю та детермінованістю ваших виводів. Налаштуйте temperature варіювати креативність. Нижчі значення дають більш сфокусовані відповіді. Вищі значення додають більше різноманіття. Використовуйте top_p щоб обмежити вибір словникового запасу. Це працює разом із temperature для покращення якості виводу. Встановіть seed параметр для відтворюваних результатів. Ідентичні вхідні дані та насіння дадуть однакові результати. Це критично важливо для відлагодження та тестування вашої інтеграції. Ви також можете встановити stop послідовності для зупинки генерації за певними маркерами. Ці параметри дають вам детальний контроль над поведінкою моделі.

Ліміти, помилки та контекстне вікно

Моніторьте використання, орієнтуючись на визначені ліміти. Контекстне вікно підтримує 100,000 токенів у сукупності. Це дозволяє проводити глибокий аналіз документів або підтримувати довгі розмови. Кожен запит може генерувати до 16,000 токенів. Якщо ви не вказали max_tokens, ліміт за замовчуванням становить 2 048. Вам дозволено 300 запитів на хвилину на кожен ключ. Одночасно може виконуватися лише вісім запитів на ключ. Розмір тіла запиту обмежено 8 МБ. Помилки 402 вказують на недостатній баланс. Ліміти швидкості (429) виникають, якщо ви перевищуєте поріг за хвилину. Кредити не мають строку дії, тому ви можете призупинити використання, не втрачаючи кошти.

cURL

Copycurl https://api.apimistral.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Set temperature to 0.7 for code generation"}]
  }'

Python

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.apimistral.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.apimistral.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Потокова передача

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)