Mistral API dokumentációk: Gyors kezdési integráció

Hitelesítés: fejléc beállítása

Kezdje egy kulcs generálásával az irányítópulton. A folyamat azonnali, és nem igényel telefonnummer ellenőrzést. Csak e-mail-címre vagy Google-fiókra van szüksége a fiók létrehozásához. A generálás után a kulcs azonnal megjelenik a képernyőn. Mentsa biztonságba, mert nem tároljuk a teljes karakterláncot a visszakereséshez. Ezt a karakterláncot adja át a Authorization fejléc minden kéréshez. Rendszerünk ezt a tokent az előre fizetett egyenlegéhez igazítja a prompt feldolgozása előtt. Ha a kulcs érvénytelen vagy lejárt, 401-es hibát kap. Csak egy aktív kulcsot engedélyezünk fiontonként a egyszerű hozzáférés érdekében. Egy új kulcs azonnal lecseréli a régit, ha újat generál.

A /v1/chat/completions végpont

Küldje el az első kérést az alap URL-re a szabványos chat befejezések végpont használatával. Cserélje ki a helyőrző kulcsot a tényleges hitelesítő adatokra. A modell azonosító egyszerűen uncensored. Ez a modell úgy van hangolva, hogy jogszerű felnőtt tartalom esetén elutasítás nélkül válaszoljon. Hatékonyan kezeli a szövegbevitelt és -kimenetet. Nem kell bonyolult átirányítást konfigurálnia vagy specifikus modellverziókat választania. Csak mutasson a klienssel az alap URL-re, és küldje el a payloadt. Szervereink végzik az inferenciát, és visszaadják a generált szöveget. Ez a megközelítés biztosítja a kompatibilitást a meglévő eszközökkel és könyvtárakkal.

Streamelt válaszok SSE-vel

A tokenok streamelése lehetővé teszi, hogy azokat azonnal fogadjuk, amint azok generálódnak. Ez csökkenti az észlelt késést hosszú kimenetek esetén. Állítsa be a stream paramétert true-ra a kéréstörzsben. A szerver Server-Sent Events sorozatot ad vissza. Minden esemény a válasz részleges delta-t tartalmazza. Ezeket a tokeneket valós időben feldolgozhatja chat felülethez. Az utolsó darab tartalmazza a kérés teljes tokenfelhasználását. Ez lehetővé teszi a költségek pontos nyomon követését a beszélgetés előrehaladtával. A streamelés ideális azokhoz az alkalmazásokhoz, ahol az azonnali visszajelzés javítja a felhasználói élményt.

Function calling és JSON mód

Strukturálja a kimenetét megbízhatóan támogatott paramétereink segítségével. Engedélyezze a JSON módot a response_format a {"type": "json_object"}. Ez kényszeríti a modellt, hogy érvényes JSON-t adjon vissza markdown keretek nélkül. Megadhatod az eszköz sémákat is eszköz használatához. A modell szigorúan követi a megadott struktúrát. Ez hasznos az automatizált adat kinyeréshez vagy API láncoláshoz. Használd az tools paraméter a elérhető funkciók meghatározására. A modell kiválaszthatja, melyik funkciót hívja meg a prompt alapján. Ez a képesség elengedhetetlen ügynökfolyamatok építéséhez extra elemzési logika nélkül.

Paraméterek: Hőmérséklet, Top-p, Seedek

A kimenetek véletlenszerűségének és determinizmusának szabályozása. Állítsa be a temperature a kreativitás változtatásához. Az alacsonyabb értékek fókuszáltabb válaszokat eredményeznek. A magasabb értékek több változatosságot hoznak be. Használja a top_p a szókiválasztás korlátozására. Ez a hőmérséklettel együtt finomítja a kimeneti minőséget. Állítsa be a seed paraméter a reprodukálható eredményekhez. Azonos bemenetek és seed értékek azonos kimenetet eredményeznek. Ez kritikus a hibakereséshez és az integráció teszteléséhez. Beállíthatja a stop sorozatokat a generálás leállításához meghatározott jelzőknél. Ezek a paraméterek finomhangolt kontrollt biztosítanak a modell viselése felett.

Korlátok, hibák és kontextus ablak

Figyelje a felhasználást a meghatározott korlátai ellen. A kontextusablak 100 000 token kombinált támogatásával rendelkezik. Ez lehetővé teszi a kiterjesztett dokumentumelemzést vagy a hosszú beszélgetéseket. Minden kérés akár 16 000 token kimenetet generálhat. Ha nem ad meg max_tokens, a limit alapértelmezett értéke 2 048. Kulcsonként percenként 300 kérést küldhet. Kulcsonként egyszerre nyolc kérés futtatható. A kérés törzse legfeljebb 8 MB lehet. A 402-es hiba a nem elegendő kreditet jelzi. A 429-es hiba a másodpercenkénti limit túllépését jelzi. A kredit nem jár le, így szüneteltetheti a használatot a pénzeszközök elvesztése nélkül.

cURL

Copycurl https://api.apimistral.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Set temperature to 0.7 for code generation"}]
  }'

Python

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.apimistral.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.apimistral.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Streamelés

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)