Tài liệu api Mistral: Tích hợp bắt đầu nhanh

Xác thực: Đặt tiêu đề của bạn

Bắt đầu bằng cách tạo khóa trên bảng điều khiển của chúng tôi. Quy trình này diễn ra ngay lập tức và không yêu cầu xác minh số điện thoại. Bạn chỉ cần địa chỉ email hoặc tài khoản Google để tạo tài khoản. Sau khi tạo, khóa sẽ xuất hiện ngay lập tức trên màn hình của bạn. Hãy lưu nó an toàn vì chúng tôi không lưu trữ chuỗi đầy đủ để truy xuất. Bạn sẽ truyền chuỗi này trong Authorization header cho mọi yêu cầu. Hệ thống của chúng tôi xác thực token này đối với số dư trả trước của bạn trước khi xử lý lời nhắc của bạn. Nếu khóa không hợp lệ hoặc hết hạn, bạn sẽ nhận được lỗi 401. Chúng tôi chỉ cho phép một khóa đang hoạt động cho mỗi tài khoản để giữ quyền truy cập đơn giản. Khóa mới thay thế khóa cũ ngay lập tức khi bạn tạo khóa thay thế.

Điểm cuối /v1/chat/completions

Gửi yêu cầu đầu tiên đến URL cơ sở của chúng tôi bằng cách sử dụng điểm cuối hoàn tất cuộc trò chuyện tiêu chuẩn. Thay thế khóa giữ chỗ bằng thông tin xác thực thực tế của bạn. Định danh model chỉ đơn giản là uncensored. Mô hình này được tinh chỉnh để trả lời mà không từ chối nội dung người lớn hợp pháp. Nó xử lý đầu vào và đầu ra văn bản một cách hiệu quả. Bạn không cần cấu hình định tuyến phức tạp hoặc chọn các phiên bản mô hình cụ thể. Chỉ cần trỏ khách hàng của bạn đến URL cơ sở của chúng tôi và gửi payload. Máy chủ của chúng tôi xử lý suy luận và trả về văn bản đã tạo. Cách tiếp cận này đảm bảo tương thích với các công cụ và thư viện hiện có.

Phản hồi dạng stream với SSE

Bật chế độ streaming để nhận các token ngay khi chúng được tạo. Điều này giảm độ trễ cảm nhận cho các đầu ra dài. Đặt stream tham số thành true trong thân yêu cầu của bạn. Máy chủ sẽ trả về một loạt Các sự kiện do máy chủ gửi. Mỗi sự kiện chứa một phần delta của phản hồi. Bạn có thể xử lý các token này theo thời gian thực cho giao diện trò chuyện. Khối cuối cùng bao gồm tổng số lượng token sử dụng cho yêu cầu. Điều này cho phép bạn theo dõi chi phí chính xác khi cuộc trò chuyện diễn ra. Truyền dữ liệu theo luồng lý tưởng cho các ứng dụng nơi phản hồi ngay lập tức cải thiện trải nghiệm người dùng.

Gọi hàm và chế độ JSON

Cấu trúc các đầu ra của bạn một cách đáng tin cậy bằng cách sử dụng các tham số được hỗ trợ của chúng tôi. Bật chế độ JSON bằng cách đặt response_format để {"type": "json_object"}. Điều này buộc mô hình trả về JSON hợp lệ mà không có các thẻ markdown. Bạn cũng có thể xác định các lược đồ hàm cho việc sử dụng công cụ. Mô hình sẽ tuân thủ chặt chẽ cấu trúc được cung cấp. Điều này hữu ích cho việc trích xuất dữ liệu tự động hoặc chuỗi API. Sử dụng tools tham số để xác định các hàm có sẵn. Mô hình có thể chọn hàm nào sẽ gọi dựa trên prompt. Khả năng này rất cần thiết để xây dựng các quy trình làm việc dạng agent mà không cần logic phân tích cú pháp bổ sung.

Tham số: Nhiệt độ, Top-p và Seeds

Điều khiển tính ngẫu nhiên và tính xác định của đầu ra. Điều chỉnh temperature để thay đổi độ sáng tạo. Các giá trị thấp hơn tạo ra các phản tập trung hơn. Các giá trị cao hơn giới thiệu nhiều sự đa dạng hơn. Sử dụng top_p để giới hạn việc lựa chọn từ vựng. Điều này hoạt động cùng với nhiệt độ để tinh chỉnh chất lượng đầu ra. Đặt giá trị seed tham số cho kết quả có thể tái lập. Các đầu vào và hạt giống giống hệt nhau sẽ tạo ra các đầu ra giống hệt nhau. Điều này rất quan trọng để gỡ lỗi và kiểm tra tích hợp của bạn. Bạn cũng có thể đặt stop chuỗi để dừng quá trình tạo tại các dấu hiệu cụ thể. Các tham số này cho phép bạn kiểm soát tinh tế hành vi của mô hình.

Giới hạn, lỗi và cửa sổ ngữ cảnh

Theo dõi mức sử dụng dựa trên các giới hạn đã xác định. Cửa sổ ngữ cảnh hỗ trợ tổng cộng 100,000 token. Điều này cho phép phân tích tài liệu rộng rãi hoặc các cuộc hội thoại dài. Mỗi yêu cầu có thể xuất tối đa 16,000 token. Nếu bạn không chỉ định max_tokens, giới hạn mặc định là 2.048. Bạn được phép 300 yêu cầu mỗi phút cho mỗi khóa. Chỉ tám yêu cầu có thể chạy đồng thời cho mỗi khóa. Kích thước thân yêu cầu được giới hạn ở 8 MB. Lỗi 402 cho biết số dư không đủ. Giới hạn tốc độ (429) xảy ra nếu bạn vượt quá ngưỡng mỗi phút. Số dư không bao giờ hết hạn, vì vậy bạn có thể tạm dừng sử dụng mà không mất tiền.

cURL

Copycurl https://api.apimistral.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Set temperature to 0.7 for code generation"}]
  }'

Python

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.apimistral.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.apimistral.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Phát trực tiếp

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)