Summarization for Pydantic AI

Automatyczne podsumowywanie rozmów dla nieograniczonego kontekstu

Trzy strategie zarządzania kontekstem: inteligentne podsumowanie LLM, przesuwane okno i real-time context manager z śledzeniem tokenów.

Instalacja

pip install summarization-pydantic-ai

Dwie strategie utrzymywania rozmów agentów w limitach kontekstu. Podsumowanie oparte na LLM inteligentnie kompresuje starsze wiadomości zachowując kluczowe informacje — wyzwalane przez liczbę wiadomości, liczbę tokenów lub ułamek kontekstu. Przycinanie przesuwającym się oknem bez kosztu po prostu usuwa najstarsze wiadomości z bezpiecznym odcięciem, które nigdy nie przerywa par wywołanie narzędzia/odpowiedź. Real-time context manager śledzi użycie tokenów na żywo, obcina długie wyniki narzędzi i automatycznie wykrywa okna kontekstowe modeli.

Funkcje

Szybki Start

from pydantic_ai import Agent
from pydantic_ai_summarization import create_summarization_processor

processor = create_summarization_processor(
    trigger=("tokens", 100000),
    keep=("messages", 20),
)

agent = Agent(
    "openai:gpt-4o",
    history_processors=[processor],
)

result = await agent.run("Hello!")

Przypadki Użycia