Models and answers
Modelos y respuestas
Copilot can send each message to a cheaper or a more capable AI model. Here you decide how that choice is made and how long an answer can be.
Copilot puede mandar cada mensaje a un modelo de IA más barato o más capaz. Acá decidís cómo se hace esa elección y qué tan larga puede ser una respuesta.
The three tiers of model
Los tres niveles de modelo
Models are grouped in three tiers: Simple (the cheapest, for plain lookups), Medium and Complex (the most capable, for hard questions). Each tier has a model and an effort setting. The table in the card Model routing shows which model each tier uses; you can change it per tier or keep Platform default.
Los modelos se agrupan en tres niveles: Simple (el más barato, para consultas sencillas), Medio y Complejo (el más capaz, para preguntas difíciles). Cada nivel tiene un modelo y un ajuste de esfuerzo. La tabla de la tarjeta Enrutamiento de modelos muestra qué modelo usa cada nivel; podés cambiarlo por nivel o dejar Platform default.
Choose the routing mode
Elegir el modo de enrutamiento
| Routing mode | What it does |
|---|---|
| Automatic | Each message is scored (how long it is, what it asks for, how many modules and actions are in play, how far the conversation has gone) and sent to the tier that fits. Recommended. |
| Fixed tier | Every message goes to the Pinned tier you choose. |
| Single model (legacy) | Every message goes to the one model chosen in Generation parameters. |
| Modo de enrutamiento | Qué hace |
|---|---|
| Automático | Cada mensaje recibe un puntaje (qué tan largo es, qué pide, cuántos módulos y acciones hay en juego, cuánto avanzó la conversación) y va al nivel que corresponde. Recomendado. |
| Nivel fijo | Todos los mensajes van al Nivel fijado que elijas. |
| Modelo único (legado) | Todos los mensajes van al único modelo elegido en Parámetros de generación. |
In Automatic mode:
En modo Automático:
- A conversation never goes down a tier. Once a message used a higher tier, the following ones stay there.
- It goes up one tier for the next message when an answer was cut for length, needed too many rounds or had several failing queries. The user sees a notice.
- Maximum tier (cost cap) sets the ceiling: no message goes above it, whatever its score.
- A user can pick the tier for a message with the button at the bottom of the chat, within the ceiling.
- Agent runs never use the Simple tier.
- Una conversación nunca baja de nivel. Una vez que un mensaje usó un nivel más alto, los siguientes se quedan ahí.
- Sube un nivel para el próximo mensaje cuando una respuesta se cortó por larga, necesitó demasiadas rondas o tuvo varias consultas con error. El usuario ve un aviso.
- Nivel máximo (tope de costo) pone el techo: ningún mensaje lo supera, sea cual sea su puntaje.
- Un usuario puede elegir el nivel de un mensaje con el botón de abajo del chat, dentro del techo.
- Las corridas de agentes nunca usan el nivel Simple.
Press Save routing to apply, or Reset to platform defaults to go back. Changes take effect within half a minute. If the card shows the label Disabled, routing is turned off for the whole installation: your settings are saved but not applied, and every message uses the single model.
Tocá Guardar enrutamiento para aplicar, o Restablecer valores de la plataforma para volver atrás. Los cambios valen en menos de medio minuto. Si la tarjeta muestra la etiqueta Deshabilitado, el enrutamiento está apagado para toda la instalación: tus ajustes se guardan pero no se aplican, y todos los mensajes usan el modelo único.
Generation parameters
Parámetros de generación
| Field | What it does |
|---|---|
| Legacy single model | The model used only in Single model (legacy) mode. In the other modes it is ignored. |
| Max tokens | The maximum length of one answer. An answer that reaches it is cut, and the user sees "The answer was cut short (max tokens)." It cannot exceed what the model allows. |
| Temperature | From 0 to 1: 0 gives the most repeatable answers, 1 the most varied. Only some models accept it; for the others the value is not sent. |
| Campo | Qué hace |
|---|---|
| Modelo único (legado) | El modelo que se usa solo en modo Modelo único (legado). En los otros modos se ignora. |
| Máximo de tokens | El largo máximo de una respuesta. Una respuesta que lo alcanza se corta, y el usuario ve «La respuesta se cortó (máximo de tokens).» No puede superar lo que permite el modelo. |
| Temperatura | De 0 a 1: 0 da las respuestas más repetibles, 1 las más variadas. Solo algunos modelos la aceptan; para los demás el valor no se envía. |
Press Save parameters, or Reset to defaults. Leave a field empty to use the default of the installation.
Tocá Guardar parámetros, o Restablecer valores por defecto. Dejá un campo vacío para usar el valor por defecto de la instalación.
Limits you cannot change on screen
Límites que no se cambian en pantalla
These come with the installation and apply to every conversation.
Vienen con la instalación y valen para todas las conversaciones.
| Limit | Value |
|---|---|
| Rounds of work per message | Six. After that Copilot answers with what it has. |
| Queries and actions per message | Fifty. |
| Size of one query result given to the model | About sixty thousand characters; the rest is cut. |
| Length of one message from a user | Thirty-two thousand characters. |
| Messages of a conversation the model keeps in view | The last sixty. |
| Messages answered at the same time in one conversation | One. |
| Time for one confirmed action | Thirty seconds; five minutes for an action of several steps. |
| Límite | Valor |
|---|---|
| Rondas de trabajo por mensaje | Seis. Después Copilot responde con lo que tiene. |
| Consultas y acciones por mensaje | Cincuenta. |
| Tamaño del resultado de una consulta que recibe el modelo | Unos sesenta mil caracteres; el resto se recorta. |
| Largo de un mensaje de un usuario | Treinta y dos mil caracteres. |
| Mensajes de una conversación que el modelo tiene a la vista | Los últimos sesenta. |
| Mensajes respondidos a la vez en una conversación | Uno. |
| Tiempo para una acción confirmada | Treinta segundos; cinco minutos para una acción de varios pasos. |
Common issues
Problemas habituales
- Answers are cut too often
- Raise Max tokens, or leave routing on Automatic so the next message goes to a more capable model.
- Costs went up
- Check Maximum tier (cost cap) and whether someone set Fixed tier to Complex. See the usage by model tier in Statistics.
- I changed Temperature and nothing changed
- The model in use does not accept it.
- I chose a model and another one answers
- The model needs the data-retention acceptance and it is not ticked, or routing is disabled for the installation.
- "Model routing saved" but nothing changed
- Wait half a minute. Conversations in progress keep at least the tier they already reached.
- Las respuestas se cortan muy seguido
- Subí Máximo de tokens, o dejá el enrutamiento en Automático para que el próximo mensaje vaya a un modelo más capaz.
- Subieron los costos
- Revisá Nivel máximo (tope de costo) y si alguien puso Nivel fijo en Complejo. Mirá el uso por nivel de modelo en Estadísticas.
- Cambié la Temperatura y no cambió nada
- El modelo en uso no la acepta.
- Elegí un modelo y responde otro
- El modelo requiere la aceptación de retención de datos y no está tildada, o el enrutamiento está deshabilitado para la instalación.
- «Enrutamiento de modelos guardado» pero no cambió nada
- Esperá medio minuto. Las conversaciones en curso conservan al menos el nivel que ya alcanzaron.