CIRIS Agent ਕੁਝ ਖੁੱਲ੍ਹੇ ਮਾਡਲਾਂ 'ਤੇ ਚੱਲਦਾ ਹੈ ਜੋ ਪੰਜ ਜ਼ਰੂਰੀ ਮਾਪਦੰਡ ਪੂਰੇ ਕਰਦੇ ਹਨ। ਮੌਜੂਦਾ ਪ੍ਰੋਡਕਸ਼ਨ ਲਾਈਨਅੱਪ Llama 4 Maverick, Llama 4 Scout, Qwen 3.6, ਅਤੇ Gemma 4 ਹੈ, ਜੋ ਏਜੰਟ ਦੇ ਕੰਮਕਾਜ ਵਿੱਚ ਵੱਖ-ਵੱਖ ਭੂਮਿਕਾਵਾਂ ਲਈ ਚੁਣੇ ਗਏ ਹਨ।
ਤਰਕ ਦਾ ਮੁੱਖ ਸੰਦ। ਇਹ ਇੱਕੋ ਵਾਰ ਬਹੁਤ ਵੱਡੀ ਮਾਤਰਾ ਵਿੱਚ ਸੰਦਰਭ ਸੰਭਾਲਦਾ ਹੈ, ਇਸ ਲਈ ਡੂੰਘੇ ਤਰਕ ਲਈ ਪੂਰੀ ਤਸਵੀਰ ਨੂੰ ਸਾਹਮਣੇ ਰੱਖਣਾ ਜ਼ਰੂਰੀ ਹੁੰਦਾ ਹੈ।
Providers: OpenRouter, Groq, Together, DeepInfra
Llama 4 ਪਰਿਵਾਰ ਦਾ ਤੇਜ਼ ਸਾਥੀ। Maverick ਤੋਂ ਛੋਟਾ ਅਤੇ ਤੇਜ਼, ਮਜ਼ਬੂਤ ਟੂਲ ਕਾਲਿੰਗ ਨਾਲ। ਅਜਿਹੀਆਂ ਇੰਟਰਐਕਟਿਵ ਸ਼੍ਰੇਣੀਆਂ ਲਈ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ ਜਿੱਥੇ ਲੇਟੈਂਸੀ ਅਹਿਮ ਹੋਵੇ ਅਤੇ Maverick ਦਾ ਪੂਰਾ ਸੰਦਰਭ ਬਜਟ ਜ਼ਰੂਰੀ ਨਾ ਹੋਵੇ।
Providers: OpenRouter, Groq
ਬਹੁਭਾਸ਼ੀ ਡੂੰਘਾਈ ਅਤੇ ਮਜ਼ਬੂਤ ਢਾਂਚਾਗਤ ਆਉਟਪੁੱਟ। ਪੌਲੀਗਲੌਟ Accord ਲਈ ਲੋੜੀਂਦੇ ਗੈਰ-ਅੰਗਰੇਜ਼ੀ ਤਰਕ ਮਾਰਗਾਂ ਵਿੱਚ ਭਾਰ ਚੁੱਕਦਾ ਹੈ; Llama ਪਰਿਵਾਰ ਤੋਂ ਬਾਹਰ ਸੁਤੰਤਰ ਪ੍ਰੋਵਾਈਡਰ ਅਧਾਰ ਫਾਲਬੈਕ ਚੇਨ ਵਿੱਚ ਬੇਲੋੜੀ ਨਿਰਭਰਤਾ ਘਟਾਉਂਦਾ ਹੈ।
Providers: OpenRouter, DashScope, DeepInfra
ਆਮ ਹਾਰਡਵੇਅਰ 'ਤੇ ਚੱਲਣ ਲਈ ਕਾਫ਼ੀ ਛੋਟਾ। ਜਿੱਥੇ ਉਪਲਬਧਤਾ ਸਮਰੱਥਾ ਨਾਲੋਂ ਵੱਧ ਅਹਿਮ ਹੋਵੇ (ਡਿਵਾਈਸ 'ਤੇ, ਘੱਟ ਬੈਂਡਵਿਡਥ, ਅਤੇ ਖਰਾਬ ਨੈੱਟਵਰਕ ਦੇ ਹਾਲਾਤਾਂ ਵਿੱਚ) ਅਤੇ Llama ਤੇ Qwen ਦੇ ਨਾਲ ਤੀਸਰੇ ਪਰਿਵਾਰ ਦੇ ਫਾਲਬੈਕ ਵਜੋਂ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ।
Providers: OpenRouter, Google
ਪ੍ਰਤੀ ਇੰਟਰਐਕਸ਼ਨ 12-70 ਟੂਲ ਕਾਲਾਂ ਵਿੱਚ ਫੰਕਸ਼ਨ ਕਾਲਿੰਗ ਅਤੇ ਵੈਲਿਡ JSON ਵਾਪਸ ਕਰਨਾ ਜ਼ਰੂਰੀ ਹੈ। CIRIS ਇੱਕ ਆਰਕੈਸਟਰੇਟਰ ਹੈ। ਸਾਨੂੰ ਸਥਿਰ ਟੂਲ ਸੈਮੈਂਟਿਕਸ ਚਾਹੀਦੇ ਹਨ, ਗੱਲਬਾਤ ਨਹੀਂ।
CIRIS ਹਰ ਪ੍ਰੋਂਪਟ ਵਿੱਚ ਪੂਰਾ Accord ਅਤੇ Guide ਸ਼ਾਮਲ ਕਰਦਾ ਹੈ। 128K ਘੱਟੋ-ਘੱਟ ਜ਼ਰੂਰੀ ਹੈ; ਲੰਬੀਆਂ ਗੱਲਬਾਤਾਂ, ਟੂਲ ਆਉਟਪੁੱਟਾਂ ਅਤੇ ਆਡਿਟ ਟ੍ਰੇਲਾਂ ਲਈ 256K+ ਖਾਸ ਤੌਰ 'ਤੇ ਬਿਹਤਰ ਹੈ।
ਟੀਚਾ: ਮਿਲਾ ਕੇ $1.00 ਪ੍ਰਤੀ 1M ਟੋਕਨ ਤੋਂ ਘੱਟ। ਅਸੀਂ ਸਭ ਤੋਂ ਸਸਤਾ ਬੈਂਚਮਾਰਕ ਜੇਤੂ ਨਹੀਂ, ਸਗੋਂ ਸਭ ਤੋਂ ਸਸਤਾ ਕੰਮਕਾਜੀ ਵਿਕਲਪ ਚੁਣਦੇ ਹਾਂ। ਇੱਕ ਭਰੋਸੇਯੋਗ ਮਾਡਲ ਜੋ JSON ਕਦੇ ਨਹੀਂ ਤੋੜਦਾ, ਉਸ ਸਸਤੇ ਮਾਡਲ ਤੋਂ ਬਿਹਤਰ ਹੈ ਜੋ 10 ਵਿੱਚੋਂ 1 ਕਾਲ ਫੇਲ ਕਰੇ।
ਮਜ਼ਬੂਤ ਫਾਲਬੈਕ ਚੇਨਾਂ ਲਈ ਘੱਟੋ-ਘੱਟ ਦੋ ਸੁਤੰਤਰ ਪ੍ਰੋਵਾਈਡਰਾਂ ਤੋਂ ਉਪਲਬਧ ਹੋਣਾ ਜ਼ਰੂਰੀ ਹੈ। ਆਊਟੇਜ ਦੌਰਾਨ CIRIS ਸਖ਼ਤ ਫੇਲ ਹੋਣ ਦੀ ਬਜਾਏ ਸੁਚੱਜੇ ਢੰਗ ਨਾਲ ਘੱਟਦਾ ਹੈ।
ਤੇਜ਼ ਜਵਾਬ ਨੈਤਿਕ ਸਮੀਖਿਆ ਵਰਕਫਲੋਅ ਲਈ ਮਨੁੱਖਾਂ ਨੂੰ ਲੂਪ ਵਿੱਚ ਰੱਖਦੇ ਹਨ। ਅਸੀਂ ਇੰਟਰਐਕਟਿਵ ਸ਼੍ਰੇਣੀਆਂ ਲਈ ਘੱਟ ਲੇਟੈਂਸੀ ਪ੍ਰੋਵਾਈਡਰਾਂ ਨੂੰ ਤਰਜੀਹ ਦਿੰਦੇ ਹਾਂ, ਅਤੇ ਪਿਛੋਕੜ ਕੰਮਾਂ ਲਈ ਹੌਲੀ ਬੈਕਐਂਡ ਕਬੂਲ ਕਰਦੇ ਹਾਂ।
ਡੂੰਘੇ ਤਰਕ ਕਦਮਾਂ ਲਈ ਲਾਗਤ-ਅਨੁਕੂਲਿਤ ਪ੍ਰੋਵਾਈਡਰ ਰਾਹੀਂ Llama 4 Maverick ਜਿੱਥੇ ਪੂਰਾ ਸੰਦਰਭ ਬਜਟ ਜ਼ਰੂਰੀ ਹੋਵੇ।
ਇੰਟਰਐਕਟਿਵ ਵਰਤੋਂ ਲਈ ਸਪੀਡ-ਅਨੁਕੂਲਿਤ ਪ੍ਰੋਵਾਈਡਰ (Groq) ਰਾਹੀਂ Llama 4 Scout, ਭਾਰੇ ਸੰਦਰਭ ਵਿਕਲਪ ਵਜੋਂ Groq 'ਤੇ Maverick ਨਾਲ।
Qwen 3.6 ਗੈਰ-ਅੰਗਰੇਜ਼ੀ ਤਰਕ ਮਾਰਗਾਂ ਵਿੱਚ ਭਾਰ ਚੁੱਕਦਾ ਹੈ ਜੋ ਪੌਲੀਗਲੌਟ Accord ਲਈ ਜ਼ਰੂਰੀ ਹਨ, ਅਤੇ ਚੇਨ ਵਿੱਚ ਗੈਰ-Llama ਫਾਲਬੈਕ ਦਿੰਦਾ ਹੈ।
ਡਿਵਾਈਸ 'ਤੇ, ਘੱਟ ਬੈਂਡਵਿਡਥ, ਅਤੇ ਖਰਾਬ ਨੈੱਟਵਰਕ ਹਾਲਾਤਾਂ ਵਿੱਚ Gemma 4 ਜਿੱਥੇ ਯੂਜ਼ਰ ਤੱਕ ਪਹੁੰਚਣਾ ਮਾਡਲ ਦੇ ਆਕਾਰ ਨਾਲੋਂ ਜ਼ਰੂਰੀ ਹੋਵੇ।
ਕਈ ਪ੍ਰੋਵਾਈਡਰਾਂ ਵਿੱਚ Maverick → Scout → Qwen 3.6 → Gemma 4, ਤਾਂ ਜੋ ਸਖ਼ਤ ਫੇਲ ਹੋਣ ਦੀ ਬਜਾਏ ਏਜੰਟ ਮਾਡਲ ਪਰਿਵਾਰਾਂ ਅਤੇ ਬੁਨਿਆਦੀ ਢਾਂਚੇ ਦੀਆਂ ਸੀਮਾਵਾਂ ਪਾਰ ਕਰਕੇ ਸੁਚੱਜੇ ਢੰਗ ਨਾਲ ਘੱਟੇ।
Maverick ਡੂੰਘੇ ਤਰਕ ਲਈ ਜਿੱਥੇ ਪੂਰਾ ਸੰਦਰਭ ਬਜਟ ਅਹਿਮ ਹੈ। Scout ਇੰਟਰਐਕਟਿਵ ਸ਼੍ਰੇਣੀ ਚਲਾਉਂਦਾ ਹੈ ਜਿੱਥੇ ਲੇਟੈਂਸੀ ਹਾਵੀ ਹੈ। Qwen 3.6 Accord ਦੁਆਰਾ ਲੋੜੀਂਦੇ 29 ਭਾਸ਼ਾਵਾਂ ਵਿੱਚ ਪੌਲੀਗਲੌਟ ਤਰਕ ਮਾਰਗਾਂ ਤੱਕ ਪਹੁੰਚਦਾ ਹੈ। Gemma 4 ਉਹ ਛੋਟੀ ਦੂਰੀ ਦਾ ਵਿਕਲਪ ਹੈ ਜੋ ਏਜੰਟ ਨੂੰ ਆਮ ਹਾਰਡਵੇਅਰ 'ਤੇ ਚਲਾਉਂਦਾ ਹੈ। ਲਾਈਨਅੱਪ ਇਸ ਤਰ੍ਹਾਂ ਚੁਣਿਆ ਗਿਆ ਹੈ ਕਿ ਕੰਮ ਦੀਆਂ ਵੱਖ-ਵੱਖ ਸ਼੍ਰੇਣੀਆਂ ਉਸ ਮਾਡਲ ਕੋਲ ਜਾਣ ਜੋ ਅਸਲ ਵਿੱਚ ਫਿੱਟ ਹੋਵੇ।
Llama (Maverick + Scout), Qwen, ਅਤੇ Gemma ਤਿੰਨ ਸੁਤੰਤਰ ਸਿੱਖਲਾਈ ਪਾਈਪਲਾਈਨਾਂ ਅਤੇ ਤਿੰਨ ਸੁਤੰਤਰ ਪ੍ਰੋਵਾਈਡਰ ਈਕੋਸਿਸਟਮ ਤੋਂ ਆਉਂਦੇ ਹਨ। ਇਹ ਫਾਲਬੈਕ ਚੇਨਾਂ ਲਈ ਅਹਿਮ ਹੈ: ਕਿਸੇ ਇੱਕ ਪਰਿਵਾਰ 'ਤੇ CVE, ਲਾਇਸੈਂਸਿੰਗ ਤਬਦੀਲੀ, ਜਾਂ ਪ੍ਰੋਵਾਈਡਰ ਆਊਟੇਜ ਏਜੰਟ ਨੂੰ ਬੰਦ ਨਹੀਂ ਕਰਦੀ। ਮਾਡਲ ਲੇਅਰ 'ਤੇ ਸੁਤੰਤਰਤਾ ਉਹੀ ਗੁਣ ਹੈ ਜੋ ਤਰਕ ਲੇਅਰ 'ਤੇ IDMA ਕੰਪੋਨੈਂਟ ਨੂੰ ਮਜ਼ਬੂਤ ਬਣਾਉਂਦੀ ਹੈ।
ਉਹ ਮਾਡਲ ਜੋ ਪੰਜ ਮਾਪਦੰਡ ਪੂਰੇ ਨਹੀਂ ਕਰ ਸਕਦੇ, ਜ਼ਿਆਦਾਤਰ ਉਹ ਜੋ ਟੋਕਨ ਕੀਮਤ 'ਤੇ ਆਕਰਸ਼ਕ ਲੱਗਦੇ ਹਨ ਪਰ ਢਾਂਚਾਗਤ ਆਉਟਪੁੱਟ ਅਤੇ ਟੂਲ ਕਾਲਿੰਗ ਵਿੱਚ ਫੇਲ ਹੁੰਦੇ ਹਨ।
ਪ੍ਰਤੀਨਿਧ ਅਸਫਲਤਾ ਮੋਡ (GPT-OSS-20B): "tool choice is required, but the model did not call a tool"
ਇਹ ਗਲਤੀ ਉਸ ਫ੍ਰੇਮਵਰਕ ਲਈ ਅਸਵੀਕਾਰਯੋਗ ਹੈ ਜੋ ਪ੍ਰਤੀ ਇੰਟਰਐਕਸ਼ਨ 12-70 ਟੂਲ ਕਾਲਾਂ 'ਤੇ ਨਿਰਭਰ ਕਰਦਾ ਹੈ। 3-10 ਗੁਣਾ ਸਸਤੀ ਟੋਕਨ ਕੀਮਤ ਵੀ ਕਾਰਜਸ਼ੀਲ ਅਸਫਲਤਾਵਾਂ ਦੇ ਯੋਗ ਨਹੀਂ।
CIRIS ਹਰ ਪ੍ਰੋਂਪਟ ਵਿੱਚ ਪੂਰਾ Accord ਅਤੇ ਸੰਪੂਰਨ Comprehensive Guide ਸ਼ਾਮਲ ਕਰਦਾ ਹੈ। ਸੰਖੇਪ ਨਹੀਂ। ਸੰਘਣਾ ਸੰਸਕਰਣ ਨਹੀਂ। ਪੂਰਾ ਪ੍ਰਸ਼ਾਸਨ ਪਾਠ।
ਇਹ ਯਕੀਨੀ ਕਰਦਾ ਹੈ ਕਿ Accord ਜਾਂ Guide ਦੇ ਅੱਪਡੇਟ ਤੁਰੰਤ ਸਾਰੇ ਏਜੰਟਾਂ ਦੇ ਵਿਵਹਾਰ 'ਤੇ ਅਸਰ ਕਰਦੇ ਹਨ, ਨਵੇਂ ਫਾਈਨ-ਟਿਊਨ ਜਾਂ ਪ੍ਰੋਂਪਟ ਕੰਪਰੈਸ਼ਨ ਦੀ ਉਡੀਕ ਕੀਤੇ ਬਿਨਾਂ।
CIRIS Agents ਟੂਲ-ਭਰੇ ਆਰਕੈਸਟਰੇਟਰ ਹਨ ਜੋ ਸੰਭਾਲਦੇ ਹਨ:
ਇਹ ਮਿਲਿਆ ਸੰਦਰਭ ਆਸਾਨੀ ਨਾਲ 32K-64K ਤੋਂ ਵੱਧ ਜਾਂਦਾ ਹੈ, ਖਾਸ ਕਰਕੇ ਲੰਬੀਆਂ ਸੈਸ਼ਨਾਂ ਜਾਂ ਗੁੰਝਲਦਾਰ ਜਾਂਚਾਂ ਲਈ। ਇਸ ਲਈ 128K ਘੱਟੋ-ਘੱਟ ਹੈ ਅਤੇ 256K+ ਬਿਹਤਰ ਹੈ।
ਅਸਲ ਗੱਲ:
CIRIS ਮਾਡਲ ਵਿੱਚ ਫਿੱਟ ਕਰਨ ਲਈ ਆਪਣੀਆਂ ਕਦਰਾਂ-ਕੀਮਤਾਂ ਜਾਂ ਪ੍ਰਕਿਰਿਆਵਾਂ ਨਹੀਂ ਕੱਟਦਾ। ਇਸ ਦੀ ਬਜਾਏ, CIRIS ਉਹ ਮਾਡਲ ਚੁਣਦਾ ਹੈ ਜੋ ਹਰ ਕਾਲ 'ਤੇ ਪੂਰਾ ਨੈਤਿਕ ਅਤੇ ਕਾਰਜਸ਼ੀਲ ਫ੍ਰੇਮਵਰਕ ਚੁੱਕਣ ਲਈ ਕਾਫ਼ੀ ਵੱਡੇ ਹੋਣ। ਛੋਟੀ ਸੰਦਰਭ ਵਿੰਡੋ ਵਾਲੇ ਮਾਡਲ (ਭਾਵੇਂ ਸਸਤੇ ਜਾਂ ਵੱਧ ਪ੍ਰਚਲਿਤ) ਪ੍ਰੋਡਕਸ਼ਨ ਵਰਤੋਂ ਤੋਂ ਬਾਹਰ ਰੱਖੇ ਜਾਂਦੇ ਹਨ।
CIRIS ਪ੍ਰੋਡਕਸ਼ਨ ਵਿੱਚ Llama 4 Maverick, Llama 4 Scout, Qwen 3.6, ਅਤੇ Gemma 4 ਚਲਾਉਂਦਾ ਹੈ ਕਿਉਂਕਿ ਇਕੱਠੇ ਇਹ Accord ਦੁਆਰਾ ਲਗਾਈਆਂ ਕਾਰਜਸ਼ੀਲ ਅਤੇ ਆਰਥਿਕ ਸ਼ਰਤਾਂ ਪੂਰੀਆਂ ਕਰਦੇ ਹਨ: ਲੰਬਾ ਸੰਦਰਭ, ਭਰੋਸੇਯੋਗ ਟੂਲ ਕਾਲਿੰਗ, ਪੌਲੀਗਲੌਟ ਕਵਰੇਜ, ਅਤੇ ਆਮ ਹਾਰਡਵੇਅਰ ਤੱਕ ਪਹੁੰਚ, ਤਿੰਨ ਸੁਤੰਤਰ ਮਾਡਲ ਪਰਿਵਾਰਾਂ ਵਿੱਚ। ਨਵੇਂ ਮਾਡਲ ਲਗਾਤਾਰ ਦੇਖੇ ਅਤੇ ਟੈਸਟ ਕੀਤੇ ਜਾਂਦੇ ਹਨ; ਜਦੋਂ ਕੋਈ ਬਿਹਤਰ ਅਸਲ ਵਿੱਚ ਪੰਜ ਮਾਪਦੰਡ ਪੂਰੇ ਕਰੇ ਤਾਂ ਲਾਈਨਅੱਪ ਬਦਲਦਾ ਹੈ।
ਇਹ ਬੈਂਚਮਾਰਕ ਅੰਕਾਂ ਦੇ ਪਿੱਛੇ ਦੌੜਨ ਜਾਂ ਚਰਚਾ ਦੇ ਰੁਝਾਨਾਂ ਦੀ ਪਾਲਣਾ ਕਰਨ ਬਾਰੇ ਨਹੀਂ ਹੈ। ਇਹ ਉਹ ਮਾਡਲ ਚੁਣਨ ਬਾਰੇ ਹੈ ਜੋ ਪ੍ਰੋਡਕਸ਼ਨ ਵਿੱਚ ਜਵਾਬਦੇਹ, ਟੂਲ-ਕੇਂਦਰਿਤ ਏਜੰਟਾਂ ਲਈ ਅਸਲ ਵਿੱਚ ਕੰਮ ਕਰਦੇ ਹਨ, ਅਤੇ Accord ਨੂੰ ਇੰਨੀ ਗੰਭੀਰਤਾ ਨਾਲ ਲੈਂਦੇ ਹਨ ਕਿ ਇਸਨੂੰ ਹਰ ਇੱਕ ਕਾਲ ਵਿੱਚ ਲੈ ਜਾਣ।