密钥、当前用哪一家模型,以及这一台整机和每人同时开跑几单,都存在公司库里。各台机器读同一份,各自管自己的进程。改完下一单就生效。
同一时候只能选一家来调大模型。TeamoRouter 可以存多把密钥,问模型时轮流用,把单把密钥的并发上限摊开。外部 agent 另用这里保存的 OpenAI 密钥。
同一阶段里,同时去问模型的卡片上限。多出来的排队等席位。
网上搜索时,连续这么多秒没有新数据,就当作这一轮卡住,再试一次。
这一台服务上同时开跑的分析单上限。对照两单要占两个位子,所以最少 2 单。多出来的继续排队,不会直接拒绝。改完从下一轮放行开始生效,已经在跑的不停。
同一个人同时开跑的上限。对照两单最少 2。多出来的排队等,不会直接拒绝。每人排队名额仍是 20 单。
保存