將當前構建AI代理的技術堆疊分為三個關鍵層次:(1)代理託管/服務,(2)代理框架,(3)LLM模型與存儲。
Sarah Wooders和我看到市場上關於LLM/AI代理的「市場地圖」充斥著讓人費解的佈局或隨機企業(即那些沒有得到社群認可的企業),甚至兩者兼而有之,我們感到非常厭煩。作為真正從事代理領域的研究人員/工程師,我們決定認真嘗試製作一幅真正反映當今開發者構建AI代理時使用的市場地圖。
基本上,如果你今天(2024年11月)開始一家縱向代理公司,你最有可能使用哪些軟體來構建你的「代理堆疊」?
在我們看來,AI/LLM代理堆疊與標準LLM堆疊有顯著不同。兩者之間的關鍵區別在於狀態管理:LLM服務平台通常是無狀態的,而代理服務平台則需要有狀態(在代理伺服器端保留代理的狀態)。
構建有狀態服務比構建開發者SDK面臨更大的工程挑戰,因此如今實際存在的代理服務平台很少(Letta就是其中之一)。