Backend Development Task for AI Agent 

Overview

Задача заключается в разработке бэкэнда для ИИ агента, который обрабатывает различные входные данные. Бэкэнд будет обрабатывать данные, такие как Vault namespace, идентификаторы документов, контекст редактора, историю сообщений, запросы пользователей и многое другое. Система также будет интегрирована с Langfuse для управления запросами и поддержки функций потоковой передачи.

Inputs

• Vault namespace (string): A unique identifier for the namespace within the Vault.
• Doc_Id (string): The document ID to be processed.
• Editor Context (egs_2 response): Contextual information from the editor.
• Message History: The history of messages exchanged.
• User Query (string): The query input from the user.
• LLM Assistant: The language model assistant to be utilized.

Requirements

• Streaming: The backend must support streaming data to and from the client.
• Stop Streaming: There should be a mechanism to stop streaming when necessary.
• Langfuse (+prompt management): Integration with Langfuse for managing prompts and responses.

Functionalities

• Full EssayContext: Complete context of the essay being worked on.
• Function Call to Vault: A function call to interact with the Vault.
• System Prompt: The initial prompt provided to the system.