ECR-RAG v2.1

RAG нового поколения.

Entropy-Controlled Retrieval — единственный путь к системам без галлюцинаций.

GitHub Prototype Как это работает
99%
Точность
40%
Экономия
∞
Источников
ECR Retrieval Loop
Query Intent Classifier 6 strategies Router Structure/Narrative LLM Answer

Проблема

«Конфетти-эффект» убивает точность.

Традиционные RAG-системы нарезают документы на фиксированные чанки, игнорируя семантические границы.

  • Факты из разных секций смешиваются
  • Контекст обрывается на середине мысли
  • Невозможность отследить источник
Legacy Chunking
chunk_01: "...план стоит $29/мес. Premium план предла..."
chunk_02: "...гает безлимитный API. Компания основана..."

Результат LLM

«Базовый план предлагает безлимитный API...»

Legacy RAG vs ECR-RAG

Ключевые метрики

Параметр Legacy ECR-RAG
Точность фактов 60-80% 99%+
Контекст Шум + повторы Оптимальный (-40%)
Структура Flat Chunks Content Envelope
Маршрутизация Linear 6 Intent Strategies

ECR-RAG превращает поиск из «угадайки» в проверяемую систему.

В Legacy-подходе качество ответа зависит от того, какие куски текста случайно попали в контекст. В ECR-RAG ответ строится из когерентного envelope: факты привязаны к якорям, маршрутизация подбирает правильный слой, а контекст остается коротким и точным.

Таблица слева — это не «маркетинг про проценты», а разница в механике: меньше шума, больше структуры и контроль сборки контекста.

Архитектура

Как работает ECR-RAG

Вместо слепого vector search — интеллектуальная маршрутизация запросов к правильному слою Content Envelope.

Путь запроса

Запрос
"Какая цена Premium плана?"
Классификатор интента
Классификатор интента
ИЗВЛЕЧЕНИЕ_ФАКТОВ
Маршрутизатор извлечения
Структура → Якорь → Нарратив

Контентный конверт

Сборка из правильного слоя — без шума

Слой 01: Структура

Типизированные сущности
{ price: $29, anchor: "#pricing" }

Слой 02: Нарратив

Чистый Markdown

Семантически верные секции с глубоким контекстом.

Слой 03: Индекс

Стабильные якоря

Персистентные ID для сборки контекста.

Ключевое отличие

Традиционный RAG

запрос → векторный_поиск → случайные_фрагменты → LLM

ECR-RAG

запрос → классификация → маршрутизация → когерентные_конверты → LLM

Маршрутизация

6 стратегий для 6 типов запросов

Каждый тип запроса требует своего подхода. ECR автоматически классифицирует входящий поток.

Тип запроса
Выберите интент — справа появится план

Входные слои
Структура
Нарратив
Индекс
Маршрут извлечения
    Контекст
    Возвращает
    Алгоритм
      Пример

      Ingestion Engine

      Конвейер обработки данных

      В отличие от маршрутизации (runtime), этот процесс происходит один раз при загрузке. Мы превращаем хаос входящих форматов в стандартизированный Content Envelope.

      HTML
      PDF
      MD
      Input Sources
      01

      NoiseStripper

      Очистка от метаданных, хедеров и мусора.

      strip_noise()
      02

      AnchorGenerator

      Создание стабильных ID для каждой секции.

      #section-id
      03

      StructureExtractor

      Извлечение фактов (Цена, Дата, Продукт).

      ExtractEntity
      04

      StructureBinder

      Привязка фактов к тексту (Anchor Ref).

      Critical
      05

      EnvelopeBuilder

      Сборка финального JSON-файла.

      .json
      Envelope

      Интеграция

      Интеграция в один вызов

      Весь пайплайн — одна функция. Минимум кода, максимум точности.

      ingestion_pipeline.py 
      from aio_core.pipeline import AIOPipeline

pipeline = AIOPipeline()

# Process any content → Content Envelope
result = pipeline.process_with_report(
    html_content,
    source_url="https://example.com"
)

envelope = result["envelope"]
print(f"Noise: {result['report']['noise_score']:.0%}")
      intent_retrieval.py 
      from aio_core.retrieval import IntentClassifier

classifier = IntentClassifier()

query = "What's the price of Premium?"
result = classifier.classify(query)

print(result.intent)      # FACT_EXTRACTION
print(result.strategy)    # structure_first
print(result.confidence)  # 0.98

      Технический стандарт

      Анатомия Content Envelope

      Результат работы ECR-пайплайна — универсальный JSON-контейнер с тремя слоями данных, связанных через якоря. AI-агент мгновенно проверяет факты без перечитывания текста.

      01

      Source Layer

      Метаданные источника, URI, тип данных и хеш для верификации.

      02

      Narrative Layer

      Чистый текст, разбитый на семантические секции с уникальными ID.

      03

      Structure Layer

      Типизированные сущности (JSON-LD) со ссылками на Narrative-якоря.

      content-envelope.aio.json 
      {
  "header": {
    "version": "2.1",
    "source_uri": "https://example.com/pricing",
    "content_hash": "sha256:a1b2c3..."
  },
  "narrative": {
    "sections": [
      {
        "id": "#pricing",
        "content": "Premium план стоит $29/мес..."
      }
    ]
  },
  "structure": {
    "entities": [
      {
        "@type": "PriceSpecification",
        "price": 29,
        "anchor_ref": "#pricing"
      }
    ]
  }
}

      Экосистема

      Интеграции из коробки

      No-Code платформы

      Готовые модули для автоматизации без программирования.

      n8n Ready
      Make.com Webhook

      AI-фреймворки

      Drop-in Retriever replacement для популярных RAG-библиотек.

      LangChain Retriever
      LlamaIndex QueryEngine

      Custom-код

      SDK на 5 языках + полная совместимость с любой Vector DB.

      Python Python Stable
      Node.js Node.js Beta

      Любая Vector Database

      ECR использует абстрактный IndexInterface — подключите любой бэкенд.

      Pinecone
      Milvus
      Weaviate
      Qdrant

      Применение

      Где ECR раскрывается на полную

      Финтех

      • →Точный поиск по тарифам
      • →Связывание цифр с источниками
      • →Нулевая терпимость к ошибкам

      Юриспруденция

      • →Навигация по законам
      • →Кросс-ссылки на статьи
      • →Верификация в договорах

      Крупный бизнес

      • →Внутренние базы знаний
      • →Ответы для саппорта
      • →Автоматизация пайплайнов

      Фарма и Биотех

      • →Поиск по научным статьям
      • →Извлечение формул
      • →Связь с цитатами

      Образование

      • →Поиск по учебным материалам
      • →Автоматическая проверка работ
      • →Персонализированные ответы

      Госсектор

      • →Анализ регламентов
      • →Поиск по архивам
      • →Безопасная обработка данных

      Научные центры

      • →Анализ экспериментов
      • →База знаний лаборатории
      • →Ускорение открытий

      Малый бизнес

      • →Поддержка клиентов
      • →Автоматизация FAQ
      • →Снижение издержек

      Бизнес-ценность

      Не только точность. Время и деньги.

      ECR — технология, которая экономит ресурсы с первого дня.

      -40%
      Расходы на API

      Меньше токенов = меньше счета

      -90%
      Ручная проверка

      99% точность = минимум модерации

      -70%
      Время разработки

      Готовые стратегии маршрутизации

      6×
      Быстрее AI

      Меньше compute на inference

      Масштаб Enterprise (1М+ запросов/день)

      5 млн – 20 млн ₽ / год

      Прогнозируемая экономия за счет оптимизации контекста и устранения галлюцинаций.

      Обычный RAG Высокие издержки
      AIO RAG -70% затрат

      Научный фундамент

      Основано на теории когнитивной уязвимости

      ECR — практическая реализация G-модели из Theory of Stupidity. Маршрутизация оптимизирует внимание (\(A\)), noise stripping минимизирует энтропию (\(D\)).

      \[G_{machine} = \alpha_1 \frac{B_{err}}{I} + \alpha_2 \frac{D_{eff}}{A}\]
      \(G_{machine}\) ↓ | \(D_{eff}\) ↓ | \(A\) ↑
      Теория Глупости Исследование ECIA

      RAG нового поколения.

      Переходите от вероятностного поиска к детерминированному знанию. Стройте системы, которым можно доверять.

      Исследовать на GitHub Вся экосистема AIO

      Открытая Наука • Открытый код • Бесплатно для всех