Cohere Ollama Reranker

image image

Описание проекта

REST API-сервис, выступающий мостом между клиентами Cohere API и локальным сервером Ollama. Позволяет использовать локальные модели для переранжирования документов (reranking), сохраняя полную совместимость с существующими интеграциями Cohere API.
Сервис предназначен для AI-приложений, которым необходимо:
— приватное переранжирование документов без отправки данных в облако
— экономически эффективная альтернатива облачным сервисам ранжирования
— интеграция локальных LLM-моделей в существующую инфраструктуру

Ключевые особенности

— Совместимость с Cohere API — полная поддержка формата запросов и ответов Cohere Rerank API
— Интеграция с Ollama — бесшовная работа с локальным сервером Ollama и моделью BGE-Reranker-v2-m3
— Production-ready — rate limiting, CORS, security headers, health checks, структурированное логирование
— Docker-развёртывание — multi-stage сборка, оптимизированный образ на базе Alpine Linux
— Высокая производительность — поддержка 100+ конкурентных запросов, время отклика < 2 сек

Технический стек

— Runtime: Node.js + TypeScript
— Web-фреймворк: Express.js
— Валидация: Zod
— Безопасность: Helmet, express-rate-limit
— Логирование: Winston
— HTTP-клиент: Axios
— Контейнеризация: Docker, Docker Compose
— Тестирование: Jest, Supertest

Архитектура

Модульная архитектура с чётким разделением ответственности:
— Controllers — обработка HTTP-запросов
— Services — бизнес-логика и взаимодействие с Ollama
— Middleware — валидация, обработка ошибок, логирование
— Types — строгая типизация на TypeScript

Результат

Готовый к production self-hosted сервис, который позволяет использовать возможности AI-моделей переранжирования локально, обеспечивая приватность данных и снижение затрат на облачные API.

Патенты и сертификаты

image

Description

  • Cohere-Ollama-Reranker

  • NDA

© 2010 - 2023 Перепечатка только с обязательной ссылкой.

Поиск по сайту

Свежие посты

Последние комменты

Категории