Технологический стек и архитектура

Для решения проблем деградации данных и дорогостоящей дедупликации сервис Sofros AI/ML использует гибридный подход. В основе лежат технологии машинного обучения: классификация на базе наивного байесовского классификатора, экстракция характеристик с помощью NER, семантический поиск на базе BERT и FAISS, а также контекстный поиск с использованием LLM.

Система работает в связке с 1С:MDM (редакция 2.5) через расширение, которое встраивает бизнес-логику нормализации в привычный интерфейс 1С. Технически решение состоит из двух компонентов: автономного локального сервера в Docker-контейнере (поддерживающего Windows и Linux) и расширения для 1С, которое выступает в роли SDK для взаимодействия с микросервисами оркестрации моделей.

Этапы внедрения и обучение моделей

Взаимодействие с сервисом проходит через три стадии эволюции: наблюдение (анализ действий пользователя для накопления примеров), подсказки (предложение вариантов при росте уверенности моделей) и автоматизация (полная обработка данных с финальной валидацией человеком). При этом сервис не заменяет MDM-систему, а выступает в роли интеллектуального ассистента.

Процесс обучения моделей может быть автоматическим через регламентные задания или ручным. Эксперты могут корректировать разметку, которая затем попадает в очередь на выгрузку в сервис, что позволяет моделям дообучаться на реальных примерах и повышать точность последующих предсказаний.

Настройка и контроль качества

Пользователи могут гибко управлять пороговыми значениями уверенности и вероятности. Это позволяет отсекать нерелевантные результаты и минимизировать ошибки классификации. В настройках доступен контроль семантической близости: система может запрещать создание новых характеристик, если они семантически дублируют уже существующие (например, «сечение жилы» и «сечение токопроводящих жил»).

Для обогащения данных через LLM предусмотрены шаблоны промптов, которые позволяют задавать алгоритмы заполнения параметров для конкретных сценариев использования. Также реализована возможность использования реранкера для повышения качества результатов поиска, что требует дополнительных вычислительных ресурсов.