Ordo Research Lab — перезаписываемая память замороженной модели

Ordo — независимая исследовательская лаборатория. Ведущий исследователь: Russel Gavery (Гаврилов Руслан, @8hrsk). Цель — локальный ассистент, который принимает новую версию документации дельтой, а не переобучением, и честно меряется против тех поисковых контуров, которые ему пришлось бы заменить.

Простыми словами

Знание языковой модели заморожено на момент обучения. Как только выходит новая версия библиотеки или меняется внутренний регламент, модель уверенно отвечает неправильно, а штатный способ починить — обучать заново: дорого и разрушительно, дообучение равной ёмкости при одной правке портит 8.4% несвязанных фактов. Ordo держит факты в перезаписываемом хранилище, из которого читает замороженная модель, поэтому обновление — это небольшая запись, а не прогон обучения. Отсюда две выгоды. Компания может держать локального ассистента актуальным по своей закрытой документации, не обращаясь к вендору. А вендор модели или агента может поставлять обновления знаний отдельно от модели и в своём темпе: кодовый ассистент несёт актуальное знание популярных библиотек в самой модели, вместо того чтобы каждый клиент поднимал у себя RAG или MCP-серверы.

Ordo-M — обновляемая внешняя память

К замороженной модели приделывается таблица значений, адресуемая из текста; веса базы остаются побитово теми же. Точечная правка даёт 0.0% побочного ущерба против 8.4% у LoRA равной ёмкости. На настоящем кодовом домене память взяла планку, которую сама себе поставила против поиска: 68.1% против порога 67.8% — но только после того, как корпус переписали в ту форму, о которой спрашивают. На сыром тексте документации выходит 54.1%, и заведомо неверный адрес даёт ровно столько же, сколько верный. На втором, более трудном домене планка 71.2% была взята на 71.69% двумя таблицами значений на разных глубинах под общим адресом — и с тех пор этот приговор прочитан строже. В чат-обрамлении, которым реально пользуется продукт, память читается как 64.10%, но ровно так же едет всё, с чем её сравнивают: гибридный поиск падает с 92.31% до 78.30%, оракульное плечо — с 93.29% до 78.50% даже тогда, когда нужная запись лежит в промпте дословно, поэтому и сама планка уезжает на 64.50%. Оба запаса, +0.49 и −0.39, меньше расхождения между двумя модулями, которые считают две половины критерия, — 6 и 2 вопроса из 507. Вместо планки докладывается величина, которая разрешается: парно на тех же вопросах память отстаёт от гибридного поиска на 20.32 и 20.91 пункта в голом обрамлении и на 14.00 и 14.40 в обрамлении продукта, p < 0.0001. Переименовано и то, что покупают две врезки: при равной доле потока они не добавляют знания (+0.00 и −0.35 пункта), а стоят меньше порчи (одна врезка стоит на +1.68 и +1.38 больше). Механизм на прозе переносится — +3.17 пункта при p = 0.023, на одном зерне. Сторона порчи решена отдельно: вентиль без обучаемых параметров, открытый там, где пишется ответ, и закрытый на обычной прозе, убирает 96% порчи текста ценой 2.0 пункта знания, статистически не значимых. Инкрементальные обновления держатся на двадцати настоящих релизах при вчетверо с половиной меньшей цене, чем полное переобучение. Трек изложен препринтом на alphaXiv.

Методы, измерения и отрицательные результаты публикуются на русском и английском; исходный код и стенды оценки закрыты. См. @ordoproject и github.com/Ordo-Project. Связь: founder@ordo-project.com.