Мы отправили 45 сообщений вымышленной физиотерапевтической практике через четыре открытые модели решений. Clef-flash от Cloudflare верно разобрал 43 заявки, большой Clef 42, Strands Decider 2B от Amazon 38, Laya от Convai 33. Правило по ключевым словам набрало 32, но только потому, что писалось под первые 30 заявок: из 15 новых оно разобрало верно 4. Jev мы сами измерить не смогли, потому что OpenRouter не обслуживает его в европейском регионе данных. В опубликованных сравнениях Jev идёт почти вровень с Clef. Для заявок на немецком открытая модель решений уже стала серьёзной альтернативой, если проверить её на своих данных.
Данные на 6 ноября 2026 года. Laya доступна с 18 сентября, Clef с 1 октября, Jev 1.14 с 14 октября. Все они принимают один и тот же запрос: состояние и типизированные вопросы. Чем модели решений отличаются от LLM вроде Claude и сколько они стоят, мы разобрали в статье Jev или LLM. Здесь вопрос один: насколько хорошо они сортируют заявки.
Результат в одной таблице
| Модель | Разобрано верно | Из 15 новых заявок |
|---|---|---|
| Clef-flash (Cloudflare) | 43 из 45 | 14 из 15 |
| Clef (Cloudflare) | 42 из 45 | 14 из 15 |
| Strands Decider 2B (Amazon) | 38 из 45 | 12 из 15 |
| Laya (Convai) | 33 из 45 | 11 из 15 |
| Правило по ключевым словам | 32 из 45 | 4 из 15 |
| Jev (TypeSafe) | не измеряли | в чужих тестах близко к Clef |
Как мы тестировали
Мы написали 30 сообщений выдуманной практике: 24 на немецком и по 3 на английском и русском, с опечатками, иронией, благодарностью и рекламой. Ещё до прогона для каждого сообщения был зафиксирован верный ответ: запись, оплата, лечение, жалоба или прочее. Второй вопрос: должна ли практика ответить сегодня.
Потом мы написали простое правило по словам вроде «Rechnung» (счёт) или «Schmerz» (боль), такое собирают за десять минут. Только после этого появились ещё 15 сообщений, которые не влияли ни на правило, ни на формулировку вопросов. Эта отложенная выборка и есть честная часть теста.
Все модели получили одни и те же вопросы в таком формате, без дообучения и без примеров. Вопросы на немецком, как их настроила бы практика:
{
"state": "Super, schon wieder eine Absage von Ihrer Seite. Dritter Termin in Folge. Toller Service.",
"questions": {
"kategorie": {
"type": "choice",
"instructions": "Worum geht es in der Nachricht an die Physiotherapie-Praxis?",
"criteria": {
"termin": "Termin vereinbaren, verschieben oder absagen",
"abrechnung": "Rezept, Verordnung, Rechnung, Zuzahlung, Krankenkasse, Gebühren",
"behandlung": "Fragen zu Beschwerden, Übungen, Ablauf oder Wirkung einer Behandlung",
"beschwerde": "Unzufriedenheit, Kritik an Personal, Wartezeit oder Service",
"sonstiges": "Öffnungszeiten, Anfahrt, Bewerbungen, Lob, Werbung und alles andere"
}
},
"dringend": {
"type": "noul",
"instructions": "Muss die Praxis noch heute reagieren, etwa weil ein Termin heute betroffen ist, eine Frist heute endet oder akute Beschwerden nach einer Behandlung auftreten?"
}
}
}
В примере состояние звучит так: «Супер, опять отмена с вашей стороны. Третий приём подряд. Отличный сервис». Laya и Strands Decider работали локально на Mac с чипом M4 и 24 ГБ памяти, Clef и Clef-flash через Cloudflare Workers AI, замеры шли с нашего компьютера в Германии. Ограничения теста: 45 заявок мало, писали их мы сами, каждая модель прошла один прогон. В двух случаях о верном ответе можно спорить, о них ниже.
Почему правило по словам хорошо только на бумаге
На 30 заявках, под которые его писали, правило дало 28 попаданий, почти как Clef. На 15 новых оно упало до 4. В «Könnten Sie mich für Mittwoch früh eintragen?» (запишите меня на среду утром) нет слова «Termin», а в сообщении про «Physio-Verschreibung» нет слова «Rezept». Модели без всякого обучения почти не просели: Clef-flash набрал 29 из 30 и 14 из 15.
Та же ловушка ждёт с промптами и вопросами, которые вы подгоняете под модель. Проверяйте результат на заявках, которых никто не видел, пока писал настройку. Иначе вы измеряете, насколько правило знает ваши примеры, а не как оно справится с обычной неделей.
Где модели разошлись
| Заявка | Верно | Ошиблись |
|---|---|---|
| Ироничная жалоба на третью отмену подряд (пример выше) | Жалоба | Laya и Strands: запись |
| «Я 25 минут просидел в приёмной, а потом сказали, что меня даже не записали. Безобразие» (по-немецки) | Жалоба | Laya: запись, уверенность 1,00 |
| «Спасибо за прекрасную работу фрау Вебер, колено снова в порядке!» (по-немецки) | Прочее | Laya и Strands: лечение |
| «Since this morning my lower back is locked and I can't stand up straight. Can someone see me today?» | Запись | Laya и Strands: лечение |
| «Я забыл про сегодняшний приём, простите! Мне теперь платить за пропуск?» (по-немецки) | Оплата (спорно) | Все модели: запись |
| «Мне до сих пор не вернули деньги за отменённые занятия» | Оплата (спорно) | Все модели: жалоба |
Последние два случая мы оставили в подсчёте, хотя их можно трактовать иначе. Когда будете формулировать вопросы для своего бизнеса, впишите такие пограничные случаи прямо в описание категорий, например «плата за пропуск относится к оплате».
Clef-flash: больше всего попаданий и честная неуверенность
Clef-flash верно разобрал 43 заявки из 45 и ни разу не ошибся с высокой уверенностью. Обе ошибки пришли с уверенностью ниже 0,65. В 9 случаях модель сообщила меньше 0,5. С таким порогом 9 заявок из 45 ушли бы к человеку, в том числе одна из двух ошибок. Все 10 срочных заявок модель нашла, плюс 2 ложные тревоги.
По данным Cloudflare, Clef-flash на Workers AI стоит 0,038 доллара за миллион входных токенов, выход бесплатный. Медиана составила 0,18 секунды на заявку вместе с сетью. Веса опубликованы под Apache 2.0, но в модели 9 миллиардов параметров. Cloudflare проверяла её на видеокарте H200, на офисном ноутбуке она не запустится.
Clef: больше, но здесь не лучше
Большой Clef набрал 42 из 45 и тоже нашёл все срочные заявки. Он медленнее, медиана 0,31 секунды, и один раз ошибся с уверенностью 0,86, на спорной плате за пропуск. При цене 0,24 доллара за миллион входных токенов он дороже Clef-flash больше чем в шесть раз. Для сортировки коротких сообщений клиентов крупная версия в нашем тесте выигрыша не дала.
Strands Decider 2B: работает на Mac, не понимает иронии
Модель от AWS Strands Labs верно разобрала 38 заявок из 45. Ироничную жалобу она приняла за просьбу о записи, а благодарность за вопрос о лечении. Со срочностью она осторожничала: при пороге 0,5 нашла только 4 срочные заявки из 10, при пороге 0,4 уже 7, и в обоих случаях без ложных тревог. Значит, порог придётся подбирать на своих данных.
Strands Decider выпущен под Apache 2.0 и обходится без сервера с видеокартой. На M4 медиана составила 0,96 секунды на заявку. Мы запускали его с --device mps; по словам разработчиков, с MLX модель работает примерно в полтора раза быстрее. Данные при этом не покидают ваш компьютер.
Laya: быстрая, но на немецком часто уверенно ошибается
Laya набрала 33 из 45. Для немецких и русских текстов встроенный роутер выбрал многоязычную модель на 322 миллиона параметров. Важнее числа попаданий характер ошибок: трижды Laya ошиблась с уверенностью 0,8 и выше, а жалобу на ожидание в приёмной записала в запросы на приём с уверенностью 1,00. Такие ошибки никакой порог не отсечёт.
Это совпадает с данными Convai. Без дообучения модели Laya набирают на бенчмарке Typed Decisions от 0,342 до 0,362. Версия, обученная на этих задачах, получает 0,766, больше, чем 0,727, которые Convai приводит для Jev. Так что Laya скорее основа для собственной модели, чем готовое решение. Зато с примерно 0,1 секунды на заявку на Mac она была самой быстрой из проверенных моделей.
А что с Jev?
Jev закрытая модель, она работает через API TypeSafe, который перепродаёт и OpenRouter. Наше рабочее пространство в OpenRouter разрешает только европейский регион данных, и 6 ноября OpenRouter отклонил там запрос: в этом регионе Jev никто не обслуживает. Если данные должны оставаться в ЕС, выясните это с TypeSafe до начала работы. В документации TypeSafe упоминает договор об обработке данных и нулевое хранение данных для корпоративных клиентов.
Остаются чужие замеры. На бенчмарке Typed Decisions Convai приводит для Jev 1.13 результат 0,727. Независимый прогон 16 октября по той же методике дал Clef 0,728 и Clef-flash 0,710. В собственной таблице Cloudflare Jev впереди в задаче про вызовы инструментов (80,97 против 72,37 у Clef) и позади на банковских запросах (79,74 против 94,20). Выходит, Jev и Clef близки, а разница в эксплуатации: Jev стоит 0,042 доллара за миллион входных токенов и закрыт, Clef-flash открыт и чуть дешевле.
Какую модель выбрать
| Ситуация | Кандидат |
|---|---|
| Нужна высокая точность без обучения, облако допустимо | Clef-flash |
| Вы уже используете Jev | Проверить Clef-flash параллельно, по словам Cloudflare он понимает API Jev |
| Данные не должны покидать компанию, сервера с видеокартой нет | Strands Decider 2B с подобранным порогом |
| Много размеченных примеров, нужна своя модель | Laya после дообучения |
| Категории узнаются по постоянным словам | Сначала правило, см. автоматизацию без ИИ |
Как повторить тест на своих данных
Возьмите от 50 до 100 настоящих обезличенных заявок и до теста запишите, куда относится каждая. Отложите ещё 20 и посмотрите на них только после того, как вопросы написаны. Впишите пограничные случаи вроде платы за пропуск в описания категорий. Отдельно считайте, как часто модель ошибается с высокой уверенностью: такие ошибки уходят не в ту команду без проверки. Подберите на этих данных порог «не уверена, передать человеку» и измерьте время ответа из своей инфраструктуры.
Частые вопросы
Laya лучше, чем Jev?
По данным Convai, да, но только после дообучения: 0,766 против 0,727. Без дообучения Laya в нашем тесте отстала от Clef и Strands Decider. Сам Jev мы измерить не смогли.
Может ли Clef заменить Jev?
Cloudflare заявляет, что Clef понимает API Jev. В опубликованных тестах они близки, а в нашем тесте Clef-flash оказался сильнейшей моделью. Подходит ли он для ваших заявок, покажет только сравнение на ваших данных.
Какая модель решений работает локально на Mac?
Laya и Strands Decider 2B в нашем тесте работали на Mac с чипом M4. Clef-flash с 9 миллиардами параметров для этого слишком велик.
Понимают ли модели решений немецкий?
Clef и Clef-flash в нашем тесте верно разобрали все однозначные немецкие заявки. Laya ошибалась уверенно как раз там, где были немецкая ирония и критика. Проверяйте модель на тех языках, на которых пишут ваши клиенты.
Сколько стоит Clef-flash?
На Workers AI 0,038 доллара за миллион входных токенов, выход бесплатный. В нашем расчёте на 100 000 заявок в месяц это 2,28 доллара.
Если хотите узнать, как модель решений справится с заявками ваших клиентов, обсудите это с нами: ИИ-автоматизация с LindenTech. Возьмите от 30 до 50 обезличенных заявок и отметьте для каждой, куда она относится и во что обходится ошибка при сортировке.