Протестил на своем mac pro m5 на 64gb алибабашную qwen 3.8 на 27b
По бенчам местами лучше sonnet 5, сравнивают и с opus 4.6. Такими темпами не удивлюсь если через пол года fable-уровень на 50b можно будет запустить.
Но пока всё ещё не вижу смысла использовать локальные модели, вот почему:
• работает крайне медленно, единицы токенов в секунду, я от 40b за месяц жгу, а через celebro кодекс скоро будет до 750т/сек отдавать (сейчас "десятки" токенов, на fast-моде >80tok/s)
• кажется что бесплатная, но на деле платишь износом железа и тормозами компа
• а ещё платишь временем - работа работается медленно и некачественно
• всё таки модель сильно слабее фронтир
Вижу смысл в них если крайне важна приватность, например, в банке, или если есть много корп. железа. В остальном нет смысла тратить время на тест очередной локальной модельки.
По бенчам местами лучше sonnet 5, сравнивают и с opus 4.6. Такими темпами не удивлюсь если через пол года fable-уровень на 50b можно будет запустить.
Но пока всё ещё не вижу смысла использовать локальные модели, вот почему:
• работает крайне медленно, единицы токенов в секунду, я от 40b за месяц жгу, а через celebro кодекс скоро будет до 750т/сек отдавать (сейчас "десятки" токенов, на fast-моде >80tok/s)
• кажется что бесплатная, но на деле платишь износом железа и тормозами компа
• а ещё платишь временем - работа работается медленно и некачественно
• всё таки модель сильно слабее фронтир
Вижу смысл в них если крайне важна приватность, например, в банке, или если есть много корп. железа. В остальном нет смысла тратить время на тест очередной локальной модельки.
