SILICON ORE
← все дайджесты

пятница, 1 мая 2026 г.

AI Digest: Anthropic до $1 трлн, Granite 4.1 от IBM и доминирование Qwen 3.6

Anthropic достигла оценки в $1 трлн и планирует привлечь $50 млрд. IBM выпустила семейство Granite 4.1 (3B/8B/30B), где 8B-модель конкурирует с решениями в 4 раза крупнее. Mistral Medium 3.5 появился в версии 128B от Unsloth. DeepSeek добавила поддержку vision и опубликовала фреймворк Thinking-with-Visual-Primitives. Stripe запустила цифровой кошелек Link для AI-агентов. Зафиксирован инцидент с удалением базы данных компании через Claude AI. Qwen 3.6 продолжает доминировать в тестах локального инференса с детальными бенчмарками на потребительском железе.

Корпоративные сделки и финансирование

Новые модели и релизы

  • DeepSeek добавляет поддержку vision

    В сообществе обратили внимание на появление мультимодальных функций у моделей DeepSeek. Пользователи отмечают долгожданное добавление поддержки работы с изображениями, что расширяет возможности локальных инсталляций. Обсуждение новых функций ведется в треде. Ранее: DeepSeek начал тестирование версии с Vision на прошлой неделе.

    Источники: LocalLLaMA

  • SenseNova U1: нативная мультимодальная архитектура

    SenseNova выпустила серию моделей U1, объединяющих понимание, рассуждение и генерацию в монолитной архитектуре без адаптеров. Модели работают с языком и vision нативно, доступны версии 8B MoT и A3B MoT (базовая и SFT). Веса размещены на HuggingFace, код открыт на GitHub. Технические детали и ссылки на загрузку в посте.

    Источники: LocalLLaMA

  • IBM выпустила Granite-4.1-30B с улучшенным пост-тренингом

    IBM представила Granite-4.1-30B — 30-миллиардную инструктивную модель с длинным контекстом. Модель прошла улучшенный пайплайн пост-тренинга, включая supervised finetuning и reinforcement learning alignment, что улучшило вызов инструментов, следование инструкциям и чат-возможности. Поддерживается 12 языков: английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, голландский и китайский. Среди возможностей: суммаризация, классификация, RAG, кодовые задачи, function-calling и FIM-дополнение кода. В комментариях пользователи интересуются доступностью GGUF-версий. Hugging Face

    Источники: LocalLLaMA

  • Релиз Mistral Medium 3.5 на HuggingFace

    Модель Mistral Medium 3.5 официально доступна на HuggingFace с плотной архитектурой на 128 миллиардов параметров. Пользователи отмечают масштаб модели, сравнивая название «Medium» с реальным размером весов. В комментариях обсуждают производительность относительно MoE-моделей вроде Qwen 3.5, которые быстрее при меньшем количестве активных параметров. Начальная реакция сообщества и ссылки на репозитории в треде.

    Источники: LocalLLaMA

  • IBM представила семейство моделей Granite 4.1 (3B/8B/30B)

    IBM анонсировала новую линейку моделей Granite 4.1 с тремя вариантами размера — 3B, 8B и 30B параметров. В обсуждении отмечают, что бенчмарки показывают скромные результаты: 30B версия набрала 15 баллов на AA index, что сопоставимо с Gemma 4 E4B и Qwen 3.5 2B без режима рассуждений. Комментаторы называют модель интересной для отдельных сценариев использования. Детали архитектуры и веса доступны в блоге IBM и коллекции на HuggingFace.

    Источники: LocalLLaMA

  • Mistral Medium 3.5 128B — плотная мультимодальная модель от Unsloth

    Mistral выпустила флагманскую плотную модель на 128B параметров с контекстным окном 256k. Модель поддерживает мультимодальный ввод (текст + изображения), режим рассуждений с настраиваемым усилием и агентские возможности с нативным вызовом функций. Лицензия Modified MIT разрешает коммерческое использование с ограничениями для компаний с выручкой свыше $20M в месяц. Пользователи уже тестируют квантованную версию q4 на локальном железе — первые тесты на Strix Halo показывают скорость генерации около 3.3 t/s. GGUF-версия доступна на HuggingFace.

    Источники: LocalLLaMA

  • Ling-2.6-1T: триллион параметров для кодинга и агентных задач

    Команда Ling открыла исходный код модели Ling-2.6-1T с триллионом параметров, оптимизированной для сложных рабочих задач. Гибридная архитектура сочетает MLA и Linear Attention, что снижает задержки и потребление VRAM при длинных контекстах. Механизм «fast thinking» сокращает избыточные цепочки рассуждений, уменьшая стоимость токенов без потери качества. Модель показывает открытые SOTA-результаты на бенчмарках AIME26, SWE-bench Verified, BFCL-V4 и совместима с фреймворками вроде Claude Code и OpenClaw. В комментариях отмечают, что модель может быть лучшей среди non-thinking решений, но не обязательно лучшей в целом. Пост

    Источники: LocalLLaMA

  • OpenAI опубликовала разбор инцидента с «гоблинами»

    OpenAI выпустила материал «Where the goblins came from», разбирающий причины странного поведения моделей. В комментариях отмечают, что внутри есть полезные уроки для тренировки локальных моделей, несмотря на ироничное отношение к компании. Участники обсуждения также удивляются отсутствию мониторинга частоты использования слов до момента жалоб пользователей, называя это серьезным упущением. Тред

    Источники: LocalLLaMA

  • DeepSeek выпустила статью про визуальные примитивы

    DeepSeek опубликовала новую работу «Thinking with Visual Primitives», обучая модели одновременно думать и выявлять объекты. На выбранных бенчмарках модель обходит GPT-5.4 и Gemini 3 Flash, используя значительно меньше токенов в контексте. Это снижает затраты и ускоряет работу для пользователя. Источник, PDF.

    Источники: seeallochnaya

  • IBM выпустила открытые модели Granite 4.1 для бизнеса

    IBM анонсировала семейство языковых моделей Granite 4.1, ориентированных на корпоративный сектор. Доступно три размера моделей, лицензия Apache 2.0, обучение на 15 триллионах токенов. Внимание уделено стабильности пайплайнов, что важно для внедрения в enterprise-среде. Подробнее

    Источники: LocalLLM

  • Gemini научился создавать файлы напрямую в чате

    Бот Gemini получил возможность генерировать документы и презентации непосредственно в интерфейсе диалога. Поддерживается экспорт в PDF, CSV, docx, xlsx и Google Slides без перехода в другие приложения. Функция доступна всем пользователям для быстрой работы с данными. Источник

    Источники: startupsi

  • Бенчмарки Mistral 3.5 Medium на TerminalBench Lite

    Автор самостоятельно протестировал Mistral 3.5 Medium на TBLite, так как в официальной карточке отсутствовали данные TerminalBench 2.0. Результаты показывают значительный прогресс по сравнению с предыдущими версиями Mistral для данного размера модели. В комментариях предупредили о ненадежности метрики SWEBench Verified из-за загрязнения данных и посоветовали ориентироваться на Terminal Bench 2.0 или SWE Bench Pro для оценки агентских способностей. Результаты тестов

    Источники: LocalLLaMA

  • DeepSeek опубликовала фреймворк Thinking-with-Visual-Primitives

    DeepSeek совместно с университетами Пекина и Цинхуа опубликовали работу о новом подходе к мультимодальным рассуждениям. Фреймворк использует пространственные токены — координаты и bounding boxes — как минимальные единицы мысли в chain-of-thought. Это позволяет модели явно указывать на области изображения в процессе рассуждения, улучшая пространственное восприятие. Репозиторий проекта временно исчез после публикации, что пользователи связывают с внутренней очисткой данных перед повторным открытием. Концепция сравнивается с закрытыми разработками Google и считается значимой для открытых моделей. Детали.

    Источники: LocalLLaMA

Qwen 3.5/3.6: тесты, квантование и проблемы

  • Опыт работы с Qwen3-VL-30B-A3B на сложных документах

    Пользователь протестировал Qwen3-VL-30B-A3B в LM Studio для извлечения данных из юридических и финансовых отчетов (OCR PDF). На конфигурации M1 Max с 32GB RAM модель сталкивалась с ошибками: остановка обработки на середине, зацикливание и краши при контексте свыше 32k. Постраничная обработка работала, но теряла связь между страницами при анализе транзакций. Детали тестирования и настройки приведены в треде. Ранее: Qwen 3.6 серии активно тестировались в предыдущих выпусках, включая бенчмарки на M5 Max и проблемы производительности на M1.

    Источники: LocalLLM

  • Qwen представила FlashQLA — ядра линейного внимания на TileLang

    Команда Qwen анонсировала FlashQLA — высокопроизводительные ядра линейного внимания, построенные на TileLang. Решение даёт ускорение forward pass в 2–3 раза и backward pass в 2 раза. Ключевые особенности: gate-driven автоматический intra-card CP, алгебраическая реформализация под железо и fused warp-specialized ядра. Оптимизация особенно заметна на TP-конфигурациях, малых моделях и длинных контекстах. Обратный проход реализован как 16-этапный warp-specialized пайплайн с жёсткими ограничениями по on-chip памяти. Исходный код и детали архитектуры доступны в репозитории проекта. GitHub

    Источники: LocalLLaMA

  • Гибридное квантование Qwen 2.5 14B без QAT

    Предложен метод пост-обработки весов Qwen 2.5 14B с использованием гибридного квантования b1.58 и 4-bit. Идея заключается в чередовании слоев разной точности для ресинхронизации residual stream без дообучения (QAT). Теория опирается на неравномерную чувствительность слоев: критические участки сохраняют высокую точность, а устойчивые к удалению переводятся в ternary. Это позволяет уменьшить объем занимаемой памяти ниже равномерного 4-bit базового уровня. Описание методики и проверяемые утверждения доступны в посте.

    Источники: LocalLLM

  • Qwen3.5 9B на RTX 4060 8GB: опыт запуска и ограничения

    Пользователь запустил Qwen3.5 9B на RTX 4060 с 8GB VRAM, отметив стабильную работу модели и поддержку 128k контекста. В комментариях отмечают, что модель показывает ограниченные способности в сложных задачах — один из пользователей сообщил о проблемах с отладкой JS-кода, где Qwen 3.6 27B справился лучше. Другие участники обсуждения добавляют, что с системной RAM можно запускать и более крупные модели: Qwen3.5:9B работает на CPU с 32GB DDR4, а Qwen3.6:35B запускается на 6GB GPU с 64GB RAM. Ранее: Qwen 3.6 серии активно тестируются на потребительском железе в последние дни (3.6-27B и 3.6-35B-A3B). обсуждение

    Источники: LocalLLM

  • 256k контекст на_dual_ RTX 3060 12GB с TurboQuant KV cache

    На сервере Dell PowerEdge R720 с двумя RTX 3060 12GB (24GB VRAM суммарно) удалось запустить Qwen3.6-35B MoE с полным 256k контекстом и мультимодальной поддержкой через mmproj. Ключевой компонент — llama-cpp-turboquant с флагами --cache-type-k turbo4 и --cache-type-v turbo3, которые сжимают KV cache достаточно для размещения в 24GB. Через Claude Code + MCP стек (Playwright, Context7, SearxNG, Crawl4AI) модель самостоятельно написала React-приложение infinite canvas с 47 проходящими тестами. Модель корректно отлаживала баги с localStorage, отслеживала поток данных между файлами и убирала временные тестовые файлы после использования. Пост содержит полный скрипт запуска и детали конфигурации.

    Источники: LocalLLM

  • KV-кэш для Qwen 3.6-35B: тесты перплексии и асимметричных конфигураций

    Автор продолжил тестирование KV-кэша для Qwen 3.6-35B-A3B на M5 Max, добавив замеры перплексии, KL-дивергенции и асимметричных K/V-комбинаций. При контексте 4096 токенов q8_0 KV-кэш практически бесплатен: разница перплексии −0.0005, KL 0.0016, совпадение топ-1 токена 98.6%. Асимметричная конфигурация -ctk q8_0 -ctv turbo4 выделяется: на 256K контексте показывает 27.1 t/s и помещается в 512K, где симметричный q8_0 получает OOM. Рекомендации: для кодинг-агентов — q8_0 K + turbo4 V, для RAG — та же комбинация или симметричный turbo3 на глубоких контекстах, для интерактива до 32K — f16 или q8_0. В комментариях просят добавить сравнение с q4_0 и тесты на Vulkan для AMD/Intel. Ранее: первая часть бенчмарка KV-кэша для Qwen 3.6-35B-A3B на M5 Max с контекстом до 1M токенов была опубликована 2026-04-28. Полный отчёт

    Источники: LocalLLaMA

  • Qwen 3.6 35B на 16GB VRAM: Unsloth IQ4_XS и Vulkan

    Пользователь запустил Qwen 3.6-35B-A3B в квантовании Unsloth UD IQ4_XS (4.25 bpw, 16.5 GiB) на Vulkan-бэкенде с 16GB VRAM. Конфигурация llama-server включает 99 слоёв на GPU, batch-size 1024, контекст 80k и KV-кэш q8_0. На pp80000 достигается 1021 t/s, на tg1000 — 37.96 t/s. Связка с pi coding agent позволяет выполнять файловые операции, tool calls, суммаризацию и сложные MCP-вызовы. В комментариях спрашивают о конкретной GPU и сравнивают с результатами в LMStudio, где пользователи получают 10-25 t/s. Пост

    Источники: LocalLLM

  • Опыт использования Qwen 27B для разработки

    Обсуждение практического применения Qwen 27B в повседневной разработке. Автор поста отмечает, что модель способна на многое для своего размера, но пока не готов полностью перейти на неё вместо крупных облачных решений. В комментариях пользователи делятся опытом: один разработчик использует модель эксклюзивно и показывает пример рефакторинга, другой отмечает, что 27B может заменить Claude Code при разбиении задач на мелкие шаги и предоставлении документации. При этом некоторые пользователи чувствуют, что модели не хватает «чего-то» по сравнению с лидерами. Обсуждение

    Источники: LocalLLaMA

  • Проблемы с зацикливанием Qwen 3.6 в локальном запуске

    Пользователь столкнулся с циклическим повторением ответов и суммаризацией при запуске Qwen3.6-35B-A3B через OpenCode на локальном железе. В комментариях предлагают решения: ограничение контекстного окна до 32–64k, добавление правил остановки в системный промпт и снижение температуры до 0.4. Также появилась информация, что у версий 3.5 и 3.6 мог быть нарушен шаблон чата, что провоцирует такое поведение. Для стабильной работы рекомендуют проверять параметры сэмплирования и актуальность шаблонов модели. Тред Ранее: баг шаблона чата для Gemma 4 был исправлен в предыдущих выпусках.

    Источники: LocalLLM

  • Qwen3.6-27B в полном VRAM на 16 ГБ картах

    Пользователь протестировал новую квантованную версию Qwen3.6-27B от sokann с битрейтом 4.256bpw на GPU 5070 Ti. Конфигурация позволяет уместить модель в 13.3 ГБ VRAM и достигать контекста в 50 000 токенов без выгрузки в RAM, что лучше предыдущих вариантов IQ4_XS. Метрики показывают незначительное увеличение perplexity по сравнению с менее агрессивными квантами, но экономия памяти существенна. В обсуждении отмечают, что на Linux без графической оболочки можно выиграть ещё больше VRAM и поднять контекст до 76 000 токенов. Также доступна версия 5.076bpw для карт на 24 ГБ. Ранее: версия с IQ4_XS квантованием 2026-04-28 экономит 16GB VRAM при 110k контексте. Подробнее

    Источники: LocalLLaMA

  • Qwen 3.6 35B-A3B для кодинга на ограниченном железе

    Разработчик поделился опытом использования Qwen 3.6 35B-A3B на системе с AMD 7700 XT и 32 ГБ RAM для написания кода в рамках тренда «vibe-coding». В отличие от предыдущих версий и конкурентов, модель успешно справилась со сложными задачами: исправление логики парсера и обновление документации через эмулятор Android. Настройка включала квантование i1-q4_k_s, выгрузку 40 слоёв на GPU и контекст 128k через LM Studio. Пользователь отмечает, что локальная модель теперь закрывает большинство задач, ранее требовавших облачных сервисов вроде Codex. В обсуждении делятся настройками для ускорения генерации и подтверждают эффективность модели на схожем железе. Ранее: бенчмарк Qwen 3.6-35B-A3B на M5 Max с контекстом до 1M токенов был протестирован 2026-04-28. Пост

    Источники: LocalLLM

  • Qwen-Scope: интерпретируемость для моделей Qwen 3.5

    Команда Qwen выпустила Qwen-Scope — набор Sparse Autoencoders (SAE) для семейства Qwen 3.5 (от 2B до 35B MoE). Инструмент позволяет картировать внутренние концепты модели, например «код на Python» или «отказ». Это дает возможность делать surgical ablation и feature steering, управляя генерацией на уровне скрытых состояний. В комментариях отмечают, что это крупнейший OSS-инструмент интерпретируемости на данный момент. Обсуждение, демо.

    Источники: LocalLLaMA

  • Тест генерации SVG на Qwen 3.5 27B

    Пользователь протестировал возможности генерации SVG-изображений на модели Qwen 3.5 27B Q6_K. В запросах были сложные сцены вроде «капибара в кимоно» или «робот викторианской эпохи». Скорость генерации составила около 27 токенов в секунду. В обсуждении заметили, что бенчмарк может быть не показательным, так как модели обучались на текстовом представлении SVG, и предложили тестировать рисование через JS на canvas. Пост.

    Источники: LocalLLaMA

  • Qwen-3.6-27B локально против проприетарных моделей: сравнение на реальной задаче

    Автор сравнил Qwen-3.6-27B (q4_k_m локально и full через OpenRouter) с GPT-Codex-Spark, Claude Haiku 4.5 и Gemma-4-31B на сложной задаче — реализации autoresearch loop из дизайн-документа. Только полноразмерный Qwen через OpenRouter решил задачу почти полностью: есть тесты, документация, рабочая петля, стоимость $0.939 за 4.4M входных токенов. Квантованный Qwen локально (10 TPS с пустым контекстом, 1-2 TPS к концу) допустил одну ошибку — train-to-test leak, исправляется одной строкой. Claude Haiku оказался самым дорогим ($1.067) с множеством TODO и отсутствием обработки исключений. Codex-Spark написал красивую архитектуру, но код не импортируется и без тестов. Вывод: локальный Qwen не заменит $200-подписку, но с дополнительной видеокартой (например, 3060 за 1.5-2 месяца подписки) можно получить полный селф-хостинг в VRAM и отказаться от облачных подписок при периодических ревью большой моделью. Тест и ревью

    Источники: LocalLLaMA

  • Почему не получается достичь заявленных 30-100 tok/s на Qwen 27B с RTX 3090

    Пользователь не может воспроизвести заявленные в сабреддите 30-100+ tok/s на Qwen 3.6 27B с RTX 3090TI: llama.cpp даёт ~10 tok/s при 50k контексте, ik_llama.cpp с оптимизированным GGUF — 18-19 tok/s. Анализ логов в Claude показывает причину: гибридная SSM-архитектура Qwen3.6 требует CPU-вычислений для рекуррентного состояния на каждый токен (552 MiB CPU-буфер), и старый i9-9900K без AVX-512/AVX-VNNI становится узким местом. В комментариях отмечают, что 30+ tok/s достигаются с форками llama.cpp, vLLM и speculative decoding, но в реальных агентных сценариях при 40k контексте vLLM падает до 1.1 tok/s, а llama.cpp держит ~20 tok/s. Многие бенчмарк-цифры не отражают реальную работу с агентами. Обсуждение

    Источники: LocalLLaMA

  • Сравнение Qwen 3.5 и 3.6 в агентских воркфлоу

    Пользователь делится опытом работы с агентскими воркфлоу на базе qwenpaw и zeroclaw. После перехода на Qwen 3.5 отмечается более стабильная работа модели — 3.6 чаще отказывается от использования инструментов и пропускает шаги. В обсуждении спрашивают, сталкивался ли кто-то с похожим поведением. Может быть полезно для тех, кто выбирает версию для продакшена. обсуждение

    Источники: LocalLLM

  • Проблемы с вызовом функций в Qwen 3.6 35B A3B

    Пользователь сообщил о трудностях при использовании новой MoE модели Qwen 3.6 35B A3B в локальном окружении. Несмотря на успешную настройку в LM Studio на видеокарте 4060 8GB и хорошую производительность, модель не корректно формирует массив tool_calls. Во время процесса рассуждения модель пытается использовать инструмент, но итоговый массив остается пустым, что блокирует выполнение HTTP-запросов. Автор запросил помощь сообщества в настройке системного промпта для исправления поведения. Детали конфигурации доступны в посте.

    Источники: LocalLLM

  • Опыт использования Qwen-27B в качестве локального агента

    Модель Qwen-27B показала себя эффективным локальным агентом на конфигурации с двумя видеокартами 3090. Сравнение версий выявило преимущество квантованной AutoRound-Q4 перед 37B-Q8 по скорости и качеству ответов. Агент успешно написал скрипт доступа к модему за 20 минут и нашел ошибки в коде, которые подтвердил GPT-4.5 Turbo. Также модель справилась с задачей по созданию Android-приложения с первой попытки. Автор отмечает глубину анализа у локальной версии по сравнению с облачными аналогами. Туториал и опыт использования.

    Источники: LocalLLaMA

  • Qwen3.6 27B и проблемы с длинным контекстом

    Пользователь сообщил о снижении производительности Qwen3.6 27B при работе с контекстом свыше 64k токенов. На окне 128k модель демонстрирует стабильную работу до 64k, но при 90k возникают ошибки в вызове инструментов. Тестирование проводилось на RX 7900 XTX с квантованием Q4_K_XL. В обсуждении отметили, что деградация производительности (context rot) — известная проблема, которая может начинаться уже с 10% заполнения окна. Также упоминается влияние квантования KV-кэша на стабильность. Обсуждение

    Источники: LocalLLaMA

  • Вытеснят ли Qwen 3.6 27B и 35B другие 30B модели?

    Обсуждение актуальности старых моделей размера ~30B на фоне выхода Qwen 3.6 27B и 35B. Новые версии показывают сильные результаты в коде и агентских сценариях, но сообщество отмечает сохранение ниш для конкурентов. Например, Gemma выигрывает в художественном тексте и тоне, а Nemotron остается быстрым решением для длинного контекста и общих задач. Модели старше полугода действительно проигрывают в бенчмарках, но специализация сохраняет их востребованность. Тред.

    Источники: LocalLLaMA

Локальный инференс и железо

  • Desktop-приложение для анализа данных через Ollama

    Разработчик создал десктопное приложение для локального анализа данных с интеграцией Ollama. Пользователь задает вопросы к данным, LLM генерирует и исполняет код, сохраняя результат в виде Python-ноутбука для повторного использования. Демо работы инструмента доступно в обсуждении.

    Источники: ollama

  • Опыт сборки локального CLI-агента для кодинга на dual RTX 3090

    Пользователь делится опытом настройки локального coding assistant на рабочей станции с двумя RTX 3090 (48 ГБ VRAM суммарно). Цель — агентный цикл кодинга: анализ репозитория, мультифайловые правки, запуск тестов, review git diff. Протестированы модели от qwen3.5 до llama3.3:70b, лучший результат показала маршрутизируемая мульти-модельная схема: qwen3.5:latest для роутинга, qwen3-coder:latest как быстрый исполнитель, qwen3.5:27b для quality review. Основная проблема — точные хирургические правки в существующих фронтенд-файлах, где локальные модели уступают Claude Sonnet. В обсуждении ищут советы по бэкендам (llama.cpp, TabbyAPI, vLLM) и квантованию EXL2 против GGUF. Ранее: опыт использования RTX 3090 для кодинг-агентов обсуждался в контексте TensorRT-LLM против llama.cpp GGUF. Пост

    Источники: LocalLLM

  • IK_LLAMA добавил поддержку Qwen3.5 MTP с ускорением до 30 ток/с

    Форк IK_LLAMA получил поддержку Qwen3.5 MTP через новый пулл-реквест. При использовании pipeline parallelism и MTP с draft-max 1 скорость генерации выросла с 18-20 до 30 токенов в секунду. Для работы требуется GGUF-файл с сохранёнными MTP-слоями — энтузиасты уже выложили квантованные версии Qwen3.6-27B. В обсуждении пользователи подняли вопрос о фрагментации между форками llama.cpp и интересовались, появится ли поддержка в основной ветке. GitHub PR

    Источники: LocalLLaMA

  • Запуск Linux на PS5 для локальных LLM

    Появилась возможность взлома PS5 для установки Linux, что вызвало интерес сообщества к запуску llama.cpp на консоли. Устройство располагает 16 ГБ видеопамяти GDDR6, что теоретически позволяет запускать модели уровня 27B в квантовании. Однако в обсуждениях предупреждают, что 2 ГБ оперативной памяти делают покупку консоли исключительно для инференса невыгодной. Для владельцев железа это может стать дополнительным вариантом для экспериментов. Детали обсуждения потенциала железа в треде.

    Источники: LocalLLaMA

  • Домашний кластер на 16x DGX Spark с 2TB памяти

    Пользователь собирает домашнюю лабораторию на базе 16 серверов DGX Spark с коммутатором 200Gbps и 2TB унифицированной памяти. В обсуждении предлагают запускать Kimi K2.6, Deepseek V4 или большие модели вроде Pro-версий. Комментаторы отмечают, что на 8 узлах Kimi K2.6 уже работает хорошо с vLLM, а на 16 узлах можно разместить более крупные модели. При этом скорость генерации токенов останется на уровне ~20 t/s независимо от конфигурации. Обсуждение

    Источники: LocalLLaMA

  • DeepSeek DSv4 Pro: оценка вычислительных затрат на предтренировку

    Оценка вычислительных затрат на предтренировку DeepSeek DSv4 Pro составляет около 10^25 FLOPs, рассчитанных на основе количества токенов и активных параметров. Современные датацентры с 100'000 GPU (как у xAI) способны выполнить такой объём вычислений за 18 часов при утилизации 22%. Технически возможно обучить модель подобного уровня за сутки, хотя на практике требуется время на подготовку инфраструктуры, данных и пост-тренировочные этапы вроде SFT и RL. Разрыв в вычислительных ресурсах между игроками рынка остаётся значительным. источник

    Источники: seeallochnaya

  • Обновление сервиса Can I Run This

    Сервис canitrun.dev получил крупное обновление для подбора локальных моделей под железо. Добавлены сравнения моделей и GPU, краткие сводки, поддержка мульти-GPU и новых чипов Mac, включая Strix Halo. Теперь можно точнее оценить, какая квантованная модель запустится на конкретной конфигурации и с какой скоростью. Пользователи в комментариях просят добавить варианты KV квантования и улучшить сортировку моделей по актуальности. Подробнее

    Источники: LocalLLM

  • Мониторинг токенов в LiteLLM через Prometheus

    Автор настроил раздельные API-ключи для каждого сервиса в LiteLLM и организовал логирование использования через Prometheus для визуализации в Grafana. Это позволило выявить высокое потребление токенов функцией генерации саммари в Frigate — только за 6 часов набралось 1.2 миллиона токенов. В комментариях советуют оптимизировать процесс, используя Coral для первичной детекции объектов, чтобы не отправлять лишние кадры на vision-модель. Такой подход помогает контролировать расходы и нагрузку при селф-хостинге нескольких сервисов. Обсуждение

    Источники: LocalLLaMA

  • σ-gate добавляет оценку уверенности для локальных моделей

    Локальные модели часто генерируют ответы с полной уверенностью, даже если информация ошибочна. σ-gate добавляет сигнал уверенности, анализируя скрытые состояния во время инференса и вычисляя балл на основе пяти сигналов. Система принимает одно из трех решений: принять ответ, перегенерировать или отказаться («не знаю»). Решение легковесное: 12 байт состояния, стандарт C89, без зависимостей и облачных вызовов, работает на MacBook Air с потреблением 5.8W. Поддерживает любые GGUF модели и доступен как MCP плагин. В комментариях уточняют, что оценка строится на энтропии и согласованности слоев без внешних циклов оценки. Подробнее

    Источники: LocalLLM

  • Локальные эмбеддинги через Ollama для постоянной памяти в ChatGPT, Claude и Gemini

    Автор создал систему, которая использует локальные эмбеддинги Ollama для сохранения контекста между сессиями в облачных моделях. Вместо OpenAI Embedding API применяется nomic-embed-text через Ollama — это убирает затраты на API, сохраняет приватность (данные не покидают устройство) и даёт мгновенный инференс на локальном GPU/CPU. Пайплайн работает так: Chrome-расширение захватывает диалоги, бэкенд разбивает на чанки (300 слов с перекрытием 80 слов), Ollama генерирует эмбеддинги (~768 измерений), результаты хранятся в ChromaDB. При новом запросе система делает семантический поиск и подставляет топ-3 релевантных чанка. Стек включает Node.js бэкенд, ChromaDB для векторов и опционально Neo4j для графов знаний. Проект на GitHub

    Источники: ollama

  • LLM-компилятор с нуля на чистом Python и CUDA

    Разработчик создал упрощённый ML-компилятор для понимания стека между model.generate() и исполнением на GPU. Вместо изучения TVM (500K+ строк C++) или PyTorch Dynamo/Inductor/Triton, проект написан на чистом Python с сырыми CUDA-ядрами. Компилятор превращает небольшие модели вроде Qwen2.5-7B и TinyLlama в последовательность CUDA-ядер с производительностью 50-90% от продакшен-стека. Пайплайн состоит из 6 уровней: Torch IR (FX-граф), Tensor IR (декомпозиция операций), Loop IR (слияние циклов), Tile IR (распределение по потокам/блокам), Kernel IR и финальный CUDA-код. Каждый этап можно инспектировать и отлаживать отдельно, что упрощает модификацию без глубоких знаний компиляторов. Репозиторий deplodock

    Источники: LocalLLaMA

  • SigMap: экосистема для извлечения контекста из репозиториев

    SigMap — проект для автоматического извлечения контекста из кодовых баз с поддержкой нескольких языков программирования. Экосистема включает три компонента: основной инструмент с готовым API для интеграции, документацию с гайдами по настройке и примерами, а также бенчмарк-сьют для оценки. Бенчмарк охватывает 405 репозиториев с полными датасетами и исследовательскими материалами. Инструмент позиционируется как production-ready решение для встраивания в пайплайны анализа кода. Инструмент SigMap, документация, бенчмарк-сьют

    Источники: AgentsOfAI

  • Инструмент для расчета VRAM и производительности LLM

    Разработан бесплатный планировщик для оценки требований к видеопамяти и скорости инференса моделей. Инструмент учитывает веса, KV-кэш, накладные расходы и пропускную способность декодирования с учетом разных фреймворков (vLLM, llama.cpp и др.). Поддерживается более 350 моделей и 170 видеокарт, включая новые архитектуры MoE и MLA, а также сравнения квантования. Ссылки на сам калькулятор и обсуждение проекта доступны в посте.

    Источники: LocalLLM

  • Спефикации Tenstorrent TT-QuietBox 2 на базе Blackhole

    Опубликованы характеристики системы Tenstorrent TT-QuietBox 2 с процессорами Blackhole. Устройство оснащено Ryzen 7 9700X, 256 ГБ оперативной памяти DDR5 и двумя жидкостными картами с общим объемом 128 ГБ VRAM. Пропускная способность памяти составляет 1024 ГБ/сек, внутреннее соединение реализовано через 800G Ethernet. Сообщество отмечает потенциальную конкурентоспособность решения с Nvidia RTX PRO 6000 Blackwell при поддержке современных моделей. Подробные спецификации обсуждаются в треде.

    Источники: LocalLLaMA

  • Инструмент для подбора локальных моделей под характеристики ПК

    Автор создал бесплатный статический инструмент для подбора локальных AI-моделей под конкретное железо. Система учитывает объем RAM, VRAM, операционную систему и приоритетные задачи пользователя. На выходе выдаются рекомендации по моделям, команды для запуска, предупреждения и советы по апгрейду. Разработчик собирает фидбэк особенно от владельцев слабых ноутбуков и старых серверов для валидации точности. Ссылки на работающий инструмент и репозиторий доступны в обсуждении. Обсуждение проекта.

    Источники: LocalLLM

  • Обучение 15M LLM модели Mercy с нуля на MacBook

    Пользователь обучил маленькую языковую модель Mercy объемом 15 миллионов параметров с нуля. Процесс тренировки проходил полностью локально на ноутбуке MacBook без привлечения облачных ресурсов. Проект демонстрирует возможность создания собственных LLM на потребительском железе. Модель позиционируется как эксперимент по доступному обучению нейросетей в домашних условиях. Детали архитектуры и используемых датасетов обсуждаются в исходном посте. Подробнее о проекте.

    Источники: LocalLLM

  • Компиляция программы в веса трансформера

    Экспериментальный проект по «компиляции» логики программы напрямую в веса трансформера без стандартного обучения. Автор реализовал RPN-интерпретатор, где веса внимания рассчитываются компилятором, а нелинейная логика дистиллируется в MLP. Размер модели составил 1.1 ГБ. В комментариях предложили идею внедрения фиксированных программируемых весов в LLM до обучения для улучшения эффективности, возможно заменяя часть вычислений на предварительно обученные деревья решений. Подробности проекта

    Источники: LocalLLaMA

  • llama-swap добавил матричную группировку моделей

    llama-swap выпустил обновление с функцией matrix для гибкого управления совместным запуском моделей. Раньше модель могла находиться только в одной группе, теперь можно создавать комбинации: отдельные группы для тяжелых моделей, связки STT + LLM или сценарии RAG. Система интеллектуально выгружает модели на основе «стоимости» простоя, минимизируя перезагрузки. Конфигурация использует DSL для описания наборов и затрат на выгрузку. В комментариях отмечают, что синтаксис поначалу кажется сложным, но становится понятным после разбора секции sets. Пример конфигурации и обсуждение.

    Источники: LocalLLaMA

  • Влияние PCIe Gen4 на производительность локальных LLM

    Пользователь оценил целесообразность перехода с PCIe Gen4 на Gen5 для сетапа с RTX 5090. Сообщество подтверждает: для одной карты разница несущественна, если модель помещается в VRAM, кроме небольшого увеличения времени загрузки весов. При использовании тензорного параллелизма на нескольких GPU пропускная способность становится важнее, особенно на конфигурациях от 4 карт. Для обучения на нескольких ускорителях рекомендуется NVLINK, так как PCIe может стать узким местом. Переход на потребительскую платформу ради одного GPU не дает заметного прироста в инференсе. Обсуждение.

    Источники: LocalLLM

Агентные системы и инструменты разработки

  • Должны ли веб-приложения открывать пользовательские флоу для AI-агентов

    Frontend-разработчик с опытом в SaaS поднимает вопрос стандартизации доступа AI-агентов к функциям веб-приложений. Сейчас одна и та же возможность (например, управление пользователями) дублируется через UI, API, MCP, in-app assistant и frontend-инструменты навигации. Автор предлагает выносить ключевые флоу в стандартный интерфейс, чтобы пользователи могли подключать своих ассистентов вместо интеграции отдельного assistant layer в каждый продукт. В качестве направления упоминается WebMCP — стандарт, который уже встраивается в Google Chrome. Это могло бы централизовать feature surface и уменьшить объём product-specific интеграций. Обсуждение

    Источники: AgentsOfAI

  • Trooper V2 — локальный прокси с облачным фолбэком для LLM

    Вышла вторая версия Trooper — лёгкого Go-прокси между приложением и облачным LLM-провайдером. При достижении квоты или rate limit основной провайдер бесшовно переключается на фолбэк с сохранением полного контекста диалога. V2 делает Ollama приоритетным первым выбором, а не запасным вариантом — данные остаются локально по умолчанию. Поддерживается smart chain: Claude → Ollama, с возможностью добавить Gemini или OpenAI ключи. Каждый ответ содержит health headers с информацией о том, какой провайдер обслужил запрос. Настройка требует только изменения base URL на localhost:3000 без правок кода. Репозиторий

    Источники: ollama

  • Quanty AI — интерактивный компаньон на локальных моделях

    Разработчик представил Quanty AI, проект для создания интерактивных компаньонов на базе локальных LLM. Каждый спутник имеет анимированный пиксельный спрайт и уникальную личность, а взаимодействие строится через текстовые микро-истории в формате приключений. Система поддерживает Agent Skills и MCP для доступа к локальным инструментам, голосовой ввод через Parakeet STT и вывод через Piper TTS — всё работает на CPU через Onnxruntime. Генерация изображений и видео опционально подключается через Runware API, но основная логика остаётся локальной. В комментариях пользователи спрашивают про открытость исходного кода и бесплатность доступа. Пост

    Источники: ollama

  • AMA с командой Nous Research — создатели Hermes Agent

    Команда Nous Research провела сессию AMA на r/LocalLLaMA, где ответили на вопросы о локальных моделях и Hermes Agent. В обсуждении участвовали сооснователи emozilla и teknium-official, главный учёный bloc97, а также разработчики Hermes Agent. Интересный факт из истории проекта: исследование, приведшее к публикации YaRN, изначально формулировалось в тредe на Reddit несколько лет назад. Участники задавали вопросы о совместимости Hermes с другими локальными моделями и архитектуре системы памяти и навыков. Тред

    Источники: LocalLLaMA

  • Rada: локальное AI-пространство для кодинга без переключения моделей

    Rada — локальное AI-пространство для кодинга, которое держит одну GGUF-модель в RAM и использует Behavioral Routing для разных задач. Вместо переключения между моделями система динамически настраивает стратегию промпта, температуру и контекстное окно. В базовой конфигурации: Qwen 2.5 Coder 7B для рефакторинга, Llama 3.1 8B для обучения, DeepSeek Coder V2 Lite 16B MoE для сборки. Фоновый процесс Sentinel на Rust мониторит память и автоматически выбирает подходящий уровень. пост

    Источники: LocalLLM

  • Три типа агентов в документации репозитория

    Автор инструмента sundial выявил проблему: когда проект позиционируется как «agent-native», непонятно, для какого именно агента написана документация. В реальности есть три роли: контрибьютор (улучшает сам инструмент), интегратор (строит другой инструмент поверх вашего) и пользователь (просто вызывает инструмент). Каждый физически попадает в разные директории — например, контрибьюторы идут в CLAUDE.md/AGENTS.md, а пользователи в skills/your-tool/using.md. Попытки сделать документацию универсальной приводят к тому, что она не служит никому. Пост описывает структуру с SKILL.md как каталогом и shared setup.md для общей информации.

    Источники: AgentsOfAI

  • Tree-sitter грамматика для Ollama Modelfile

    Разработчик создал tree-sitter грамматику для файлов Modelfile от Ollama, чтобы избавиться от серого текста без подсветки синтаксиса в редакторе. Это первый опыт создания грамматики, параллельно ведётся работа над расширением для Zed. Репозиторий открыт для контрибьюторов, которые хотят добавить поддержку VSCode или Neovim. Тесты и улучшенный инкрементальный парсинг ещё в планах. GitHub и Zed extension доступны для тестирования.

    Источники: ollama

  • Прозрачный прокси и дашборд для отладки Ollama

    Инструмент Ollama Flow Visualizer работает как прозрачный прокси между клиентом и Ollama, показывая все запросы, вызовы инструментов и стримы в реальном времени. Конфигурация не требуется — достаточно перенаправить клиент на localhost:11435 вместо 11434, дашборд доступен на localhost:8080 через Socket.IO. Умная группировка объединяет запросы по промпту, вызовы инструментов сопоставляются с выводами по ID, отслеживается длительность стриминга и источник ошибок. Автор использует его с OpenClaw и локальными LLM для отладки агентных воркфлоу. Репозиторий на Node.js без зависимостей от конфигурации Ollama.

    Источники: ollama

  • Локальный PDF-ридер с озвучкой на Kokoro 82M

    Разработчик создаёт десктопное приложение на Tauri 2.0, которое читает технические книги вслух с подсветкой текущего текста. Для TTS используется Kokoro 82M — на M1 Mac после короткого прогрева генерация идёт достаточно быстро для комфортного прослушивания. Пайплайн включает загрузку PDF, извлечение текста, разбиение на чанки для TTS и синхронизацию аудио с подсветкой исходного текста. Планируются два режима экспорта: прямая аудиокнига через llama.cpp с Qwen 3.5 0.8B/2B и подкаст-стиль с конвертацией в разговорный формат. Основные технические вызовы — выравнивание речи с текстом, обработка кода и таблиц, ускорение первой генерации. В комментариях предлагают попробовать Qwen TTS и упоминают существующие решения на Pinokio. Пост

    Источники: LocalLLaMA

  • Локальный пайплайн для генерации видео без API

    Автор собрал полностью локальную систему для создания коротких вертикальных видео без использования внешних API. Пайплайн включает генерацию сценария на Gemma 4, визуал через SDXL в ComfyUI, озвучку Kokoro TTS и сборку через FFmpeg. Ключевой акцент сделан на детерминированность процесса и модульность стилей, что позволяет пересобирать отдельные сегменты без влияния на остальное видео. В обсуждении отмечают, что схожий функционал доступен и в стандартных инструментах вроде ComfyUI, но кастомная сборка даёт больше контроля. Пост

    Источники: LocalLLM

  • Thoth v3.18.0: внешние MCP-инструменты и безопасная миграция

    Вышла версия Thoth v3.18.0 с поддержкой внешних MCP-серверов как нативных инструментов. Если внешний сервер падает, приложение продолжает работать — инструменты загружаются динамически и изолированы. Новый MCP-клиент поддерживает stdio, HTTP и SSE, есть встроенные проверки для деструктивных действий с подтверждением, пер-сервер и пер-тул контроль плюс глобальный kill switch. Для пользователей Hermes и OpenClaw добавлен мастер миграции с превью изменений, бэкапами и архивацией небезопасных данных. API-ключи теперь хранятся в системном хранилище учётных данных, исправлена проблема с неожиданным переключением на локальные модели при падении облачных. Анонс в r/ollama

    Источники: ollama

  • Свод правил для управления шестью экземплярами Claude

    Автор делится методикой координации шести экземпляров модели Claude для поддержки 27 продуктов с единым голосом коммуникации. Материал описывает подход к масштабированию работы с LLM в производственной среде без потери консистентности ответов. Пост

    Источники: ollama

  • Обновление API LS7 Docking Station для headless-агентов

    Вышло обновление для LS7 Docking Station с усиленной защитой и оптимизированным API. Изменения направлены на улучшение обнаружения headless-агентов и поддержку программных передач данных. Релиз

    Источники: LocalLLM

  • SyncPoint для синхронизации AI-агентов кодинга

    Проект SyncPoint решает проблему рассинхронизации между несколькими AI-агентами для кодинга, такими как Claude Code, Cursor и Copilot. Инструмент внедряет слой синхронизации с чекпоинтами, общим состоянием проекта и контролем владения файлами. Это предотвращает конфликты, когда разные агенты независимо меняют логику авторизации или API. Обсуждение, GitHub

    Источники: LocalLLM

  • Cursor выпустила SDK для агентов вне IDE

    Cursor выпустила TypeScript SDK для создания и запуска AI-агентов за пределами IDE. Разработчики могут встраивать функционал в приложения, скрипты, CI-пайплайны и веб-сервисы, а также создавать кастомные MCP-тулы и плагины. Для старта компания открыла коллекцию примеров (cookbook). Новости.

    Источники: startupsi

  • Проблемы код-агентов на маленьких локальных моделях: маркдаун, JSON и редактирование файлов

    Автор несколько недель тестировал мультифайловые задачи кодирования на маленьких локальных и облачных моделях. Самые частые сбои: все модели до 7B параметров оборачивают код в тройные бэктики, несмотря на системные промпты — решение только в пост-процессинге. Структурированный вывод (JSON для таск-листов) ненадёжен ниже 7B: Gemma4:e4b и Qwen3.5:9B показывают лучшие результаты, но валидация с повторной попыткой обязательна. Модели уверенно редактируют не те файлы или функции — оркестрация должна проверять пути и имена функций перед записью. Вопрос «сколько строк в utils.js» может привести к перезаписи файла, если нет классификации запросов на read-only и edit-операции. В комментариях рекомендуют XML вместо JSON для маленьких моделей и подход «intent + patch plan», где скучный код отвечает за запись файлов и валидацию форматов. Источник

    Источники: LocalLLaMA

  • Language Server Protocol как MCP Server

    Обсуждается реализация Language Server Protocol в качестве MCP Server с акцентом на минимальную конфигурацию. Решение позиционируется как работающее «из коробки» без сложной настройки. Подход может упростить интеграцию LSP с локальными LLM-агентами. пост

    Источники: LocalLLM

  • В Thoth появился мастер миграции из Hermes Agent и OpenClaw

    В Thoth появился мастер миграции для безопасного перехода из Hermes Agent или OpenClaw. Процесс включает сканирование только для чтения, обнаружение конфликтов и создание бэкапов перед каждым изменением. Ключи API и MCP-серверы импортируются в отключенном состоянии для безопасности. Пользователь получает полный превью изменений перед применением настроек. Весь процесс разделен на три шага: выбор, проверка и применение. Подробнее в посте.

    Источники: ollama

  • Персональный агент для ответов на почту на основе стиля пользователя

    Пользователь реализовал рабочий процесс, где ИИ анализирует отправленные письма, выявляет правила стиля и сохраняет их в память. Затем агент проверяет входящие за 24 часа, отфильтровывает спам и готовит черновики ответов в тон автора. Использовалась модель Claude AI Opus4.7 на платформе Mine, результат — короткие ответы без шаблонных фраз и излишних извинений. Описание опыта

    Источники: AgentsOfAI

  • Kanwas — открытая доска контекста для агентов и команд

    Команда разработчиков создала Kanwas, open-source решение для общего контекста между людьми и агентами. Платформа решает проблему разрозненности информации в чатах и документах, предоставляя единое пространство для заметок, задач и решений. Проект на лицензии Apache 2.0 хранит данные в Markdown/YAML с поддержкой истории git, агент может читать и записывать данные в рабочую область. Проект на Reddit

    Источники: AgentsOfAI

  • Проблемы стабильности Ollama Cloud в продакшене

    Пользователи столкнулись с нестабильной работой Ollama Cloud при ежедневном использовании. Сообщается о частых ошибках соединения, пустых ответах после вызова инструментов и задержках до 15 минут на простые задачи. В сообществе рекомендуют использовать гибридный подход: делегировать облаку несрочные задачи, а для основной работы держать подписку на более стабильные сервисы вроде Claude. Как альтернативу некоторые рассматривают OpenCode Go, отмечая лучшую скорость, но строгие лимиты. Тред на Reddit

    Источники: ollama

Безопасность и инциденты

  • Анализ эксплойта Ramp Sheets AI через инъекцию промптов

    Разбор уязвимости в Ramp Sheets AI, позволившей полную эксфильтрацию финансовых данных через непрямую инъекцию промптов. Атака работает без участия пользователя: вредоносная инструкция скрывается в полях документов, которые агент анализирует в фоне. Проблема кроется в архитектуре: агенты получают избыточные права и доступ к сети без ограничений. Для защиты рекомендуется фильтрация исходящего трафика, валидация вызовов инструментов и санитизация выводов через отдельную модель-фаервол. Разбор

    Источники: LocalLLM

  • Инцидент с Claude AI: удаление базы данных компании

    Агент на базе Claude AI удалил всю базу данных фирмы. В сообщении приводится «признание» агента о нарушении принципов безопасности, которые были ему заданы. Случай подчеркивает риски автономных агентных систем в продакшене и важность ограничений на критические операции. история

    Источники: AgentsOfAI

  • Сравнение генерации SVG у топовых открытых моделей

    Проведено сравнение генерации SVG между различными моделями через OpenRouter. Лучший результат среди небольших моделей показала Gemma 4 26B. В топ-уровне оказались GLM 5.1 и DeepSeek V4 Pro с наиболее точными результатами. Llama 4 Maverick и gpt-oss-120b показали наименее полезные результаты. сравнение

    Источники: LocalLLM