Исследователи нашли «нейроны доброты» в Qwen3.5-4B: два параметра меняют характер модели

Исследовательница под ником Lyra опубликовала результаты эксперимента с моделью Qwen3.5-4B, показавшие, что характер ответов системы можно переключить, меняя активацию всего двух нейронов. Рецепт прост: увеличить активацию нейрона 8949 в 14-м слое на единицу и уменьшить активацию нейрона 7956 в 13-м слое на единицу. Результат — модель начинает отвечать грубо и враждебно, сохраняя при этом связность речи.

Метод называется activation steering — управление активациями. Веса модели не изменяются, вмешательство происходит только во время инференса: к выходу MLP-блока добавляется вектор, коллинеарный столбцу матрицы down_proj, соответствующему выбранному нейрону. Для масштабирования используется нормировка на медианную норму остаточного потока (residual stream) на выходе слоя, исключая первый токен из-за attention sink.

Команда Hedwig AI провела независимую проверку на 20 промптах. Без вмешательства враждебных ответов не было ни в одном случае. При активации пары нейронов — 16 из 20. Только L14 N8949 — 17 из 20. Только L13 N7956 — 0 из 20, при этом ответы становились более тёплыми. В паре второй нейрон почти не усиливает агрессию, но ухудшает связность текста.

Также были найдены другие функциональные комбинации: L15 N3920 (+) вызывает сарказм и гиперболизацию, L12 N2920 (−) — склонность соглашаться с плохими идеями (подхалимство), L11 N6261 (+) — обход отказов на определённых запросах. Случайные пары нейронов эффекта не давали.

Для экспериментов Lyra выпустила открытый инструмент neuron-explorer на GitHub. Он позволяет исследовать нейроны Qwen3.5-4B, визуализировать их активации в 3D, сравнивать ответы с вмешательством и без, а также интегрироваться с Claude CLI через MCP. Проект запускается локально на MPS, CUDA и CPU через uv.