Собес в Яндекс · ML-разработчик (Alice AI LLM Alignment)

Что такое overfitting и как с ним бороться?

Переобучение = модель запомнила train, плохо generalize. Методы: train/val split, cross-validation, L1/L2 регуляризация, dropout, early stopping, больше данных, упрощение модели, ансамбли.

Зачем нужен learning rate и что будет при слишком большом/малом значении?

LR задаёт шаг градиентного спуска. Слишком большой — расходимость/осцилляции; слишком маленький — медленная сходимость, застревание. Scheduler (cosine, warmup) и adaptive optimizers (AdamW) помогают.

Какие методы борьбы с переобучением существуют и как они работают?

Регуляризация (L1 sparsity, L2 weight decay), dropout, data augmentation, early stopping, bagging/boosting с контролем глубины, k-fold CV для честной оценки.

В чём разница между L1 и L2 регуляризацией?

L1 (Lasso) — штраф |w|, обнуляет веса → feature selection. L2 (Ridge) — штраф w², сжимает веса равномерно. В нейросетях чаще weight decay ≈ L2.

Как работает градиентный бустинг?

Последовательно добавляем слабые модели (деревья), каждая обучается на residual/negative gradient предыдущего ансамбля. XGBoost — level-wise, LightGBM — leaf-wise (быстрее, риск overfit).

Как оптимально выбрать признак и порог для разбиения в решающих деревьях?

Перебор признаков и порогов, максимизация gain: Gini impurity или information gain (энтропия до − после split). Ограничения: max_depth, min_samples_leaf против overfit.

Какие параметры случайного леса можно менять и как влияют глубина и число деревьев?

n_estimators, max_depth, max_features, min_samples_split/leaf, bootstrap. Больше деревьев → стабильнее (до плато). Глубина ↑ → bias ↓, variance ↑, риск overfit.

Что такое precision и recall?

Precision = TP/(TP+FP) — точность положительных предсказаний. Recall = TP/(TP+FN) — полнота. Выбор зависит от cost FP vs FN.

Почему F1-score — гармоническое, а не арифметическое среднее precision и recall?

Гармоническое среднее сильнее штрафует дисбаланс: если один из показателей низкий, F1 падает резко. Полезно при imbalanced classes.

Можно ли считать модель с F1=0.81 лучше модели с F1=0.8 и сразу запускать в прод?

Нет автоматически. Проверить: статзначимость, стабильность на holdout/online, latency, bias, регрессии на сегментах, shadow/canary deploy.

Какие метрики используете для оценки качества модели?

Classification: accuracy, precision/recall/F1, ROC-AUC, PR-AUC. Regression: MAE, RMSE, MAPE. LLM: win-rate, rubric scores, human eval, LLM-as-Judge (с калибровкой).

Какая алгоритмическая сложность вычисления ROC-AUC?

O(n log n) из-за сортировки scores; затем один проход по отсортированным парам для подсчёта TPR/FPR.

Что важнее — precision или recall для отправки объявления на ручную модерацию?

Обычно precision: лишняя ручная проверка дороже, чем пропуск (recall). Но зависит от cost matrix бизнеса.

Можно ли изменять строку в Python?

str — immutable. «Изменение» создаёт новый объект. Для mutable string-like — bytearray или list of chars.

Какие неизменяемые и изменяемые типы данных знаете в Python?

Immutable: int, float, str, tuple, frozenset. Mutable: list, dict, set, bytearray.

В чём разница между copy и deepcopy?

copy — shallow: вложенные объекты по ссылке. deepcopy — рекурсивная копия всего графа объектов.

Какая сложность сортировки списка?

Timsort в Python: O(n log n) worst/average. Лучший случай O(n) при почти отсorted данных.

Какова асимптотика при нескольких проходах по списку?

k проходов → O(k·n). Константу не схлопывают в O(n), если k зависит от n.

Могут ли на ML-интервью давать задачи по структурам данных (деревья, linked list)?

Да, особенно в Яндексе — базовые DS задачи возможны. Понимать when/why: heaps для top-k, hash map для O(1) lookup, trees для sorted data.

Какие методы оценки сходства векторов в NLP знаете?

Cosine similarity, dot product (при нормализованных), Euclidean. Для sparse — BM25; для dense — cosine/FAISS/ANN.

Какое свойство cosine similarity делает его предпочтительным для поиска ближайших соседей?

Инвариантность к длине вектора — измеряет угол, а не масштаб. Удобно для text embeddings разной нормы.

Как быстро отранжировать векторы по близости к запросу?

Exact: матричное умножение + top-k (heap). Approximate: FAISS, HNSW, IVF — trade-off recall vs speed.

Как устроен transformer и механизм self-attention?

Q,K,V projections → softmax(QK^T/√d)V. Multi-head — параллельные attention heads. Positional encoding добавляет порядок токенов.

Чем pretraining отличается от SFT и alignment?

Pretrain — next-token prediction на большом корпусе. SFT — supervised demos/instructions. Alignment — preference/RL/reward для поведения и безопасности.

Какие проблемы возникают при fine-tuning больших LLM?

Catastrophic forgetting, overfit на малый SFT, hallucinations, distribution shift, compute/memory → LoRA, QLoRA, careful lr.

Что такое instruction following и как его измерить?

Модель выполняет формат/ограничения промпта. Метрики: rubric compliance, format accuracy, human/LLM judge win-rate на instruction-heavy бенчмарках.

Как выбираете, какие задачи включать в SFT-датасет?

Coverage user intents, gap analysis (где модель fails), difficulty curriculum, diversity, quality filters, баланс доменов.

Как определить, каких навыков не хватает модели для конкретной задачи?

Error analysis на eval set, clustering failures, сравнение с stronger model/human, ablation по skill categories.

Как оценить качество SFT без немедленного RL?

Held-out prompts, automatic metrics (BLEU/ROUGE ограничены), LLM judge, human spot-check, per-skill breakdown.

Какие trade-offs при увеличении сложности демонстраций в SFT?

Лучше ceiling vs риск noise, longer context, slower training, возможный conflict с simpler behaviors.

Опишите pipeline RLHF для LLM

SFT → collect pairwise preferences → train reward model → RL (PPO) с KL penalty к reference model. Альтернатива: DPO без явного RM.

Чем RLHF отличается от RLVR (verifiable rewards)?

RLHF — human preferences (subjective). RLVR — автоматические проверяемые награды (code tests, math answer, tool result). RLVR дешевле и масштабируемее где reward objective.

Что такое GRPO и GSPO в контексте online RL для LLM?

Group Relative Policy Optimization — оптимизация относительно группы sampled responses без critic. GSPO — variant с group sampling policy optimization. Online = policy генерирует on-the-fly, reward в реальном времени.

Зачем KL-penalty при RL fine-tuning LLM?

Удерживает policy близко к reference (SFT), предотвращает mode collapse, reward hacking, деградацию fluency.

Как обучать с учётом нескольких аспектов качества одновременно?

Multi-objective reward (weighted sum), Pareto front, staged training, separate reward heads, constraint RL.

Как обучить reward model на pairwise comparisons?

Bradley-Terry / logistic loss: P(y_w > y_l) = σ(r(x,y_w) − r(x,y_l)). Train RM to predict human preferences.

Почему human labeling дорого и как это обойти?

Active learning, rubric-based auto scoring, LLM-as-a-Judge с calibration, distillation RM, semi-synthetic prefs.

Что такое LLM-as-a-Judge и его ограничения?

Strong LLM оценивает ответы по rubric. Риски: bias к verbose/self-similar, position bias, нужна калибровка на human gold.

Как использовать rubric-based оценки в reward pipeline?

Декомпозиция качества (helpfulness, safety, format) → partial scores → aggregate reward. Улучшает interpretability и multi-objective.

Что такое On-Policy Distillation (OPD)?

Student генерирует свои outputs (on-policy), teacher оценивает/даёт soft targets на этих trajectories — лучше match реального distribution student.

Как объединить экспертные модели разных доменов в одну?

Model merging (weighted average, SLERP), multi-task SFT, routing/MoE, sequential distillation from experts, continue SFT on mixed data.

Какие риски при merge expert models?

Interference между weights, forgetting, inconsistent behaviors, нужен eval per domain + holistic.

Чему равна максимальная вероятность вытащить белый шар из случайно выбранной корзины?

Классическая задача: максимизировать P по выбору распределения между корзинами. Решение через анализ worst/best case или метод Lagrange — покажите систематический подход.

Почему при обучении на положительных таргетах модель может предсказывать отрицательные значения?

kNN/линейная регрессия/NN экстраполируют за пределы train. Деревья — piecewise constant. Бустинг — сумма residuals может уйти ниже min(y).

Можно ли считать новую модель лучше по +0.01 F1 без дополнительных проверок?

Нужны confidence intervals, проверка на разных срезах, online metrics, cost of errors.