Собес в Авито · Data Scientist (рекомендации)

Что такое ROC-AUC?

Площадь под ROC-кривой (TPR vs FPR при переборе порога). 0.5 — случайный классификатор, 1.0 — идеал. Не зависит от порога, но не учитывает дисбаланс классов.

Что такое precision и recall?

Precision = TP/(TP+FP) — доля верных среди предсказанных положительных. Recall = TP/(TP+FN) — доля найденных среди всех положительных.

Что значит, если ROC-AUC равно 0.5 или 0.1?

0.5 — модель не лучше случайного угадывания. 0.1 — модель систематически ранжирует хуже случайного (можно инвертировать scores).

Что важнее — precision или recall для автоотклонения объявления?

Precision: ложное отклонение дорого (теряем контент). Нужен высокий precision — отклоняем только когда уверены.

Что важнее — precision или recall для отправки на ручную модерацию?

Recall: пропустить нарушение дороже, чем лишняя ручная проверка. Нужен высокий recall — ловим максимум нарушений.

Что такое accuracy и когда она бесполезна?

Доля верных ответов. Бесполезна при сильном дисбалансе классов (99% negative → accuracy 99% у константной модели).

Что такое бустинг?

Последовательное обучение слабых моделей, каждая исправляет ошибки предыдущей. Финальный предикт — взвешенная сумма.

Как обучается бустинг?

На каждом шаге вычисляют residual/gradient loss, обучают новую модель на negative gradient, добавляют с learning rate.

Для чего нужен градиент в бустинге?

Gradient boosting: каждая новая модель аппроксимирует negative gradient функции потерь — направление на уменьшение loss.

Что такое бэггинг и как он снижает дисперсию?

Bootstrap aggregating: обучают модели на случайных подвыборках с replacement, усредняют. Дисперсия ансамбля ≈ σ²/M при некоррелированных моделях.

Можно ли использовать бэггинг над линейными моделями?

Можно, но бессмысленно: линейные модели стабильны, бэггинг линейных → снова линейная модель (усреднение весов).

Как устроен Random Forest?

Бэггинг деревьев + random feature subset на каждом split. Снижает variance, сохраняет bias. Feature importance через impurity decrease.

Что такое bias и variance, и что уменьшает Random Forest?

Bias — систематическая ошибка модели, variance — чувствительность к данным. RF снижает variance за счёт усреднения, bias деревьев сохраняется.

Как обучается дерево?

Рекурсивное разбиение: выбирают признак и порог, максимизирующие reduction impurity (Gini/entropy). Стоп по глубине, min samples, min gain.

Как делается split в вершине дерева?

Перебор всех признаков и порогов, выбор split с max Δ impurity = impurity(parent) − weighted impurity(children).

Что такое критерий Джини и критерий информативности?

Gini = 1 − Σpᵢ² — мера «нечистоты». Entropy = −Σpᵢlog(pᵢ). Оба используются для выбора split; чем меньше — тем чище листья.

Какое разбиение в дереве считается хорошим?

Максимально уменьшает impurity, создаёт однородные листья, не переобучается (достаточно samples в листьях).

Как регуляризация помогает бороться с переобучением?

Добавляет penalty к loss (L1/L2/dropout/early stopping), ограничивает сложность модели, снижает variance.

В чём разница между L1 и L2 регуляризацией?

L1 (Lasso) — sparse weights, feature selection. L2 (Ridge) — shrinkage всех весов, smooth solution. L1 → нули, L2 → малые значения.

Как работает градиентный спуск?

w ← w − η·∇L(w). Итеративное движение к минимуму loss по направлению antigradient.

Как работает стохастический градиентный спуск?

Gradient по mini-batch вместо full dataset. Быстрее, шум помогает escape local minima, нужен learning rate schedule.

Какие знаешь модификации градиентного спуска?

Momentum, Nesterov, Adam, AdamW, RMSprop, AdaGrad. Adam — adaptive lr per parameter + momentum.

Что такое momentum?

v ← βv + ∇L; w ← w − ηv. Накапливает «инерцию» градиентов, ускоряет сходимость в ravines.

Как работает dropout на обучении и на инференсе?

Train: случайно обнуляет нейроны с p, масштабирует оставшиеся на 1/(1−p). Inference: все нейроны активны, веса scaled (или inverted dropout).

Как обучаться на большом батче при ограниченной памяти?

Gradient accumulation, mixed precision (FP16/BF16), gradient checkpointing, smaller batch + more steps, data streaming.

Как устроена BERT?

Transformer encoder, bidirectional self-attention, MLM + NSP pretraining. [CLS] token для classification, subword tokenization.

Что такое residual block и skip connection?

y = F(x) + x. Прямой путь градиента через skip, решает vanishing gradient, позволяет обучать глубокие сети (ResNet).

Что такое свёрточный слой?

Локальный фильтр скользит по входу, извлекает spatial features. Параметры: kernel size, stride, padding, channels.

Какие знаешь способы эмбеддинга?

Word2Vec (CBOW/Skip-gram), GloVe, FastText, ELMo, BERT embeddings, item2vec, two-tower user/item embeddings, learned lookup tables.

Как устроена двухбашенная модель (two-tower)?

User tower + Item tower → embeddings в общем пространстве. Recall: ANN-поиск ближайших item по user embedding. Ranking — отдельная модель.

Как быстро отранжировать вектора по близости к запросу?

ANN: FAISS, HNSW, IVF, LSH. Exact brute force O(n·d) не масштабируется; ANN — sub-linear с trade-off recall.

Какое свойство cosine similarity делает его предпочтительным для ANN?

Инвариантность к масштабу вектора (направление важнее длины). Нормализованные embeddings → cosine ≈ dot product.

Какие метрики для рекомендаций?

Offline: NDCG@K, MAP@K, Hit Rate, MRR. Online: CTR, conversion, time spent, revenue. Следите за position bias.

Что такое position bias и как с ним бороться?

Пользователи кликают верхние позиции независимо от релевантности. IPS, counterfactual evaluation, randomization, cascade models.

Как спланировать A/B-тест для ML-модели?

Гипотеза → primary metric → MDE → sample size → duration → guardrail metrics → статистический тест (t-test, CUPED, sequential testing).

Что такое CUPED?

Controlled-experiment Using Pre-Experiment Data: variance reduction через ковариату (pre-period metric). Уменьшает нужный sample size.

Когда offline-метрика не коррелирует с online?

Distribution shift, position bias, feedback loop, proxy metric mismatch. Нужна online validation даже при хорошем offline NDCG.