Собес в Сбер · Data Scientist (NLP)

Что такое ROC-AUC?

Площадь под ROC-кривой (TPR vs FPR). Не зависит от порога, хорош для сравнения ранжирующих моделей. Не подходит при сильном дисбалансе без доп. анализа.

Что такое F1-Score?

Гармоническое среднее precision и recall. Балансирует оба типа ошибок. Полезен при несбалансированных классах.

Что такое precision?

TP / (TP + FP). Доля верных среди предсказанных положительных. Важна, когда цена ложноположительного высока.

В чём разница между F-мерой и ROC-AUC?

F1 зависит от выбранного порога и баланса классов; ROC-AUC — от ранжирования без фиксированного порога.

Как работает градиентный бустинг?

Последовательно добавляет слабые модели (деревья), каждая обучается на остатках предыдущей. Минимизирует loss через градиентный спуск в пространстве функций.

В чём разница в реализации между XGBoost и LightGBM?

XGBoost — level-wise рост деревьев; LightGBM — leaf-wise, GOSS и EFB для ускорения. LightGBM быстрее на больших данных, но склоннее к переобучению.

Что такое регуляризация в машинном обучении?

Штраф за сложность модели (L1/L2, dropout, early stopping). Снижает переобучение, улучшает обобщение.

В чём разницу между L1 и L2 регуляризацией?

L1 (Lasso) — разреженность, отбор признаков. L2 (Ridge) — сжатие весов, все признаки остаются. L1 устойчивее к выбросам в признаках.

Как выполняется кросс-валидация?

Данные делятся на k фолдов; модель обучается на k-1, валидируется на 1. Повторяется k раз. Итог — среднее и дисперсия метрики.

Как отбираешь признаки при их большом количестве?

Filter (корреляция, mutual information), wrapper (RFE), embedded (L1, feature importance в бустинге). Учитывай утечку данных и multicollinearity.

В чём разница между стекингом и блендингом?

Блендинг — усреднение/взвешивание предсказаний базовых моделей. Стекинг — мета-модель обучается на out-of-fold предсказаниях базовых моделей.

Что делать с датасетом перед обучением модели?

EDA, обработка пропусков и выбросов, кодирование категорий, масштабирование, train/val/test split, проверка утечек и дисбаланса.

Как GPT генерирует текст?

Авторегрессия: на каждом шаге предсказывается следующий токен по распределению softmax над словарём. Декодирование: greedy, beam search, top-k/top-p, temperature.

Какие основные подходы и архитектуры трансформеров существуют?

Encoder-only (BERT) — понимание; Decoder-only (GPT) — генерация; Encoder-Decoder (T5, BART) — seq2seq. Attention: self-attention, cross-attention, multi-head.

Какие знаешь методы оценки сходства векторов в NLP?

Cosine similarity, dot product, Euclidean. Для нормализованных эмбеддингов cosine ≈ dot product. BM25 для лексического поиска.

Какое свойство cosine similarity делает его предпочтительным для поиска ближайших соседей?

Инвариантность к длине вектора — сравнивает направление, а не масштаб. Удобно для текстовых эмбеддингов разной длины.

Как быстро отранжировать вектора по близости к запросу?

ANN-индексы: FAISS (IVF, HNSW), ScaNN. Точный поиск O(n), ANN — сублинейный с компромиссом recall.

Какие метрики используешь для оценки качества NLP-модели?

Классификация: accuracy, F1, macro/micro. Генерация: BLEU, ROUGE, BERTScore. Поиск: MRR, nDCG, Recall@k. LLM: human eval, llm-as-a-judge.

Что такое RAG и для каких задач он используется?

Retrieval-Augmented Generation: поиск релевантных документов + генерация ответа LLM с контекстом. Решает галлюцинации, актуальность знаний, доменную специфику.

Как реализовать базовый RAG без LangChain?

1) Chunking документов → 2) Embedding → 3) Vector store → 4) Query embedding → 5) Top-k retrieval → 6) Prompt с контекстом → 7) LLM generation.

Какие проблемы решает RAG?

Актуальность знаний, снижение галлюцинаций, прозрачность (цитирование источников), работа с закрытыми данными без полного fine-tuning.

Как улучшить качество retrieval в RAG?

Лучший chunking (overlap, semantic), reranking (cross-encoder), гибридный поиск (BM25 + dense), fine-tuning эмбеддингов, очистка источников.

Как измерять качество RAG-системы?

Retrieval: Recall@k, MRR. End-to-end: faithfulness, answer relevance, context precision/recall (RAGAS). LLM-as-a-judge с human validation.

Что такое llm-as-a-judge?

LLM оценивает ответы другой LLM по заданным критериям. Быстро и масштабируемо, но требует калибровки с human labels и контроля bias.

Какие знаешь типы данных в Python?

int, float, str, bool, list, tuple, dict, set, frozenset. Изменяемые vs неизменяемые.

Какие знаешь неизменяемые типы данных в Python?

int, float, str, bool, tuple, frozenset. Нельзя изменить после создания.

В чём разница между copy и deepcopy?

copy — поверхностная копия (вложенные объекты общие). deepcopy — рекурсивная копия всех вложенных объектов.

Работал ли со Spark?

Распределённая обработка больших данных. DataFrame API, lazy evaluation, shuffle. Альтернативы: Dask, Polars, pandas на сэмпле.

Что такое SOLID?

S — Single Responsibility, O — Open/Closed, L — Liskov Substitution, I — Interface Segregation, D — Dependency Inversion. Принципы ООП-дизайна.

Как измеряется сложность алгоритмов?

Big O: O(1), O(log n), O(n), O(n log n), O(n²). Временная и пространственная сложность, worst/average case.

Что такое доверительный интервал?

Диапазон, в который с заданной вероятностью (1-α) попадает истинный параметр. Зависит от выборки и уровня значимости.

Как вычислить вероятность при условии (задача на монеты)?

Формула Байеса: P(A|B) = P(B|A)·P(A) / P(B). Разбей задачу на гипотезы, посчитай полную вероятность.

Как определить производную функции потерь для logloss и MSE?

MSE: d/dy (y-ŷ)² = -2(y-ŷ). Logloss (бинарная): -[y·log(ŷ) + (1-y)·log(1-ŷ)], производная через chain rule.

Можно ли использовать линейную регрессию при смещении выборки?

Оценки будут смещёнными (biased). Нужны методы коррекции: веса, propensity score, causal inference, или осознанное ограничение интерпретации.