Словарь терминов по искусственному интеллекту: от нейронных сетей до трансформеров — объяснение простыми словами

Какой термин блокирует прогресс: диагностика за 3 шага

Ты читаешь статью про GPT-4, натыкаешься на слово «трансформер» — и идёшь гуглить. В Google встречаешь «attention mechanism». Гуглишь его — попадаешь на «backpropagation». Через 40 минут ты на странице про линейную алгебру и не понимаешь, как сюда попал. Это не твоя вина. Это архитектурная проблема: словарь ИИ построен как граф без корневой вершины — каждый термин ссылается на три других, и ни один не объяснён с нуля.

Вот алгоритм выхода из этой ловушки:

1. Зафиксируй точку входа. Запиши термин, на котором ты остановился последний раз. Не «ИИ вообще» — конкретное слово: «эмбеддинг», «токен», «веса сети».
2. Определи тип пробела. Пробел бывает трёх типов: терминологический (не знаешь слово), концептуальный (знаешь слово, не понимаешь смысл), операционный (понимаешь смысл, не знаешь как применить). Разные пробелы — разные лекарства.
3. Найди термин на карте ниже. Карта понятий в этой главе упорядочена по зависимостям: каждый следующий термин требует знания предыдущего. Найди свою точку — и двигайся только вперёд, не вглубь боковых ссылок.

Карта понятий: от перцептрона до трансформера

Перцептрон — это начало. Точка. Всё остальное — его усложнение.

Карта строится по принципу зависимостей: нельзя понять слой выше, не зная слой ниже. Это не метафора — это буквальная математическая зависимость, при которой формула трансформера содержит в себе операции, унаследованные от перцептрона 1957 года.

УРОВЕНЬ 0 — Базовые строительные блоки
├── Перцептрон (один нейрон, линейная функция)
├── Функция активации (ReLU, Sigmoid, Tanh)
└── Вес (weight) — числовой параметр связи

УРОВЕНЬ 1 — Сеть
├── Нейронная сеть (multilayer perceptron, MLP)
├── Прямой проход (forward pass)
└── Обратное распространение ошибки (backpropagation)

УРОВЕНЬ 2 — Обучение
├── Градиентный спуск (gradient descent)
├── Функция потерь (loss function)
└── Эпоха (epoch) — один полный проход по данным

УРОВЕНЬ 3 — Архитектуры
├── CNN (сверточные сети — для изображений)
├── RNN / LSTM (рекуррентные — для последовательностей)
└── Эмбеддинг (embedding) — вектор смысла слова

УРОВЕНЬ 4 — Современный стек
├── Attention mechanism (механизм внимания)
├── Трансформер (Transformer — архитектура 2017 года)
└── Токен (token) — единица входа в языковую модель

УРОВЕНЬ 5 — Продукты поверх трансформера
├── BERT (энкодер — понимание текста)
├── GPT (декодер — генерация текста)
└── LLM (Large Language Model — масштабированный трансформер)

Почему именно такой порядок

Backpropagation без понимания весов — это формула без переменных. Бессмысленно. Трансформер без attention — просто аббревиатура. Поэтому карта линейная, а не «паутина ссылок».

Конкретный факт: трансформер описан в статье Google «Attention Is All You Need» (2017), и его архитектура целиком строится на механизме self-attention, который математически — это матричное умножение Query × Key^T / √d_k, применённое к эмбеддингам токенов, где d_k — размерность вектора ключа.

// Упрощённая формула attention:
Attention(Q, K, V) = softmax(Q × Kᵀ / √d_k) × V

// Параметры:
// Q — матрица запросов (queries)
// K — матрица ключей (keys)
// V — матрица значений (values)
// d_k — размерность вектора ключа (например, 64 или 512)

Как пользоваться картой прямо сейчас

Открой карту выше. Найди последний термин, который ты понял без гугла. Это твой уровень. Следующий термин в списке — твоя следующая задача.

Не перескакивай уровни. Промпт без базовой модели — как руль без рулевой рейки: крутится легко, но машина едет прямо. Можно выучить слово «трансформер» без понимания backpropagation — но тогда ты не сможешь объяснить, почему GPT-4 иногда галлюцинирует, и не сможешь это исправить в своём pipeline.

Каждая следующая глава этого словаря разбирает один уровень карты. Полный цикл — 5 уровней, 23 термина, конкретные определения без расплывчатости. В главе 2 — перцептрон и функция активации. С формулами. С числами.

Почему 25, а не 50

Потому что 25 — это граница, после которой мозг перестаёт строить связи и начинает складировать факты. Список ниже — не глоссарий. Это граф зависимостей: каждый термин тянет за собой следующий, как зубчатое колесо в редукторе.

Термины 1–5: Фундамент, без которого остальное — шум

1. Нейронная сеть (Neural Network) — математическая структура из слоёв: входного, скрытых и выходного. Каждый узел (нейрон) принимает числа, умножает их на веса, суммирует и передаёт дальше через функцию активации. Никакой «биологии». Просто матричные операции с миллиардами параметров.

2. Вес (Weight) — число. Одно число. Именно веса обучаются в процессе тренировки: алгоритм подбирает их так, чтобы ошибка сети на обучающей выборке стремилась к минимуму. GPT-4 содержит около 1,8 триллиона весов.

3. Функция активации (Activation Function) — нелинейность, которая не даёт сети схлопнуться в одну линейную функцию. ReLU возвращает максимум из нуля и входного значения. Без неё — не работает. Точка.

4. Обратное распространение ошибки (Backpropagation) — алгоритм вычисления градиента функции потерь по каждому весу через цепное правило дифференцирования. Сначала прямой проход, потом обратный. Все современные фреймворки — PyTorch, JAX, TensorFlow — реализуют его автоматически через механизм autograd.

5. Функция потерь (Loss Function) — числовая мера того, насколько сильно ошиблась сеть на конкретном примере. Для классификации — CrossEntropyLoss. Для регрессии — MSE. Оптимизатор минимизирует именно её.

Термины 6–10: Архитектурный слой

6. Свёрточная нейронная сеть (CNN) — специализирована под пространственные данные. Применяет фильтры (ядра свёртки) к фрагментам изображения, извлекая локальные признаки. ResNet-50 обрабатывает изображение 224×224 пикселей за 4 мс на GPU Tesla T4. Используется в Google Photos, Face ID, медицинской диагностике (например, выявление диабетической ретинопатии).

7. Рекуррентная сеть (RNN/LSTM) — обрабатывает последовательности, сохраняя скрытое состояние между шагами. LSTM (Long Short-Term Memory) добавляет вентили забывания, входа и выхода, решая проблему затухающего градиента. До 2017 года — стандарт для NLP. Сейчас вытеснены трансформерами.

8. Трансформер (Transformer) — архитектура из статьи «Attention Is All You Need» (Vaswani et al., 2017). Ключевое отличие: обрабатывает всю последовательность параллельно через механизм Self-Attention. Нет рекуррентности. Нет свёрток. Только внимание и полносвязные слои. Это основа GPT, Claude, Gemini, LLaMA.

9. Механизм внимания (Attention) — вычисляет для каждого токена, насколько сильно он «смотрит» на все остальные токены последовательности. Формула: Attention(Q,K,V) = softmax(QKᵀ/√d_k)V, где Q — запросы, K — ключи, V — значения. Это не метафора. Это буквальный расчёт весов значимости.

10. Токен (Token) — минимальная единица обработки текста в языковых моделях. Не слово. Не буква. Кусок текста переменной длины, определяемый алгоритмом BPE (Byte Pair Encoding). «нейронная» — это 3 токена в GPT-4: «ней», «рон», «ная». Цена API OpenAI в 2026 году: GPT-4o — $2.50 за 1 млн input-токенов, $10.00 за 1 млн output-токенов.

Термины 11–15: Обучение и данные

11. Предобучение (Pre-training) — этап, на котором модель обучается на огромном корпусе данных (сотни миллиардов токенов) с самообучающей задачей: предсказать следующий токен. Стоит десятки миллионов долларов. Для большинства компаний — недостижимо. Используют готовые основы.

12. Дообучение (Fine-tuning) — адаптация предобученной модели под конкретную задачу на малом датасете (от 500 примеров). OpenAI API поддерживает fine-tuning GPT-4o mini: стоимость обучения — $3.00 за 1 млн токенов, инференс — $0.30/$1.20 (input/output). Результат — модель, знающая специфику конкретной предметной области.

13. RLHF (Reinforcement Learning from Human Feedback) — метод выравнивания модели с предпочтениями людей. Люди-разметчики оценивают пары ответов, обучается модель наград (reward model), затем основная модель оптимизируется по этой награде через PPO. Именно так получен ChatGPT из базового GPT-3.

14. Эмбеддинг (Embedding) — векторное представление объекта (слова, изображения, пользователя) в многомерном пространстве, где семантически близкие объекты находятся рядом. OpenAI text-embedding-3-large даёт векторы размерностью 3072. Стоимость — $0.13 за 1 млн токенов. Используется в семантическом поиске, рекомендательных системах.

15. Температура (Temperature) — параметр семплирования, управляющий случайностью генерации. При temperature=0 модель всегда выбирает самый вероятный токен. При temperature=1 — семплирует по распределению. При temperature=2 — начинается хаос. Для кода — 0.1–0.3. Для креатива — 0.8–1.2.

{
  "model": "gpt-4o",
  "messages": [{"role": "user", "content": "Explain backpropagation"}],
  "temperature": 0.2,
  "max_tokens": 512,
  "top_p": 0.95,
  "frequency_penalty": 0.0,
  "presence_penalty": 0.0
}

Термины 16–20: Генеративные модели

16. Диффузионная модель (Diffusion Model) — генерирует изображения путём итеративного «зашумления» реального изображения и обучения сети обращать этот процесс. Stable Diffusion (Flux) в 2026 году: Flux.1 [pro] — $0.055 за изображение через API fal.ai, Flux.1 [dev] — $0.025. Midjourney Pro — $60/месяц, ~200 изображений в fast-режиме.

17. Латентное пространство (Latent Space) — сжатое векторное представление данных внутри модели, содержащее «смысл» без деталей пикселей. Именно в латентном пространстве происходит диффузия в Stable Diffusion. Редактирование в latent space — основа img2img, inpainting, controlnet.

18. GAN (Generative Adversarial Network) — две сети: генератор создаёт фейки, дискриминатор отличает их от реальных данных. Они конкурируют. Генератор улучшается. До 2022 года — стандарт генерации изображений. Вытеснены диффузионными моделями из-за нестабильности обучения (mode collapse).

19. RAG (Retrieval-Augmented Generation) — архитектурный паттерн: перед генерацией ответа система извлекает релевантные документы из базы знаний (через векторный поиск), добавляет их в контекст и передаёт в LLM. Решает проблему галлюцинаций и устаревших знаний без дорогостоящего fine-tuning.

20. Контекстное окно (Context Window) — максимальное количество токенов, которое модель обрабатывает за один вызов (prompt + completion суммарно). Claude 3.5 Sonnet — 200 000 токенов (~150 000 слов). GPT-4o — 128 000 токенов. Gemini 1.5 Pro — 1 000 000 токенов. Больше контекст — дороже вызов.

Термины 21–25: Продвинутый инструментарий

21. Промпт-инжиниринг (Prompt Engineering) — систематическое конструирование входного текста для управления поведением LLM. Промпт без параметров — это как руль без рулевой рейки: крутится легко, но машина едет прямо. Техники: Chain-of-Thought (добавь «давай думать шаг за шагом»), Few-Shot (3–5 примеров в промпте), ReAct (комбинация рассуждения и действия).

22. Агент (AI Agent) — LLM, которой предоставлен доступ к инструментам (функциям): поиску в интернете, выполнению кода, вызову API, чтению файлов. Модель сама решает, какой инструмент вызвать, исходя из задачи. OpenAI Assistants API, LangChain, AutoGen — фреймворки для построения агентов.

23. Квантизация (Quantization) — сжатие весов модели с float32 (4 байта) до int8 или int4 (1–2 байта). Llama 3.1 70B в float16 требует ~140 GB VRAM. В 4-bit GGUF — ~35 GB. Запускается на 2×RTX 4090. Потеря качества — 2–5% на стандартных бенчмарках.

24. LoRA (Low-Rank Adaptation) — метод параметрически эффективного fine-tuning: вместо обновления всех весов модели обучаются только две малые матрицы низкого ранга, результат добавляется к «замороженным» весам. Для Llama 70B: полный fine-tuning — 8×A100 80GB. LoRA rank=16 — 1×A100 40GB. Разница в стоимости — 8x.

25. Мультимодальность (Multimodality) — способность модели обрабатывать и генерировать несколько типов данных: текст, изображения, аудио, видео, код. GPT-4o принимает на вход текст, изображения и аудио. Gemini 1.5 Pro — текст, изображения, видео, аудио, PDF. Это не «расширенная функция». Это другой класс систем.

Практический кейс: векторный поиск по корпоративной документации

Задача: 50 000 PDF-страниц технической документации производственного предприятия. Инженеры тратят 40 минут в среднем на поиск нужного регламента. Полнотекстовый поиск (Elasticsearch) не работает — термины варьируются («остановка станка», «аварийное отключение», «emergency stop»).

Решение: RAG-пайплайн на базе text-embedding-3-large + Qdrant + GPT-4o.

Шаг 1: Разбивка документов на чанки по 512 токенов с перекрытием 50 токенов (overlap предотвращает разрыв смысла на границах). Шаг 2: Эмбеддинг каждого чанка через OpenAI API — $0.13 за 1 млн токенов; 50 000 страниц ≈ 25 млн токенов ≈ $3.25 единоразово. Шаг 3: Хранение в Qdrant (self-hosted, бесплатно). Шаг 4: Пользовательский запрос также эмбеддится, находятся топ-5 ближайших чанков по косинусному расстоянию, передаются в GPT-4o с инструкцией ответить только на основе контекста.

import openai
from qdrant_client import QdrantClient
from qdrant_client.models import Distance, VectorParams

client = QdrantClient(host="localhost", port=6333)

def search_docs(query: str, top_k: int = 5) -> list:
    response = openai.embeddings.create(
        model="text-embedding-3-large",
        input=query,
        dimensions=1536  # уменьшено для экономии памяти
    )
    query_vector = response.data[0].embedding
    
    results = client.search(
        collection_name="technical_docs",
        query_vector=query_vector,
        limit=top_k,
        score_threshold=0.72  # отсекаем нерелевантные результаты
    )
    return [hit.payload["text"] for hit in results]

def answer_question(query: str) -> str:
    context_chunks = search_docs(query)
    context = "\n\n---\n\n".join(context_chunks)
    
    completion = openai.chat.completions.create(
        model="gpt-4o",
        temperature=0.1,
        messages=[
            {
                "role": "system",
                "content": "Отвечай ТОЛЬКО на основе предоставленного контекста. "
                           "Если ответа нет в контексте — скажи об этом явно."
            },
            {
                "role": "user",
                "content": f"Контекст:\n{context}\n\nВопрос: {query}"
            }
        ]
    )
    return completion.choices[0].message.content

Результат после развёртывания: среднее время поиска — 8 секунд. Стоимость одного запроса (эмбеддинг + GPT-4o) — ~$0.004. При 200 запросах в день — $0.80/день. Против 40 минут инженерного времени.

«Мы движемся к миру, где разрыв между намерением и выполнением стремится к нулю. Модели становятся интерфейсом между мыслью и действием.» — Сэм Альтман, интервью Stanford HAI, 2024

Qdrant поддерживает фильтрацию по метаданным: можно ограничить поиск конкретным цехом, годом документа или типом регламента — через параметр query_filter в методе client.search(). Это снижает шум в результатах без переобучения модели.

{
  "role": "system",
  "content": "Ты — технический редактор словаря по ИИ. Объясняй каждый термин в трёх уровнях: 1) аналогия для 10-летнего, 2) инженерное определение, 3) пример на Python или псевдокоде."
}

Глоссарий на автопилоте: архитектура задачи

Промпт без системных ограничений — это как руль без рулевой рейки: крутится легко, но машина едет прямо в галлюцинации. Задача построить автоматический глоссарий по ИИ-терминологии через API решается в три слоя: системный промпт с жёсткими структурными правилами, парсинг JSON-ответа, экспорт в формат Anki (.apkg через genanki). Никакого ручного труда после первоначальной настройки.

Стоимость генерации 500 карточек-определений через GPT-4o API (модель gpt-4o-2024-08-06) при средней длине термина 120 токенов input + 200 токенов output составит примерно $0.18 по тарифу $2.50 / $10.00 за 1M токенов (input/output) на начало 2026 года. Для сравнения: Claude 3.5 Sonnet обойдётся в $3.00 / $15.00 за 1M токенов — тот же батч выйдет в $0.54. Выбор очевиден.

Системный промпт: точность определений через жёсткую схему

Свободный текст — враг глоссария. Модель обязана возвращать строго валидный JSON, иначе парсер упадёт на третьей итерации из тысячи. Вот рабочий системный промпт, который форсирует структуру и блокирует расплывчатые формулировки:

SYSTEM:
Ты — технический лексикограф в области машинного обучения.
Правила (нарушение любого = ошибка):
1. Отвечай ТОЛЬКО валидным JSON без markdown-обёрток.
2. Определение: максимум 2 предложения, без вводных фраз ("это", "данный термин").
3. Аналогия: одно бытовое сравнение, максимум 15 слов.
4. Сложность: integer от 1 (базовый) до 5 (исследовательский).
5. Связанные термины: массив из 3 строк, только существующие термины ML/DL.

OUTPUT SCHEMA:
{
  "term": "string",
  "definition": "string",
  "analogy": "string",
  "difficulty": integer,
  "related": ["string", "string", "string"],
  "anki_front": "string",
  "anki_back": "string"
}

USER:
Определи термин: {{TERM}}

Поле anki_front генерируется как вопрос («Что такое backpropagation?»), anki_back — как слитый блок definition + analogy. Это устраняет этап ручной редактуры карточек полностью.

Практический кейс: автоглоссарий из учебного курса по трансформерам

Задача: преподаватель записал курс по трансформерным архитектурам. 14 видеолекций, транскрипты в TXT, ~180 уникальных терминов. Требование — готовые Anki-колоды для студентов к следующему понедельнику. Ручной режим: 3–4 рабочих дня. Автоматический: 47 минут.

Шаг первый — извлечение терминов. SpaCy с моделью en_core_web_trf извлекает именованные сущности и noun chunks из транскриптов, частотный фильтр отсекает термины с вхождением менее 3 раз. Получаем список из 183 кандидатов. Шаг второй — батчевые запросы к API с rate limiting на 60 RPM (лимит tier-1 OpenAI), конкурентность через asyncio.Semaphore(10). Шаг третий — сборка .apkg через библиотеку genanki.

import asyncio
import openai
import genanki
import json
import random

client = openai.AsyncOpenAI(api_key="YOUR_API_KEY")

SYSTEM_PROMPT = """..."""  # полный промпт из блока выше

async def define_term(term: str, semaphore: asyncio.Semaphore) -> dict:
    async with semaphore:
        response = await client.chat.completions.create(
            model="gpt-4o-2024-08-06",
            temperature=0.2,
            response_format={"type": "json_object"},
            messages=[
                {"role": "system", "content": SYSTEM_PROMPT},
                {"role": "user", "content": f"Определи термин: {term}"}
            ]
        )
        return json.loads(response.choices[0].message.content)

async def build_glossary(terms: list[str]) -> list[dict]:
    semaphore = asyncio.Semaphore(10)
    tasks = [define_term(t, semaphore) for t in terms]
    return await asyncio.gather(*tasks)

def export_to_anki(cards: list[dict], deck_name: str) -> None:
    deck_id = random.randrange(1 << 30, 1 << 31)
    model_id = random.randrange(1 << 30, 1 << 31)

    model = genanki.Model(
        model_id,
        "AI Glossary",
        fields=[{"name": "Front"}, {"name": "Back"}, {"name": "Difficulty"}],
        templates=[{
            "name": "Card 1",
            "qfmt": "{{Front}}",
            "afmt": "{{FrontSide}}
{{Back}}
Уровень: {{Difficulty}}/5"
        }]
    )

    deck = genanki.Deck(deck_id, deck_name)
    for card in cards:
        note = genanki.Note(
            model=model,
            fields=[card["anki_front"], card["anki_back"], str(card["difficulty"])]
        )
        deck.add_note(note)

    genanki.Package(deck).write_to_file(f"{deck_name}.apkg")

# Запуск
terms = ["attention mechanism", "tokenization", "positional encoding"]  # + 180 других
cards = asyncio.run(build_glossary(terms))
export_to_anki(cards, "Transformers_Course_2026")

Параметр temperature=0.2 критичен. При значении выше 0.4 модель начинает «украшать» определения метафорами, которые ломают лаконичность карточки. Проверено эмпирически на батче из 50 терминов: при temperature=0.7 процент карточек, требующих ручной правки, вырос с 3% до 19%.

Сравнение моделей для генерации глоссариев: цифры 2026

Не все модели одинаково точны в технических определениях. GPT-4o держит лидерство по соотношению цена/точность в узкоспециализированных технических доменах. Вот актуальная таблица для батча в 1000 терминов (~330K токенов суммарно):

• GPT-4o (gpt-4o-2024-08-06) — $2.50/1M input, $10.00/1M output → итог ~$3.90. Скорость: ~900 токенов/сек. JSON-режим стабилен.
• Claude 3.5 Sonnet — $3.00/1M input, $15.00/1M output → итог ~$5.95. Определения более развёрнуты, но иногда игнорирует length constraints.
• Gemini 2.0 Flash — $0.10/1M input, $0.40/1M output → итог ~$0.16. Самый дешёвый. Качество технических определений уступает GPT-4o примерно на 15% по human-eval.
• Llama 3.3 70B (self-hosted, RunPod) — ~$0.22/час на A100, батч закроется за 40 минут → $0.15. Но требует промпт-инжиниринг под каждую модель отдельно.

«Модели становятся API-примитивами. Вы не думаете о том, какой трансформер работает под капотом — вы думаете о том, что подать на вход и что забрать на выходе.» — Сэм Альтман, интервью MIT Technology Review, 2024

Автоматизация обновления: когда глоссарий устаревает

Терминология ИИ обновляется быстрее, чем любой учебник успевает переиздаться. Решение — GitHub Actions по расписанию. Раз в две недели скрипт парсит arXiv по тегам cs.LG и cs.CL, извлекает новые термины из абстрактов через тот же SpaCy-пайплайн, прогоняет только дельту через API, добавляет новые карточки в существующую колоду через genanki.Package.write_to_file с append-логикой. Колода растёт сама.

Полный цикл от нового термина в arXiv до карточки в Anki — менее 3 часов в автоматическом режиме без единого ручного действия.

{
  "model": "gpt-4o",
  "temperature": 0,
  "max_tokens": 512,
  "messages": [
    {
      "role": "system",
      "content": "You are a JSON extractor. Return only valid JSON. No commentary."
    },
    {
      "role": "user",
      "content": "Extract: name, price, currency from the following invoice text: ..."
    }
  ]
}