Андрей Карпати уместил GPT в 243 строки чистого Python

[Ole]

Легенда ИИ-разработки Андрей Карпати удивил сообщество, выпустив microGPT. Это полноценная реализация языковой модели, которая уместилась всего в 243 строки кода. Самое поразительное - полное отсутствие внешних тяжелых библиотек. Никакого PyTorch, NumPy или JAX. Только стандартные модули Python вроде math и random. Карпати вручную, с нуля реализовал всё необходимое, от движка автоматического дифференцирования до архитектуры Трансформера и оптимизатора Adam.
Сам автор называет это арт-проектом и образовательным инструментом. Код работает на чистой математике и скалярных вычислениях, поэтому обучение идет медленно и не использует мощности видеокарт. Однако это наглядно демонстрирует, что за магией современных больших языковых моделей скрывается вполне компактный и понятный набор алгоритмов. Весь механизм, который сегодня меняет мир, можно прочитать за чашкой кофе и уместить на двух экранах монитора.
Это логичное продолжение миссии Карпати по демистификации искусственного интеллекта. Ранее он уже выпускал micrograd и minGPT, но в этот раз дошел до абсолютного минимализма, убрав даже тензорные операции. Проект, конечно, не предназначен для реальной работы в продакшене, но для инженеров, желающих понять, как на самом деле думает машина на уровне байтов и формул, это бесценный учебник https://gist.github.com/karpathy/862...cb18360106ce95