Искусственный интеллект
Нейросети и языковые модели простыми словами: как они устроены, как писать запросы и проверять ответы, как запустить модель у себя и начать машинное обучение на Python.
Искусственный интеллект (ИИ, по-английски AI — artificial intelligence) — программы, которые решают задачи, раньше доступные только человеку: понимают речь и текст, узнают лица на фото, переводят, отвечают на вопросы, рисуют. Почти все такие программы сегодня построены на машинном обучении: правила не пишет программист, программа сама находит их в примерах. Самый известный способ машинного обучения — нейросети, а среди них — языковые модели, с которыми переписываются в чат-ботах.
Зачем в этом разбираться
ИИ уже встроен в телефоны, поисковики, переводчики, почту и программы для работы. Он экономит время: объясняет тему другими словами, набрасывает черновик, находит ошибку в коде. Но он же уверенно выдумывает факты, а лицо и голос человека теперь можно подделать. Кто понимает, как устроены эти программы, пользуется ими с пользой и не попадается ни на их ошибки, ни на обман с их помощью.
Что нужно для начала
- для первых уроков — только интерес к теме; если есть доступ к чат-боту с ИИ, примеры можно повторять в нём;
- для урока о локальных моделях — компьютер, лучше с видеокартой (сколько памяти нужно — в уроке и в справке);
- для урока о машинном обучении — Python 3 и умение писать простые программы: курс с нуля — в теме Python.
Как пройти курс
Уроки идут по порядку: что такое ИИ и нейросеть, как языковая модель составляет ответ и почему ошибается, как писать запросы, как пользоваться ИИ в учёбе и на работе, как устроены генерация картинок и голоса и как распознать подделку, как запустить модель на своём компьютере, первая программа машинного обучения на Python и, в конце, вопросы этики и закона. После каждого урока — несколько вопросов для проверки, в конце — итоговый тест.
В справочнике — короткие ответы на частые вопросы: что такое токен и промпт, почему нейросеть выдумывает факты, сколько нужно видеопамяти, можно ли отправлять чат-боту личные данные, как распознать дипфейк.
Программы и сервисы в уроках названы как примеры, а не как совет, чем пользоваться. Условия работы сервиса, его правила и то, где он работает, смотрите на его официальном сайте.
Курс с нуля
- 1.Что такое ИИ, машинное обучение и нейросетьЧем искусственный интеллект отличается от обычной программы, как машинное обучение находит правила в примерах и как устроена нейросеть — без сложной математики.
- 2.Как работает языковая модельЧто происходит, когда чат-бот отвечает: токены, предсказание следующего кусочка текста, обучение на текстах, контекст, температура и почему модель уверенно ошибается.
- 3.Как писать запросы к ИИ (промпты)Из чего состоит хороший запрос к нейросети: задача, контекст, роль, формат ответа и примеры. Как уточнять ответ, давать свой материал и проверять результат.
- 4.ИИ для учёбы и работы: что можно и чего нельзяКак ИИ помогает учиться и работать — объяснить тему, проверить себя, найти ошибки — и где начинаются проблемы: выдуманные факты, чужая работа под своим именем, личные и служебные данные.
- 5.Картинки, голос и видео: генерация и подделкиКак нейросети рисуют картинки по описанию, озвучивают текст и подделывают голос и видео, что такое дипфейк и как не попасться на поддельный звонок или ролик.
- 6.Локальные модели: нейросеть на своём компьютереЗачем запускать языковую модель у себя, сколько для этого нужно памяти, что такое квантование и GGUF, и общие шаги запуска с Ollama и llama.cpp.
- 7.Машинное обучение на Python: первая модельПервая программа машинного обучения на Python: признаки и метки, обучающая и проверочная выборки, метод ближайших соседей своими руками, точность и то же самое на scikit-learn.
- 8.Этика и закон: как пользоваться ИИ ответственноГлавные вопросы этики ИИ простыми словами — предвзятость, приватность, авторство, подделки, ответственность — и какие законы касаются ИИ уже сейчас. Без юридических советов.
Справочник
- Как запустить нейросеть на своём компьютереБыстрый способ запустить языковую модель у себя: что проверить в компьютере, как поставить Ollama, скачать модель и переписываться с ней без интернета.
- Как ИИ используют в программированииЧем нейросеть помогает программисту — подсказки в редакторе, объяснение кода, тесты, поиск ошибок — и где подводит: выдуманные функции и библиотеки, уязвимости, секреты в запросах.
- Как понять, что текст написала нейросетьМожно ли надёжно определить текст, написанный ИИ: почему детекторы ошибаются в обе стороны, какие признаки бывают у таких текстов и как проверять честно.
- Как проверить ответ нейросетиПошаговая проверка ответа ИИ: что сверять в первую очередь, где искать первоисточник, как проверить ссылки, расчёты и код.
- Как распознать дипфейкПризнаки поддельного видео, фото и голоса, сделанных нейросетью, и что надёжнее любых признаков: проверка источника, обратный звонок и кодовое слово.
- Можно ли отправлять нейросети личные данныеЧто не стоит отправлять в чат-бот с ИИ — документы, пароли, коды, медицинские и чужие данные, — почему это риск и как обезличить текст перед отправкой.
- Почему нейросеть выдумывает фактыПочему чат-бот уверенно называет несуществующие книги, законы и ссылки — так называемые галлюцинации ИИ — и как снизить их число.
- Сколько видеопамяти нужно для нейросетиСколько видеопамяти и оперативной памяти нужно, чтобы запустить языковую модель на 3B, 8B, 14B или 70B параметров, — примерный расчёт и таблица.
- Чем GPT отличается от нейросети вообщеНейросеть — общий способ машинного обучения, GPT — одно семейство языковых моделей, ChatGPT — сервис на их основе. Как всё это связано и что значат буквы GPT.
- Что такое контекстное окно нейросетиКонтекстное окно — сколько текста языковая модель учитывает за раз. Что в него входит, почему в длинном чате модель «забывает» начало и как задать контекст локальной модели.
- Что такое обучение с учителемОбучение с учителем — машинное обучение на примерах с готовыми ответами. Классификация и регрессия, отличие от обучения без учителя и с подкреплением, пример на Python.
- Что такое переобучение моделиПереобучение — когда модель запоминает обучающие примеры вместо закономерности: на них почти без ошибок, на новых данных плохо. Как его заметить и чем лечить.
- Что такое промпт и как его написатьПромпт — текст запроса к нейросети. Что в него написать, чтобы ответ был точным: готовый шаблон, примеры и что такое системный промпт.
- Что такое токен в нейросетиТокен — кусочек текста, с которым работает языковая модель. Как текст делится на токены, сколько их в слове и почему от этого зависят лимиты и цена.
Официальная документация
- Документация scikit-learn — машинное обучение на Python — https://scikit-learn.org/stable/
- Документация Ollama — языковые модели на своём компьютере — https://docs.ollama.com/
- llama.cpp — запуск моделей в формате GGUF — https://github.com/ggml-org/llama.cpp