Урок 5. Картинки, голос и видео: генерация и подделки
Нейросети умеют не только писать текст. Они рисуют картинки по описанию, озвучивают текст живым голосом, распознают речь, создают и меняют видео. Это удобно — и это же стало инструментом обмана. В этом уроке — как устроена генерация и как не попасться на подделку.
Как нейросеть рисует
Большинство современных генераторов картинок — диффузионные модели. Их обучают так: берут картинку с подписью, шаг за шагом добавляют к ней шум, пока не останется сплошная рябь, а нейросеть учится делать обратное — убирать шум понемногу, подсказкой ей служит подпись.
При генерации всё идёт с конца: модель начинает со случайного шума и шаг за шагом «очищает» его, пока не получится картинка, подходящая к вашему описанию. Поэтому один и тот же запрос даёт разные картинки — каждый раз начальный шум другой. Число, от которого зависит этот шум, называют seed (зерно): с тем же зерном и теми же настройками картинка повторяется.
Описание для картинки строится как обычный промпт, только про внешний вид:
Рыжий кот спит на подоконнике, за окном зимний город, раннее утро,
мягкий свет, акварель, вид сбоку.Что изображено, где, какой свет, в каком стиле, с какой точки — чем конкретнее, тем ближе результат к задуманному. Слабые места генераторов известны: надписи на картинке выходят с ошибками, пальцев бывает больше или меньше пяти, мелкие детали фона сливаются. Новые модели ошибаются реже, но ошибаются.
Есть и открытые модели для картинок, которые работают на своём компьютере с видеокартой, — о запуске моделей у себя — урок Локальные модели.
Голос
- Синтез речи (text-to-speech) — модель читает текст вслух. Современный синтез звучит почти как живой человек: с паузами и интонацией.
- Распознавание речи (speech-to-text) — запись разговора превращается в текст: субтитры, расшифровка лекции, голосовой ввод на телефоне.
- Клонирование голоса — модель подражает голосу конкретного человека по его записи. Для этого бывает достаточно короткой записи — например, из видео в соцсети или голосового сообщения.
Видео и дипфейки
Дипфейк (deepfake — от deep learning, глубокое обучение, и fake, подделка) — фото, видео или запись голоса, где лицо или голос человека заменены или созданы нейросетью: человек «говорит» то, чего никогда не говорил, или «оказывается» там, где никогда не был. Нейросети умеют и создавать видео целиком по текстовому описанию.
Законное применение есть: кино, озвучка на другом языке, восстановление старых записей — с согласия людей. Вредное тоже: мошеннические звонки и видеозвонки от имени родственника или начальника, поддельные заявления известных людей, унизительные подделки с лицами реальных людей, поддельные фото как «доказательство».
Как распознать подделку
Признаки, на которые стоит смотреть:
- Картинка: лишние или сросшиеся пальцы, бессмысленные надписи, разные серьги или дужки очков, «тающие» предметы на фоне, слишком гладкая кожа, тени и отражения не совпадают с источником света.
- Видео: края лица размываются при повороте головы, губы не попадают в слова, человек странно моргает или не моргает, лицо «плывёт», когда перед ним проходит рука, зубы и язык смазаны.
- Голос: ровная интонация без живых пауз и вдохов, странные ударения, задержка перед ответом, неловкая реакция на неожиданный вопрос.
Но признаки — ненадёжная защита. Генераторы быстро становятся лучше, а сжатое видео в мессенджере размывает и подделку, и настоящую запись одинаково. Отсутствие признаков ничего не доказывает. Надёжнее проверять не картинку, а источник:
- Откуда файл? Есть ли то же видео на официальной странице человека или организации, в нескольких независимых источниках?
- Поиск по картинке (обратный поиск изображений) находит оригинал и более старые копии — так видно, если снимок взят из другого события.
- Сильные эмоции, срочность и «никому не говорите» — признаки манипуляции, а не доказательство правды.
Некоторые генераторы и камеры добавляют в файл сведения о происхождении (стандарт C2PA) или невидимые водяные знаки. Такая метка помогает, но её легко потерять при пересохранении, а её отсутствие ничего не говорит.
Звонок от «родственника» или «начальника»
Мошенники подделывают голос, а иногда и лицо в видеозвонке, и просят срочно перевести деньги: «попал в аварию», «нужно срочно оплатить», «звонят из банка, переведите на безопасный счёт».
Не переводите деньги и не называйте коды из SMS во время такого звонка, даже если голос знакомый. Подделка голоса — частый приём мошенников, и деньги после перевода обычно не вернуть.
Что делать:
- Положите трубку.
- Перезвоните человеку сами — по номеру, который вы знаете, а не по присланному в сообщении.
- Задайте вопрос, ответ на который знает только он. Удобно заранее договориться в семье о кодовом слове.
- О попытке мошенничества сообщите в милицию.
Чужие лицо и голос
Делать картинки, видео и записи с лицом или голосом реального человека без его согласия — плохая идея даже в шутку. Такая подделка может унизить человека, навредить его репутации и нарушить закон. Подробнее — в уроке Этика и закон.
Коротко
- Генераторы картинок — в основном диффузионные модели: из шума шаг за шагом получается картинка по описанию.
- Синтез речи озвучивает текст, а клонирование подделывает голос по короткой записи.
- Дипфейк — фото, видео или голос, где человека подменила нейросеть.
- Признаки подделки помогают, но не гарантируют: надёжнее проверить источник.
- Звонок с просьбой о деньгах проверяют обратным звонком по известному номеру.