Как работает распознавание речи: от звуковой волны до ответа нейросети

Зачем обрабатывать звук

Эксперименты с распознаванием речи велись ещё с середины XX века. Уже тогда стало ясно: сырую запись с микрофона нельзя сразу подавать на алгоритм. Люди говорят тише или громче, в комнате всегда есть посторонний шум, и без предобработки растёт доля ошибок.

Современный голосовой помощник проходит три этапа на устройстве: оцифровка, фильтрация и нормализация. Только после этого сигнал уходит в облако, где его разбирает нейросеть.

Оцифровка сигнала

Звук распространяется волной. Микрофон выдаёт аналоговый сигнал, а процессор работает с числами. Между ними стоит АЦП, аналого-цифровой преобразователь, который дискретизирует волну.

При частоте дискретизации 44 кГц каждая секунда записи превращается в массив из 44 000 чисел. Этот поток уже можно фильтровать, сжимать и отправлять на сервер для распознавания голоса.

Фильтрация и нормализация

Фильтрация

Человеческий голос в узком смысле занимает полосу примерно от 75 до 500 Гц, тогда как ухо слышит от 20 до 20 000 Гц. Микрофон умной колонки захватывает широкий спектр, и фильтрация убирает частоты вне речевого диапазона. Так отсекается до 97,5% лишних данных, и дальнейшая обработка идёт быстрее.

Аналоговые фильтры возможны до оцифровки, но цифровой вариант после АЦП даёт более предсказуемый результат.

Нормализация

Нормализация выравнивает громкость: тихий сигнал усиливают, слишком громкий ослабляют. После этого амплитуда записей с разных людей и с разного расстояния до микрофона становится сопоставимой, и нейросеть реже путает похожие слова только из-за уровня звука.

Методы до нейросетей

До массового применения ИИ алгоритмы сравнивали новую запись с эталонными образцами команд. Корреляционный анализ находил наиболее похожий шаблон и запускал заранее прописанное действие. Схема работала для коротких неизменных фраз вроде «включи свет», но плохо масштабировалась на свободную речь с тысячами словоформ.

Ограничение классического подхода: система опиралась на форму сигнала в целом, а не на смысловые признаки речи. Именно этот пробел закрыли нейросети и частотный анализ.

Как нейросети «видят» речь

Нейросеть, как и человек, легче отличает качественные образы, чем считает точное количество. Два разных голоса могут произнести слово «собака» с похожей громкостью, а слова «собака» и «забота» у одного диктора выглядят на осциллограмме схоже, хотя смысл разный. Громкость на графике не равна содержанию речи.

Решение: частотный анализ. Алгоритм разбивает фрагмент записи и для каждой частоты считает уровень энергии. Результат переводят в частотную карту, где громкость закодирована цветом. Такой «снимок» речи ближе к задачам компьютерного зрения, и нейросеть распознаёт на нём паттерны так же, как лица на фото.

На частотной карте ищут не целые слова сразу, а фонемы, минимальные звуковые единицы языка. В русском их около 42, в отдельных классификациях от 46 до 48. Фонемы не совпадают один к одному с буквами: одна буква в разных словах может давать разные звуки. Собрав последовательность фонем, система восстанавливает слова и фразы.

«Нейросеть не слушает ухом: она классифицирует картинку частот, а уже из фонем собирает текст».

От текста к ответу

Распознанный текст голосовой помощник ещё не понимает. Сначала его токенизируют: режут на смысловые единицы. В диалоговых моделях токенами чаще всего становятся слова и знаки препинания.

Затем каждый токен получает эмбеддинг, числовой вектор в многомерном пространстве. Близкие по смыслу слова оказываются рядом: «корова» и «луг» связаны сильнее, чем «корова» и «полёт». Матрицу связей заполняют на больших корпусах текстов машинным обучением: если слова часто встречаются в одном предложении, вес на пересечении растёт.

Семантический теггер определяет роль токенов. На запрос «Кто на лугу?» частица «Кто» и знак вопроса помечают вопросительную конструкцию, а «луг» становится ключевым объектом. Сопоставив вектор «луг» с базой, модель выдаёт ответ вроде «Корова».

Контекст диалога

Одного ответа на изолированный вопрос мало для живого разговора. Рекуррентные нейросети хранят скрытое состояние между репликами: выход предыдущего шага подаётся на вход следующего. Так голосовой помощник помнит, о чём шла беседа несколько фраз назад, и не сбрасывает тему после каждого предложения.

Снаружи это выглядит как разумный собеседник, хотя модель не «понимает» текст в человеческом смысле. Она статистически подбирает наиболее вероятное продолжение на основе обучения на миллиардах примеров из интернета и корпусов книг.

Почему нужен интернет

Обучение нейросети для распознавания голоса требует огромных вычислительных ресурсов, а словари и модели занимают терабайты на дисках дата-центров. Поэтому тяжёлая часть работы голосового помощника выполняется на серверах, а умная колонка лишь записывает звук, показывает индикацию и воспроизводит ответ.

Без стабильного Wi-Fi и доступа в интернет колонка может проигрывать музыку по Bluetooth, но не выполнять сложные голосовые команды, искать факты в сети или управлять умным домом через облако. Именно поэтому при выборе умной колонки важны и качество микрофонов, и надёжность беспроводной связи.