Данные последовательности, такие как язык, фундаментально отличаются от статических данных. Смысл предложения зависит от порядка слов и их взаимоотношений — иногда между словами, расположенными рядом друг с другом, иногда во многих местах.
Данные последовательности, такие как язык, фундаментально отличаются от статических данных. Смысл предложения зависит от порядка слов и их отношений — иногда между словами, расположенными рядом друг с другом, иногда между многими словами. Рассмотрим предложение: «Она дала книгу Тому, потому что он заинтересовался». Чтобы понять, кто такой «он», вы должны вспомнить предыдущие части предложения, даже если эти детали разделены несколькими менее важными словами.
Традиционные модели последовательностей обрабатывают данные поэтапно. Рекуррентные нейронные сети (RNN) и сети долгосрочной краткосрочной памяти (LSTM) сканируют предложение слово за словом, обновляя скрытое состояние, предназначенное для хранения всей необходимой информации. Для коротких предложений это работает достаточно хорошо. Но когда критическая информация находится далеко в последовательности, эти модели испытывают трудности. Старые слова теряют свое влияние по мере продвижения вперед — это ограничение иногда называют проблемой «исчезающего градиента». Это делает RNN и LSTM слабыми при соединении отдаленных деталей, например, при разрешении ссылки на местоимение несколькими предложениями позже.
Механизм внимания напрямую устраняет это ограничение. Вместо того, чтобы полагаться только на последнюю скрытую точку