Вложение — это таблица поиска, а все остальное зависит от того, как вы ее заполните.

Первоначально опубликовано на сайте cchinchilla.dev. Часть 2 книги «От кода к весам», серии из 12 частей, посвященной основам машинного обучения для инженеров. Часть 1 закончилась индексом. Токенизатор преобразует текст в идентификаторы, идентификатор — это номер строки, а строка находится в матрице, с которой родилась модель. Этот пост читает эту матрицу. Это меньше, чем кажется: таблица поиска, индексированная целым числом, с изученным содержимым. Наука заключается в том, как туда попадает содержимое. Инженерия в том, чего нельзя сделать со столом, когда он окажется внутри. Для этого поста я прочитал два файла: передовой файл torch.nn.Embedding, который представляет собой один вызов, и модуль объединения преобразователей предложений, в котором выполняется другой тип встраивания, тот, который вы помещаете в индекс. Затем я построил индекс из 48 строк и специально разбил его по трем направлениям, чтобы определить, что именно ломается. Это часть серии статей для инженеров, занимающихся машинным обучением. Каждая часть называет одну вещь, которая не ведет себя так, как ведет себя программное обеспечение. Это индекс: у него нет миграции. Матрица и индекс Если вы написали хэш-карту, вы написали большую часть слоя внедрения. nn.Embedding(V, d) выделяет матрицу из V строк и d столбцов. Поиск идентификатора i возвращает строку i. Вот и все