Если вы когда-либо пытались создать анализатор электронной почты, настроить LLM на корпоративные коммуникации или протестировать конвейер RAG (дополненная генерация данных), вы, вероятно, сталкивались с печально известным набором данных Enron. На протяжении более двух десятилетий Enron...
Если вы когда-либо пытались создать анализатор электронной почты, настроить LLM на корпоративные коммуникации или протестировать конвейер RAG (дополненная генерация данных), вы, вероятно, сталкивались с печально известным набором данных Enron.
На протяжении более двух десятилетий Enron является бесспорным «золотым стандартом» открытых коммуникационных данных. Но давайте будем честными сами с собой: он устарел, сложен с юридической точки зрения и наполнен огромными рисками для конфиденциальности (PII).
Мы столкнулись именно с этим узким местом во время стресс-тестирования наших собственных конвейеров данных и систем искусственного интеллекта. Реальные корпоративные данные защищены строгими соглашениями о неразглашении и законами о конфиденциальности, и Enron просто больше не сокращает их для современных технологических стеков.
Итак, мы решили это исправить. Сегодня мы выпускаем совершенно бесплатный высококачественный синтетический набор данных с открытым исходным кодом, содержащий 1,25 миллиона записей современных коммуникаций.
📊 Что внутри набора данных?
В отличие от старых наборов данных, которые фокусируются только на необработанном тексте электронной почты, мы хотели отразить, как на самом деле общаются современные команды. 1,25 млн записей разделены на три основных компонента:
Электронная почта
Чаты
Календарные события
Самое приятное: он на 100 % не содержит реальной PII (личной информации), что делает его полностью совместимым и безопасным для использования в любой среде.