Объединённые контекстно-интент... Заметка

Объединённые контекстно-интентные вложения для масштабируемого текста в SQL

Pinterest разработала аналитический агент для улучшения возможностей преобразования текста в SQL для своего обширного хранилища данных. Они столкнулись с трудностями из-за масштаба и сложности своих данных, с многочисленными таблицами и разнообразными аналитическими потребностями. Агент использует объединённые контекстно-интентивные эмбеддинги, чтобы передать смысл запросов, обеспечивая семантическое понимание. Одновременно он извлекает структурные, статистические закономерности и включает метаданные управления для ранжирования результатов. Хранилище данных изначально нуждалось в очистке и стандартизации, что привело к появлению программы управления таблицами с многоуровневыми классификациями. Аналитические знания кодируются из истории запросов, выходя за рамки простого сопоставления ключевых слов. SQL-запросы переводятся в описания на естественном языке, фиксируя исходный аналитический замысел через трёхэтапный процесс. Обобщаемые описания и аналитические вопросы создают повторно используемую базу знаний. Это описание на естественном языке затем встраивается в векторное представление для поиска на основе намерения. Также выделяются структурные и статистические паттерны, включая схемы соединения и агрегации. Эти закономерности сочетаются с метаданными управления, чтобы создать систему ранжирования, ориентированную на управление. Агент использует эти два аспекта для предоставления необходимой информации для генерации и проверки ответов на аналитические вопросы.
CdXz5zHNQW_RcLxSqw9JO.png