За пределами веб-скрейпинга: создание инженерии разведки Reddit с помощью Airflow, DuckDB и Ollama

Reddit предлагает бесценный кладезь обсуждений, управляемых сообществом, который обеспечивает богатые данные для вычислительного анализа. Как исследователи и компьютерные ученые, мы можем извлечь осмысленные выводы из этих социальных взаимодействий, используя современные методы инженерии данных и техники ИИ. В этой статье я продемонстрирую, как построить сложный интеллектуальный движок Reddit, который выходит за рамки базового веб-скрейпинга и обеспечивает действенные аналитические выводы с помощью Ollama для локального вывода языковых моделей.