TheNote
DZone.com Feed на русском Заметка
GooglePlay AppStore

DZone.com Feed на русском

DZone - это комплексная онлайн-платформа, посвященная различным аспектам технологий и программирования. Сайт предоставляет обширную информацию о различных языках программирования, технологиях, фреймворках и инструментах. Среди основных возможностей и ресурсов сайта - новости и статьи о последних тенденциях и обновлениях в технологическом секторе, различные ресурсы и учебники для обучения различным навыкам программирования, а также сообщество, где пользователи могут общаться друг с другом и делиться своим опытом и знаниями. Кроме того, DZone предлагает объявления о вакансиях для технических специалистов, являясь полезным ресурсом для тех, кто интересуется технологиями и программированием.
DZone.com Feed dzone.com
RSS feeds.dzone.com
DZone.com Feed на русском RSS thenote.app
RSS Hunter RSS Hunter • 22 авг. 2024 г.

Трэд заметок

Обнаружение продуктов с помощью ИИ

TL;DR: Решение о том, что строить, — это новая работа, поскольку код больше не является ограничением.Агентное кодирование устранило барьер затрат, который раньше мешал продуктовым командам одновременно реализовывать все идеи, и ограничение сместилось на продуктовое суждение: способность определить, что стоит строить. Продуктовое исследование с помощью ИИ может подготовить это суждение, анализируя гораздо больше клиентских данных, чем любой продакт-менеджер. Такой агент исследования анализирует три группы источников, проверяет восемь паттернов и аргументирует как против, так и за ваше текущее направление.Фреймворк A3 называет эту работу: Помощь (Assist) — агент анализирует и подготавливает, а люди решают. Фреймворк также помогает определить границы агента с помощью холста передачи A3 (A3 Handoff Canvas) — что делает агент, что делает человек, какие данные мы используем и т. д. — и определения готовности ИИ (AI Definition of Done) — как выглядит качественный вывод ИИ — до первого запуска.
AI-Assisted Product Discovery dzone.com
RSS Hunter RSS Hunter • 13 нояб.

Выбор фреймворка BBD

Несколько лет назад я присутствовал на спринт-ревью, где менеджер продукта и старший разработчик потратили двадцать минут, споря из-за одной строки в задаче: «Пользователи могут сбросить свой пароль». Разработчик сделал именно это. Менеджер продукта ожидал блокировки после трех неудачных попыток, подтверждения по электронной почте и ссылки, срок действия которой истекает через час. Никто не был неправ, в строгом смысле слова. У них просто были разные представления, и задача никогда не заставляла никого зафиксировать свои мысли на бумаге.Этот разрыв между тем, что люди говорят, и тем, что они имеют в виду, — причина существования разработки, управляемой поведением (BDD). И это также причина, по которой выбор инструмента BDD — это не столько о функциях, сколько о том, как общается ваша команда.
Choosing a BBD Framework dzone.com
RSS Hunter RSS Hunter • 13 нояб.

Ключевые метрики классификации машинного обучения, которые нужно понимать

Точность — это то, что многие новички ищут при создании модели машинного обучения. Представьте, что у вас есть модель, которая обнаруживает кожные заболевания. Ваш тестовый набор данных состоит из 10 000 пациентов, из которых только 100 больны, а остальные здоровы. Модель в итоге предсказывает, что все здоровы. Это даст 99% точности, что звучит впечатляюще, но модель не смогла выявить ни одного больного пациента.Теперь подумайте о развертывании ее в реальном мире, слепо доверяя ее точности. Это было бы катастрофой, поскольку она не смогла выявить ни одного больного человека во время тестирования. Вот почему модели могут потерпеть неудачу в реальном мире, даже если они показали впечатляющую точность на этапе тестирования. Чтобы по-настоящему понять поведение модели в реальной жизни, нам нужно рассмотреть метрики, выходящие за рамки точности.
Key ML Classification Metrics You Need to Understand dzone.com
RSS Hunter RSS Hunter • 13 нояб.

Контроллер и доступ к данным: понимание двухуровневой архитектуры через абстракцию и инкапсуляцию

Не каждое реальное приложение нуждается в полной Чистой Архитектуре с ее множеством слоев, инверсией зависимостей и строгими границами домена. Многие производственные системы — особенно внутренние корпоративные приложения, такие как HRMS и платформы расчета заработной платы — успешно работают на более простой, прагматичной двухуровневой архитектуре: уровне контроллера и уровне доступа к данным.Понимание того, почему эта более простая структура работает и как она связана с теми же принципами ООП, лежащими в основе Чистой Архитектуры, позволяет увереннее работать в любом типе кодовой базы.
Controller and Data Access: Understanding Two-Layer Architecture Through Abstraction and Encapsulation dzone.com
RSS Hunter RSS Hunter • 13 нояб.

Проектирование горячих клавиш: когда распределенные системы перестают распределять

Распределенные системы обычно распределяют данные путем хэширования ключей по узлам, чтобы ни один узел не нес всю нагрузку. "Горячий" ключ нарушает это предположение. Это ключ, объем доступа к которому значительно превышает объем доступа к другим ключам за определенный период. Глобальный счетчик просмотров или идентификатор популярного элемента может получать миллионы чтений или записей в секунду. Каждый запрос направляется в один и тот же раздел, даже когда остальная часть кластера имеет свободные мощности.Результатом является неравномерная нагрузка. Один узел достигает пределов своего процессора, сети, потоков или соединений, в то время как другие узлы остаются недоиспользованными. Добавление узлов не решает проблему, поскольку трафик продолжает разрешаться в тот же раздел. Перегруженный раздел становится узким местом для системы, которая предназначалась для распределения работы.
Designing for Hot Keys: When Distributed Systems Stop Distributing dzone.com
RSS Hunter RSS Hunter • 13 нояб.

От изменений базы данных к действиям в реальном времени в масштабе: Oracle GoldenGate и Java

Изменения в базе данных могут передаваться в реальном времени через Oracle GoldenGate. Затем Java-приложения могут их получать для проверки/обработки/маршрутизации событий без опроса базы данных. ЦельПрослушивать транзакции в базе данных в реальном времени, обрабатывать все операции в рамках транзакций и поддерживать границы транзакций с SLA, близкими к реальному времени.
From Database Changes to Real-Time Actions at Scale: Oracle GoldenGate and Java dzone.com
RSS Hunter RSS Hunter • 13 нояб.

ИИ не заменил разработку программного обеспечения; он изменил узкое место

ИИ значительно снизил стоимость генерации кода. Но разработка программного обеспечения — это не только генерация кода. Поскольку реализация ускоряется, реальные узкие места перемещаются в планирование, архитектуру, ревью, тестирование, развертывание и долгосрочное обслуживание. Команды, которые продолжают оптимизировать только скорость написания кода, обнаружат, что тратят больше времени на исправление проблем, которых можно было бы избежать. Скорость меняет распределение времени инженеровИсторически затраты, связанные с изменениями и перестройкой программного обеспечения, были огромными. Однако ИИ позволяет организациям двигаться невероятно быстро. На порядки раньше разработка требовала больше усилий, чем любой другой этап жизненного цикла разработки программного обеспечения. Тем не менее, ИИ создал реальность, в которой инженеры могут быстро создавать, снижая некоторые из этих затрат на изменения.
AI Didn't Replace Software Engineering; It Changed the Bottleneck dzone.com
RSS Hunter RSS Hunter • 13 нояб.

7 функций Swift, которые позволят вам удалить код завтра

Каждый год на сессии Apple "Что нового в Swift" представляются тридцатиминутные обзоры новых возможностей языка, и каждый год в сводках они перечисляются в том порядке, в котором были представлены на сцене. Этот порядок оптимизирован для ключевого доклада, а не для вашего спринта.Этот список отсортирован иначе. Вопрос для каждой функции один и тот же: насколько далеко она от изменения, которое я могу открыть завтра? Некоторые из них представляют собой однострочные изменения, которые устраняют хак, за который вы извинялись с 2021 года. Другие мощные, хорошо продуманные и не коснутся кода вашего приложения в течение года. Оба заслуживают понимания. Только одно заслуживает задачи.
7 Swift Features That Will Let You Delete Code Tomorrow dzone.com
RSS Hunter RSS Hunter • 13 нояб.

Обнаружение дубликатов с помощью машинного обучения в 2026 году: от метрик строк до эмбеддингов и больших языковых моделей

Чем больше данных компании собирают о своих клиентах, продуктах и коде, тем больше накапливается дублирующейся информации, что сбивает с толку команды, которые на нее полагаются. Миллионы записей вручную не переберешь. Поэтому дедупликация теперь стала проблемой машинного обучения. В этой статье рассматривается текущее состояние обнаружения дубликатов в системах машинного обучения, где старые методы все еще работают, а также то, что привнесли в эту область эмбеддинги и большие языковые модели. Как системы машинного обучения обнаруживают дубликаты?Человек может посмотреть на две картинки или две строки и понять, одинаковые ли они. Обучение машины тому же самому поднимает сложные вопросы. Что такое «похожее»? Существуют степени сходства. Является ли «Джон Смит, ул. Дуб, 12» тем же клиентом, что и «Джонатан Смит, ул. Оук, 12»?
Detecting Duplicates With Machine Learning in 2026: From String Metrics to Embeddings and LLMs dzone.com
RSS Hunter RSS Hunter • 12 нояб.

Поглощение общедоступных данных, которые молчаливо выходят из строя: закономерности из конвейера TypeScript и Cloudflare Workers

АннотацияПубличные статистические наборы данных редко выдают ошибку. Когда что-то идет не так, они возвращают правдоподобное число, HTML-страницу со статусом успеха или серию данных, которая тихо перестала обновляться. В этой статье описывается конвейер приема данных для оценщика стоимости жилого бетона, который объединяет четыре общедоступных набора данных: ежегодный обзор заработной платы по профессиям, ежемесячный индекс цен производителей, отраслевой эталон цен на материалы за 2022 год и перекрестную таблицу почтовых индексов и метрополий.Для каждого набора данных я документирую режим сбоя, который мы фактически наблюдали, доказательства его наличия и код TypeScript, который преобразует его в явное состояние. Основное утверждение заключается в том, что каждый тихий сбой должен стать типизированным значением, которое сопровождает число до самого пользовательского интерфейса. Конвейер работает на локальном CLI и запланированном Cloudflare Worker, записывает данные в Cloudflare D1 и обслуживает статический сайт.
Ingesting Public Data That Fails Silently: Patterns From a TypeScript and Cloudflare Workers Pipeline dzone.com
RSS Hunter RSS Hunter • 12 нояб.

Создание надежного поискового агента с использованием Foundry, Azure AI Search и Cosmos DB, контейнеризированного с помощью Docker и наблюдаемого с помощью Grafana

Почему "Поиск" больше не достаточенПростой RAG-пайплайн — встраивание запроса, обращение к векторному индексу, помещение топ-k фрагментов в промпт — отлично подходит для одноразового FAQ-бота. Он разваливается в тот момент, когда вам нужно:Многоходовая память ("а что насчет прошлого квартала?" требует понимания, к чему относится "прошлый квартал") Решение о том, нужно ли вообще искать (некоторые вопросы требуют структурированного поиска, а не извлечения документов) Ссылки, которые вызывающий абонент может проверитьВ этой статье мы создадим небольшой, но полноценный агент с обоснованным поиском: Azure OpenAI (через Microsoft Foundry) решает, когда использовать инструмент поиска, а когда — инструмент структурированных данных, Azure AI Search обрабатывает извлечение и семантическое ранжирование по неструктурированным документам, а Azure Cosmos DB хранит состояние разговора и структурированные метаданные заказов/клиентов. Агент использует функцию вызова OpenAI для маршрутизации между двумя источниками данных и всегда возвращает ссылки.
Building a Grounded Search Agent With Foundry, Azure AI Search, and Cosmos DB, Containerized With Docker and Observed With Grafana dzone.com
RSS Hunter RSS Hunter • 12 нояб.

Сохранение файлов cookie между вызовами сервиса JAX-WS с использованием пользовательского обработчика SOAP

Печенье, которое так и не вернулосьПервый вызов аутентифицировал пользователя. Второй не удался.Я интегрировался с предоставленным клиентом SOAP-сервисом, доступным через единый WSDL, с клиентскими классами JAX-WS, сгенерированными IBM Rational Application Developer из WSDL и его XSD. Первый вызов аутентифицировал пользователя и вернулся с заголовком Set-Cookie. Каждый последующий вызов нуждался в этом файле cookie. Сгенерированный клиент не отправлял ничего. Каждое вызов действовал как независимый разговор, и рабочий процесс нарушался на втором шаге. Никаких исключений, никаких предупреждений. Просто сервер, который забыл, кто вы.
Persisting Cookies Across JAX-WS Service Calls Using a Custom SOAP Handler dzone.com
RSS Hunter RSS Hunter • 12 нояб.

Создание корпоративной аутентификации с помощью Angular, Spring Boot, SSO и MFA

Аутентификация в корпоративных приложениях, особенно с использованием таких фреймворков, как Angular и Spring Boot, является не просто дополнительной функцией, а фундаментальным архитектурным аспектом. Реализация таких функций, как единый вход (SSO) и многофакторная аутентификация, существенно влияет на функционирование всего приложения. SSO, хотя и кажется простым, требует адаптации фронтенда к новому процессу аутентификации. Приложения должны включать маршрутные защитники, чтобы гарантировать авторизацию пользователей перед загрузкой компонентов. Обработка перенаправлений к поставщикам удостоверений и от них требует сохранения предполагаемого состояния приложения. Кроме того, фронтенд должен корректно обрабатывать истечение срока действия токенов, рассматривая это как стандартное и ожидаемое событие, а не как аномалию. Эти сложности подчеркивают, что аутентификация определяет основную архитектуру фронтенда, влияя на управление маршрутами и обработку состояния. Она коренным образом меняет внутреннюю работу приложения, выходя за рамки простого экрана входа. Поэтому аутентификация должна быть интегрирована с самых ранних этапов разработки, а не как запоздалая мысль.
Building Enterprise Authentication with Angular, Spring Boot, SSO, and MFA dzone.com
RSS Hunter RSS Hunter • 12 нояб.

Лучшее из трех миров: ИИ-агенты, пишущие на Rust и Java, превосходят библиотеку C

Каждое приложение, принимающее загрузку фотографий, рано или поздно столкнется с HEIC. iPhone сохраняет в этом формате по умолчанию. Ни Java, ни Rust не могут читать его "из коробки", а обычным решением является libheif — библиотека на C: нативные пакеты в каждом образе контейнера, C-тулчейн при сборке и парсер на C, читающий файлы, загруженные незнакомцами.Я столкнулся с этой проблемой дважды, в Java-продукте и в Rust-продукте. Поэтому я пошел другим путем: декодеры, написанные на самом языке, созданные и улучшенные AI-агентами по кодированию, под моим руководством. Вот как это было.
Best of Three Worlds: AI Agents Writing In Rust and Java Beat the C Library dzone.com
RSS Hunter RSS Hunter • 12 нояб.

Кэширование промптов для LLM, Часть 3: Кэширование на стороне модели и внедрение в продакшн

Резюме: Где это уместноЧасть 1 этой серии была посвящена кэшированию точных совпадений, а Часть 2 — семантическому кэшированию. Оба располагаются перед моделью и могут полностью пропустить вызов при совпадении. Эта статья охватывает то, что происходит с запросами, которые все же достигают модели: повторное использование вычисленного состояния модели, либо внутри вашего собственного механизма вывода, либо внутри системы поставщика API, а также производственные детали, которые превращают план кэширования в то, что команда может реально выполнить и чему доверять.Уровни 3 и 4 представляют собой две версии одной и той же основной идеи — повторное использование вычисленного состояния модели, разделенные по тому, кто управляет сервером модели. Если вы управляете собственными графическими процессорами, применяется уровень 3. Если вы вызываете размещенный API, применяется уровень 4. Вам редко требуется оба одновременно для одного и того же вызова модели.
Prompt Caching for LLMs, Part 3: Model-Side Caching and Production Rollout dzone.com
RSS Hunter RSS Hunter • 12 нояб.

Почему скрапинг трубопроводов ломается в производстве

Производственный код подвергается проверке. Сборки отслеживаются, библиотеки проверяются на наличие известных уязвимостей, и кто-то несет ответственность, когда сервис выходит из строя ночью.Задача, которая получает внешние данные, обычно избегает всего этого. Она началась как быстрый скрипт, была запланирована и с тех пор работает без изменений. У нее нет тестов, единственная обработка ошибок — это блок перехвата всех исключений, а ее автор мог давно покинуть команду.
Why Scraping Pipelines Break in Production dzone.com
RSS Hunter RSS Hunter • 11 нояб.

Панель отладки Microsoft Foundry Agent с Microsoft Fabric Eventhouse, KQL, Docker и Grafana

Агент, созданный в Microsoft Foundry, принимает множество решений за один прогон. Он вызывает модель, выбирает инструмент, считывает результат инструмента и снова вызывает модель. Когда ответ медленный или неправильный, причина кроется где-то в этой последовательности, а окончательный ответ не дает никаких подсказок о том, какой шаг вышел из строя.Foundry записывает эту последовательность как трассировки OpenTelemetry. По умолчанию размещенный агент отправляет их в Application Insights, что является хорошим местом для начала. Для команды, которая ежедневно создает агентов, остаются два пробела. Первый пробел возникает во время разработки. Разработчик, который изменяет подсказку или инструмент, хочет видеть промежутки этого одного прогона в течение нескольких секунд на ноутбуке, без развернутого проекта. Второй пробел возникает после развертывания. Владельцы агентов хотят иметь общую панель мониторинга с количеством прогонов, перцентилями задержки, использованием токенов, задержкой инструмента и ошибками, и они хотят запрашивать необработанные промежутки на том же языке, который они используют для остальных своих данных.
Microsoft Foundry Agent Debugging Dashboard with Microsoft Fabric Eventhouse, KQL, Docker and Grafana dzone.com
RSS Hunter RSS Hunter • 11 нояб.

Потребители Kafka на EKS: проектирование для платформы, которая перезапускает вашу группу потребителей

Это сценарии сбоев, которые действительно требуют вашего вмешательства, и скучные исправления, которые их предотвращают.Потребитель Kafka — это клиент с состоянием, построенный на протоколе членства. Он присоединяется к группе, принимает назначение раздела, обрабатывает записи по порядку и доказывает, что он все еще жив, с помощью фиксированного ритма пульса и вызовов опроса. Каждая гарантия, которую предлагает группа — упорядоченная обработка, разделение нагрузки, ровно один владелец на раздел — опирается на стабильность этого членства во время потока работы через него.
Kafka Consumers on EKS: Designing for a Platform That Restarts Your Consumer Group dzone.com
RSS Hunter RSS Hunter • 11 нояб.

Gitember: Создание Git-клиента, выходящего за рамки коммитов, пушей и пуллов

Git играет ключевую роль в современной разработке программного обеспечения. Однако большинство графических интерфейсов Git по-прежнему сосредоточены на одних и тех же основных операциях: подготовка, фиксация, ветвление, слияние, получение и отправка.Эти действия важны, но они охватывают лишь часть того, что разработчики делают каждый день.
Gitember: Building a Git Client Beyond Commit, Push, and Pull dzone.com
RSS Hunter RSS Hunter • 11 нояб.

Как (и почему) строить динамические дата-пайплайны

ИИ меняет то, как мы пишем код. На прошлой неделе друг рассказал мне, что он выполнил пользовательскую историю по добавлению новых столбцов в таблицу и протестировал ее менее чем за час. Команды, работающие выше по потоку, теперь выпускают изменения за дни, на которые раньше уходили месяцы.Для конвейеров данных, которые находятся ниже этих быстро меняющихся систем, такая скорость является новым ограничением проектирования. Одним из возможных решений является создание динамических конвейеров данных, которые построены так, чтобы идти в ногу со временем.
How (and Why) to Build Dynamic Data Pipelines dzone.com
RSS Hunter RSS Hunter • 11 нояб.

Отношение к веб-скрейперам как к производственным услугам

Большинство команд воспринимают поломку веб-скрапера как рутину. Кто-то замечает некорректные данные, открывает страницу в браузере, исправляет селектор и перезапускает. Это работает, когда у вас один скрапер и кто-то ежедневно просматривает его вывод. Это перестает работать, когда у вас их дюжина, и поломка проявляется через неделю в виде странной цифры в отчете ниже по цепочке. В этой статье я расскажу, как я построил скраперы, которые каталогизируются, проверяются на работоспособность, отслеживаются и ремонтируются, как и любая другая продакшн-служба, при этом LLM предлагает исправления, а обычный Python решает, будут ли эти исправления внедрены.Проект возник на хакатоне WeMakeDevs, где он занял первое место. Сам продукт невелик: он извлекает данные телегида за примерно двенадцать дней от трех стриминговых провайдеров, ранжирует десять лучших предстоящих фильмов и десять лучших предстоящих шоу и позволяет записать любое из них на Philo одним кликом. Я опущу описание продукта и сосредоточусь на технической части: правилах отклонения, модели состояния, верификаторе и коде, стоящем за каждым из них. Эти компоненты применимы к любой команде, которая использует скраперы, или к любой команде, которая позволяет LLM изменять рабочую систему.
Treating Web Scrapers Like Production Services dzone.com
RSS Hunter RSS Hunter • 11 нояб.

Kubernetes Rolling Updates обманывают вас — и за это платят ваши пользователи

Есть момент во время поэтапного обновления, когда все выглядит нормально.Старые поды выгружаются. Новые поды запускаются. Тесты готовности проходят. Контроллер развертывания доволен. Вы наблюдаете, как в терминале меняются счетчики реплик, и думаете, что все работает точно так, как задумано.
Kubernetes Rolling Updates Are Lying to You — and Your Users Are Paying for It dzone.com
RSS Hunter RSS Hunter • 11 нояб.

Кэширование промптов для LLM, Часть 2: Семантическое кэширование в продакшене

Резюме: Где это уместноЧасть 1 этой серии была посвящена кэшированию точных совпадений: хешированию полного запроса и возврату сохраненного ответа при точном совпадении нового запроса со старым. Этот уровень быстр и безопасен, но помогает только тогда, когда входные данные совпадают точно, что часто встречается в шаблонном трафике и редко в открытом диалоге.Эта статья охватывает уровень, который устраняет этот пробел: семантическое кэширование. Часть 3 посвящена тому, что происходит, когда запрос фактически достигает модели: повторное использование KV-кэша, размещенного на собственном сервере, и кэширование префиксов поставщика, а также производственные детали: отслеживание метрик, расчет затрат и полный контрольный список.
Prompt Caching for LLMs, Part 2: Semantic Caching in Production dzone.com
RSS Hunter RSS Hunter • 11 нояб.

Создание готовых к производству ИИ-агентов для телефонии: инфраструктура, модели и телефония

Введение: От прототипа голосового ИИ до оператора производственного телефонаДемо голосового ИИ — это модель, микрофон и колонка. Телефонный агент — это распределённая система. Аудио поступает от оператора по SIP-магистрали, звонящие прерывают на плохих линиях, бэкенды перерываются, у операторов моделей плохие рабочие минуты, и звонящие ищут человека в тот момент, когда что-то идёт не так. В этой статье показано, как создать ИИ-ресепшиониста для стоматологической клиники. Он отвечает на звонки на номер клиники, ищет пациентов по идентификатору звонящего, ищет и записывается на приёмы через бэкенд-API, а также передаёт звонки на ресепшн, когда требуется человек. Он работает на LiveKit Agents — открытом фреймворке для Python и Node.js. Логи выделяют, какие функции требуют LiveKit Cloud. Каждый фрагмент взят из одного рабочего проекта, и каждый вывод показывает, что он напечатал.
Build Production-Ready AI Phone Agents: Infrastructure, Models, and Telephony dzone.com
RSS Hunter RSS Hunter • 10 нояб.

Когда использовать AMQP, JMS, Kafka или MQTT: компромиссы, а не победитель

AMQP, JMS, Kafka и MQTT выстраиваются в ряд, как будто вы выбираете один и двигаетесь дальше. В большинстве случаев такое сравнение является категориальной ошибкой.Эту ошибку становится легче совершить, потому что инструменты теперь пересекаются больше, чем раньше. Kafka добавил семантику очередей с помощью Share Groups. RabbitMQ добавил лог. Комитет по стандартам AMQP возобновил работу после многолетнего затишья, теперь занимаясь агентным ИИ. MQTT закрепился в версии 5.0 как стандарт для периферийных устройств. JMS, зрелое исключение, остается неизменным, потому что он уже работает. Инструменты заимствуют функции друг у друга. Однако лежащие в их основе модели и связанные с ними компромиссы не слились.
When to Use AMQP, JMS, Kafka, or MQTT: Trade-Offs, Not a Winner dzone.com
RSS Hunter RSS Hunter • 10 нояб.

Кафка против Флинка против Спарка: Действительно ли вам нужен реальный режим времени?

"В реальном времени" — самое переоцененное слово в инфраструктуре данных.Каждый поставщик в споре Kafka против Flink против Spark начинает с этого. Миллисекунды. Более быстрые движки. Графики тестов, где их продукт выигрывает. Презентация всегда одна и та же, и она играет на страхе: отстаньте по задержке, и вы отстанете в бизнесе.
Kafka vs Flink vs Spark: Do You Really Need Real-Time? dzone.com
RSS Hunter RSS Hunter • 10 нояб.

Создание магазина функций с Neo4j и Feast

Хранилища признаков решают критическую проблему несогласованности признаков между обучением и обслуживанием моделей машинного обучения. Feast — это решение с открытым исходным кодом, предназначенное для устранения этого разрыва путем управления реестрами признаков, материализацией и онлайн-извлечением. Это гарантирует, что модели последовательно получают доступ к тем же данным в производственной среде, что и во время обучения. Хотя часто демонстрируется с использованием реляционных баз данных или облачных хранилищ данных, в этой статье исследуется альтернативный подход. В ней используется Neo4j Desktop в качестве движка для вычисления признаков. Пять признаков включают простые агрегации, которые легко обрабатываются запросами Cypher. Шестой признак, идентификатор сообщества клиентов, получается с использованием графовых алгоритмов. Эти алгоритмы идентифицируют клиентов со схожими моделями покупок с помощью сходства узлов Graph Data Science. Затем обнаружение сообществ Louvain группирует этих похожих клиентов. Затем Feast поглощает все шесть признаков. Он материализует их в автономное хранилище SQLite для эффективного обслуживания во время вывода. Этот процесс также обеспечивает построение корректных с точки зрения времени обучающих данных.
Building a Feature Store With Neo4j and Feast dzone.com
RSS Hunter RSS Hunter • 10 нояб.

Агент-жгут, индексирование памяти и управление ИИ в автоматизации тестирования

Команды разработчиков программного обеспечения внедряют ИИ-агентов для написания, запуска и исправления тестов быстрее, чем когда-либо прежде. Прорыв обычно заключается не только в самой модели. ChatGPT и Cursor могут использовать один и тот же базовый интеллект, но один ощущается как помощник по копированию и вставке, в то время как другой ощущается как член команды, который может редактировать файлы, выполнять команды и итерировать до завершения задачи. Разница заключается в "упряжи" агента: уровне оркестрации, который оборачивает модель инструкциями, инструментами, контекстом и ограничениями, чтобы сырое рассуждение стало надежным действием.В автоматизации тестирования этот разрыв имеет еще большее значение. Неудачный сценарий может привести к тысячам строк вывода Playwright, охватывать объектные модели страниц, определения шагов, тестовые данные и несколько сред. Если все это свалить в один длинный чат, модель замедлится, расходы возрастут, а решения станут менее четкими. Хорошо спроектированная "упряжь" рассматривает модель как планировщика, а не как самосвал. Она индексирует кодовую базу, чтобы агент мог задавать структурные вопросы вместо чтения целых файлов. Она делегирует выполнение тестов и генерацию файлов небольшим, изолированным рабочим процессам, которые возвращают компактные сводки. Она проверяет учетные данные, профили сред и эталонные фикстуры перед запуском, чтобы сбои были обнаружены на ранней стадии, а не ошибочно помечены как "сломанные локаторы". И когда что-то ломается, она направляет сбой по управляемому пути: диагностика, исправление, аудит исправления, повторный запуск только измененного, отчет о результатах в форме, с которой люди могут работать.
Agent Harness, Memory Indexing, and AI Governance in Test Automation dzone.com
RSS Hunter RSS Hunter • 10 нояб.

Трубопровод провалился, но инфраструктура изменилась

Большинство конвейеров инфраструктуры сводят операцию к двум фактам: команде, которая была выполнена, и коду ее завершения.Этого достаточно, чтобы определить, завершился ли процесс. Но этого недостаточно, чтобы понять, что произошло с инфраструктурой.
The Pipeline Failed, But the Infrastructure Changed dzone.com
RSS Hunter RSS Hunter • 10 нояб.

Кэширование промптов для LLM, Часть 1: Кэширование точных совпадений в продакшене

Почему кэширование промптов важно для LLM-приложений?Современные LLM-приложения часто получают один и тот же или почти один и тот же промпт более одного раза. Это происходит при отправке форм, распространенных вопросах в FAQ, вызовах инструментов агента или когда пользователь задает один и тот же вопрос разными словами. Без кэширования каждый из этих повторяющихся запросов влечет за собой полную стоимость токенов, полную задержку и создает ненужную нагрузку на ваши лимиты запросов.Сегодня на практике используются четыре метода кэширования. Эта статья, Часть 1 из 3-серийного цикла, охватывает первый и самый базовый: кэширование по точному совпадению. Часть 2 охватывает семантическое кэширование для запросов, которые означают одно и то же, но сформулированы по-разному. Часть 3 охватывает то, что происходит на уровне самого обслуживания модели: повторное использование KV-кэша при самостоятельном размещении и кэширование префиксов поставщика, а также производственные детали, которые в конечном итоге нужны каждой команде: отслеживание метрик, расчет затрат и полный контрольный список.
Prompt Caching for LLMs, Part 1: Exact-Match Caching in Production dzone.com
RSS Hunter RSS Hunter • 10 нояб.

Отслеживание опасных путей кода Python с помощью rce-path

Найти вызов eval() в репозитории Python легко. Понять, откуда берется его аргумент, требует больше усилий.Та же проблема возникает и с командами оболочки. Сканер может указать на subprocess.run(), но рецензенту все равно придется отслеживать команду через присваивания, форматирование строк и ветвления. Затем возникает более сложный вопрос: может ли кто-то за пределами предполагаемой границы доверия контролировать этот ввод?
Tracing Dangerous Python Code Paths With rce-path dzone.com
RSS Hunter RSS Hunter • 10 нояб.

Подготовка к совершенствованию с помощью искусственного интеллекта

Подготовка к сессиям уточнения бэклога может быть трудоемкой и повторяющейся задачей. Искусственный интеллект отлично справляется с такими утомительными задачами, как просмотр всех элементов бэклога и комментариев команды. Однако возникает значительный риск, когда ИИ-агенту поручается "помощь в уточнении". Такой агент может непреднамеренно увести разговор от команды. Даже не написав критерии приемки, агент может предлагать действия, такие как закрытие, объединение, разделение или создание элементов бэклога. Это заранее отвечает на вопросы, которые команда должна была исследовать во время уточнения. Чтобы смягчить это, необходимо установить четкие границы, прежде чем использовать агента. Роль агента должна заключаться в выявлении доказательств и формулировании вопросов. Затем владелец продукта отвечает за рассмотрение этих вопросов и определение повестки дня для фактической сессии уточнения. Затем команда проводит процесс уточнения на основе этой повестки дня. Документирование этих границ в A3 Handoff Canvas закрепляет обязанности агента и позволяет владельцу продукта обеспечить их соблюдение.
AI-Assisted Refinement Preparation dzone.com
RSS Hunter RSS Hunter • 10 нояб.

Использование инструмента оценки Anthropic для проверки эффективности плагина кода Claude

Навык Claude Code — это документ в формате Markdown, который помощник загружает, когда задача соответствует его описанию. Коллекция навыков, агентов и хуков может быть упакована в виде плагина и распространяться через маркетплейс. С лета 2026 года моя среда разработки полагается на такой плагин для работы с Java, состоящий из набора агентов и навыков Spring Boot, Quarkus, Apache Camel и Jakarta EE. Эта коллекция начиналась как небольшой набор артефактов, но постепенно я расширял ее, так что через несколько месяцев она содержала 43 файла и 17 338 строк.Это породило точный вопрос: действительно ли соглашения стека, предоставляемые этим плагином, вносили какой-либо измеримый вклад в конечный результат, или модель, благодаря своим внутренним общим знаниям, могла бы вывести тот же результат с гораздо меньшим количеством токенов?
Using the Anthropic Evaluation Tool to Check the Claude Code Plugin Efficiency dzone.com
RSS Hunter RSS Hunter • 9 нояб.

Создание резервирования платежей по нескольким каналам для устранения всплесков задержек и двойных списаний

Почему платежные конвейеры с единым шлюзом выходят из строя при параллельной обработкеПри создании корпоративных платформ розничной торговли и электронной коммерции многие инженерные команды рассматривают обработку платежей как стандартный вызов REST API. Терминал точки продаж (POS) инициирует запрос на оформление заказа, уровень приложения отправляет полезную нагрузку поставщику платежных услуг (PSP), а полученный сетевой ответ (200 OK, 402 Отклонено или 504 Тайм-аут шлюза) определяет завершение заказа.Это кажется довольно простым, но есть три специфических системных слабости, которые необходимо учитывать при высоком транзакционном трафике:
Building Multi-Rail Payment Failover to Stop Latency Spikes and Double Debits dzone.com
RSS Hunter RSS Hunter • 9 нояб.

Каждое поглощение обещает создание одной компании. В большинстве случаев в результате появляются две.

В понедельник утром внутри компании, о которой большинство людей никогда не слышали, приглашение всех сотрудников появляется на 200 календарях. Без повестки. Только время и видеоссылка. Люди ждут обновления продукта. Вместо этого они получают улыбающегося генерального директора, который произносит фразу, которую почти каждый в приобретённой компании в итоге слышит: «Мы рады объявить, что теперь стали частью большой семьи.» На этаже, в совершенно другом здании, празднует гораздо меньшая группа. Там шампанское. Есть рукопожатия. Банковский перевод только что одобрен. Для них этот день — явная победа. Для 200 человек на этом звонке это день, когда их организационная структура, менеджер, инструменты и иногда должность перестали полностью принадлежать им, чтобы решать.
Every Acquisition Promises One Company. Most Deliver Two. dzone.com
RSS Hunter RSS Hunter • 9 нояб.

Когда функциональные флаги становятся рабочими процессами: настройка многопользовательских конечных автоматов

Срок зачисления меняется для одного работодателя. Другой работодатель добавляет требование к документации. Третий нуждается в том, чтобы сотрудники с незавершенными заявками получали другой опыт, отличный от сотрудников, которые никогда не начинали.Каждый запрос звучит как настройка. Однако его реализация часто требует редактирования условных операторов в серверных службах, обработчиках уведомлений и фронтенд-компонентах. Настройки находятся вне приложения, но код, который их связывает, остается разбросанным.
When Feature Flags Become Workflows: Configuring Multi-Tenant State Machines dzone.com
RSS Hunter RSS Hunter • 9 нояб.

Три измеримых результата ручного масштабирования флота в продакшене

Каждая GitOps-система сталкивается с одной и той же ситуацией: что-то горит, кто-то запускает kubectl scale в продакшене, и исправление работает. Что произойдет дальше, зависит от двух настроек, которые редко проверяются до инцидента: самовосстановление в GitRepo и пауза в кластере.Я протестировал все три комбинации в лаборатории на Rancher 2.15.1 с Fleet (предвзято, я работаю в SUSE). Три кластера EKS: dev и staging на Kubernetes 1.36, prod на 1.35. В случаях 1 и 2 использовалось приложение guestbook из публичного репозитория rancher/fleet-examples, с развертыванием фронтенда на 3 реплики. В случае 3 использовался Helm-чарт podinfo из моего собственного репозитория. Каждое ручное изменение проходило через кнопку масштабирования в пользовательском интерфейсе Rancher, которая отправляет PATCH на подресурс масштабирования развертывания, тот же запрос, который делает kubectl scale.
Three Measured Outcomes of Manually Scaling Fleet in Prod dzone.com
RSS Hunter RSS Hunter • 9 нояб.

Почему успешная цифровая трансформация начинается с четкого понимания

Каждое новое поколение технологий приходит с одинаковым ожиданием: на этот раз организации успешно трансформируются, освоят новые технологии и получат выгоду. И иногда это происходит.Однако, несмотря на десятилетия технологического прогресса, одна закономерность остается неизменной. Организации продолжают тратить ценные ресурсы и деньги на технологические инициативы, которые не приносят желаемых результатов. Они терпят неудачу, потому что организации пытаются автоматизировать то, чего не понимают.
Why Successful Tech Transformation Starts With Clarity dzone.com
RSS Hunter RSS Hunter • 9 нояб.

За пределами согласованности состояний: предотвращение устаревших решений в системах ИИ-агентов

ИИ-агенты и агентные системы стремительно внедряются в долгосрочные системы и рабочие процессы. Они развиваются, чтобы обеспечивать поддержку, выходящую за рамки коротких взаимодействий "запрос-ответ", и переходят к непрерывным процессам, которые извлекают информацию, вызывают инструменты, координируются с другими агентами, ожидают внешних событий и, в конечном итоге, выполняют действия в реальных системах.Это расширение ставит новую задачу: надежное принятие решений на основе изменяющихся входных данных. Когда агенты принимают решения на основе состояния системы или компонента, они могут наблюдать, рассуждать и принимать обоснованные решения. Однако в быстро меняющихся средах причины определенных решений могут измениться до момента их выполнения. В результате возникает кажущееся противоречие: система может иметь актуальное состояние, но выполнять устаревшее решение.
Beyond State Consistency: Preventing Stale Decisions in AI Agent Systems dzone.com
RSS Hunter RSS Hunter • 9 нояб.

Инженерная наблюдаемость данных: обнаружение дрейфа схемы, дрейфа данных и тихих сбоев конвейера

Современные платформы данных все чаще отвечают за принятие критически важных решений, работу приложений, аналитических систем и нагрузок искусственного интеллекта. Поскольку организации переносят все больше бизнес-процессов на архитектуры, основанные на данных, надежность конвейеров данных становится столь же важной, как и надежность сервисов приложений.Конвейер, который выходит из строя с явными ошибками, обычно легко диагностировать. Сбой задания, нарушенная зависимость или недоступный сервис обычно генерируют оповещение и направляют инженеров к конкретной проблеме. Более сложные проблемы — это те, которые вообще не прерывают выполнение. Конвейер может успешно завершиться, но при этом выдавать некорректные, неполные или вводящие в заблуждение данные.
Engineering Data Observability: Detecting Schema Drift, Data Drift, and Silent Pipeline Failures dzone.com
RSS Hunter RSS Hunter • 9 нояб.

Вам не нужна степень доктора наук, чтобы стать инженером по искусственному интеллекту: необходимый набор навыков

В списке LinkedIn самых быстрорастущих профессий в США в этом году произошло нечто странное. Первое место заняла не медсестра-практик или техник по возобновляемым источникам энергии. Его заняла должность, которая практически не существовала до 2023 года: инженер по искусственному интеллекту, занявший первое место второй год подряд. Наиболее распространенными навыками, указанными рядом с этой должностью, были LangChain, генерация с дополненной выборкой и PyTorch, ни один из которых не встречается в типичной учебной программе по информатике.Я более 20 лет занимался созданием систем, которые не могли ошибаться, включая платформу учета кредитов, выходные данные которой напрямую поступали в отчетность SEC для крупных банков США, и платформы на базе Kafka, управляемые событиями, обрабатывающие данные о продуктах на 29 языках. Инженеры, которых я наставляю и которые преуспевают в качестве инженеров по искусственному интеллекту, редко имеют глубокие математические знания. Они понимают правильный порядок изучения вещей и почему этот порядок важен.
You Do Not Need a PhD to Become an AI Engineer: The Essential Skill Stack dzone.com
RSS Hunter RSS Hunter • 6 нояб.

Два ИИ-агента, одна база данных: решение проблемы одновременных обновлений с помощью оптимистичной блокировки

ИИ-агенты выходят за рамки простых чат-интерфейсов и становятся частью реальных рабочих процессов приложений. В современной распределенной системе один агент может обрабатывать возврат средств клиентам, другой — управлять запасами, в то время как фоновый процесс одновременно обновляет одни и те же данные.Основная проблема не всегда заключается в том, что агент принимает неверное решение. Настоящая проблема заключается в том, что два агента могут принимать обоснованные решения, используя одни и те же данные, а затем перезаписывать изменения друг друга, не зная, что данные были изменены.
Two AI Agents, One Database: Solving Concurrent Updates With Optimistic Locking dzone.com
RSS Hunter RSS Hunter • 6 нояб.

Время до первого токена: сколько времени требуется большой модели, чтобы начать отвечать?

При использовании больших языковых моделей мы обычно имеем два представления о «скорости»: одно — это время, которое проходит с момента задания вопроса до появления первого символа; другое — плавно ли течет сгенерированный текст после начала ответа.Это похоже на разговор с человеком: после того, как вы зададите вопрос, другой человек может сделать паузу, прежде чем заговорить. Время до первого токена (TTFT) измеряет это «время ожидания перед началом речи». Мы можем объяснить это четко с трех точек зрения.
Time to First Token: How Long Does It Take for a Large Model to Start Responding? dzone.com
RSS Hunter RSS Hunter • 6 нояб.

Инженерия хаоса и Kafka в действии: идемпотентность на уровне тем и проверка повторных попыток

Сейчас все спешат создавать ИИ-агентов, но интеграция GenAI лишь сильнее высвечивает важность надежного системного дизайна и отказоустойчивости бэкенда. ИИ-агент полностью зависит от API и конвейеров данных, лежащих в его основе. Если ваш бэкенд теряет события или дважды обрабатывает платежи во время кратковременного сбоя сети, даже лучший агент просто быстрее выполнит нарушенный рабочий процесс.Чтобы создавать отказоустойчивые системы, нужно видеть, как они ломаются. Чтение документации Kafka по отказоустойчивости помогает, но намеренное внесение сетевых сбоев показывает, как на самом деле ведут себя лежащие в основе механизмы.
Chaos Engineering and Kafka In Action: Topic Level Idempotence and Retry Check dzone.com
RSS Hunter RSS Hunter • 6 нояб.

Создание приложения для Windows как отказоустойчивого SOCKS-прокси SSH и выборочной маршрутизации браузера

Полный VPN не всегда необходим. Кроме того, VPN-соединения могут быть недоступны из-за ограничений, наложенных местным или национальным интернет-провайдером. По тем же причинам прямое подключение к внешнему SOCKS-прокси может не работать. Иногда альтернативный сетевой маршрут нужен не для всей системы или даже всего браузера, а только для определенных адресов: внешнего API, панели администратора, документации, реестра, тестовой среды или другого ресурса, недоступного по обычному маршруту.В этой статье мы рассмотрим более узкий подход к решению этой проблемы:
Building a Windows App for a Resilient SSH SOCKS Proxy and Selective Browser Routing dzone.com
RSS Hunter RSS Hunter • 6 нояб.

В центре внимания: Сринивас Чиппагири

Задумывались ли вы о том, какие инфраструктурные проблемы будут определяющими в ближайшие несколько лет? Если нет, то мое интервью со Сринивасом Чиппагири, возможно, заставит вас больше задуматься о том, как ИИ может изменить ваш подход к управлению инфраструктурой и что это означает для создания надежных и безопасных систем.Но прежде чем мы перейдем ко всему этому, мне всегда нравится начать с того, чтобы узнать немного больше о человеке, стоящем за экспертизой. Итак, давайте начнем с того, где начался путь Сриниваса!
Member Spotlight: Srinivas Chippagiri dzone.com
RSS Hunter RSS Hunter • 6 нояб.

Проектирование конвейера опроса для API с ограничением скорости без потери данных

Любая система, которая получает данные из чужого API, в конечном итоге создает опросчик. Он начинается с пятнадцати строк в cron-задаче: обратиться к конечной точке, сравнить с последней временной меткой, вставить новое. Это работает немедленно, в этом и проблема — оно продолжает работать, даже когда уже начало терять записи.Я поддерживаю уровень приема данных, который непрерывно опрашивает общедоступные API обсуждений, и разрыв между "опросчик работает" и "опросчик корректен" закрывался значительно дольше, чем я ожидал. Далее описаны четыре режима сбоя, которые привели к реальной потере данных, и шаблоны, которые их исправили.
Designing a Polling Pipeline for Rate-Limited APIs Without Losing Data dzone.com
RSS Hunter RSS Hunter • 6 нояб.

Человек, изобретший Selenium, также создал ему замену

Существует особая форма авторитетности, которая исходит от человека, разрушающего собственное творение.Джейсон Хаггинс создал Selenium в 2004 году. Он стал основой целой индустрии; протокол WebDriver, который он помог разработать, до сих пор является стандартом W3C, обеспечивая работу огромной доли мировой автоматизации тестирования спустя два десятилетия. Поэтому, когда Хаггинс возглавляет разработку Vibium AI, фреймворка, основанного на предпосылке, что нам вообще больше не следует писать тестовые скрипты, стоит прислушаться — не потому, что он гарантированно победит, а потому, что именно человек, наиболее компетентный в понимании того, что не так с Selenium, говорит об этом.
The Man Who Invented Selenium Also Built Its Replacement dzone.com
RSS Hunter RSS Hunter • 6 нояб.

Диагностика сбоев тестов в масштабе: корреляция доказательств выполнения на эфемерных исполнителях

Периодические сбои тестов в распределенной среде CI/CD могут замедлять разработку и затруднять расследование причин сбоев. Когда автоматизированный набор тестов завершается с ошибкой на локальной машине разработчика или на staging-сервере, инженер может просмотреть локальные журналы, подключить отладчик или вручную отследить изменения состояния. Но когда тесты выполняются во временном контейнере, AWS Lambda или агенте без агента, постмортем-отладка становится значительно сложнее.В традиционной конфигурации неудавшийся сбор показывает только общую ошибку утверждения (504, ElementNotFoundException и т. д.). Инженеру может потребоваться вручную просмотреть группы журналов CloudWatch за примерное время, выполнить запрос к Splunk или проанализировать изменения состояния в нижестоящих микросервисах, чтобы понять, почему тест завершился с ошибкой. Как только срок хранения журналов истекает или если у выполнения не было общего, идентифицируемого идентификатора корреляции, у инженера нет дальнейшей информации о причине сбоя.
Diagnosing Test Failures at Scale: Correlating Execution Evidence Across Ephemeral Runners dzone.com
RSS Hunter RSS Hunter • 6 нояб.