Tierra: многоуровневые массивы и принятие решений о «горячих» данных с учётом давности

Почему некоторым данным полагается быстрый путь

Каждый раз, когда вы смотрите фильм по стриму, заказываете поездку или проверяете баланс счёта, компьютеры незаметно решают, какие фрагменты информации должны быть под рукой, а какие можно отложить на дальнюю полку. Это разделение на «горячие» (часто используемые) и «холодные» (редко используемые) данные критично для того, чтобы современные приложения казались мгновенными. По мере усложнения аппаратного хранения и взрывного роста объёмов данных такие решения становятся сложнее и важнее. В статье представлена Tierra — новый способ быстро и точно обнаруживать горячие данные, помогая будущим системам хранения работать быстрее и служить дольше.

Задача поиска горячих точек в океане данных

За кулисами крупные сервисы опираются на уровни памяти и хранения — от мелких он-чип кэшей до твердотельных накопителей и новых энергонезависимых типов памяти. Держать часто используемые данные на самом быстром уровне может резко сократить время ожидания; в устройствах на флеше это также продлевает срок службы, направляя повторяющиеся записи в подходящие области. Но понять, что действительно горячее, непросто. Ранние методы обычно отслеживали число обращений к каждому блоку данных, во многом игнорируя, насколько недавно эти обращения происходили. Новые техники пытались сочетать давность и частоту с помощью структур вроде фильтров Блума, которые эффективны, но вероятностны. По мере роста и разнообразия нагрузок эти подходы либо сильно ошибались в классификации, либо требовали слишком много памяти и вычислений, либо и то, и другое.

Чтение закономерностей вместо каждого отдельного шага

Tierra идёт другим путём: вместо детального просмотра каждого блока данных она сначала ищет закономерности в том, как запросы приходят во времени. Ключевая идея — «stack distance» (расстояние стека), мера того, сколько различных объектов было затронуто между двумя обращениями к одному и тому же фрагменту данных. Малые расстояния означают, что объект склонен возвращаться скоро и, вероятно, горяч; большие расстояния указывают на холодные данные. Точное вычисление этой метрики дорого, поэтому авторы уточняют ранний метод приближения. Они фиксируют объём истории, которую хранят, отбрасывая очень старые ссылки, чтобы оценки не сдвигались со временем. Такой «фиксированный по ёмкости» дизайн сохраняет качество приближения на высоком уровне, ограничивая затраты памяти и время доступа, даже когда уникальных запросов миллионы.

Разумный привратник отфильтровывает толпу

Вооружившись метрикой расстояния стека, второй этап Tierra действует как привратник для входящих запросов. Если расстояние запроса выше выбранного порога, он почти наверняка холодный и сразу отфильтровывается. Если же он выглядит перспективным, запрос проходит дальше как кандидат в горячие данные. Важно, что этот слой фильтрации делает не просто да/нет: он также присваивает каждому кандидату начальный «оценочный» балл тепла на основе того, насколько недавно произошли текущее и предыдущее появления. Так, даже когда некоторые запросы отбрасывают, их временные характеристики всё равно влияют на будущие решения. Эксперименты показывают, что такая фильтрация с учётом давности исключает примерно в полтора раза больше холодных данных, чем старые фильтры, при этом ошибочно выбрасывая почти в двадцать раз меньше горячих объектов.

Многоярусные полки с учётом свежести

Запросы, прошедшие через привратника, попадают в основную структуру Tierra: четыре массива разных размеров, действующие как многоярусные полки. Каждая запись фиксирует ссылку на данные и два компактных временных штампа, описывающих, когда объект был в последний раз замечен. Недавние и часто запрашиваемые элементы естественным образом задерживаются в верхних ярусах, в то время как более старые, менее активные опускаются в меньшие нижние уровни и в конечном счёте вытесняются. При приходе запроса Tierra проверяет, находится ли он уже на одной из полок. Если да, обновляются временные метки и суммируются хранимые оценочные баллы тепла, включая до трёх предыдущих касаний, чтобы решить, следует ли считать данные горячими прямо сейчас. Организация массивов с асимметрией — больший верх и меньшие низы — позволяет Tierra значительно сократить внутренние перестановки, уменьшая перемещение данных примерно в три раза по сравнению с равномерно размерами ярусов.

Как Tierra проявляет себя в реальном мире

Авторы тестируют Tierra на шестнадцати реальных трайсах хранения из облачных сервисов, смартфонов, корпоративных десктопов и ноутбуков. Они сравнивают её с несколькими известными базовыми методами, включая традиционный подсчёт в скользящем окне, хеш-ориентированные схемы и современные детекторы горячих данных на основе фильтров Блума. В самых разных нагрузках доля данных, помеченных Tierra как горячие, близка к надёжному окну-ориентированному базовому уровню, но при гораздо меньшем числе ошибок: средний общий показатель ошибок классификации составляет всего 0,6 процента. Это примерно в 31 раз меньше, чем у одной классической схемы, в 13 раз меньше, чем у улучшенной двухслойной схемы на базе фильтров Блума, и в 5 раз лучше по сравнению с предыдущим передовым решением Multigrain. При этом Tierra быстрее, сокращая время выполнения в 1,4–1,7× по сравнению с соперниками благодаря ранней фильтрации и грубозернистой обработке запросов.

Почему это важно для систем, на которые вы полагаетесь

Проще говоря, Tierra даёт компьютерам более острое представление о том, какие данные им действительно нужно держать под рукой. Сочетая умный, ограниченный просмотр истории обращений, фильтр с учётом давности и продуманную многоярусную организацию массивов, она уравновешивает скорость, затраты памяти и точность так, как не удавалось старым подходам. Для облачных провайдеров и производителей устройств это значит более отзывчивые сервисы, лучшее использование дорогой быстрой памяти и более долговечное оборудование хранения. Для обычных пользователей это то, что приложения и сервисы, от которых они зависят, смогут справляться с растущими объёмами данных без заметных тормозов.

Визуальное руководство: общая картина

Визуальное руководство: как Tierra устроена внутри

Цитирование: Lee, H., Park, D. Tierra: multi-tiered arrays and recency-aware hot data decision. Sci Rep 16, 13733 (2026). https://doi.org/10.1038/s41598-026-44185-1

Ключевые слова: идентификация горячих данных, системы хранения, энергонезависимая память, локальность кэша, оптимизация производительности