Инструмент проверки контрольной суммы xxHash с высокой скоростью для проверки больших файлов
Генерируйте и проверяйте высокоскоростные контрольные суммы для файлов и конвейеров, используя XXH32, XXH64, XXH128 и XXH3. Созданный Cyan4973 Yann Collet и предлагаемый в виде утилиты командной строки, xxhsum отражает синтаксис md5sum, при этом придавая приоритет сырой пропускной способности. Он включает встроенный режим бенчмаркинга, поддерживает stdin для оболочечных конвейеров и проверяет списки с помощью режима проверки. Системные администраторы и разработчики, которые проверяют большие наборы данных или автоматизируют проверки целостности, получают наибольшую выгоду от его дизайна, ориентированного на скорость.
Что делает xxhsum для быстрой проверки файлов
xxhsum вычисляет и проверяет контрольные суммы, используя семью xxHash, производя идентичные хеши на разных архитектурах ЦП и с различным порядком байтов. Инструмент поддерживает несколько вариантов алгоритмов (XXH32, XXH64, XXH128, XXH3) и считывает данные из файлов или стандартного ввода, так что вы можете передать ему список файлов из команд каталога или напрямую передать содержимое файлов в программу. Он также принимает списки контрольных сумм для проверки с помощью флага -c.
Как он взаимодействует с системными ресурсами во время хеширования
Утилита нацелена на производительность, ограниченную пропускной способностью памяти, и имеет очень низкий объем памяти, что позволяет ей работать на скорости несколько гигабайт в секунду на современном оборудовании. Разработчик предоставляет режим бенчмарка (-b) для измерения локальной пропускной способности хеширования, а реализация настроена на максимизацию использования аппаратных ресурсов, а не на добавление ресурсоемких преобразований ЦП. В результате хеширование больших наборов данных выполняется на скорости, близкой к скорости работы ОЗУ, с умеренным использованием ОЗУ.
Безопасность и предполагаемая модель целостности
xxhsum является некриптографическим инструментом для проверки контрольных сумм: он обнаруживает случайные повреждения и проверяет передачи, но не обеспечивает криптографическую защиту от преднамеренных подделок. Режим проверки (-c) проверяет текущие файлы по сравнению со списком контрольных сумм, не изменяя цели. Используйте xxhsum для проверки целостности и рабочих процессов дедупликации, а не для проверки, чувствительной к безопасности, или хеширования паролей.
Кто может его запустить и сколько навыков требуется
Программа является утилитой командной строки с синтаксисом, похожим на md5sum и sha1sum, поэтому пользователи, знакомые с конвейерами оболочки и командами для перечисления файлов, могут интегрировать ее в сценарии. Сборка из исходников требует компилятора C для платформ без предварительно собранных бинарных файлов. Обычным пользователям, незнакомым с командными строками, потребуется базовое знание оболочки, чтобы выполнить рекурсивное хеширование каталогов через конвейер.
Практическая рекомендация и компромисс
xxhsum подходит администраторам и разработчикам, которым нужны максимально быстрые проверки контрольных сумм на больших объемах, и он интегрируется в скрипты через stdin и проверку списков. Основной компромисс заключается в его некриптографическом дизайне, поэтому используйте криптографическую хеш-функцию, когда важна целостность в условиях противодействия. Практический совет: запустите бенчмарк -b на целевой машине перед большими запусками, чтобы установить ожидания по пропускной способности во время автоматизированных проверок.
