«iAdmin», разработчик технологий веб-фильтрации, сообщает о выходе новой версии «iAdmin URL SDK» — решения, позволяющего интегрировать базу категорий, охватывающую все сайты в мире на домене второго уровня, в стороннее программное обеспечение для контентной фильтрации сайтов.
Основное отличие версии – новый режим работы, который не требует полной загрузки базы категорий в оперативную память. Эту версию можно использовать непосредственно на аппаратном устройстве с ограниченным объемом памяти. Данные о категориях будут кэшироваться в памяти с диска при первом обращении к конкретному сайту.
iAdmin URL SDK изначально проектировался для работы в потоках, которые непосредственно анализируют сетевой трафик\сетевые пакеты и в которых задержки критичны. SDK будет работать в несколько раз быстрее, чем любая СУБД или внешний сервис в облаке. А следовательно, будет требовать меньше ресурсов. Все вычисления, размещение в памяти и дисковые операции ввода вывода оптимизированы для задач категоризации ровно настолько, насколько это требуется! Для размещения кэша в памяти потребуется максимум 77 байт на один сайт. Например, при посещаемости в крупной компании в 3 млн уникальных сайтов в месяц потребуется 231 Мб физической памяти.
Проведены тесты производительности новой версии, которые вы можете производить самостоятельно.
| Система Intel XEON E5-2420 1,9 Ггц, DDR3, SSD RAID 1 | Система Intel XEON E5-2420 1,9 Ггц, DDR3, SSD RAID 1 | |
| 100 тысяч сайтов | 1 поток | 4 потока |
| 1й проход с подгрузкой кеша с диска | Время 107 сек Скорость 1 мс\сайт | Время 38 сек Скорость 0,38 мс\сайт |
| 2й проход, поиск только в памяти | Время 1,46 сек Скорость 14 мкс\сайт | Время 0,359 сек Скорость 3,6 мкс\сайт |
SDK сможет работать в крупных сетях масштаба предприятия без существенных задержек.
Для высоконагруженных сервисов сохранен режим с полным кэшированием базы в память, однако он потребует для размещения 13 Гб.
