• Ротация логов для ELK (Elasticsearch - Logstash - Kibana) - Пример работы с RESTful Elasticsearch из PowerShell

    14.10.2014 Автор:Александр Никитин
    10 881 Просмотров 1 Комментарий

    imageВ настоящее время все больше и больше продуктов содержат API для интеграции с другими продуктами. Хорошие разработчики делают этот API – RESTful, то есть разработанный по принципам REST. Что бы работать с подобными сервисами в PoweShell 3.0 ввели cmdlet Invoke-RESTMethod. Данный cmdlet позволяет легко делать как привычные HTTP (GET-POST) запросы, так и запросы по паттерну CRUD (POST-GET-PUT-DELETE), а также другие WebRequestMethod. Я уже пользовался данным cmdlet’ом в статье о интеграции DPM с системой ServiceDesk, а сейчас хотел бы показать как можно пользоваться данным cmdlet’ом более полно, получая от него данные и пользуясь этими данными. Мои статьи рассчитаны на таких же неискушенных в PowerShell администраторов как и я, потому не следует ждать тут каких либо откровений для опытных скриптописателей.

    Читать далее...

  • Централизованный сбор Windows Event Logs с помощью ELK (Elasticsearch - Logstash - Kibana)

    05.08.2014 Автор:Александр Никитин
    41 719 Просмотров 44 комментария

    Search-48Передо мной встала задача организовать сбор Windows Event Logs в некое единое хранилище с удобным поиском/фильтрацией/возможно даже визуализацией. После некоторого поиска в интернете я натолкнулся на чудесный стек технологий от Elasticsearch.org - связка ELK (Elasticsearch - Logstash - Kibana). Все продукты являются freeware и распространяются как в виде архива с программой, так и в виде пакетов deb и rpm. 

    Что такое ELK?

    Elasticsearch

    Elasticsearch - это поисковый сервер и хранилище документов основанное на Lucene, использующее RESTful интерфейс и JSON-схему для документов. 

    Logstash

    Logstash – это утилита для управления событиями и логами. Имеет богатый функционал для их получения, парсинга и перенаправления\хранения.

    Kibana

    Kibana – это веб-приложение для визуализации и поиска логов и прочих данных имеющих отметку времени.

    В данной статье я постараюсь описать некий HOW TO для установки одного сервера на базе Ubuntu Server 14.04, настройки на нем стека ELK, а так же настройки клиента nxlog для трансляции логов на сервер. Хочу однако отметить что данный стек технологий можно использовать гораздо шире. Какие логи вы будете пересылать, парсить, хранить и в последствии пользоваться поиском\визуализацией по ним зависит только от вашей фантазии. По использованию данных технологий есть множество вебинаров на сайте http://www.elasticsearch.org/videos/.

    Читать далее...