Категория: Руководства
Описанный многими как графический интерфейс пользователя для Microsoft Log Parser, Log Parser Lizard фактически превосходное инструментальное средство формирования запросов самостоятельно. Это предлагает Вам привлекательное и интуитивное окно и для результатов Parser Log и для любого другого SQL-запроса, который Вы хотите выполнить на крупных основанных на тексте данных, независимо от его размера и сложности.
Его гибкий построитель отчетов добавляет еще больше к его высокопроизводительным опциям просмотра.
Нет сомнения, что Microsoft Log Parser является стандартом для SQL-запросов на арене Windows, но это одинаково верно, чтобы сказать, что это далеко от того, чтобы быть самым удобным для пользователя инструментальным средством формирования запросов. Вот то, где Log Parser Lizard играет роль, предлагая Вам основанный на ленте снабженный вкладками интерфейс, чтобы разработать и выполнить Ваши собственные запросы далеко от Спартанского интерфейса командной строки, предоставленного Microsoft. Тогда Вы можете просмотреть результаты как электронную таблицу (вместе с широким диапазоном инструментов и функций) как круговая диаграмма или как привлекательный отчет, что Вы можете даже разработать себя. Это также позволяет Вам создавать свои собственные инструментальные панели со всеми необходимыми полями данных, параметрами, значениями, и рядом и данными экспорта к документам Excel или PDF. И лучшая вещь состоит в том, что Вы не должны будете разрабатывать и создавать тот же запрос снова и снова с нуля в следующий раз, когда Вам нужен он, как - в отличие от MS Log Parser - Вы можете сохранить свои запросы для более позднего использования и настроить это или тот параметр для подстраивания поисков каждый раз при возникновении такой необходимости.
Log Parser Lizard может проанализировать весь вид основанных на тексте данных, от CSV и файлов TSV к журналам событий, журналам IIS, ключам реестра, файлы, хранившие в Вашей системе и XML-файлах. Пользовательские форматы журнала, такие как RegEx, Android и log4net также поддерживаются, и Вам предоставлены всеми инструментами, должен был выполнить запросы для Microsoft SQL Server, OLEDB, Языка запросов Facebook, и даже служб Google BigQuery. Программа идет с серией полезных встроенных запросов (в основном связанный с Вашими журналами Windows и Файловой системой), но - как сказано - Вы можете создать свое собственное любое время из любой основанной на тексте группы данных. Это может проанализировать данные не только быстрее, но и более эффективно, чем прежде благодаря серии новых функций, доступных от этой версии, таких как Быстрый Запрос, Средство просмотра Инструментальной панели и Разработчик и Построитель отчетов (оба упомянутые выше), и Строковый Разработчик соединения с БД.
Log Parser Lizard намного больше, чем просто симпатичная поверхность для MS Log Parser - это - полнофункциональное, привлекательное, и хорошо разработанное инструментальное средство формирования запросов с поддержкой (и для ввода и для вывода) для всех известных основанных на тексте файлов данных, который предоставляет высококачественный просмотр и создание отчетов о возможностях и всесторонних исследованиях больших объемов данных. Нет никакой потребности открыть вновь этот инструмент после лет успешных развертываний и улучшений - достаточно сказать, что нет никакого лучшего инструмента для взятия полных рычагов на данных, предоставленных MS Log Parser, чем Log Parser Lizard.
Обнови Софт рекомендует использовать программу Log Parser Lizard в соответствии с правилами интеллектуальной собственности. Обнови Софт не рекомендует использовать кряк, серийник, ключ, keygen, crack, serial для Log Parser Lizard
FILE FILENAME SOFTWARE DOCTYPE
1___file1_____soft1_____ type1
2___file2______________type2
Пробовал выбирать ставя тип лога "XMLLOG" - выдает ошибку(не в конкретном примере, а с моими xml файлами): "В текстовом комментарии обнаружен недопустимый знак"
Пробовал выбирать ставя тип лога "TEXTLINELOG" :
SELECT Text FROM 'C:\\222\*.xml' where Text like '%FILENAME%' тут все отлично выбирает, но как теперь выбрать несколько разных полей, если на такие конструкции:
select filename.*, soft.* from
(SELECT Filename,Text FROM 'C:\\222\*.xml' where Text like '%FILENAME%') filename ,
(SELECT Filename,Text FROM 'C:\\222\*.xml' where Text like '%SOFT%') soft
where filename.Filename=soft.Filename(+)
выбивает ошибки, в то время как sql навигатор в коммандах подобного вида ничего "странного" не видит.
А еще нужно к названию файла привязаться, как-то SUBSTR по скобках ("<",">") сделать и вывести в csv.
Очень надеюсь, что мою тему увидит и прокомментирует, пользователь с ником "Iska", так как я понял - он с этим парсером на "ты". Пробовал ему в ЛС написать, но там ограничения, видимо от таких назойливых как я. А так как этот парсер с урезаным sql, то при попытке что-то выбрать, возникает ощущение "игры в сапера на повышеной сложности" .
Просмотрел 2-3 страницы по поиску "Logparser", но ответа или зацепки на свои запросы так и не нашел, на "stackoverflow" и в англоязычных примерах в большинстве встречаются запросы к win'довым журналам и запросы
html-страниц. =(.
IIS Log File Input Formats
IISW3C: parses IIS log files in the W3C Extended Log File Format.
IIS: parses IIS log files in the Microsoft IIS Log File Format.
BIN: parses IIS log files in the Centralized Binary Log File Format.
IISODBC: returns database records from the tables logged to by IIS when configured to log in the ODBC Log Format.
HTTPERR: parses HTTP error log files generated by Http.sys.
URLSCAN: parses log files generated by the URLScan IIS filter.
Generic Text File Input Formats
CSV: parses comma-separated values text files.
TSV: parses tab-separated and space-separated values text files.
XML: parses XML text files.
W3C: parses text files in the W3C Extended Log File Format.
NCSA: parses web server log files in the NCSA Common, Combined, and Extended Log File Formats.
TEXTLINE: returns lines from generic text files.
TEXTWORD: returns words from generic text files.
System Information Input Formats
EVT: returns events from the Windows Event Log and from Event Log backup files (.evt files).
FS: returns information on files and directories.
REG: returns information on registry values.
ADS: returns information on Active Directory objects.
Special-purpose Input Formats
NETMON: parses network capture files created by NetMon.
ETW: parses Enterprise Tracing for Windows trace log files and live sessions.
COM: provides an interface to Custom Input Format COM Plugins.
так как я понял - он с этим парсером на "ты". »
Пробовал ему в ЛС написать, но там ограничения, видимо от таких назойливых как я. »
Ограничение там одно — на количество сообщений, которое давно превышено, а Iska второй год никак не соберётся и не разгребёт эти авгиевы конюшни.
Извлекать нужно часть названия файла и теги, и получать в виде результата:
KOD___________R11GA_____R11GB_____R60GB
33408606______142167____ 28433_____0
38145836______22414_______________25
PS: поле KOD(оно ключевое) получаем из названия файлов через SUBSTR(Filename,7,8)
С выбором значений, точно затрудняюсь ответить, так как видимо, нужно будет "привлекать к участию" эталонный xml в котором будут все существующие xml-теги, либо каким-то образом вытягивать все уникальные теги и по ним сравнивать все файлы. Если бы удалось вытянуть все теги и сравнить с файлами, несмотря на содержимое тегов, было бы супер(так чтобы результат не основывался на четко указанных полях и парсились все теги).
Знать бы синтаксис и логику работы парсера(к сожалению нет у меня опыта работы с этим инструментом), остальное я постараюсь сам дописать.
PPS: как мне показалось, при задании параметра TEXTLINELOG парсер, воспринимает файлы как одну цельную строку.
Спасибо!
Последний раз редактировалось gremlintv2, 23-08-2016 в 10:38.
Фокус не удастся — во входном формате XML нет параметра, отвечающего за имя файла, увы.
С выбором значений, точно затрудняюсь ответить, так как видимо, нужно будет "привлекать к участию" эталонный xml в котором будут все существующие xml-теги, либо каким-то образом вытягивать все уникальные теги и по ним сравнивать все файлы. Если бы удалось вытянуть все теги и сравнить с файлами, несмотря на содержимое тегов, было бы супер(так чтобы результат не основывался на четко указанных полях и парсились все теги). »
Объясните, что Вам нужно.
PPS: как мне показалось, при задании параметра TEXTLINELOG парсер, воспринимает файлы как одну цельную строку. »
Нет, как отдельные строки (если Вы не ошиблись с указанием входной кодировки).
Может быть на PowerShell, подойдет: »
Именно так. Я токмо хотел посоветовать его пользовать. Но разбирать-таки надо будет именно как xml, а не текстом.
К сожалению по Вашему скрипту выбивает ошибку: "В текстовом комментарии обнаружен недопустимый знак." =(
Как я это вижу:
1)из папки с xml файлами выбираются все xml-теги и создается эталонный файл znach.txt с найденными тегами
2) по тегу<TIN>, а он есть во всех файлах, выбираются все значения найденных тегов и подставляются в файл znach.txt.
Последний раз редактировалось gremlintv2, 23-08-2016 в 11:16.
Сообщения: 1017
Благодарности: 668
Разбор, как xml на PowerShell:
Это сообщение посчитали полезным следующие участники:
Сообщения: 17814
Благодарности: 5147
К сожалению по Вашему скрипту выбивает ошибку: "В текстовом комментарии обнаружен недопустимый знак." =( »
Я предварительно очистил файлы от «бинарщины» и тем самым привёл их к корректному xml-виду.
gremlintv2. а я не вижу, поскольку Вы не отвечаете на заданный вопрос. Ей-богу, нет ни малейшего желания выцарапывать из Вас детали по кусочкам и за каждым разом всё переделывать заново.
Kazun. очень хорошо. Осталось таки выяснить у автора весь алгоритм.
Теги: #<Tag:0x007fc1a92c7e88> #<Tag:0x007fc1a92c7d48> #<Tag:0x007fc1a92c7c08> #<Tag:0x007fc1a92c7ac8>
rmerkushin (rmerkushin) 2015-04-28 03:44:21 UTC #1
Вдохновившись утилитой от Microsoft - LogParser. решил написать свою, кросс-платформенную утилиту для парсинга логов с выборкой данных по SQL-запросу с преферансом и куртизанками 
На данный момент утилита поддерживает только логи от log4j, но в будущем планируется добавление новых форматов. В утилите реализована полная поддержка SQLite SQL, регулярные выражения в запросах, вывод в plain text и .xlsx и удаленный доступ к логам по sftp.
logparser -f log4j -i /path/to/log/file -q "SELECT * FROM LOG WHERE LEVEL = 'ERROR" -o /path/to/output/file.txt
Подробнее о работе утилиты и ее настойке можно почитать на github. Утилита доступна для скачивания в виде бинарных файлов для Mac OS и Windows (сборку под windows особо не проверял, т.к. сборка была из под виртуальной машины).
UPDATE:
Немного отрефакторил утилиту. Теперь повторная обработка не займет столько же времени. Так же добавил поддержку других кодировок логов (для эстетов хранящих логи в win-1251 
).
Результаты небольшого бенча:
782.4 Mb, 3577723 строки
out - 613849 строки
Plain Text:
1 прогон - 36.902 сек.
2 прогон - 0.698 сек.
XLSX:
1 прогон - 41.823 сек.
2 прогон - 5.486 сек.
5.42 Gb, 20147926 строки
out - 178773 строки
1 прогон - 656.236 сек.
2 прогон - 29.190 сек.
DmitriyZverev (Dmitriy Zverev) 2015-04-28 08:31:22 UTC #2
Полезная утилита.
Поясните, пожалуйста, при каждом запуске лог загружается в SQLite в память?
rmerkushin (rmerkushin) 2015-04-28 09:22:37 UTC #3
Да, именно так. Для толстых логов наверное не пойдет (но это всегда можно поправить))))
Решил сделать так, чтобы меньше мусорить в системе.
P.S. думаю можно добавить проверку размера лог-файла и при больших размерах сохранять на диск.
Если есть какой нибудь не сверх секурный, толстый лог, поделитесь кому не сложно для опытов
DmitriyZverev (Dmitriy Zverev) 2015-04-28 13:35:19 UTC #4
Встает вопрос: а действительно ли нужно экономить на спичках
Зачастую мне надо делать много sql-запросов и часто анализировать один и тот же лог => он часто будет мапится в память. Да, из памяти читать быстрее, но эта быстрота нивелируется временем считывания лога в память
Я бы посоветовал выгружать в файл, который создается в месте вызова утилиты с именем <имя лога>.sql. При запуске проверять: есть ли у нас уже сформированный sql по логу; если есть - читать оттуда. Если у нас 2 лога с одним именем, то предусмотреть параметр - имя выгружаемого файла, который всегда перезапишет старый, если он есть.
Возможно, Вам эта идея покажется разумной.
А вообще, это напоминает такие инструменты, как logstash, apache flume.
rmerkushin (rmerkushin) 2015-04-28 14:25:07 UTC #5
Да, возможно чем-то похожа на эти тулы. Я парсер писал изначально для разбора одного большого лога для построения нагрузочной модели, а потом решил сделать его более универсальным. В любом случае, спасибо за отзыв и конструктивную критику Буду думать, как еще улучшить\ускорить тулзу.
P.S. Идеи и предложения приветствуются
sidelnikovmike (sidelnikovmike) 2015-04-28 18:21:48 UTC #6
А как работает с большими логами?
rmerkushin (rmerkushin) 2015-04-28 18:47:41 UTC #7
На больших логах не проверял еще. В ближайшее время буду рефакторить утилиту, прицеплю профайлер и проверю на больших объемах данных.
P.S. Провел небольшой тест на файле 782.4 Mb - 3577723 строки с текущей реализацией, время обработки - 51.81 сек. Есть над чем поколдовать
rmerkushin (rmerkushin) 2015-05-07 06:25:57 UTC #8
update (подробности в шапке):
При поддержке Discourse. лучше всего использовать с включенным JavaScript
Удаленная работа для python автоматизатора 20-25 час.\нед. для backend и end2end автоматизации
LogParser.exe представляет собой разновидность файла EXE. связанного с MSDN Disc 1846, который разработан Microsoft для ОС Windows. Последняя известная версия LogParser.exe: 1.0.0.0, разработана для Windows. Данный файл EXE имеет рейтинг популярности 1 звезд и рейтинг безопасности "Неизвестно".
Что из себя представляют файлы EXE?Файлы EXE ("исполняемые"), такие как LogParser.exe – это файлы, содержащие пошаговые инструкции, которым компьютер следует, чтобы выполнить ту или иную функцию. Когда вы дважды "щелкаете" по файлу EXE, ваш компьютер автоматически выполняет эти инструкции, созданные разработчиком программы (например, Microsoft) с целью запуска программы (например, MSDN Disc 1846) на вашем компьютере.
Каждое программное приложение на вашем компьютере использует исполняемый файл. ваш веб-браузер, текстовый процессор, программа для создания таблиц и т.д. Это делает исполняемые файлы одними из наиболее полезных видов файлов в операционной системе Windows. Без таких исполняемых файлов, как LogParser.exe, вы не смогли бы использовать ни одну программу на вашем компьютере.
Почему у меня наблюдаются ошибки в файлах типа EXE?Из-за своей полезности и вездесущности, файлы EXE обычно используются в качестве способа заражения вирусами / вредоносным ПО. Зачастую вирусы маскируются под неопасные файлы EXE (например, LogParser.exe) и распространяются через почтовый СПАМ или вредоносные веб-сайты, а затем могут заразить ваш компьютер, когда будут запущены на исполнение (например, когда вы дважды щелкаете по файлу EXE).
В дополнение, вирусы могут заразить, переместить или повредить существующие файлы EXE. то впоследствии может привести к сообщениям об ошибках, когда исполняется MSDN Disc 1846 или связанные программы. Таким образом, любой исполняемый файл, который вы загружаете на свой компьютер, необходимо проверить на вирусы перед открытием, даже если вы считаете, что он получен из надежного источника.
В каких случаях появляются ошибки в файлах типа EXE?Ошибки EXE, например, связанные с LogParser.exe, чаще всего появляются во время запуска компьютера, запуска программы или при попытке использования специфических функций в вашей программе (например, печать).
Распространенные сообщения об ошибках в LogParser.exeНаиболее распространенные ошибки LogParser.exe, которые могут возникнуть на компьютере под управлением Windows, перечислены ниже:
Такие сообщения об ошибках EXE могут появляться в процессе установки программы, когда запущена программа, связанная с LogParser.exe (например, MSDN Disc 1846), при запуске или завершении работы Windows, или даже при установке операционной системы Windows. Отслеживание момента появления ошибки LogParser.exe является важной информацией при устранении проблемы.
Причины ошибок в файле LogParser.exeПроблемы LogParser.exe могут быть отнесены к поврежденным или отсутствующим файлам, содержащим ошибки записям реестра, связанным с LogParser.exe, или к вирусам / вредоносному ПО .
Более конкретно, данные ошибки LogParser.exe могут быть вызваны следующими причинами:
Предупреждение: Мы не рекомендуем скачивать LogParser.exe с сайтов типа "EXE". Такие сайты распространяют файлы EXE, которые не одобрены официальным разработчиком файла LogParser.exe и часто могут поставляться в комплекте с инфицированными вирусом или другими вредоносными файлами. Если вам требуется копия файла LogParser.exe, настоятельно рекомендуется получить ее непосредственно у Microsoft.
Ниже описана последовательность действий по устранению ошибок, призванная решить проблемы LogParser.exe. Данная последовательность приведена в порядке от простого к сложному и от менее затратного по времени к более затратному, поэтому мы настоятельно рекомендуем следовать данной инструкции по порядку, чтобы избежать ненужных затрат времени и усилий.
Иногда ошибки LogParser.exe и другие системные ошибки EXE могут быть связаны с проблемами в реестре Windows. Несколько программ может использовать файл LogParser.exe, но когда эти программы удалены или изменены, иногда остаются "осиротевшие" (ошибочные) записи реестра EXE.
В принципе, это означает, что в то время как фактическая путь к файлу мог быть изменен, его неправильное бывшее расположение до сих пор записано в реестре Windows. Когда Windows пытается найти файл по этой некорректной ссылке (на расположение файлов на вашем компьютере), может возникнуть ошибка LogParser.exe. Кроме того, заражение вредоносным ПО могло повредить записи реестра, связанные с MSDN Disc 1846. Таким образом, эти поврежденные записи реестра EXE необходимо исправить, чтобы устранить проблему в корне.
Редактирование реестра Windows вручную с целью удаления содержащих ошибки ключей LogParser.exe не рекомендуется, если вы не являетесь специалистом по обслуживанию ПК. Ошибки, допущенные при редактировании реестра, могут привести к неработоспособности вашего ПК и нанести непоправимый ущерб вашей операционной системе. На самом деле, даже одна запятая, поставленная не в том месте, может воспрепятствовать загрузке компьютера!
В связи с подобным риском мы настоятельно рекомендуем использовать надежные инструменты очистки реестра, такие как WinThruster (разработанный Microsoft Gold Certified Partner), чтобы просканировать и исправить любые проблемы, связанные с LogParser.exe. Используя очистку реестра. вы сможете автоматизировать процесс поиска поврежденных записей реестра, ссылок на отсутствующие файлы (например, вызывающих ошибку LogParser.exe) и нерабочих ссылок внутри реестра. Перед каждым сканированием автоматически создается резервная копия, позволяющая отменить любые изменения одним кликом и защищающая вас от возможного повреждения компьютера. Самое приятное, что устранение ошибок реестра может резко повысить скорость и производительность системы.
Предупреждение: Если вы не являетесь опытным пользователем ПК, мы НЕ рекомендуем редактирование реестра Windows вручную. Некорректное использование Редактора реестра может привести к серьезным проблемам и потребовать переустановки Windows. Мы не гарантируем, что неполадки, являющиеся результатом неправильного использования Редактора реестра, могут быть устранены. Вы пользуетесь Редактором реестра на свой страх и риск.
Перед тем, как вручную восстанавливать реестр Windows, необходимо создать резервную копию, экспортировав часть реестра, связанную с LogParser.exe (например, MSDN Disc 1846):
Следующие шаги при ручном редактировании реестра не будут описаны в данной статье, так как с большой вероятностью могут привести к повреждению вашей системы. Если вы хотите получить больше информации о редактировании реестра вручную, пожалуйста, ознакомьтесь со ссылками ниже.
Мы не несем никакой ответственности за результаты действий, совершенных по инструкции, приведенной ниже - вы выполняете эти задачи на свой ??страх и риск.
Сообщения об ошибках LogParser.exe могут появляться в любых из нижеперечисленных операционных систем Microsoft Windows:
Проблема с LogParser.exe все еще не устранена?Обращайтесь к нам в любое время в социальных сетях для получения дополнительной помощи:
Об авторе: Джей Гитер (Jay Geater ) является президентом и генеральным директором корпорации Solvusoft — глобальной компании, занимающейся программным обеспечением и уделяющей основное внимание новаторским сервисным программам. Он всю жизнь страстно увлекался компьютерами и любит все, связанное с компьютерами, программным обеспечением и новыми технологиями.
Отобразить файлы EXE в алфавитном порядке:
и признается корпорацией Microsoft в качестве ведущего независимого поставщика программного обеспечения, с высшим уровнем компетенции и качества. Близкие взаимоотношения компании Solvusoft с корпорацией Microsoft в качестве золотого партнера позволяют нам предлагать лучшие в своем классе решения, оптимизированные для работы с операционной системой Windows.
Как достигается золотой уровень компетенции?
Чтобы обеспечивать золотой уровень компетенции, компания Solvusoft производит независимый анализ,добиваясь высокого уровня опыта в работе с программным обеспечением, успешного обслуживания клиентов и первоклассной потребительской ценности. В качестве независимого разработчика ПО Solvusoft обеспечивает высочайший уровень удовлетворенности клиентов, предлагая программное обеспечение высшего класса и сервисные решения, постоянно проходящие строгие проверку и отбор со стороны корпорации Microsoft.
CLICK HERE to verify Solvusoft's Microsoft Gold Certified Status with Microsoft >>
