背景
經常需要查看日志，不僅是用來排錯，有些時候我還需要監控系統來抓取特定日志來幫助減少我的工作負擔，以及時監控到異常出現，并作出通知及響應，那么從大量日志中快速并精確篩選出想要的日志，并且精確提取信息，是一個必備的技能。我曾經用內置的事件查看器的篩選器進行事件篩選，然后保存視圖，或者使用powershell get-winevent 進行篩選，也使用logparser, 或者第三方的日志查看工具比如eventexplorer 進行日志篩選。但是總是遇到幾個主要的問題：
創新互聯建站專注于白云企業網站建設,成都響應式網站建設公司,商城開發。白云網站建設公司,為白云等地區提供建站服務。全流程按需求定制開發，專業設計，全程項目跟蹤，創新互聯建站專業和態度為您提供的服務
從大量日志中過濾出極個別日志，每次執行的事件總是太長。
不能靈活的或者更精確的進行篩選。一般只能大概的匹配，然后再做一步處理。通常又遇到1的問題。
嘗試和比較
經過一些嘗試和使用，個人覺得powershell 的get-winevent 最方便，因為畢竟是一個腳本語言，可以進一步進行處理，而且可以很靈活的處理。logparser 很快，但是如果精確提取某些日志的字段，就沒有那么容易了,windows 日志的EventData中的數據復雜多樣，靠幾個常規字段是沒有辦法靈活進行處理的。
論速度的話，除了logparser,使用xml 篩選是最快速的。但是xml 篩選需要使用復雜的、受限的xpath 1.0 (被微軟實現后，有更多限制),雖然有點蹩腳又難懂，但是和時間節省算起，還是劃的來的，特別是重復任務。
一個比較好的開始是從下面鏈接開始。
https://blogs.technet.microsoft.com/askds/2011/09/26/advanced-xml-filtering-in-the-windows-event-viewer/
正式實踐
一個比較常用場景是，我經常需要精確過濾到哪個賬號最近鎖定了，哪臺計算機鎖定的，什么時候。我需要很快速的能查詢到鎖定日志。過去雖然我用get-winevent –filterhashtable 可以做到這些，但是速度實在太慢了，雖然我的域控只有4臺。我經常和用戶說，如果你想知道你在哪臺計算機上鎖定了，請等待一段時間，我會把查詢結果用郵件發給你。不過現在使用xpath 過濾時，我基本上可以在用戶打電話過來時，告訴他這些信息。
下面XML 過濾AD安全日志中的最近一天的某個用戶名的鎖定日志
*[System[EventID=4740 and TimeCreated[timediff(@SystemTime) <= 86400000] and Provider[@Name='Microsoft-Windows-Security-Auditing']]]
and
*[EventData[Data[@Name='TargetUserName']='somebody']]
如果你只想過濾最近一天所有用戶的鎖定日志，那么這樣寫
*[System[EventID=4740 and TimeCreated[timediff(@SystemTime) <= 86400000] and Provider[@Name='Microsoft-Windows-Security-Auditing']]]
上面過濾XML可以在 事件查看器的 篩選當前日志--》XML---》手動編輯查詢中進行測驗。
OK ,為了方便使用，我們做成一個powershell function ,方便日常使用，直接上例子。
function get-lockedEvent{
<#
.SYNOPSIS
Function to filter user locked event which id=4740
.DESCRIPTION
This function search user locked events in DC security logs, this function need the domain admin priv.
.EXAMPLE
get-lockedEvent -loginname oaoperator -show
.EXAMPLE
PS C:\> get-lockedEvent -loginname oaoperator -summary
Count Name
----- ----
457 Oaoperator, OA
.EXAMPLE
PS C:\> get-lockedEvent -loginname oaoperator
Username LockedPC Datetime EventLocation
-------- -------- -------- -------------
Oaoperator OA 2018/9/27 10:27:40 dc02
Oaoperator OA 2018/9/27 10:32:40 dc02
#>
[cmdletbinding()]
param(
[parameter(Mandatory=$false)]
[string]
$loginname,
[Parameter(Mandatory=$false)]
[switch]
$summary,
[Parameter(Mandatory=$false)]
[switch]
$show
)
# filter Locked Events generated in 1 day and username eq loginname
$f2=@'
*[System[EventID=4740 and TimeCreated[timediff(@SystemTime) <= 86400000] and Provider[@Name='Microsoft-Windows-Security-Auditing']]]
and
*[EventData[Data[@Name='TargetUserName']='{0}']]
'@
# filter Locked Events generated in 1 day
$f1=@'
*[System[EventID=4740 and TimeCreated[timediff(@SystemTime) <= 86400000] and Provider[@Name='Microsoft-Windows-Security-Auditing']]]
'@
if($loginname){
$f=$f2 -f $loginname
}else{
$f=$f1
}
$DCs=Get-ADDomainController -Filter *|%{$_.hostname}
$r=Invoke-Command -ComputerName $DCs -ArgumentList @($f) -Command{
param(
$filter
)
$events=Get-WinEvent -FilterXml $filter
$events|%{
$e=[xml]$_.toxml()
[PSCustomObject]@{
'Username'=$e.Event.EventData.Data.where({$_.Name -eq 'TargetUserName'})."#text"
'LockedPC'=$e.Event.EventData.Data.where({$_.Name -eq 'TargetDomainName'})."#text"
'Datetime'=[datetime]$e.Event.System.TimeCreated.SystemTime
'EventLocation'=$e.Event.System.Computer
}
}
}|Sort-Object -Property Datetime |select -Property 'UserName','LockedPC','Datetime','EventLocation'
if($summary){
$r=$r|Group-Object -Property Username,LockedPC -NoElement
}
if($show){
$r|Out-GridView
}else{
$r
}
}
另外一個實踐
由于最近有一些計劃任務的狀態需要監控，而且考慮到這應該是一個非常通用的需求，所以我想過濾計劃任務名稱匹配\qq_ent 開頭的，然后任務執行結果不為0的日志，盡管我參考著下面的一些blog 鏈接，也讓我嘗試了好一會，我想應該記錄下這些過程。
我們先來看看計劃任務日志的xml 內容：
201
2
4
201
2
0x8000000000000000
144817
Microsoft-Windows-TaskScheduler/Operational
ComputerName.xxx.com
\qq_ent\store_to_db
{110529FD-DBFD-4E59-B207-83DF8CC779B8}
C:\Users\UserName\AppData\Local\Programs\Python\Python37\python3.exe
2147942401
22172
說下我們的任務：
匹配 EventData 中Data 名稱為TaskName的，它的值應該是\qq_ent\xxxx
匹配 EventData中 Data 名稱為ResultCode的，它的值應該是>0 或者不等于0的
EventID=201
Provider Name=Microsoft-Windows-TaskScheduler
最后成型的過濾，和微軟的之前的例子不一樣。
*[System/EventID=201]
and
*[EventData[
(
Data[@Name='TaskName']='\qq_ent\download_images'
or
Data[@Name='TaskName']='\qq_ent\store_to_db_offline'
or
Data[@Name='TaskName']=='\qq_ent\gatherQQmsg'
or
Data[@Name='TaskName']=='\qq_ent\store_to_db'
)
and
Data[@Name='ResultCode'] !=0
]]
我之前按照微軟的例子是這樣寫的，結果不對的。
*[System/EventID=201]
and
*[
EventData[
(
Data[@Name='TaskName']
and
(
Data='\qq_ent\download_images'
or
Data='\qq_ent\store_to_db_offline'
or
Data='\qq_ent\gatherQQmsg'
or
Data='\qq_ent\store_to_db'
)
)
and
(
Data[@Name='ResultCode'] and Data !='0'
)
]
]
注意事項
event log 中的Xpath 受限，能使用的函數有限，因此如果你想篩選字符串，你會發現starts-with contains 這些xpath 函數都不支持。盡量使用其他條件篩選，然后再使用powershell內置過濾功能進行過濾，當然這要犧牲一些處理時間。
Xpath中的一些字符串要進行轉義，比如你想比較一個數字，可能寫Data>0,那么> 要轉義成>
參考資料
https://blogs.technet.microsoft.com/heyscriptingguy/2011/01/24/use-powershell-cmdlet-to-filter-event-log-for-easy-parsing/
https://blogs.technet.microsoft.com/heyscriptingguy/2014/06/04/data-mine-the-windows-event-log-by-using-powershell-and-xml/
https://blogs.technet.microsoft.com/heyscriptingguy/2014/06/03/use-filterhashtable-to-filter-event-log-with-powershell/
https://blogs.technet.microsoft.com/askds/2011/09/26/advanced-xml-filtering-in-the-windows-event-viewer/
當前名稱：Windows日志高級篩選實踐
網站路徑：
http://m.jcarcd.cn/article/igcooh.html
