Splunk_命令教学

Splunk Search 命令教学-天龙八步版本:v 1.00 精诚中国资讯中心

搜尋命令教學 Search Tech1.基本命令語法 Search Syntax 2.複式搜尋方式 Search Pipeline Syntax 3.子搜尋方式 Sub Search 4. 加总搜寻 Summary Index/Search 5. 自定义栏位搜寻 Search Cheatsheet 6. 自定义日志格式及类型 Source type setting

SYSTEX Group, SPLUNK Corp 2009

基本命令語法 Search Syntax用途说明 范例 范例解释

单一字眼搜寻 多字眼查询模糊查询 * 符号说明 布林代数(Boolean ) OR , AND, NOT 比较语法

“error” “apache error 449 “Source=*.log :! % $ / \ [ ] { } < > @ = + & NOT ( A OR B) 等於 =, 不等於 !=, 大於 >, 小於 <

代表查询所有 包含 error 字眼,大小写 不影响查询结果 代表 “apache” and “error” and “449”要查询某 Source= xx.log, 所有Log, 可 以使用 *.log (可能他原本区隔by日) 左边符号可以使用,但是搜寻会自动转 为ASCII符号编码 注意,大写

/base/Documentation/latest/User/SearchSyntaxSYSTEX Group, SPLUNK Corp 2009

複式搜尋方式 Search Pipeline Syntaxsearch ::= data_generation_command [ search_pipeline ] data_generation_command ::= search_command | remote_command | savedse arch_command | run_command search_pipeline ::= "|" [command] [ search_pipeline ] search_command ::= search [search_argument]+ search_argument ::= [keywords] [field="value"] [modifier="value"] [search_command] subsearch ::= search_command "[" search "]" remote_command ::= remote [server","...","server] | [server" "..." "server] [search_pipeline] savedsearch_command::= savedsearch [name of saved search] run_command ::= run [run argument]一般搜寻条件 = data_generation_command /base/Documentation/latest/User/SearchPipelineSyntaxSYSTEX Group, SPLUNK Corp 2009

子搜寻方式 Sub Searchsearch_command ::= search search_argument search_argument ::= keyword | field="value" | modifier="value" | subsearch subsearch ::= search_command "[" [ search ] "]" Example: sourcetype="access_combined" [search sourcetype="access_combined" | stats count by client_ip | search count<10 | fields +client_ip]/base/Documentation/latest/User/SearchPipelineSyntax

SYSTEX Group, SPLUNK Corp 2009

加总搜寻 Summary Index/Search舉個簡單的Summary Index (SI) 例子. 客戶公司平均一天的瀏覽量是5萬個requests. 客戶要求計算一個月瀏覽公司的來源IP次數, 如果是普通不用SI的搜尋方式是: sourcetype=”apache” startdaysago=30 | stats count(src_ip) 搜尋時間較長, 且有maxresult的限制. 這時可以用SI將每個小時(或每天)的瀏覽公司個各web server的來源IP數先做一個統計存入summary index. 等到需要做月統計時, 只需加總summary index內已做好的每個小時的結果. 搜尋時間短. Summary Index 的搜尋名稱如下: Summary - hourly source ip count 語法如下: Sourcetype=”apache” starthoursago

=2 endhoursago=1 | stats count(src_ip) as src_ip_count 出月報表時的搜尋語法如下: Index=summary info_search_name=”hourly source ip count by web server” | stats sum(src_ip_count) (下這個搜尋語法時需搭 配時間範圍, 例如 04/01/2008:00:00:00 到 04/30/2008:23:59:59) 這時月報表的搜尋語法搜尋時所要過濾的不是平均一天5萬個, 30天 150萬的事件量, 而是一天24個, 30天720個的事件量. Reference Alex EmailSYSTEX Group, SPLUNK Corp 2009

自定义栏位搜寻 Search Cheatsheet说明提取物栏位/值对 (field/value )和重载领域提取设置磁盘。 提取物栏位/值的配(field/value )对，是划定的“ | ” ,和价值观的领 域，划定"=:". extract reload=true

增加栏位/Add Field命令

extract pairdelim="|;", kvdelim="=:", auto=f

提取物栏位/值对 (field/value )从XML格式数据。 xmlkv自动提取物的 xmlkv 价值之间的XML标记。 提取COMMAND现场时，发生在行包含“ splunkd ” 。 提取物“ ,由”和“到”字段使用正则表达式。 如果原材料事件包 含“者：苏珊为：鲍勃” ,然后由=苏珊并=鲍勃。 增加栏位: comboIP. Values of comboIP = "sourceIP + "/" + destIP". 增加栏位: velocity. Values of velocity = distance field value / time field value 增加位置信息(基于IP地址)的头20事件含有“ 404 ” ,并从从 webserver1 。 multikv fields COMMAND filter splunkd rex field=_raw "From: (?<from>.*) To: (?<to>.*)" strcat sourceIP "/" destIP comboIP eval velocity=distance/time head 20 | iplocation

/base/Documentation/latest/User/SearchCheatsheetSYSTEX Group, SPLUNK Corp 2009

自定义栏位搜寻 Search Cheatsheet说明自动转换栏位,改变为数字型态 金额栏位转型为 virt, K 日,时分秒转型 format (D+HH:MM:SS) to seconds. For example, if delay="00:10:15", the resulting value will bedelay="615". 数值文字型态资料,转换为数值型态,以利计算 if duration="212 sec", the resulting value will be duration="212". 重新定义栏位名称 Rename the _ip field as IPAddress. 更改结果名称: localhost to host

转型栏位/Convert Field命令

convert auto(*) none(foo) convert memk(virt) convert dur2sec(delay) convert rmunit(duration) rename _ip as IPAddress replace *localhost with localhost in host

/base/Documentation/latest/User/SearchCheatsheetSYSTEX Group, SPLUNK Corp 2009

自定义栏位搜寻 Search Cheatsheet说明只保留了host和ip领域，并显示它们依次为： host , ip 。

减少增加栏位,筛选结果命令

fields host, ip

只保留了host和ip领域，并删除所有内部领域(例如， _time , _raw等) ,可能会造 fields + host, ip 成问题的Splunk网络。 移除host和ip领域。 fields - host, ip

说明只保留搜索结果的匹配src或dst价值观。 只保留搜索结果，其_raw字段包含IP地址的非路由A级( 10.0.0.0 / 8 ) 。 删除重复的

结果同一个主机价值。

命令search src="10.9.165.*" OR dst="10.9.165.8" regex _raw=(?<!\d)10.\d{1,3}\.\d{1,3}\.\d{1,3}(?!\d) dedup host

/base/Documentation/latest/User/SearchCheatsheetSYSTEX Group, SPLUNK Corp 2009

自定义栏位搜寻 Search Cheatsheet说明对搜索结果进行排序ip值升序排列，然后通过url值降序排列。 颠倒的结果集。 返回的第一个20个结果。 回到过去的20个结果(在相反的顺序) 。 sort ip, -url reverse head 20 tail 20

整理结果 Order Result命令

/base/Documentation/latest/User/SearchCheatsheetSYSTEX Group, SPLUNK Corp 2009

自定义栏位搜寻 Search Cheatsheet说明

群组结果 Group Result命令

群组搜索结果具有相同的host和cookie ,发生在30秒内对方，并没有暂停大于5秒到每 transaction fields="host,cookie" maxspan=30s 个活动之间的纪录。 maxpause=5s 群组搜索结果有着同样的价值， from ,最大跨度为30秒，以及之间的停顿事件不大于 transaction fields=from maxspan=30s maxpause=5s 5秒内进行纪录。 群组搜索结果分为4个组的基础上的价值date_hour和date_minute。 群组活动一起，整理他们的cluster_count值，然后返回20个最大的群组(数据大小) 。 kmeans k=4 date_hour date_minute cluster t=0.9 showcount=true | sort - cluster_count | head 20

/base/Documentation/latest/User/SearchCheatsheetSYSTEX Group, SPLUNK Corp 2009

自定义栏位搜寻 Search Cheatsheet说明 Return the least common values of the url field. Return the 20 most common values of the url field. Remove duplicates of results with the same host value and return the total count of the remaining results. Return the average for each hour, of any unique field that ends with the string "lay" (for example, delay, xdelay, relay, etc). Search the access logs, and return the number of hits from the top 100 values of referer_domain. Search the access logs, and return the results associated with each other (that have at least 3 references to each other). Return the average (mean) size for each distinct host. Return the the maximum delay by size, where size is broken down into a maximum of 10 equal sized buckets. /base/Documentation/latest/User/SearchCheatsheetSYSTEX Group, SPLUNK Corp 2009

报表部分命令

rare url top limit=20 url

stats dc(host)stats avg(*lay) BY date_hour top limit=100 referer_domain | stats sum(count) associate supcnt=3 chart avg(size) by host

chart max(delay) by size bins=10

自定义栏位搜寻 Search Cheatsheet说明 Graph the average thruput of hosts over time. Create a timechart of average cpu_seconds by host, and remove data (outlying values) that may distort the timechart's axis. Search for all ps events, extract values, and calculate the average value of CPU each minute for each host. Create a timechart of the count of from web sources by host, and fill all null va

lues with "NULL". Build a contingency table of datafields from all events. Calculate the co-occurrence correlation between all fields. Calculate the sums of the numeric fields of each result, and put the sums in the field sum. Return events with uncommon values. /base/Documentation/latest/User/SearchCheatsheetSYSTEX Group, SPLUNK Corp 2009

报表部分命令

timechart span=5m avg(thruput) by host timechart avg(cpu_seconds) by host | outlier action=TR multikv | timechart span=1m avg(CPU) by host timechart count by host | fillnull value=NULL contingency datafield1 datafield2 maxrows=5 maxcols=5 usetotal=F correlate type=cocur addtotals fieldname=sum anomalousvalue action=filter pthresh=0.02

命令教学-Regex字元符号说明字元 一般字元 ^ $ \ ^ 说明 一般字元 皆代表該字元本身 ^限制字串必須出現於行首 $限制字串必須出現於行末 \將特殊字元還原成字面意義的字元 ^某字元以外的任何字元 ^ 限定搭配 [ ] 使用，ex: [^aez] 代表 除 a,e,z 以 外的任何字元 -字元集合中可使用-來指定字元的區間 +其前的字元或字元集合出現一次或一次以上 ?其前的字元或字元集合可出現一次或不出現 *其前的字元或字元集合可出現任何次數或不出現 字元 (...) {n} {n,m} {n,} [] 说明 (...) 用以括住一群字元,且將之視成一個集合 {n} 重複n 次 {n,m} 重複n 到m 次 {n,}至少重複n 次 []其中之一字元可出現可不出現，例如[abc] 表示不 論出現a 或b或c 都算符合 | 代表「或」, 例如 (Sun|Mon|Tue|Wed|Thu|Fri|Sat), (日|一|二|三|四|五|六) 以左右括號括住 (句點符號) 代表除了換行符號(\n) 以外的任一字元。 如果要包括換行符號，請使用[\s\S] (\W)代表任何英文(以外的) 字元 (\S)代表空白(以外的) 字元

+ ? *

| . \w \s

SYSTEX Group, SPLUNK Corp 2009

自定义日志及类型-配置文件说明

配置文件名称

用途说明

transforms.conf

自定义日志格式

input.confProps.conf

自定义日志类型 架起transforms.conf与input.conf 之间的桥梁

以上三个文件存放于splunk/etc/system/local 目录下SYSTEX Group, SPLUNK Corp 2009

自定义日志及类型-配置文件例子transforms.conf文件内容[Application_for_sourcetype_user_log_1] REGEX = (?i)^(?:[^:]*:){2}\d+\s+\w+\s+(\w+)\[

注:红色部分为连接之关键字

FORMAT = Application::$1

Inputs.conf 文件内容 [monitor://$SPLUNK_HOME/etc/log/Authsyslog] disabled = false host = AuthServer sourcetype = user_log Props.conf文件内容 [user_log] REPORT-Username_for_sourcetype_user_log_1 = Username_for_sourcetype_user_log_1

SYSTEX Group, SPLUNK Corp 2009

本文来源：https://www.bwwdw.com/article/3hjj.html