淺談日志分析
發(fā)布時(shí)間:2018年09月05日
日志主要包括系統(tǒng)日志、應(yīng)用程序日志和安全日志。系統(tǒng)運(yùn)維和開發(fā)人員可以通過(guò)日志了解服務(wù)器軟硬件信息、檢查配置過(guò)程中的錯(cuò)誤及發(fā)生錯(cuò)誤的原因。經(jīng)常分析日志可以了解服務(wù)器的負(fù)荷、性能安全性,從而能夠及時(shí)采取措施糾正錯(cuò)誤。
通常,日志被分散和儲(chǔ)存在不同的設(shè)備上。如果你管理數(shù)十臺(tái)或上百臺(tái)服務(wù)器,但還在使用依次登錄每臺(tái)機(jī)器的傳統(tǒng)方法查閱日志,這樣程序不僅繁瑣,效率還低下。因此,當(dāng)務(wù)之急我們應(yīng)使用集中化的日志管理,例如:開源的 syslog ,ELK,將所有服務(wù)器上的日志收集匯總。當(dāng)然,E日志在針對(duì)日志管理這方面更完善高效。
接下來(lái)我們來(lái)說(shuō)說(shuō)日志分析
日志數(shù)據(jù)可以是有價(jià)值的信息寶庫(kù),也可以是毫無(wú)價(jià)值的數(shù)據(jù)泥潭。要保護(hù)和提高你的網(wǎng)絡(luò)安全,有各種操作系統(tǒng)、應(yīng)用程序、設(shè)備和安全產(chǎn)品的日志數(shù)據(jù)能夠幫助你提前發(fā)現(xiàn)和避開災(zāi)難,并且找到安全事件的根本原因。
當(dāng)然,日志數(shù)據(jù)對(duì)于實(shí)現(xiàn)網(wǎng)絡(luò)安全的價(jià)值究竟有多大,取決于兩個(gè)因素:
第一,你的系統(tǒng)和設(shè)備必須進(jìn)行合適的設(shè)置以便記錄你所需的數(shù)據(jù)。
第二,你必須要有合適的工具、培訓(xùn)和可用的資源來(lái)分析收集到的數(shù)據(jù)。?
一般我們使用 grep 、 awk 和 wc 等 Linux 命令能實(shí)現(xiàn)檢索和統(tǒng)計(jì),但是對(duì)于要求更高的查詢、排序和統(tǒng)計(jì)等要求和龐大的機(jī)器數(shù)量依然使用這樣的方法難免有點(diǎn)力不從心。?
開源實(shí)時(shí)日志分析 ELK 平臺(tái)能夠完美地解決我們上述的問(wèn)題, ELK 是由 ElasticSearch 、 Logstash 和 Kiabana 三個(gè)開源工具組成。?
但是,Elasticsearch用于日志搜索這種對(duì)實(shí)時(shí)要求比較高的場(chǎng)景時(shí),需要做性能調(diào)優(yōu),甚至定制化開發(fā),才能較好地滿足大數(shù)據(jù)量、低延時(shí)的要求,同時(shí)需要做大量的配置,而且開源軟件需要花費(fèi)時(shí)間維護(hù),綜合成本較高。
E日志在日志分析領(lǐng)域里做了大量的突破與創(chuàng)新,功能相比ELK豐富多了。E日志實(shí)現(xiàn)了事件計(jì)數(shù)統(tǒng)計(jì)、時(shí)間分段統(tǒng)計(jì)、數(shù)值分段統(tǒng)計(jì)、字段值分類統(tǒng)計(jì)、字段數(shù)值統(tǒng)計(jì)、累計(jì)百分比統(tǒng)計(jì)等功能,快速采集原始日志,統(tǒng)一管理并建立索引,通過(guò)靈活的分析手段將資源的運(yùn)行情況可視化,幫助用戶及時(shí)發(fā)現(xiàn)問(wèn)題以及定位故障原因,打造以業(yè)務(wù)為核心的智能日志分析平臺(tái),將低價(jià)值的數(shù)據(jù)變成金礦。