背景

隨著企業(yè)信息化的長(zhǎng)期發(fā)展和建設(shè)，在每個(gè)成熟領(lǐng)域均出現(xiàn)了大量的應(yīng)用系統(tǒng)，信息化系統(tǒng)已經(jīng)成為企業(yè)的命脈，是企業(yè)生成和發(fā)展密不可分的一部分。其要求的業(yè)務(wù)聯(lián)系性等級(jí)越來(lái)越高、故障回復(fù)時(shí)間越來(lái)越短，尤其伴隨互聯(lián)網(wǎng)業(yè)務(wù)的發(fā)展，對(duì)系統(tǒng)異常的容忍度也越來(lái)越低，這就要求IT部門從上層的業(yè)務(wù)應(yīng)用到底層的基礎(chǔ)設(shè)施都要做到全面的掌控，并能夠及時(shí)的發(fā)現(xiàn)和解決問(wèn)題。

系統(tǒng)運(yùn)行狀態(tài)和告警信息都是通過(guò)系統(tǒng)的運(yùn)行日志承載的，眾多系統(tǒng)每天會(huì)生成海量的日志數(shù)據(jù)，各企業(yè)將大量的日志信息遺棄或進(jìn)行回檔入庫(kù)，并不能在實(shí)際的應(yīng)用系統(tǒng)管理過(guò)程中充分發(fā)揮其價(jià)值，反而成為了一種負(fù)擔(dān)。

解決方案

基于大數(shù)據(jù)平臺(tái)技術(shù)構(gòu)建統(tǒng)一的應(yīng)用系統(tǒng)日志數(shù)據(jù)集市，充分利用大數(shù)據(jù)平臺(tái)特性將企業(yè)內(nèi)眾多格式多樣和不統(tǒng)一的日志數(shù)據(jù)源全部進(jìn)行采集，并集中存儲(chǔ)于大數(shù)據(jù)平臺(tái)，包括：系統(tǒng)日志、網(wǎng)絡(luò)日志、安全日志、應(yīng)用系統(tǒng)運(yùn)行日志、操作行為日志等等。

數(shù)據(jù)處理按照日志數(shù)據(jù)本身的特性和管理需要進(jìn)行實(shí)時(shí)和非實(shí)時(shí)的數(shù)據(jù)處理方式，實(shí)現(xiàn)對(duì)海量歷史數(shù)據(jù)的和實(shí)時(shí)數(shù)據(jù)的分析，協(xié)助系統(tǒng)管理人員實(shí)現(xiàn)對(duì)應(yīng)用系統(tǒng)運(yùn)行過(guò)程中出現(xiàn)的各種問(wèn)題的敏捷洞察，快速定位及排障，并能夠通過(guò)對(duì)歷史數(shù)據(jù)的演變過(guò)程及時(shí)發(fā)現(xiàn)未來(lái)可能出現(xiàn)的異常狀況。

通過(guò)聚類、回歸分析、關(guān)聯(lián)規(guī)則、神經(jīng)網(wǎng)絡(luò)等算法實(shí)現(xiàn)對(duì)海量日志數(shù)據(jù)的分析可視化和深度挖掘，、完成對(duì)應(yīng)用系統(tǒng)全面監(jiān)控、預(yù)警、故障溯源、統(tǒng)計(jì)分析等功能。充分利用機(jī)器學(xué)習(xí)和人工智能分析方法，實(shí)現(xiàn)對(duì)應(yīng)用系統(tǒng)運(yùn)行的趨勢(shì)分析，在容量規(guī)劃、性能優(yōu)化、客戶滿意度等方面全面發(fā)力，提升IT部門的運(yùn)維管理能力，提升企業(yè)信息化管理水平。

系統(tǒng)架構(gòu)

基礎(chǔ)數(shù)據(jù)平臺(tái)基于大數(shù)據(jù)平臺(tái)框架，在深度學(xué)習(xí)、人工智能算法、分布式日子服務(wù)等方面提供基礎(chǔ)功能模塊支撐。

在日志采集模塊針對(duì)各類應(yīng)用系統(tǒng)通過(guò)可延展的日志采集服務(wù)、從日志源采集日志。用戶只需配置源地址、目的地址、收集規(guī)則等簡(jiǎn)單配置即可實(shí)現(xiàn)日志的高可靠、高可用采集。

采集到的日志通過(guò)日志處理模塊，通過(guò)日志接入消息服務(wù)Kafka作為消息隊(duì)列傳遞給Spark Cluster對(duì)日志數(shù)據(jù)進(jìn)行計(jì)算處理，按照日志數(shù)據(jù)的采集時(shí)間分為熱數(shù)據(jù)（7~30天）、溫?cái)?shù)據(jù)（30~90天）和冷數(shù)據(jù)（90天以上），分別、將處理后的數(shù)據(jù)寫入到ElasticSearch Cluster、Hive、HDFS中進(jìn)行保存。

日志分析模塊首先通過(guò)日志數(shù)據(jù)治理模塊對(duì)數(shù)據(jù)進(jìn)行清洗、規(guī)則校驗(yàn)在通過(guò)高速分析引擎對(duì)日志數(shù)據(jù)進(jìn)行各類分析模型進(jìn)行關(guān)聯(lián)分析、故障分析、容量分析、業(yè)務(wù)支撐分析等。

在應(yīng)用與展示模塊，通過(guò)數(shù)據(jù)可視化展示模塊將告警信息、趨勢(shì)信息等各種KPI指標(biāo)進(jìn)行集中呈現(xiàn)。

方案價(jià)值

1. 充分發(fā)掘數(shù)據(jù)價(jià)值
全面收集企業(yè)日志數(shù)據(jù)，通過(guò)關(guān)聯(lián)、聚類等算法對(duì)海量日志數(shù)據(jù)進(jìn)行分析挖掘，全面提升數(shù)據(jù)的可用性、易用性。
2. 提高工作效率
對(duì)系統(tǒng)層、網(wǎng)絡(luò)層、應(yīng)用層等各層級(jí)的日志數(shù)據(jù)進(jìn)行采集，實(shí)現(xiàn)了全方位日志統(tǒng)一管理，支持對(duì)各種精確和模糊查詢；根據(jù)運(yùn)維規(guī)范和業(yè)務(wù)管理規(guī)范形成了多維度的數(shù)據(jù)分析，對(duì)已知關(guān)注的KPI指標(biāo)進(jìn)行直接的呈現(xiàn)。
3. 全面的數(shù)據(jù)可視化
提供故障分析、業(yè)務(wù)鏈路分析、安全評(píng)估分析、容量規(guī)劃分析、趨勢(shì)預(yù)警分析等各類直觀的可視化圖表，各種情況直觀呈現(xiàn)，極大提升管理效率。
4. 提升運(yùn)營(yíng)管理能力
通過(guò)對(duì)日志數(shù)據(jù)的管理和挖掘，發(fā)揮其最大價(jià)值，并可以根據(jù)實(shí)際使用情況不斷演進(jìn)，合理制定企業(yè)IT發(fā)展戰(zhàn)略。