Elk

실전 주식 분석 facebook stock : https://finance.yahoo.com/quote/FB?p=FB Historical data -> 5years -> apply -> download data ch06 table.csv 이용. input { file { path => "/home/ubuntu/workspace/elasticsearch/ch06/table.csv" # file path start_position => "beginning" # csv 파일을 처음부터 입력. sincedb_path => "/dev/null" } } filter { csv { separator => "," columns => ["Date","Open","High","Low","Close","Volume","Ad..

KIBANA 기초 해당 자료는 Inflearn.com의 ELK 무료 강좌를 기반으로 정리한 자료 입니다. 준비(Management) Elastic Search에 먼저 Document를 먼저 넣도록 한다. curl -XDELETE localhost:9200/basketball curl -XPUT localhost:9200/basketball (document생성) curl -XPUT 'localhost:9200/basketball/record/_mapping' -d @basketball_mapping.json curl -XPOST 'localhost:9200/_bulk' --data-binary @bulk_basketball.json Kibana Start & go to web page (IP:5601(p..

Elasticsearch 기초 해당 자료는 Inflearn.com의 ELK 무료 강좌를 기반으로 정리한 자료 입니다. ElasticSearch 기본 개념 위의 그림은 ElasticSearch의 기본 인덱싱 및 검색처리를 위한 저장 방식이다. 일반적인 RDB와 Indexing 방법이 차이가 있는데, 이를 역인덱싱 방식이라고 한다. Elasticsearch Structure 기본 구조는 아래와 같은데 이를 RDB와 비교해서 이해하면 쉽게 이해 할 수 있을 것이다. Elastic Search vs RDB CRUD curl -XGET http://localhost:9200/classes(클래스명)?pretty 하면 결과가 이쁘게 나온다. 여기서 Pretty 없다면 결과가 보기가 힘들게 나온다. status 가 ..

ELK 설치 (Elasticsearch, Logstash, Kibana) 회사에서 실시간 로그 관리 시스템 구축 프로토 타입으로 인해 설치를 수행하면서 적용했던 방법을 공유하고자 작성하였습니다. Apache web server -> Logstash -> Elasticsearch -> kibana ElasticSearch JSON Format으로. RESTfull 방식의 분산 검색 엔진. Apache Lucene을 바탕으로 하고 있으며, 대량의 데이터보단 크지 않은 데이터를 보관하는 역방향 인덱싱 DB 시스템이라고 생각할 수 도 있다고 한다. Logstash 로그 수집기 Web apache server log file 또는 다양한 시스템의 LogFile을 수집하여 전송하는 수집기. Kibana BI 툴 E..