본문 바로가기

elasticsearch

[Elasticsearch] Anomaly Detection의 by_field, partition_field, over_field 예제 배경 Elasticsearch의 Machine Learning 기능 중 Anomaly Detection이 있습니다. 시계열 데이터에 대한 이상을 탐지하는 기능이며 각각의 분석은 Detector라는 명칭으로 되어있습니다. 설정 항목 중 by_field, partition_field, over_field 차이에 대해 좋은 예제가 있어 공유합니다. 기본 설명 over_field : 모집단 분석시 모집단의 대상을 구분하는 필드를 정의합니다. by_field : soft split으로 해당 필드를 기준으로 집계를 하여 이상탐지를 진행합니다. partition_field : hard split으로 해당 필드를 기준으로 다른 값들과 독립되게 만듭니다. 예제 데이터 사람별 나이, 몸무게, 키에 대한 데이터이며 각 값은.. 더보기
[Machine Learning] Anomaly Detection Job Close(중지) Elastic Machine Learning 중 Anomaly Detection Job을 중지하는 API에 대해 소개합니다. 요청주소 POST 방식의 _ml/anomaly_detectors//_close 입니다. 전제조건 요청을 보내는 계정에 manage_ml 권한(machine_learning_admin 역할에 포함됨)이 있어야 합니다. Close 하기전에 Datafeed가 먼저 중단되어야 합니다. Job ID () 요청주소 중 는 중지할 대상 Job ID이며 다음과 같이 사용할 수 있습니다. 단일 Job ID (예: sample_job) 쉼표로 구분된 Job ID 목록 (예: sample_job1,sample_job2) Job 그룹명 (예: test_group) 와일드카드(*) 표현식 (예: samp.. 더보기
[Docker] Docker에서 Elasticsearch 기동시 vm.max_map_count 오류 발생 해결방법 Docker를 사용해서 Elasticsearch 시스템을 구축하려고 했는데, 이상하게 접속이 안되어서 상태를 확인해봤습니다. $ docker ps -aCONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES8af9a50bac2b elasticsearch:5.2.1 "/docker-entrypoin..." 2 minutes ago Exited (78) About a minute ago elasticsearch기동하다가 오류가 발생하였는지, 바로 종료가 되었습니다. 그래서 로그를 확인해보니$ docker logs elasticsearch[2017-03-28T03:48:32,378][INFO ][o.e.n.Node ] [main] initializing ...[2017-.. 더보기