때로 Java 로그를 수집하다보면 색상이들어간 안시코드가 있을때가 있다.. 이런부분을 filebeat로 수집하다보면 Timestamp가 깨지는 경우가 발생하는데 이부분을 해결하는 코드이다.​전처리(processor)에서 사용한다. - script: when: regexp: message: "[\u001b\u009b][[()#;?]*(?:[0-9]{1,4}(?:;[0-9]{0,4})*)?[0-9A-ORZcf-nqry=> function process(event) { var msg = event.Get("message") var regex = /[\u001b\u009b][[()#;?]*(?:[0-9]{1,..

해당 기능은 pipeline을 통하여 logstash 설정을 좀더 간소화 하기 위해 쓰는 기능이라고(?) 볼수있다.내가 프로젝트에 들어갔을때 많은 Index를 사용했고.. Index에 로그를 분기처리 하기위해 logstash.conf 내용이 엄청 길었떤적이있다.. 그부분을 분기 시키기위해서는 필수로 해야한다고 본다.​0. 참고해당 부분을 할때 conf를 다양하게 만들어 적용했지만 잘되지 않았다..할때 input 입력쪽은 config.string을 사용하여 진행하고 나머지 filter나 output은 conf를 작성해도 일단은 작동하는것으로 보인다.또한 cycles에 피해야할 부분을 문서에 정의해놨는데 항상 한방향으로 흐르게끔 해야한다고 한다.. (말은 쉽지..)설정은 간단하지만 아키텍쳐 패턴을 사용하는경..

예전 프로젝트에서 Index를 Rollover를 할경우 ILM이 잘 적용이 안되었던적이 있었다.. 그 이유는 Index의 alias를 잘 찾지못하였던문제인데.. 이문제를 해결하기 위해 date-math-index-names라는 부분을 사용한 방법을 하여 해결한부분을 적어보고자 한다.​0. URI Encoded​먼저 date-math-index-names를 적용하기 위해선 URI encoded를 규칙을 알아야한다.해당 규칙대로 Index를 생성시 alias가 자동적으로 URI encode를 활용하기때문이다. 일단 참고만 하고 아래의 내용을 보게 되면 해당 부분을 어떻게 사용하는지 알수있을것이다.특수문자 인코딩%3C>%3E/%2F{%7B}%7D|%7C+%2B:%3A,%2Coutput할경우 rollover_a..