시니어를 추구하는 주니어 개발자

Linux, macOS 등 개발을 하면서 많은 명령어들을 호출하면서 예전에 Linux의 history로 저장되는 default로 개수는 1000개이지만, macOS와 aws ec2에서 확인 시 개수가 더 많은 것을 확인하였습니다. macOS Monterey 12.6.2 : 50000 (사용자마다 다를 수 있을 것으로 예상) AWS EC2 instance, t3.small : 100000 (cloud9으로 실행시킨 ec2여서 EC2 Instance 기본 설정과 다를 수 있을 것으로 예상) history에 저장되는 명령어 개수 확인하는 명령어 echo $HISTSIZE 명령어로 호출했던 history 내역을 파일로 backup 할 수 있는 명령어 cat ${HOME 경로}/.bash_history > hi..

svn을 통해 관리되는 서버에 접속 실패되는 이슈가 발생하여 해결방안을 정리하였습니다. Error 내용 (Server SSL certificate verification failed) svn: E230001: Server SSL certificate verification failed: certificate issued for a different hostname, issuer is not trusted 시도한 방법 svn list {svn 주소} {svn 주소}에 domain과 port가 있는 경우 port까지 추가하여 명령어를 실행 하면 될 줄 알았지만 해결되지 않고 다른 에러 확인. ex) svn list https://thewayhj.tistory.com:443 -> does not support..

Apache ranger 이란? Hadoop 플랫폼에서 데이터 모니터링 및 보안 등을 관리하는 프레임워크. Apache ragner에서 보안 관련 권한 설정 가능 List Hadoop Hive Hbase Storm Sola Kafka yarn 등 Ranger plugin에서 30초 간격으로 새로운 보안 정책이 적용되었는지 확인함. Apache Ranger를 통해 Database, Table, File 등 접근 또는 차단이 되도록 보안 정책을 설정할 수 있습니다. 보안 정책은 User, Group 별로 설정이 가능. 보안 정책 변경, User 및 Group의 행동을 로그로 적재하여 감시 및 모니터링 가능. (Aduit 로그) Aduit 로그 저장을 위해 Sola, Elasticsearch를 plugin을 ..

Confluent에서 제공하는 기능으로 JDBCSinkConnector는 SourceConnector 또는 debezium 등으로 특정 topic에 있는 데이터를 sink connector에 맞게 이관 또는 마이그레이션 등을 처리할 수 있도록 하는 기능입니다. JdbcSinkConnector REST API (MySQL) curl --location --request POST 'http://localhost:8083/connectors' --header 'Content-Type: application/json' --data-raw '{ "name": "mysql-sink", "config": { "tasks.max": "1", "connector.class": "io.confluent.connect.jd..

Amazon S3에 데이터를 쌓기 위해 우선 AWS 셋팅이 필요합니다. 1. AWS S3 bucket 메뉴에 접속합니다. 2. 버킷 만들기 S3에 생성할 bucket 이름을 생성한다. (bucket 이름은 고유한 이름으로 정하기 때문에 기존에 S3 bucket 이름 확인 후 생성한다.) AWS 리전은 S3를 생성하고 싶은 리전 확인 후 생성한다. AWS에서 객체 소유권 셋팅은 bucket에 작성한 각각의 객체를 개별적으로 제어해야하는 상황을 제외하고 ACL 기능을 비활성화 하는 것을 권장한다고 합니다. bucket 생성 시 외부에서 무단으로 접근하는 환경으로부터 데이터를 보호하기위해 퍼블릭 액세스 차단을 권장. bucket 버전 관리는 임의로 테스트를 위해 생성하는 S3이므로 비활성화 처리로 선택. 추후..

1. Task threw an uncaught and unrecoverable exception 원인 sinkConnector를 실행시킬 때 Kafka에 기록한 직렬화된 데이터를 변환하기 위해 사용한 "key.converter"과 "value.converter"을 사용했는데 connect.log 확인 시 schema 정보를 갖고 있는 key를 찾을 수 없다는 에러 로그를 확인하였다. 하여 topic에 쌓인 데이터를 확인해보니 아래와 같이 쌓인 것을 볼 수 있었다. 해결 방안 sinkConnector에서 "key.converter" 또는 "value.converter" 옵션을 사용하기 위해서는 debezium 또는 sourceConnector 를 실행시킬 때 "key.converter", "value.co..

snapshot.mode : schema_only_recovery 간혹 debezium으로 테스트를 진행 중에 테스트를 위해 docker로 실행시킨 MySQL을 stop 후 다시 start를 하면 connector가 정상적으로 싱행이 되지 않을 때가 있었다. 정상적으로 connector가 실행되지 않을 때 처음으로 발생하는 에러는 MySQL에 접근하는 계정에 권한이 없다고 하는 에러였다. 저는 MySQL8 이상을 사용하고 있어 아래와 같이 명령어를 통해 권한을 주었다. (MySQL 5.7 이하는 identified를 통해 가능.) GRANT ALL PRIVILEGES ON {DB명}.* TO {계정 ID}@'%' WITH GRANT OPTION; // 권한 부여 FLUSH PRIVILEGES; // 권한..

 Macbook에서 개발할때 빠르게 명령어를 실행하기 위해 alias 추가 중 삽질(?)을 하여 정리하였습니다. 작성자는 macOS catalina부터 기본 쉘이 bash에서 zsh로 변경된 부분을 잊고 alias를 추가하기 위해 프로그램을 제어하는 bash_profile 파일을 찾았습니다. 하지만 그 어디에도 해당 파일이 없어서 bash_profile 만들고 했지만 alias 적용이 되지 않는 이유가 뭐지? 하면서 구글링을 하다가 zsh로 바뀐 부분을 찾고 zshrc 파일을 수정하였습니다. zshrc 수정 명령어 vi ~/.zshrc zshrc 수정을 하기 위해 위의 명령어를 실행하면 친절하게 주석으로 설명이 되어있다. Example aliases 부분을 찾아 추가하고자 하는 단축 명령어 추가하면 됨..