Kafka 동작 원리
·
Engineering/Configuring
Kafka 구성 요소 Replication message 복제하여 클러스터 내 브로커들에 분산시키는 동작 하나의 브로커가 종료되어도 안정성 유지 가능 토픽 생성 시 replication factor 지정 가능 환경에 따른 factor 기준선정 (개발, 운영 등) Partition 하나의 Topic에 대한 처리량을 높이기위해 병렬 처리가 가능하게 만든것 Partition 수만큼 Consumer 연결 가능 늘리는건 가능하나 줄이는건 불가능 초기에 적게 설정 후 메세지 처리량, 컨슈머 LAG 모니터링하며 늘리는 것 권장 ※ 컨슈머 LAG Producer가보 낸 메세지 수 - Consumer가 가져간 메세지수 Segment Producer에 의해 Broker로 보내진 메세지는Partition에 저장됨 각 메세지..
MQTT & Kafka Test
·
Engineering/Configuring
MQTT Test Server 구현 MQTT Broker install MQTT 메세지 송/수신을 위해 MQTT Broker가 필요 여러가지 MQTT Broker 플랫폼이 있는데 오픈소스 중 가장 유명한 mosquitto, 그리고 서베이 중 경량, 멀티스레딩을 강조하는 nanomq test mosquitto install $ sudo apt install openjdk-8-jdk mosquitto mosquitto-client 간략한 상태 확인 명령어 $ ps -ef | grep (프로세스 이름) # 내가 실행시킨 프로세스가 현재 실행중인지, PID는 어떻게 되는지 확인 가능 $ netstat -tnlpa | grep (프로세스 이름 or Port 번호) # 실행시킨 프로세스가 사용중인 포트 확인 등에 ..
Intelligent Tire Sensor-Based Real-Time Road Surface Classification Using an Artificial Neural Network
·
Etc/Review
서론 자율주행 기술용 차량 전자 제어 시스템 신뢰성 향상을 위해 더 많은 차량 및 환경 정보 수집 필요 노면 조건은 차량 제어의 안전성과 성능을 향상시키는 핵심 요소 노면 조건 or 잠재적 타이어 접지력 추정을 위한 여러 시도 노면 정보는 전자 차량 제어 시스템 개선, 차량 가속, 제동, 조향을 위해 사용될 수 있음 노면 조건, 마찰계수 추정을 위한 선행 연구들의 방법들은 tire force-slip-based method road property-based method tire-road interaction-based method 가 있었음 tire force-slip-based method 차량역학모델을 이용하여 노면마찰계수 추정 가능 물리 모델의 파라미터 파악에만 실험결과가 필요하여 상대적으로 실험..
Docker 사용 관련
·
Engineering/Configuring
Docker Engine 설치 과거 버전 삭제 sudo apt-get remove docker docker-engine docker.io containerd runc repository 설정 sudo apt-get update sudo apt-get -y install apt-transport-https ca-certificates curl gnupg lsb-release sudo apt install curl Docker Official GPG Key 등록 curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg stable repos..
LaTex 명령어 정리
·
Etc/Trace
Notion에 논문 서베이 및 리뷰를 진행하면서 정리하는 내용에 수식을 추가해야 하는 상황 LaTex 문법을 잘 몰라서 이번 기회에 정리해 놓고자 포스팅을 남김 Reference 왕초보 LaTeX: 수식 명령어 정리 [마크다운] LaTex 문법 정리
Generative AI, 그리고 ChatGPT
·
Etc/Review
“When information is cheap, attention becomes expensive.” 정보가 저렴하면, 관심이 비싸진다. “It is not the amount of knowledge that makes a brain. It is not even the distribution of knowledge. It is the interconnectedness.” 두뇌를 만드는 것은 지식의 양, 지식의 분배가 아닌 상호 연결이다. “Information is not knowledge and knowledge is not wisdom.” 정보는 지식이 아니며, 지식은 지혜가 아니다. ― James Gleick, The Information: A History, a Theory, a Flood 개발..
WSL2 CUDA, CUDNN 설정
·
Engineering/Configuring
설치 및 환경 설정 WSL 삭제 wslconfig.exe /l wslconfig.exe /u linux-version WSL 설치 Microsoft Store에서 설치 기본값 변경 wsl -s linux-version 부가 설정 python3-pip 설치 sudo apt update -y && sudo apt upgrade -y apt-get install g++ openjdk-8-jdk python3-dev python3-pip curl -y python3 -m pip install --upgrade pip pip install pipenv sudo apt install pipenv -y Build from source | TensorFlow CUDA Toolkit Archive cuda 버전 맞춰 다..
WSL2 외부 접속 설정
·
Engineering/Configuring
사무실의 인터넷과 노트북의 성능 한계에 부딪히면서 처음으로 VS Code 환경에서 작성하던 코드를 날려먹은 빡침에 바로 집의 Window PC에 구성된 WSL2 환경을 외부에서 접속하기 위해 서베이하였고, 여러 자료들을 토대로 성공한 방법을 정리한다.1. 원격으로 접속할 PC의 공유기 내부 아이피 고정나는 유플러스 인터넷을 사용하고 있는데 다른 공유기들은 설정 UI는 다르겠지만 근본적으로 방식은 동일하다.나의 경우, 포트 포워딩해서 외부에서 언제든 접속 가능한 PC 환경을 만들어 놓는 것을 좋아하기 때문에 이부분은 어느정도 설정이 되어 있었다.따로 PC의 아이피를 고정한 것은 아니고, 초기에 공유기 및 인터넷 설치하고 나서 PC를 연결했을 때 공유기 내부 아이피가 192.168.219.100과 같은 형태..