개발일기장

k8s상 pod들의 네트워크 기본에 대해 알아보자. 맛보기로 정리를 했으니, 이후에 더 깊게 파보도록 하자 Service?pod는 영구적이지 않다. 다시 재실행되면서 고유한 ip 주소를 가지지 않고 동적으로 변경된다.pod 집합에서 실행 중인 애플리케이션을 네트워크 서비스로 노출하는 추상화 방법이다서비스라는 객체를 두어, pod에 고유한 ip를 부여하고 로드밸런싱을 수행한다. Service의 종류 1. Cluster IP클러스터 안에 있는 다른 pod들이 접근할 수 있도록 ip를 할당한다.Pod가 삭제돼도 이는 변경되지 않기에, pod의 ip 가 동적으로 변경되는 것을 해결할 수 있음외부 접근이 불가능한데 어떻게 워커 노드 안에서 pod끼리는 통신하는가?CNI의 기능 => 너무 내용이 많아 다음 주제로한..

최근 그라파나를 본격적으로 운영하면서 있었던 이슈이다.사실 모든 문제는 다 스케일 업 시키면 되긴했지만, 근본적으로 왜? 에러가 나는지 초점에 맞추어 근본 원인을 찾아냈다 문제 1 : Mimir / Out of order samplesample has been rejected because another sample with a more recent timestamp has already been ingested Mimir는 Push된 시계열(metric sample) 들을 시간 순서대로 처리그런데 다음과 같은 상황에서 out-of-order sample 에러 발생같은 시계열(metric series) 에 이미 T2 시점의 샘플이 들어왔는데그 다음에 T1 (→ 이건 “순서 어긋남”, 즉 Out-of-or..

주식 시세를 수집하는 시세 원장 서버 프로젝트를 담당했었다. 사내에서는 처음 도입된 기술 스택이었고, 기존 팀 내에 관련 경험이 없는 상황이었지만, 많은 고민을 하면서 시스템을 안정적으로 구축하고 성공적이게 마무리했었다. 개인적으로도 처음엔 스트레스를 많이 받고 부담이 있었지만 고민을 하나하나 공유하며 해결책을 모색하다보니, 정말 못할건 없다. 라는 생각이 들었던 개인적으로 자부심이 높은 프로젝트였다. 정말 정말 너무 감사했던건, 토스, AWS 에서 같은 타사의 기술 컨퍼런스를 통해 공유된 사례를 접하며, 더 나은 해결책을 모색하고 방향성을 구체화하는 데 큰 도움을 받았다. 특히 [SLASH 22 - 토스증권 실시간 시세 적용기] 정말 GOAT...찾을 수 있는 영상은 다 본듯.. 이를 계기로 더더욱 지..

기본적인 docker의 데이터 관리 방식과 네트워킹 방식을 알아보자. 대표적인 Docker의 데이터 관리 방식 : Volume vs Bind MountVolume 이란?Volume은 컨테이너의 영구적인 데이터 저장소이다.Docker에 의해 독립적으로 관리된다.docker volume create 명령어를 통해 생성할 수 있다.볼륨은 Docker 엔진이 실행 중인 호스트 머신의 디렉토리에 실제로 저장된다.Volume을 사용하는 경우Volume은 주로 Docker 컨테이너가 생성하고 사용하는 영구 데이터를 저장할 때 사용된다.Bind Mount와 비교했을 때, Volume은 다음과 같은 장점이 있다:백업 및 마이그레이션이 더 쉽다Docker CLI 또는 명령어로 직접 볼륨 관리가 가능하다.운영체제에 독립적이..

문제Multi-Attach error for volume "pvc-아이디" Volume is already used by pod(s) mimir-prod-ingester-zone-c-4 새로운 ingester pod 생성 시 다음과 같은 warning 발생 후 ⇒ 몇초 뒤 successful 로 전환됨. 원인 mimir-ingester가 사용하는 Persistent Volume은 EBS 기반임. EBS는 하나의 노드에서만 마운트(ReadWriteOnce) 가능. 따라서 PVC도 ReadWriteOnce 모드로 설정되어 있음. 만약 Pod가 Node 1 → Node 2로 재스케줄링되면, 이전 노드(Node 1)에서 detach → 새 노드(Node 2)에서 attach 되어야 함. ..

이번 AWS 2025 Summit Day2에 참여하여 타 회사에서 AWS를 어떻게 적용했는지 공유하는 강연과 이를 녹여낸 부스에 방문하면서 뜻깊은 하루를 보냈습니다. 제가 부스 중 가장 인상 깊었던것은 대한항공인데요.시범으로 제안중인 서비스 아키텍처에 대해 SA 분께 설명을 들을 기회가 있었습니다.되게 열정적이게 설명해주셔서 서비스에 대한 애정이 느껴졌습니다ㅎㅎ(퍼스트 클래스 시승도 가능했는데..시간상 못했습니다..)사실 비행기 관련 서비스는 본질적으로 이벤트 기반(event-driven) 으로 동작하기 때문에, 별도로 서버를 운영할 필요 없이 AWS Lambda + S3 중심의 아키텍처로 구성했다는 점이 인상 깊었습니다.이로써 불필요한 서버 관리 및 비용을 절감의 장점이 있을 것 같습니다. AWS EK..

https://kubernetes.io/docs/concepts/storage/volumes/ VolumesKubernetes volumes provide a way for containers in a pod to access and share data via the filesystem. There are different kinds of volume that you can use for different purposes, such as: populating a configuration file based on a ConfigMap or a Secret prokubernetes.io해당 문서를 읽고 정리하는 글입니다. 왜 볼륨이 필요할까? 1. 데이터 지속성컨테이너 내의 디스크에 있는 파일은 임시적이다..

잇츠 스터디 4기에서 elastic search 스터디를 진행 하면서, 내용을 정리한 글입니다. 2025.03.30 - [개발 아카이브] - Elastic Search 가이드 북 - QueryDSL 정리지난번에는 실질적으로 데이터를 어떻게 조회하는지 알아봤다면,이번에는 elastic search가 데이터를 어떻게 저장하고 있는지 그 구성과 원리에 대해 알아보자.(사실 가장 궁금했던 부분이다)시스템 구조 1. 클러스터여러개의 노드로 이루어진 elastic search의 전체 시스템을 말함.최소 하나 이상의 노드로 구성된다.서로 다른 클러스터는 독립적인 시스템으로 유지됨.비유 : 서울시 전체 도서관 네트워크 2. 노드클러스터 내의 개별 서버역할에 따라 마스터 / 데이터 / 인제스트 노드로 구분됨.비유 : 개..

회사에서 입사 1년 차가 돼 무언가 의미가 있었으면 좋겠었다.그러기엔 자격증만 한 게 없어서 늘 관심 있던 aws saa를 준비했다. 2025.03.29에 시험을 응시했고, 합격했다 AWS SAA?홈페이지에는 다음과 같이 쓰여있다.AWS Certified Solutions Architect - Associate는 비용 및 성능 최적화 솔루션 설계에 중점을 둡니다. 이 자격증은 AWS 클라우드 또는 탄탄한 온프레미스 IT 경험을 갖춘 지원자에게 적합합니다. 이 시험에 깊이 있는 실무 코딩 경험은 필요하지 않지만 기본 프로그래밍 개념을 알고 있다면 도움이 됩니다.  대충 이런 문제가 나오는데, 상황과 문제가 주어지면 어떤 선택지가 Best 인지 고르면 된다.   어떻게 준비했나요?1. 덤프 풀기덤프를 pdf..

잇츠 스터디 4기에서 elastic search 스터디를 진행 하면서, elastic 가이드 북 중 QueryDSL 부분을 정리한 글입니다. 검색과 쿼리 - QueryDSLElastic Search 는 사용자가 여러가지 검색 조건을 통한 검색을 할 수 있도록 다양한 쿼리를 제공하고 있다.이러한 쿼리를 QueryDSL 이라고 칭함.모두 json 형식으로 입력해야 함. 풀 텍스트 쿼리?실제로 검색에 사용되는 검색어인 Term 으로 분석 과정을 거쳐 저장하기 때문에 검색 시, 대소문자, 단수, 복수, 원형 여부에 관계 없이 검색이 가능함.match_allmatchmatch_phrasequery_string match_all만약 검색시 쿼리를 넣지 않으면 default 로 해당 쿼리를 이용해 검색해 줌.해당 인..