Beengineer's Tech Notes

안녕하세요.저는 현재 시스템 엔지니어로 일을 하고 있으며, '25년 하반기부터 AI Training 클러스터 구축 및 통합 프로젝트를 진행 중입니다. 프로젝트를 진행하며 GPU 서버 및 HPC 환경을 경험 중입니다. 이 과정에서 배운 지식, 보완해야할 것들을 글로 정리하려고 합니다. 이번 글에서는 GPU 기초에 대해 정리하겠습니다. 1. GPU (Graphics Processing Unit)GPU를 풀어쓰면 Graphics Processing Unit이다. 이름에 들어있는 Graphic(이하 그래픽)이라는 단어를 통해 알 수 있듯이, 본래 GPU는 그래픽스 연산을 위한 특수 목적 프로세서로 탄생했다. 그래픽스 연산은 컴퓨터에서 생성 및 저장된 이미지를 사람이 볼 수 있도록 해석해서 디스플레이로 보여주..

시스템에 연결되는 물리적인 디바이스(특히 Network Interface Card, NIC)들은 벤더별로 Linux 운영체제 상에서 인식되는 이름에 차이가 존재합니다. 이러한 차이는 디바이스 네임을 기반으로 수행되는 작업에서 일관된 결과를 내는데 여러움을 유발합니다. 따라서, 시스템에서 인식되는 물리적인 디바이스들의 이름을 사용자가 원하는 규칙에 따라 설정하는 것이 필요합니다.이 때, 활용할 수 있는 것이 udev (userspace /dev) 입니다.udev는 Linux 커널 장치 관리자입니다.udevd (udev daemon)는 커널의 uevent를 감시하다가 들어오는 이벤트를 udev로 전달합니다.사용자는 커스텀 네이밍 규칙을 /etc/udev/rules.d에 등록함으로써, 디바이스에 일관된 이름을..

안녕하세요.이번 주말에 코엑스 쪽에서 열린 AWS Community Day Korea 2025에 참석해서 좋은 시간을 보냈는데요.세션에서 얻은 인사이트를 공유 드리고자 글을 남깁니다. 입장하자마자, 많은 기념품들을 나눠주셨는데요. 텀블러와 키캡, 간식이 들어있는 AI 개발자 전투식량은 아이디어가 재밌어 받자마자 웃음이 나왔습니다. 이 외에도 스폰서로 참석해 주신 메가존 클라우드, GS 네오텍, Splunk, Snowflake에서도 기념품을 나눠주셨습니다. 세션에서 많은 것을 배웠는데, 선물까지 주시니 감사할 따름이었습니다! 이번 행사는 '아키텍처', 'AI엔지니어링', '베이직' 이렇게 3개의 트랙으로 진행됐습니다.각 트랙별 세션 내용은 아래의 이미지를 참고하시면 되겠습니다. 저는 시스템 엔지니어로 근..

HA(High-Availability)를 확보한 Kubernetes(이하 쿠버네티스) 클러스터 구축을 위해, Multi-Master(이하 멀티-마스터)를 구성하기로 했습니다. 이를 위해 사전 구성요소인 Master(이하 마스터) 노드 앞 단의 Load-Balancer(이하 로드밸런서)를 저번 포스팅에서 구성했습니다.이번 포스팅에서는 마스터 노드(Control-Plane, 이하 컨트롤플레인) 3개, 워커 노드(Data-Plane, 이하 데이터플레인) 1개, 로드밸런서 1개를 준비한 상태에서 멀티-마스터 클러스터를 구성하겠습니다. 각 노드와 로드밸런서 구성은 이전 포스팅들을 참고해주시면 감사하겠습니다.현재 각 노드들은 쿠버네티스 클러스터를 생성하기 전 단계의 상태입니다. 1. 멀티-마스터 클러스터 생성kub..

이전에 구축한 Kubernetes(이하 쿠버네티스) 클러스터는 Master(Control-Plane)(이하 마스터/컨트롤플레인)는 1개로 구성돼 있습니다. 이 경우, 해당 마스터 노드에 장애 발생 시 클러스터 전체가 다운됩니다. 이러한 상황을 방지하기 위해 HA(High-Availability, 고가용성) 쿠버네티스 클러스터를 구축할 필요가 있습니다. 이를 위해 마스터 노드가 여러 개인 Multi-Master(이하 멀티-마스터) 클러스터를 구축할 수 있습니다. 멀티-마스터 클러스터에서는 마스터 노드가 여러 개입니다. 클라이언트가 보내는 API 요청을 여러 개의 마스터 노드 중 하나로 전달해줘야 합니다. 이를 위해 멀티-마스터 클러스터에서는 마스터 노드 앞 단에 로드 밸런서가 필요합니다.멀티-마스터 클러스..

사내에서 Kubernets(이하 쿠버네티스) 스터디를 주도하는 기회를 받았습니다. 실습 위주 스터디가 효율적이라 판단했고, kubeadm 기반으로 클러스터를 구축하는 것을 목표로 했습니다. 이전 포스팅에서는 클러스터에서 마스터(컨트롤플레인) 노드를 구축했습니다. 이번 포스팅에서는 워커(데이터플레인) 노드를 구축하겠습니다.쿠버네티스 환경 구성을 위한 작업은 마스터 노드의 경우와 동일하니, 쿠버네티스 클러스터에 워커 노드를 Join(이하 조인)하는 방법을 확인하고 싶으신 분들은 '15.(Worker Node) 클러스터 Join' 내용만 확인하시면 되겠습니다.📌 Info.VMware ESXi 환경에서 VM으로 구성OS : RedHat Enterprise Linux 9.4CPU : 4 coreMemory : ..

이번에 사내 Kubernetes(이하 쿠버네티스) 스터디를 주도하는 기회를 받았습니다. 실습 위주 스터디가 효율적이라 생각했고, 간단한 쿠버네티스 클러스터 성하는 것을 목표로 했습니다. minikube, k3s 등 간단하게 클러스터를 구축할 수 있는 도구들이 있지만, 표준적인 방법인 kubeadm을 통해 클러스터를 구축하는 것이 학습 및 현업에 좋다고 생각했습니다. 이에 해당 글에서는 kubeadm을 통해 쿠버네티스 클러스터를 구축하겠습니다. 📌 Info.VMware ESXi 환경에서 VM으로 구성OS : RedHat Enterprise Linux 8.4CPU : 4 coreMemory : 8 GBDisk : 100 GBKuberetes ver : v1.28.15Container Runtime : Co..

환경 정보 & 사전 준비사항환경정보RedHat Enterprise Linux 8.4 (서브스크립션 X)Kernel version : 4.18.0-305.el8.x86_64NVIDIA Driver versionData Center Driver for Linux RHEL 8 550.163.01 | Linux 64-bit RHEL 8Data Center / TeslaA-SeriesNVIDIA A100Linux 64-bit RHEL 8NVIDIA Toolkit versionCUDA Toolkit 12.4.1사전 준비사항`rhel-8.4-x86_64-dvd.iso` 활용 로컬 레포지터리 구성 완료OS 설치 시 `Standard`, `Development Tools`, `wget`, `curl` 패키지 설치또는 `..

해당 포스팅은 RedHat Enterprise Linux 7.x ~ 8.x (CentOS 7.x ~ Rocky Linux 8.x)를 기준으로 작성됐습니다. Bonding (본딩)? 리눅스 OS에서는 네트워크의 안정성을 위해서 Bonding(이하 본딩) 기능을 제공합니다. 네트워크 본딩이란 여러 개의 네트워크 인터페이스 (NIC, Network Interface Card)를 논리적으로 묶는 것을 말합니다. 이를 통해 논리적인 1개의 네트워크 인터페이스(본딩 네트워크 인터페이스)에 해당하는 대역폭을 본딩으로 묶은 네트워크 인터페이스들의 대역폭 합으로 확장할 수 있습니다. Fault Tolerance(이하 내결함성)도 제공합니다. 본딩 인터페이스를 구성하는 네트워크 인터페이스 중 1개에 장애가 발생하더라도, ..

개인 학습 내용을 바탕으로 지식 공유를 위해 작성한 글입니다. 잘못 또는 미흡한 부분이 있다면 댓글 부탁드리겠습니다. 리눅스에서 모든 것은 파일로 표현된다. 위치이름설명/root- 최상위(루트) 디렉터리 - 디렉터리들의 절대 경로를 표기할 때, 이 디렉터리로부터 시작/binbinary- 이진파일 (실행파일) - 기본적인 명령어가 저장된 디렉터리 - 리눅스에서 자주 사용하는 mv, cp, rm 등과 같은 명령어들이 존재/bootboot- 리눅스의 부팅에 필요한 정보들을 가진 파일들이 있는 디렉터리/devdevice- 시스템 디바이스(장치) 파일을 저장하고 있는 디렉터리 - /dev/sda, /dev/cdrom 등과 같은 장치 파일들이 위치 - 물리적 장치가 파일화되어 저장/etc - 설정 파일이 위치하..