CS 지식

이전에 Route53 에서 TXT 레코드를 추가하고 robots.txt 파일의 내용을 집어 넣었던 기억이 있다. 키워드만 정리해 놓았었는데, 뭔지 궁금해서 정리해본다. 정의 "robots.txt" 파일은 웹사이트 소유자가 검색 엔진 로봇(또는 크롤러)에게 자신의 웹사이트의 어떤 부분을 크롤링하고 색인화할 수 있는지 제어하기 위한 표준 프로토콜입니다. 이 파일은 웹사이트의 루트 디렉터리에 위치하며, 검색 엔진 크롤러가 웹사이트를 방문할 때 이 파일을 확인하고 그에 따라 행동합니다. 왜 사용하는가? 크롤링 대상 제어 : 웹 사이트 소유자는 어떤 검색 엔진 크롤러가 그들의 웹 사이트를 크롤링할 수 있는지 제어하려는 경우 사용한다. 이를 통해 웹 페이지의 특정 부분을 숨기거나 숨기지 않고 검색 엔진에서 색인화할..

정의카프카(Kafka)는 고성능 데이터 파이프라인, 스트리밍 분석, 데이터 통합 및 미션 크리티컬 애플리케이션을 위한 오픈 소스 분산 이벤트 스트리밍 플랫폼이다.카프카는 Pub-Sub 모델의 메시지 큐 형태로 동작하고, 분산 환경에 특화되어 있다는 특징이 있다.그렇다면 이벤트 스트리밍이란 무엇인가?이벤트 스트리밍은 단순히 다른 시스템에서 쉽게 액세스하고 분석할 수 있도록 장소간에 이벤트 데이터를 효율적으로 이동하는 프로세스를 의미합니다. Apache Kafka는 이벤트 스트리밍 도구의 좋은 예입니다. 따라서 이벤트 스트리밍은 이벤트 스트림 처리 작업의 일부입니다. 음 결과적으로 이벤트 스트리밍이란 연속적으로 들어오는 이벤트들을 다른 시스템으로 효율적으로 전달해주는 것이라고 생각이 든다.카프카는 링크드인에..

정의 서킷 브레이커(Circuit Breaker)란 원래 일반적으로 어떤 전기적 회로를 과전압 등으로부터 보호하기 위해 사용하는 일종의 장치를 말한다. 아주 단순한 의미에서 보면, 각 가정집에 설치돼있는 누전차단기 또는 퓨즈와 같은 장치를 말한다. 누전 차단기가 없게되면 아파트에 공급되는 전원장치가 차단기 없이 연결되어 있다는 이야기와 같고, 전기적으로 쇼트가 발생하게 되면 하나의 회로를 공유하므로, 여기에 연결된 모든 전기 제품들이 동작하지 않게 된다. 컴퓨터 공학적 의미에서는 외부 서비스의 장애로 인한 연쇄적 장애 전파를 막기 위해 자동으로 외부 서비스와 연결을 차단 및 복구하는 역할을 한다고 한다. 서킷 브레이커는 애플리케이션의 안정성과 장애 저항력을 높인다. k8s 에서는 istio에 관련 기능이..

오늘은 컴퓨터 구조에 대해서 정리해 봤다. 컴퓨터 구조를 정확하게는 모르고 있기 때문에 운영 체제가 어떻게 동작하는지를 이해하는 데에도 어려움이 있었어서 정리 해보면 좋을 것 같다고 생각을 했었다. 컴퓨터 구성요소 컴퓨터 구성요소는 크게 소프트웨어와 하드웨어로 이루어져 있다. 하드웨어는 크게 CPU, 메모리, 디스크, 입출력장치(IO),메인보드와 시스템 버스로 나누어져 있다. 그리고 소프트 웨어는 크게 나누어져 있진 않고 시스템 소프트웨어, 응용 소프트웨어가 있다. 먼저 하드웨어에 대한 설명을 해보도록 한다. CPU CPU는 Central Processing Unit 즉 중앙 처리 장치라고 한다. 중앙 처리장치란 연산 작용을 하는 것이다. 프로그램이라는 것에 속해 있는 명령어나 함수를 열심히 수행하고 그..

정의 동기(Synchronous)란? 동기란 요청의 응답에 따라 순차적으로 작업을 수행하는 통신이다. A 요청과 B 요청이 있다고 가정했을 때 A 요청을 보내고 A 응답을 받고 B 요청을 보내고 B 요청을 받는 것 처럼 순차적으로 작업을 수행하게 되는 것을 동기 통신이라고 한다. 즉, 작업에 대한 순서를 보장하는 통신이라고 생각든다.동기 통신 같은 경우 순서를 무조건 적으로 보장 해야하는 작업을 할 경우 용이하다. 하지만 데이터베이스와의 통신 또는 다중 작업을 진행 할 경우 한 개의 통신이 끝나기 전까진 다른 통신은 하지 못하니 비효율 적일 것이다. 비동기(Asynchronous)란? 비동기란 요청의 응답에 따라 순차적으로 진행하지 않아도 되는 통신이다. A 요청과 B 요청이 있다고 가정했을 때 A 요청..

트레이싱(Tracing)정의트레이싱이란 요청이 애플리케이션을 통해 전파될 때 요청이 취하는 경로를 기록하는 관찰 가능성 도구 입니다 . 트레이싱은 특정 요청에 대한 응답으로 시스템이 수행하는 활동을 연결하는 데 도움이 됩니다. 또한 트레이싱은 이러한 활동에 대한 타이밍 정보(예: 시작 시간, 기간 등)를 제공합니다. 트레이싱은 프로그램 실행에 대한 정보를 기록하기 위해 로깅을 특수하게 사용하는 것과 관련된다. 이 정보는 일반적으로 프로그래머가 디버깅 목적으로 사용하고 추가로 트레이싱 로그에 포함된 정보의 유형과 세부 정보에 따라 숙련된 시스템 관리자나 기술 지원 담당자 및 소프트웨어 모니터링 도구가 소프트웨어의 일반적인 문제를 진단하는 데 사용한다.로깅이 이벤트에 의해 트리거되는 개별 로그에 대한 정보를..

먼저 클러스터링에 대한 정의 먼저 알고 이해해야할 것 같다. 2023.07.18 - [CS 지식] - 클러스터링이란? 클러스터링이란? 각기 다른 서버들을 하나로 묶어서 하나의 시스템같이 동작하게 함으로써 클라이언트들에게 고가용성의 서비스를 제공하는 것 그렇다면 DB 클러스터링이란 무엇이고 어떤 기능을 하는가? 정의 데이터베이스 구축의 경우 1개의 서버로 하나의 데이터베이스를 구축해서 사용하는 편이다. 허나 1개의 서버로만 데이터베이스를 사용하게 되면 부하나 장애로 인해 서비스가 죽는 현상이 발생하게 된다. 이러한 이유로 가용성을 보장하기 위해 여러 서버를 구축 후 하나의 데이터베이스로 사용하는 경우를 DB 클러스터링이라고 한다. 데이터베이스 시스템의 성능과 안정성을 향상시키기 위해 시스템의 워크로드를 분..

정의각기 다른 서버들을 하나로 묶어서 하나의 시스템같이 동작하게 함으로써 클라이언트들에게 고가용성의 서비스를 제공하는 것한 개의 클러스터로 묶여있어 하나의 시스템 처럼 동작하게 되면 클러스터 내부의 서버가 고장이 나도 나머지 서버가 그 기능을 대신할 수 있게끔 하는 기능.클러스터는 높은 수준의 가용성, 안전성, 확장성을 제공하기 위해 하나의 시스템을 이용하는 것보다 두개 또는 그 이상의 시스템을 이용한다. 클러스터 기술은 세가지 유형의 장애를 대비한다.어플리케이션과 서비스 장애 : 어플리케이션과 필수 서비스에 영향을 미치는 경우시스템과 하드웨어 장애 : 하드웨어를 구성하는 CPU, drives, memory, network adapters, 전원공급기에 영향을 미치는 경우여러기관의 사이트 장애 : 자연재..

정의 SSL 보안 프로토콜을 통해 정보가 전송되면 웹 서버는 웹 트래픽을 암호화 및 복호화 하는 작업을 수행한다. 이러한 프로세스는 웹 서버에 상당한 부하를 주어 웹 서버의 성능에 영향을 미친다. 오프로딩은 서버에서 데이터를 암호화하는 추가적인 부담을 처리하기 위해서 많은 네트워크에서 SSL 오프로딩을 사용한다. 방식은 트래픽이 들어오기 전에 별도의 장치에서 SSL 암호화를 제거하는 것이다. SSL Offloader는 침입 탐지 시스템, 바이러스 탐지 시스템 등의 효율성을 크게 향상 시킬 수 있다. SSL 암호화된 데이터에 포함된 공격 서명 및 바이러스 서명을 탐지할 수는 없지만 오프로더는 데이터를 해독 가능하므로 콘텐츠를 검사하고 의심스러운 패킷을 차단하는 기능도 가능하다. Offloading하는 방식..