목록면접 준비 (5)
짱이 될거야
SQL Structured Query Language, 구조화된 쿼리 언어 관계형 데이터베이스 관리시스템(RDBMS)에서 데이터 저장, 수정, 삭제 및 검색할 수 있다. 정해진 데이터 스키마(Schema)에 따라 DB 테이블에 저장된다. 데이터를 분산한다. 엄격한 스키마를 따르며 데이터 중복을 피할 수 있다. 조인을 사용한다. NoSQL Not only SQL SQL만을 사용하지 않는 데이터베이스 관리시스템(DBMS) 수평적 확장 (SQL은 수직적 확장) 스키마가 없으며 조인을 사용하지 않는다. 스키마가 없기 때문에 컬럼값이 고정되지 않은 비정형 데이터에 주로 사용하며, 따라서 빅데이터를 다루는 경우 거의 대부분 NoSQL을 사용한다.
API Application Programming Interface 다른 소프트웨어 시스템과 통신하기 위해 따라야 하는 규칙 REST Representational State Transfer API 작동 방식에 대한 조건을 부과하는 소프트웨어 아키텍처 자원(Resource): URI 행위(Verb): HTTP Method 표현(Representations) URI와 URL 차이: URI이 더 큰 범위 URI(Uniform Resource Identifier): 인터넷에 있는 자원을 나타내는 유일한 주소. URL(Uniform Resource Location): 네트워크 상에서 자원이 어디 있는지 알려주는 규약. 특징 Uniform: URI로 지정한 리소스에 대한 조작을 통일화 Stateless(무상태성)..
Dataframe, SQL, Dataset: 고수준 API RDD: 저수준 API 1. RDD(Resillient Distributed Data) Ressillient: 메모리 내부 데이터 손실 시 유실된 파티션 재연산해서 데이터 복구 가능 Distributed: 스파크 클러스터를 통해, 데이터가 메모리에 분산되어 저장된다. Data 여러 분산 노드에 걸쳐 저장되는 변경이 불가능한 데이터의 집합 물리적으로 데이터 배치를 세밀하게 제어해야 하는 상황에 사용. 2. Dataframe 행, 열로 구성된 분산 데이터 컬렉션. 관계형 데이터베이스 구조. 데이터 처리: 정형, 비정형 데이터 형식 처리 가능 RDD가 있음에도 불구하고 Dataframe이 나온 이유 RDD는 메모리나 디스크에 저장 공간이 충분하지 않으..
빅데이터 처리 필요성 4차 산업혁명이 시작되면서 데이터를 어떻게 활용하는지가 신기술에 큰 영향을 미치게 되었다. 코로나19 등으로 인해서 비대면 업무가 가속화됐고 온라인 업무 처리가 발달한 것도 빅데이터 처리에 대한 관심을 키웠다. 그 과정에서 데이터 3법이 등장했고 다양한 기업(금융, 기업, 공공기관)들이 관심을 가지고 있다. 데이터 3법 개인정보보호법: 개인정보보호 소관 부처를 하나로 모아서 중복 규제를 없앴다. 개인과 기업의 정보 활용 폭을 넓혔다. 정보통신망법: 가명정보 개념 도입, 상업 목적으로 활용 가능 신용정보법: 가명정보 금융분야 빅데이터 분석에 이용 가능, 가명정보 주체 동의 없이 활용 허용 특징: 가명정보 개념 도입, 개인정보의 판단기준을 명확화 기대: 데이터 활용 근거가 마련되어 가명..
1. 프레임워크 복잡한 문제를 해결하거나 서술하는 데 사용되는 기본 개념 구조. 소프트웨어 특정 문제를 해결 위해 상호 협력하는 클래스와 인터페이스의 집합. 각종 라이브러리와 코드가 모여서 프레임워크가 된다. 완성된 어플이 아니라 개발자가 완성시켜야 하지만 라이브러리보다 규칙이 많아서 배우기 쉽다. 한 프로젝트에는 하나의 프레임워크만 사용할 수 있다. 라이브러리와 코드가 모여서 생긴 것으로, 정해진 규칙이 있어 개발자의 코드 작성을 돕는다. ex) Vue.js, Django(웹 프레임워크) 2. 라이브러리 단순 활용한 도구들의 집합. 개발자가 만든 클래스에서 호출해서 사용하며, 필요한 클래스를 불러서 사용하는 방식이다. 개발자가 코드를 쉽게 설계할 수 있도록 활용할 수 있는 클래스들을 모은 것이다. 확장..