2024/10 19

[Spark 완벽 가이드] Spark 정의 및 API 둘러보기

서론현재 저는 Hadoop / Spark / Airflow / Kafka를 공부하고 있습니다!! 이번 포스팅부터는 현재 공부 중인 "스파크 완벽 가이드"라는 도서를 읽고 Spark라는 Tool이 무엇인지, 어떻게 작동되는지, 어떤 Data Type이 있고 어떤 특징들을 가지고 있는지 3~4차례에 나눠서 기록해보고자 합니다. 대략적인 Keyword는 아래와 같습니다."Spark 정의" -> "Spark 최적화" -> "Spark Streaming" (-> "Spark ML") 우선, Spark를 공부함에 있어 해당 책을 고른 이유는 딥러닝을 공부하면서 "ORELLY" 출판사 책을 굉장히 많이 읽었었는데 내용이 너무 좋았었던 기억이 있어서 이번에도 믿고 구매를 해봤습니다. 그리고, 소프티어 교육을 들으면서 ..

Apache Spark 2024.10.25

[교육 후기] 소프티어 부트캠프 4기 데이터 엔지니어링 교육 후기

서론두 번째 부트캠프 합격 후기를 아래 두 가지를 목표로 후기를 작성해보고자 합니다...!!현대자동차 소프티어 부트캠프에 대한 정보 글이 많이 존재하지 않았다. 또한, 신설된 데이터 엔지니어링 코스에선 무엇을 배우는지 궁금해하시는 개발자 분들에게 정보를 제공하고 싶다.현재 다양한 부트캠프가 존재하는데, 현대자동차 소프티어 부트캠프가 가지고 있는 장/단점을 공유하고자 한다. 우선, 소프티어 부트캠프를 알게 된 경로는 SNS를 하다가 우연히 광고로 뜨길래 들어가봤습니다. 이전까지 AI를 주로 공부했었는데, 데이터적인 측면에서 결국에는 서비스를 개발하려면 DE나 MLOps나 공통적인 부분이 많이 존재한다고 생각했고, DE로 지원하게 되었습니다. 그리고, Python으로 코테를 볼 수 있는게 DE 밖에 없기도 ..

교육 후기 2024.10.23

[코테 후기] 2024 (하) 카카오 모빌리티 MLOps 직군 코딩테스트 후기

시험 개요카카오 모빌리티 하반기 주니어 개발자 채용은 경력 만 2년 미만 개발자까지 지원할 수 있는 공채였습니다. 2시간 동안 3문제를 풀이하는 방식으로 수행되었고, 코딩테스트 환경은 "코딜리티"라는 플랫폼에서 응시하게 되었습니다. 해당 시험 또한 후기가 많이 존재하지 않았고, 난이도가 어떻게 나올지 시험 전까지 기대 반 / 걱정 반이었던 것 같습니다. 우선, 서류는 거의 붙여주는 느낌으로 1차 코딩테스트는 모든 지원자가 응시한 것으로 보입니다.  그 이유는, 1차 코딩테스트 결과 + 서류 및 포트폴리오로 2차 코딩테스트 인원을 선발하기 때문인 것이라는 생각이 들었고, 그만큼 서류가 굉장히 중요한 역할을 한다고 느꼈습니다.  MLOps 직무는 SQL 1문제와 일반 유형의 2문제 총 3문제로 이루어져 있었..

코테 후기 2024.10.23

[코테 후기] 2024 (하) 한화비전 채용전제형 인턴 Window Application 직군 코딩테스트 후기

시험 개요한화비전 하반기 코딩 테스트는 2시간 3문제를 풀이하는 방식으로 수행이 되었습니다. 그리고, 프로그래머스 환경에서 코딩테스트 응시를 수행했습니다. 시험 응시 전에 사전 점검을 수행하지 않으면, 시험을 응시할 수 없었습니다. 전년도 후기를 바탕으로 이번 시험에서 달라졌던 부분은 바로 C/C++로 1문제를 풀이해야하는 조건이 사라졌습니다. 해당 조건 때문에 "서류만 잘쓰면 0솔도 붙었다"라는 후기가 있었는데, 이번부터는 이런 후기가 없어지지 않을까 생각합니다. 다른 기업 코딩테스트와는 다르게, 카메라를 키지 않았다는 점이 가장 의아?했던 점이었습니다. 이 때문에, 난이도가 극악으로 나올 것이라 예상했고, 좀 더 철저한 대비를 위해 열심히 코딩테스트 문제를 풀었습니다 ㅎㅎ 사실 투 컴으로 GPT 돌려..

코테 후기 2024.10.23

[코테 후기] 2024 (상) 삼성전자 DX 코딩테스트 후기

시작하기에 앞서 ..저는 삼성전자 DX 부문 중 DA 사업부를 지원했습니다. 이번 2024 상반기 코딩테스트가 작년 인턴 지원을 포함하여 총 3번째 도전이었습니다...!.  이전 두 차례 시험에서 모두 1솔은 하고 나왔는데, 흔히 말하는 "완벽한 1솔"을 하지 못해서인지 통과하지 못했습니다. 이번에는 꼭 붙어보자는 마인드를 가지고 시험보러 출발하게 되었습니다. 삼성전자 DX를 지원하면 어떤 사업부 (DA, MX, VD, SR, ..)를 지원하는지에 상관없이, 영통역 부근에 있는 "삼성전자 인재개발원"에서 시험을 응시하게 됩니다. 이 때문에, 저를 포함한 지방러들은 오전 시험이면 전날 미리 올라와 있어야 하는 ... 불편함이 존재하긴 하는데, 영통 근처에 숙박 시설이 많아서 큰 문제가 되지는 않습니다. (..

코테 후기 2024.10.23

[CodeTree] 코드드리 투어 - 삼성 SW 역량테스트 2024 상반기 오전 2번

코드트리 | 코딩테스트 준비를 위한 알고리즘 정석국가대표가 만든 코딩 공부의 가이드북 코딩 왕초보부터 꿈의 직장 코테 합격까지, 국가대표가 엄선한 커리큘럼으로 준비해보세요.www.codetree.ai 문제 분석N개의 도시와, M개의 간선으로 이루어져 있음. 각 도시는 0 ~ N-1번까지 번호가 붙어져 있으며, 각 간선은 방향성을 가지지 않음.각 도시를 연결하는 간선은 여러 개가 존재할 수 있으며, 또한 자신을 향하는 간선 또한 존재할 수 있음.초기 출발지는 무조건 0번 도시로 고정되어 있음.랜드마크 건설 도시의 수 n 과 간선의 수 m, 그리고 m 개의 간선에 해당하는 정보 (u, v, w)가 주어짐.(u, v, w)는 u와 v 도시가 w 가중치로 연결되어 있다는 것을 의미함.여행 상품 생성여행사는 (p..

CodeTree 2024.10.11

[CodeTree] 고대 문명 유적 탐사 - 삼성 SW 역량테스트 2024 상반기 오전 1번 문제

코드트리 | 코딩테스트 준비를 위한 알고리즘 정석국가대표가 만든 코딩 공부의 가이드북 코딩 왕초보부터 꿈의 직장 코테 합격까지, 국가대표가 엄선한 커리큘럼으로 준비해보세요.www.codetree.ai 문제 분석5x5 격자 내 다양한 유물 조각이 배치되어 있으며, 유물 조각은 1 ~ 7까지 7가지가 존재함.탐사 진행5x5 격자 내에서 3x3 격자를 선택하여 회전할 수 있음.회전 방향은 90도, 180도, 270도가 존재하며 세 회전 각도 중 하나로 무조건 회전해야 함.가능한 회전 방법은 (유물 1차 가치를 최대로 획득하는 순서, 회전 각도가 낮은 순서, 중심 c가 낮은 , 중심 r이 낮은 구간을 선택하여 정해진 각도만큼 회전을 진행함.유물 획득5x5 격자 내에서 상하좌우로 3개 이상 연결된 유물 조각이 있..

CodeTree 2024.10.11

[CodeTree] 왕실의 기사 대결 - 삼성 SW 역량테스트 2023 하반기 오후 1번 문제

코드트리 | 코딩테스트 준비를 위한 알고리즘 정석국가대표가 만든 코딩 공부의 가이드북 코딩 왕초보부터 꿈의 직장 코테 합격까지, 국가대표가 엄선한 커리큘럼으로 준비해보세요.www.codetree.ai 문제 분석LxL 크기의 체스판 위에서 기사들이 대결을 하기 위해 준비하고 있음.모든 기사들은 자신의 마력을 활용해 상대방 기사를 밀쳐낼 수 있으며, (r,c)를 기준으로 (r+h, c+w)까지 특정 기사의 영역이 됨.기사는 초기 체력을 K만큼 가지고 있으며, 0이하의 체력이 될 경우 게임에서 제외됨.기사 이동명령받은 기사는 상하좌우 중 한 방향으로 한 칸 이동할 수 있음.이동하려는 위치에 다른 기사가 있을 경우, 연쇄적으로 함께 이동하게 됨.이동하려는 방향에 벽이 있거나 격자를 벗어나는 경우, 따로 이동하지..

CodeTree 2024.10.10

[CodeTree] 루돌프의 반란 - 삼성 SW 역량테스트 2023 하반기 오후 1번 문제

코드트리 | 코딩테스트 준비를 위한 알고리즘 정석국가대표가 만든 코딩 공부의 가이드북 코딩 왕초보부터 꿈의 직장 코테 합격까지, 국가대표가 엄선한 커리큘럼으로 준비해보세요.www.codetree.ai 문제 분석NxN 격자 위에서 루돌프가 먼저 이동하고, 그 후 1번 산타부터 P번 산타까지 순차적으로 이동하는 시뮬레이션 문제임.두 칸의 거리는 유클리디언 거리로 계산함.루돌프 움직임생존한 산타 중 가장 가까운 산타를 향해 1칸 이동함. 가까운 산타가 2명 이상일 경우, (행이 큰, 열이 큰) 우선순위에 따라 산타를 선택함.루돌프는 상하좌우 + 대각선 총 8방향으로 이동할 수 있으며, 선택된 산타와 가장 가까워지는 방향으로 이동.이동 시 산타 움직임생존한 산타 중 기절하지 않은 산타에 한하여  1번 산타부터 ..

CodeTree 2024.10.09

[CodeTree] 포탑 부수기 - 삼성 SW 역량테스트 2023 상반기 오전 1번 문제

코드트리 | 코딩테스트 준비를 위한 알고리즘 정석국가대표가 만든 코딩 공부의 가이드북 코딩 왕초보부터 꿈의 직장 코테 합격까지, 국가대표가 엄선한 커리큘럼으로 준비해보세요.www.codetree.ai 문제 분석NxM 격자 위 모든 좌표에 포탑이 존재함. 각 포탑에는 공격력이 존재하고, 줄어들거나 늘어날 수 있으며 0이 되면 해당 포탑은 부숴져 더이상 공격/이동하지 못하게 됨.K턴 동안 공격자 선정 -> 공격 -> 포탑 부숴짐 및 정비 과정을 반복적으로 수행하며, 남은 포탑이 1개일 경우 그 즉시 게임을 종료.공격자 선정부서지지 않은 포탑 중 가장 약한 포탑이 공격자로 선정되며, 약한 포탑은 N+M만큼의 공격력을 얻은 후 공격을 수행함.(공격력이 낮은, 가장 최근에 공격한 포탑이, 행+열의 합이 큰, 열이..

CodeTree 2024.10.08