선명하고 깔끔한 영상 만들기: OBS 스튜디오 녹화 해상도 및 고화질 설정 완벽 가이드

정성껏 준비한 화면을 OBS Studio를 이용해 녹화했는데, 막상 결과물을 열어보니 글씨가 번져 보이거나 화면이 뭉개져서 실망하신 적이 있으실 겁니다. 특히 게임 플레이 영상이나 세밀한 텍스트가 많은 코딩, 디자인 튜토리얼 영상을 제작할 때 해상도와 화질 저하는 매우 치명적입니다.

OBS 스튜디오는 기본적으로 '인터넷 방송(스트리밍)'에 초점이 맞춰진 초기 설정값을 가지고 있는 경우가 많습니다. 인터넷 방송은 네트워크 환경의 제약으로 인해 화질을 어느 정도 타협하고 용량을 줄이는 것이 중요하지만, 내 PC에 파일로 저장하는 '녹화'의 경우에는 굳이 화질을 희생할 필요가 없습니다.

오늘은 흐릿한 녹화본에서 벗어나, 원본 그대로의 쨍하고 선명한 고해상도 영상을 얻기 위한 OBS 스튜디오의 해상도 설정 방법과 그에 수반되어야 하는 필수 고화질 세팅에 대해 하나씩 자세히 알아보겠습니다.

---

1. 해상도의 개념과 OBS의 두 가지 해상도 이해하기

해상도를 설정하기 전에 먼저 OBS가 화면 크기를 어떻게 인식하는지 이해해야 합니다. 해상도란 화면을 구성하는 점(픽셀)의 개수를 의미합니다. 픽셀이 많을수록 화면은 더 정밀하고 선명해집니다. 우리가 흔히 아는 FHD(1080p)는 가로 1920개, 세로 1080개의 픽셀로 이루어져 있으며, 4K(2160p)는 가로 3840개, 세로 2160개의 픽셀로 구성되어 FHD보다 4배 더 선명합니다.

OBS 스튜디오의 [설정] - [비디오] 탭에 들어가 보면 해상도 설정이 두 가지로 나뉘어 있는 것을 볼 수 있습니다.

• 기본 (캔버스) 해상도: OBS 프로그램 내에서 소스(게임 화면, 웹캠, 텍스트 등)를 배치하고 편집하는 작업 영역의 크기입니다. 도화지의 크기라고 생각하시면 됩니다. 이 해상도는 현재 여러분이 사용하고 있는 모니터의 실제 해상도와 동일하게 맞추는 것이 가장 좋습니다.
• 출력 (조정된) 해상도: 실제로 내 PC에 저장되는 영상 파일의 해상도입니다. 기본 캔버스에 그려진 그림을 최종적으로 어떤 크기로 출력할지 결정하는 설정입니다.

영상이 흐리게 녹화되는 가장 큰 원인 중 하나가 바로 이 두 해상도의 불일치입니다. 예를 들어, 내 모니터와 캔버스 해상도는 FHD(1920x1080)인데, 출력 해상도가 HD(1280x720)로 설정되어 있다면, OBS는 1080p의 화면을 720p로 억지로 찌그러뜨려 저장하게 됩니다. 이 과정에서 필연적으로 픽셀이 뭉개지고 화질 저하가 발생합니다.

따라서 가장 선명한 영상을 얻기 위한 첫 번째 원칙은 '기본 (캔버스) 해상도'와 '출력 (조정된) 해상도'를 동일하게 맞추는 것입니다.

2. 해상도 및 프레임 레이트(FPS) 높이기 단계별 설정

그럼 실제로 OBS에서 해상도를 높이는 방법을 진행해 보겠습니다.

1. OBS 스튜디오 우측 하단의 [제어] 메뉴에서 **[설정]**을 클릭합니다.
2. 왼쪽 메뉴 목록에서 [비디오] 탭을 선택합니다.
3. 기본 (캔버스) 해상도를 현재 모니터 해상도(예: 1920x1080, 2560x1440 등)로 설정합니다. 드롭다운 메뉴에 원하는 값이 없다면 직접 숫자를 타이핑하여 입력할 수 있습니다.
4. 출력 (조정된) 해상도를 기본 해상도와 완전히 똑같은 값으로 설정합니다.
5. 두 해상도를 똑같이 맞췄다면 그 아래에 있는 **축소 필터(Downscale Filter)**는 비활성화됩니다. (크기를 줄이지 않으므로 필터가 필요 없기 때문입니다.) 만약 모니터는 4K인데 녹화본은 1080p로 저장해야 하는 상황이라면 축소 필터를 사용해야 하며, 이때는 가장 선명도를 잘 유지하는 **'Lanczos (란초스, 36 샘플)'**를 선택하는 것이 좋습니다.
6. 공통 FPS 값을 설정합니다. FPS는 1초당 보여주는 이미지의 장수를 의미합니다.
   • 30 FPS: 정적인 화면, 일반적인 문서 작업 녹화, 강의 영상 등에 적합하며 파일 용량을 아낄 수 있습니다.
   • 60 FPS: 게임 플레이 영상, 움직임이 많은 영상, 부드러운 마우스 커서 이동이 필요한 튜토리얼 영상 등에 필수적입니다. 고해상도 영상을 원하신다면 보통 60 FPS를 권장합니다.

---

3. 해상도만 높이면 끝? 화질의 완성은 '인코더'와 '비트레이트'

비디오 탭에서 해상도를 높였다고 해서 모든 작업이 끝나는 것은 아닙니다. 해상도가 도화지의 크기라면, 그 도화지를 얼마나 촘촘하고 좋은 물감으로 채울지 결정하는 것이 바로 '출력' 설정입니다. 해상도(4K, 1080p)는 엄청나게 높은데 비트레이트(데이터 전송량)가 낮으면, 화면 전체에 거대한 모자이크 깍두기가 생기는 끔찍한 결과를 초래합니다.

OBS [설정] - [출력] 탭으로 이동한 뒤, 맨 위의 **[출력 방식]**을 반드시 **'고급'**으로 변경해 줍니다. 그리고 [녹화] 탭을 클릭하여 상세 설정을 진행합니다.

가. 인코더 (Encoder) 선택하기

인코더는 영상을 압축하여 파일로 만드는 일꾼입니다. PC의 CPU를 사용할 것인지, 그래픽카드(GPU)를 사용할 것인지 결정합니다.

• x264 (소프트웨어): CPU를 사용하여 인코딩합니다. 화질은 좋지만 CPU 점유율을 매우 크게 차지하므로, 고사양 게임을 하면서 동시에 녹화하면 게임에 심각한 렉이 발생할 수 있습니다.
• NVIDIA NVENC H.264 / HEVC / AV1 (하드웨어): 엔비디아(NVIDIA) 그래픽카드를 사용 중이라면 무조건 선택해야 하는 인코더입니다. 그래픽카드 내부에 있는 독립적인 비디오 인코딩 칩셋을 사용하므로, 게임 성능이나 PC 작업에 거의 영향을 주지 않으면서도 매우 뛰어난 화질로 녹화할 수 있습니다.
• AMD HW H.264 / HEVC: 라데온(Radeon) 그래픽카드를 사용하는 경우 선택합니다.
• 고해상도(QHD, 4K) 녹화를 위한 팁: 1080p 해상도라면 H.264 코덱으로 충분하지만, 1440p(QHD)나 4K 해상도로 녹화할 때는 HEVC (H.265) 또는 최신 AV1 인코더를 선택하는 것을 강력히 추천합니다. H.264 대비 압축 효율이 월등히 좋아서, 동일한 용량 대비 훨씬 선명한 화질을 유지할 수 있습니다.

나. 데이터율 제어 (Rate Control) 최적화

인터넷 방송을 할 때는 일정한 데이터 전송량을 유지하기 위해 'CBR (고정 비트레이트)' 방식을 사용합니다. 하지만 **'녹화'**를 할 때는 CBR을 사용하는 것이 매우 비효율적입니다. 녹화 시에는 움직임이 많은 장면에서는 데이터를 듬뿍 쓰고, 정적인 장면에서는 데이터를 아끼는 가변적인 방식이 화질과 용량 면에서 압도적으로 유리합니다.

• 추천 설정: CQP (Constrained Quality Parameter) 또는 CRF NVIDIA 그래픽카드의 경우 CQP, 일반 x264의 경우 CRF라는 방식을 지원합니다. 이 방식은 "내가 지정한 '화질 수준'을 무조건 유지해라, 용량은 알아서 유동적으로 써라"라고 명령하는 방식입니다.

1. 데이터율 제어를 CQP로 변경합니다.
2. 아래에 **CQ 수준 (CQ Level)**이라는 숫자를 입력하는 칸이 나타납니다.
3. 숫자가 **낮을수록 고화질(고용량)**이고, 숫자가 **높을수록 저화질(저용량)**입니다.
   • 14 ~ 15: 무손실에 가까운 최상급 화질. (용량이 매우 커지므로 저장 공간이 충분할 때만 권장)
   • 18 ~ 20: 녹화용으로 가장 추천하는 황금 밸런스. 원본과 육안으로 구별하기 힘들 정도로 선명하면서도 용량 타협이 가능합니다.
   • 21 ~ 23: 약간의 타협. 용량을 아껴야 하는 긴 시간 녹화에 적합합니다.

CQP 방식으로 설정하고 CQ 수준을 18 정도로 맞춘 뒤, 해상도를 모니터 크기와 동일하게 1080p나 1440p로 맞추면 화면이 뭉개지거나 흐려지는 현상을 완벽하게 해결할 수 있습니다.

---

4. 고해상도 녹화 시 반드시 알아두어야 할 안전장치, 파일 형식

해상도와 화질을 극한으로 끌어올렸다면 파일의 용량은 필연적으로 커집니다. 그리고 PC에 가해지는 부하도 늘어납니다. 만약 1시간 동안 심혈을 기울여 4K 영상을 녹화하고 있었는데, 마지막 순간에 OBS가 오류로 튕기거나 컴퓨터가 다운된다면 어떻게 될까요?

녹화 파일 형식을 MP4로 지정해 두었다면, 정상적으로 녹화 종료 버튼을 누르기 전에 프로그램이 꺼질 경우 그 파일은 영원히 열 수 없는 '깨진 파일'이 되어 버립니다. MP4 포맷의 구조적 한계 때문입니다. 고해상도 대용량 녹화 시 이러한 불상사를 막기 위해서는 MKV 포맷을 사용해야 합니다.

1. [설정] - [출력] - [녹화] 탭에서 녹화 형식을 mkv로 변경합니다.
2. MKV 형식은 녹화 도중 컴퓨터 전원이 나가더라도, 전원이 나가기 직전까지의 영상이 완벽하게 저장되고 재생 가능합니다.
3. "하지만 영상 편집 프로그램(프리미어 프로 등)에서 MKV 파일을 지원하지 않는데요?"라는 의문이 드실 겁니다. 걱정하실 필요 없습니다. OBS에는 이를 MP4로 1초 만에 변환해 주는 기능이 내장되어 있습니다.
4. OBS 메인 화면 상단 메뉴에서 **[파일] - [녹화본 재다중화(Remux)]**를 클릭합니다.
5. 저장된 MKV 파일을 불러오면, 화질 손실이나 인코딩 시간 소요 없이 껍데기만 안전한 MP4 파일로 즉각 변환(Muxing)해 줍니다.

추가로, [설정] - [고급] 탭에서 '녹화 시 자동으로 mp4로 재다중화' 옵션을 체크해 두시면, mkv로 안전하게 녹화를 마친 직후 OBS가 알아서 mp4 파일을 하나 더 생성해 주므로 매우 편리합니다.

5. 추가적인 최적화 및 문제 해결 팁

고해상도(특히 4K 60fps) 세팅을 마친 후 녹화를 시도했을 때, 녹화된 영상이 뚝뚝 끊기거나 OBS 화면 하단에 **"인코딩 과부하!"**라는 빨간색 경고 메시지가 뜰 수 있습니다. 이는 설정한 고화질 데이터를 하드웨어가 미처 다 처리하지 못하고 병목 현상을 일으키고 있다는 뜻입니다.

이러한 문제가 발생했을 때는 다음의 조치들을 취해볼 수 있습니다.

• OBS 관리자 권한 실행: OBS 스튜디오 아이콘을 우클릭하여 '관리자 권한으로 실행'해 보세요. 윈도우 운영체제가 OBS 프로그램에 그래픽카드(GPU) 자원 사용의 최우선 순위를 부여하게 되어, 인코딩 과부하 현상이 눈에 띄게 줄어듭니다.
• 저장 매체의 속도 확인: 고해상도 영상은 실시간으로 엄청난 데이터를 디스크에 기록해야 합니다. 구형 하드디스크(HDD)에 녹화 파일을 저장하도록 경로를 설정해 두면, 쓰기 속도가 따라가지 못해 영상이 끊길 수 있습니다. 가급적 속도가 빠른 SSD 드라이브로 녹화 경로([설정] - [출력] - [녹화 경로])를 지정해 주는 것이 좋습니다.
• 게임/화면 내 해상도 점검: 가끔 OBS 설정은 1080p인데, 정작 플레이하고 있는 게임의 내부 해상도 옵션이나 윈도우 디스플레이 해상도가 720p로 낮게 설정되어 있는 경우가 있습니다. 소스 자체가 저화질이라면 OBS에서 해상도를 아무리 높여도 흐리게 나옵니다. 캡처하려는 대상의 원본 해상도 옵션도 최대치인지 확인해 보세요.
• 키프레임 간격 설정: 고급 출력 설정에서 키프레임 간격을 '0(자동)' 또는 '2초'로 설정해 두는 것이 화질 안정성에 도움을 줍니다.

마무리하며

요약하자면, OBS에서 저장되는 영상의 해상도와 선명도를 높이기 위해서는 다음의 3박자가 맞아야 합니다.

1. 비디오 탭에서 캔버스와 출력 해상도를 일치시킬 것
2. 출력 탭에서 하드웨어 인코더(NVENC 등)를 선택할 것
3. 데이터율 제어를 CQP(CQ 수준 18~20 내외)로 설정하여 용량 대비 최고의 화질을 확보할 것

처음에는 각종 수치와 용어들이 복잡하게 느껴질 수 있지만, 위에서 안내해 드린 설정들을 하나씩 따라 해 보시고 1~2분 정도의 짧은 테스트 녹화를 진행해 보시면 그 차이를 확연히 느끼실 수 있을 것입니다.

자신의 PC 사양과 저장 공간에 맞는 최적의 밸런스를 찾으셔서, 공들여 준비한 화면이 흐릿함 없이 선명하고 깔끔하게 시청자에게 전달되기를 바랍니다. 지금 바로 OBS 설정을 열어 새로운 고화질 세팅을 적용해 보세요! 도움이 필요하신 부분이 있다면 언제든 추가적인 설정을 조정해 나갈 수 있습니다.