[Hacker News 요약] PS5에서 Llama.cpp 구동: GGUF 모델을 콘솔 GPU에서 직접 실행
22
설명
탈옥된 PlayStation 5(PS5) 콘솔에서 대규모 언어 모델(LLM)을 직접 실행할 수 있는 새로운 프로젝트 'PS5LM'이 공개되었습니다.
이 프로젝트는 llama.cpp 라이브러리를 활용하여 GGUF 형식의 모델을 PS5의 GPU에서 네이티브로 구동하며, 이를 통해 로컬 환경에서 개인화된 AI 모델을 사용할 수 있게 합니다.
Qwen 3.5 9B와 같은 모델을 PS5 Slim에서 55 토큰/초의 속도로 실행하는 데 성공했으며, 향후 더 큰 모델과 다양한 기능을 지원할 예정입니다.
### 배경 설명
최근 LLM의 발전은 개인용 컴퓨터뿐만 아니라 다양한 기기에서의 모델 실행 가능성을 탐구하게 만들고 있습니다. 특히, 강력한 GPU 성능을 갖춘 게임 콘솔은 잠재적인 AI 연산 플랫폼으로 주목받고 있습니다. PlayStation 5(PS5)는 AMD의 RDNA 2 아키텍처 기반 GPU와 11.4GB의 공유 메모리를 탑재하고 있어, LLM을 구동하기에 충분한 사양을 갖추고 있습니다. 'PS5LM' 프로젝트는 이러한 PS5의 하드웨어적 이점을 활용하여, 별도의 PC나 클라우드 서비스 없이 콘솔 자체에서 LLM을 실행할 수 있도록 하는 것을 목표로 합니다. 이는 사용자가 개인 정보 유출 걱정 없이 로컬 환경에서 AI 모델을 활용할 수 있는 새로운 가능성을 제시합니다. 또한, OpenAI 및 Anthropic API와 호환되는 인터페이스를 제공하여 기존 AI 개발 도구와의 연동도 용이하게 합니다.
### PS5LM 프로젝트 개요 및 기능
PS5LM은 탈옥된 PS5 콘솔에서 llama.cpp를 실행하여 GGUF 형식의 LLM을 네이티브로 구동하는 오픈 소스 프로젝트입니다. 이 프로젝트는 사용자가 자신의 PS5에서 직접 모델을 로드하고, 로컬 네트워크상의 다른 기기(노트북, 스마트폰 등)에서 해당 모델에 접근할 수 있도록 합니다. 별도의 PC나 클라우드 연결 없이 작동하며, OpenAI의 `/v1/chat/completions` 및 Anthropic의 `/v1/messages` API와 호환되는 인터페이스를 제공합니다. 또한, 'decision models'이라고 불리는 의사 결정 모델도 지원하여, 텍스트나 이미지 기반의 질문에 대해 텍스트 생성이 아닌 직접적인 답변을 제공할 수 있습니다. 예를 들어, Qwen 3.5 9B 모델을 PS5 Slim에서 55 토큰/초의 속도로 실행하며, 64k 컨텍스트 길이를 지원하는 Qwen 3.8 27B 모델은 약 20 토큰/초의 속도를 보여줍니다. PS5LM은 콘솔의 GPU를 활용하며, 모델의 컨텍스트 길이와 캐시를 최적화하여 메모리 사용량을 관리합니다.
### 하드웨어 요구사항 및 설치 방법
PS5LM을 사용하기 위해서는 펌웨어 버전 7.00에서 13.60 사이의 PS5 콘솔이 필요하며, 해당 펌웨어 버전에서 탈옥(jailbroken)이 되어 있어야 합니다. 또한, 특정 페이로드(payloads)의 로딩이 필수적입니다. 여기에는 homebrew 실행을 위한 `etaHEN` 지원, PS5LM을 홈 화면에 표시하기 위한 `ShadowMountPlus`, 그리고 `ps5-exporter`를 통한 온도, 전력, GPU/CPU 부하 등의 시스템 모니터링 기능이 포함됩니다. 설치 과정은 GitHub 릴리스 페이지에서 `ps5lm-app-vX.Y.Z.zip` 파일을 다운로드하여 압축을 해제한 후, `PPSA99575` 폴더를 PS5의 `/data/homebrew` 디렉토리로 FTP를 통해 복사하는 방식으로 진행됩니다. 모델 파일(.gguf)은 `/data/PS5LM/models` 또는 USB 드라이브의 `PS5LM/models` 폴더에 복사하여 로드할 수 있습니다. 설치 후에는 웹 브라우저를 통해 `http://<console_ip>:8081`로 접속하여 PS5LM 인터페이스에 접근할 수 있습니다.
### 콘솔에서의 AI 모델 실행 및 제어
PS5LM은 콘솔 자체에서 AI 모델을 실행하고 관리하는 기능을 제공합니다. 사용자는 PS5의 TV 화면을 통해 모델 서버의 상태, API 설정, 그리고 콘솔의 시스템 상태(온도, 전력, GPU/CPU 부하 등)를 실시간으로 확인할 수 있습니다. L1/R1 버튼을 통해 홈, 모델, API, 콘솔, 설정 메뉴를 탐색할 수 있으며, 십자키와 X 버튼을 사용하여 모델을 변경하거나 로드, 언로드, 다운로드할 수 있습니다. L2/R2 버튼은 검색 기능을 제어하며, Square/Triangle 버튼은 데모 요청을 보내거나 메시지를 입력하는 데 사용됩니다. 특히, 콘솔의 GPU(RDNA 2)와 llama.cpp의 Vulkan 백엔드를 활용하여 모델을 실행하며, 이는 11.4GB의 공유 메모리를 효율적으로 사용합니다. 또한, 이미지 처리 기능을 갖춘 모델(예: Gemma 4, MiniCPM-V, d1)은 채팅 및 의사 결정 과정에서 이미지를 입력받아 처리할 수 있습니다.
### 가치와 인사이트
PS5LM 프로젝트는 고성능 게임 콘솔의 잠재력을 AI 연산 플랫폼으로 확장하는 흥미로운 사례를 보여줍니다. 이는 고가의 전용 AI 하드웨어 없이도 개인 사용자가 강력한 LLM을 로컬 환경에서 실행할 수 있는 길을 열어줍니다. 특히, 개인 정보 보호 및 데이터 보안이 중요한 시나리오에서 클라우드 의존도를 줄이고 완전한 통제권을 확보할 수 있다는 점에서 큰 가치를 지닙니다. 또한, 개발자들은 PS5의 GPU 성능을 활용하여 LLM의 추론 속도를 개선하고, 더 복잡한 모델을 실험할 수 있는 기회를 얻게 됩니다. 이는 AI 모델의 접근성을 높이고, 다양한 하드웨어 환경에서의 AI 활용 가능성을 탐구하는 데 기여할 것입니다.
### 기술·메타
- llama.cpp
- Vulkan backend
- GGUF model format
- RDNA 2 GPU (PS5)
- OpenAI API compatibility
- Anthropic API compatibility
- PS5 firmware 7.00-13.60
- Jailbroken PS5
- Payloads: etaHEN, ShadowMountPlus, ps5-exporter
### 향후 전망
PS5LM의 향후 발전은 PS5 콘솔의 펌웨어 업데이트 및 보안 패치, 그리고 llama.cpp 라이브러리의 지속적인 개선에 영향을 받을 것입니다. Sony의 펌웨어 업데이트는 탈옥 가능성에 영향을 미칠 수 있으며, 이는 PS5LM의 지속적인 사용에 중요한 변수가 될 수 있습니다. 또한, 더 많은 GGUF 모델의 지원 확대, 의사 결정 모델의 성능 향상, 그리고 사용자 인터페이스 개선 등이 이루어질 것으로 예상됩니다. 커뮤니티의 기여를 통해 다양한 기능이 추가되고, 다른 콘솔이나 기기에서의 유사한 프로젝트로 확장될 가능성도 있습니다. llama.cpp의 Vulkan 백엔드 최적화와 PS5의 GPU 아키텍처에 대한 깊이 있는 이해는 향후 성능 향상의 핵심이 될 것입니다.
📝 원문 및 참고
- Source: Hacker News
- 토론(HN): [news.ycombinator.com](https://news.ycombinator.com/item?id=50122431)
- 원문: [링크 열기](https://github.com/cobanov/PS5LM)
---
출처: Hacker News · [원문 링크](https://github.com/cobanov/PS5LM)
이 글에 대한 한 줄 의견
신고 · 불법·유해·아동 안전(CSAE) 관련 콘텐츠
댓글 0
아직 댓글이 없습니다. 로그인하면 바로 의견을 남길 수 있습니다.