SK네트웍스 Family AI캠프 10기

SK네트웍스 AI캠프 55일차 - 올라마 설정, 딥스피드, 엑셀러레이트, 가비지콜렉션, GGUF

netsma 2025. 3. 31. 09:19

설치 시 쥬피터에서는 에러가 발생하지 않았으나 런팟에서 에러가 발생.

OS가 다른 것에 대한 오류로 아래와 같이 해결한다.

 

 

 

 

 

https://ko.javascript.info/garbage-collection

 

가비지 컬렉션

 

ko.javascript.info

https://unsloth.ai/

 

 

 

https://docs.streamlit.io/develop/api-reference/caching-and-state/st.cache_resource

 

Streamlit Docs

Join the community Streamlit is more than just a way to make data apps, it's also a community of creators that share their apps and ideas and help each other make their work better. Please come join us on the community forum. We love to hear your questions

docs.streamlit.io

 

 

 

 

 

 

 

오류가 있어 추가 수정함.



https://huggingface.co/good593/gemma3-finetune-gguf/tree/main

 

good593/gemma3-finetune-gguf at main

Upload model.Q8_0.gguf with huggingface_hub f686c57 verified 2 days ago

huggingface.co

올라마 모델(gemma3-q8) 추가. gguf 는 적은 gpu로 탁월한 성능을 발휘함.

코드를 모듈화해서 쉽게 추가 가능함.