티스토리

데이터 분석 공부

검색하기

블로그 홈

데이터 분석 공부

itshawny.tistory.com/m

sihyeon3523 님의 블로그입니다.

구독자: 0

방명록 방문하기

주요 글 목록

[프로젝트 정리] 사용자 감성 분석을 통한 음악 추천 서비스 개발 - 유사도 기반 노래 추천 모델링 잘 태깅된 노래 데이터를 가져왔고, 총 대략 3552개의 곡이 있었다. 가수 유사도를 포함 시키면 같은 가수로 편향되어 뺐다. 장르 유사도를 구하기 위해 CountVectorizer를 사용했다. 가사 유사도를 구하기 위해 TF-IDF Vectorizer를 사용했따. 한 곡이지만 여러 장르가 섞여서 표현되는 경우가 많았다. 예를 들어서, 성인가요/트로트, 랩/힙합, R&B/Soul, 발라드 게임 등으로 그래서 이를 토대로 장르간 유사도를 구하기 위해 각 장르의 Counting을 계산하는 CountVectorizer를 사용했다. https://m.blog.naver.com/myincizor/221643794025 문서를 벡터 표현으로 바꾸기 — CountVectorizer이전 글에서 코사인 유사도 개.. 공감수 6 댓글수 3 2024. 11. 3.
[프로젝트 정리] 사용자 감성 분석을 통한 음악 추천 서비스 개발 - 노래 가사 감정 분류 멜론 노래 가사 장르 별 TOP 400개의 곡을 스크래핑 했다. 스크래핑 한 노래 가사의 특수문자를 제거해주고, 50% 이상이 영어일 경우에는 Kobert 모델로 구분을 못할 가능성이 크기 때문에 제거를 진행했다. 가사도 마찬가지로, 버트 토크나이저를 활용하여 토큰화 진행했다. 가사 내 문장별 확률 값을 추출하고 가사의 감정 확률 값 추출, 문장별 감성 확률의 정규화 평균을 구했다. 가장 높은 확률 값을 가지는 감정으로 분류했다. 노래 감성 분류 태깅하는데 한 곡당 20~30초 정도 걸리면서 대략 26시간 정도 걸렸다. 공감수 1 댓글수 0 2024. 11. 3.
[프로젝트 정리] 사용자 감성 분석을 통한 음악 추천 서비스 개발 - KoBert 감정 분류 모델링 https://huggingface.co/docs/transformers/ko/index 🤗 Transformers(번역중) 효율적인 학습 기술들huggingface.co허깅페이스라는 오픈소스 커뮤니티에서 transformers를 제공하고 있다. tensorflow나 pytorch에서 사용 가능하다.transformer는 사전학습된 최첨단 모델들을 쉽게 다운로드하고 훈련시킬 수 있는 API와 도구를 제공합니다.transformer에서는 TFBertModel을 사용했다. 6가지 감정으로 분류된 데이터셋을 활용총 5만 7천개의 데이터를 활용했다. NLP는 비정형 데이터를 다루기 때문에, 컴퓨터가 이해를 못한다. 따라서 컴퓨터가 이해할 수 있도록 텍스트를 벡터화 (임베딩) 해주었다. - 임베딩 단계에서는.. 공감수 7 댓글수 3 2024. 11. 3.
[프로젝트 정리] 사용자 감성 분석을 통한 음악 추천 서비스 개발 4 ?? 왜 KoBERT를 사용했는지? KoBERT 모델링- 전이 학습 모델- max_length = 300으로 설정 (나머지는 padding 처리)- tokenizer: 문장을 Token으로 분리?? 전이 학습 모델링이라 따로 학습은 안하는건가? Pre-trained된 KoBERT는 그대로 사용할 수도 있지만, 본 포스팅처럼 목적에 맞게 Fine-tuning하여 원하는 방향으로 조정할 수도 있습니다. KoBERT 모델을 가져와서, 감정 데이터셋으로 분류 모델 학습을 시켰다.. 분류 성능이 좋게 하기 위해서 중립의 감정은 제거하였고, 6종의 감정과 4 종의 감정만을 학습한 모델링을 진행. KoBert 로 학습시키기 전에 전처리 과정 필요.KoBertTokenizer 토크나이저 생성.문장을 토큰으로 분리 토.. 공감수 0 댓글수 0 2024. 11. 3.
[프로젝트 정리] 사용자 감성 분석을 통한 음악 추천 서비스 개발 3 TPU 사용, KoBERT 사용자가 문장을 입력하면, 그 문장의 감정을 6가지 중 하나로 분류한다.음악을 추천하기에 앞서, 음악별로 감정 확률이 라벨링 되어 있어야 한다. 즉, 이 음악이 어떤 감정을 표현하는지 확률 벡터가 필요하다. KoBert 모델 학습이 필요하다이미 학습된 전이학습 모델이지만, ??? 노래의 가사에 대한 감정이 태깅되어 있어야 한다. (스크래핑 단계에서 진행)감정 확률을 구하기 앞서, 토크나이저를 활용해 토큰화를 진행해야한다. - NLP는 비정형 데이터를 다루기 때문에 컴퓨터가 이해를 못한다.따라서 컴퓨터가 이해할 수 있도록 텍스트를 벡터화(임베딩) 해준다.([0.56, 0, 0.76, 0.23, 0.54, ….] 이런 식으로)벡터화가 되면 정형 데이터가 되기 때문에 이걸 이용해.. 공감수 0 댓글수 0 2024. 11. 3.
[프로젝트 정리] 사용자 감성 분석을 통한 음악 추천 서비스 개발 2 토큰화 할 때 패딩을? 출력값들을 보면 3개의 array가 출력되는데, 첫 번째는 패딩된 시퀀스, 두 번째는 길이와 타입에 대한 내용, 세 번재는 어텐션 마스크 시퀀스이다. 어텐션 마스크는 지난 BERT 프로젝트 글에서도 설명했었는데, BERT에 데이터가 입력되었을 때 어텐션 함수가 적용되어 연산이 된다. 이때 1로 패딩된 값들은 연산할 필요가 없기 때문에 연산을 하지 않아도 된다고 알려주는 데이터가 있어야 하는데 그게 바로 어텐션 마스크 시퀀스인 것이다. 이렇게 BERT나 KoBERT에는 어텐션 마스크 데이터도 함께 입력되어야 한다⭐ https://velog.io/@seolini43/KOBERT%EB%A1%9C-%EB%8B%A4%EC%A4%91-%EB%B6%84%EB%A5%98-%EB%AA%A8%EB%.. 공감수 0 댓글수 1 2024. 11. 3.
[프로젝트 정리] 사용자 감성 분석을 통한 음악 추천 서비스 개발 프로젝트 주제 : 사용자 감성 분석을 통한 음악 추천 서비스 개발(영어로) Music Recommendation Service through User Sentiment Analysis 프로젝트 주제와 목적주제 : 사용자의 입력 기반으로 감정분석을 활용한 음악 추천 서비스사용자의 글을 기반으로 감정을 분류감정을 분류한 것과 유사한 음악 추천목적 : 사용자의 감성을 분석하여 음악 추천 서비스 Flow Input : 300자 이내의 한글, 감정 플레이리스트별 2곡씩 랜덤 추출된 총 12곡 중 3곡 선택 Model : KoBERT (61,698개의 문장으로 훈련, max_length = 300)--> Output : 4 emotion's probabilitiesSong Similarity :CounterVec.. 공감수 1 댓글수 1 2024. 11. 3.
잠재의미분석 (LSA - Latent Semantic Analysis) https://youtu.be/GVPTGq53H5I?feature=shared pizza가 ramen 보다 hamburger랑 유사하다는걸 어떻게 알까? pizzapizza hamburger cookiehamburgerramensushiramen sushiBag of words를 이용한다면 단어의 의미를 파악하지 못하고 단어 빈도수 기반이기에 서로 의미가 비슷하다는 걸 모른다.Similarity(pizza, hamburger) = 0Similarity(pizza, ramen) = 0 pizzahamburgercookieramensushipizza10000pizza hamburger cookie11100hamburger01000ramen00010sushi00001ramen sushi00011 TF-IDF .. 공감수 0 댓글수 0 2024. 11. 3.
TF-IDF 문서 유사도 측정 https://youtu.be/Rd3OnBPDRbM?feature=shared 문서간 유사도를 어떻게 측정할까?Bag of words 기반 유사도를 측정한다.TF-IDF 기반 유사도를 측정한다.Bag of words 로 유사도를 측정할 경우d1: the best italian restaurant enjoy the best pizzad2: american restaurant enjoy the best hamburgerd3: korean restaurant enjoy the best bibimbapd4: the best the best american restaurant italianrestaurantenjoythebestpastaamericanhamburgerkoreanbibimbapd11112210000.. 공감수 2 댓글수 0 2024. 11. 3.
자연어처리의 유사도 측정 방법(거리측정, 코사인 유사도) https://youtu.be/if6tjHAT6iM?feature=shared 자연어처리의 유사도 측정 방법유클라디안 유사도코사인 유사도유클라디안 유사도두 점 사이의 최단 거리거리 계산 공식은 피타고라스 정리를 사용princess 와 man 거리 = d2, price와 man 간의 거리 d1이라고 한다면 d1이 더 짧아, price는 man과 가까운 의미라고 해석 한계점 : 벡터의 크기에 영향을 받는다. (magnitude of vector matter)money라는 단어가 반복되었기 때문에 벡터의 크기가 늘어났다. 유클라디안 유사도 기반으로 보면 money를 6번 반복한 것 보다도 laundering이라는 벡터와 더 가까운 의미를 가진다고 나온다. 하지만 사실상 money money laundering.. 공감수 1 댓글수 0 2024. 11. 3.
[딥러닝 자연어처리] TF-IDF https://youtu.be/meEchvkdB1U?feature=shared Term :단어단어의 문서 연관성: 각 단어별로 이 문서에 대한 정보를 얼마나 가지고 있냐. 단어와 이 문서간이 연관성을 나타낸다. TF-IDF : Term Frequency * Inverse Document Frequency왜 TF-IDF ?문서 내에서 가장 관련된 단어를 찾기 위해.가설 : 단어의 관련성은 이 문서 내에서 가장 많이 등장했으면 이 단어가 이 문서에 관련성이 크다고 판단. TF?TF는 문서 내에서 단어가 얼마나 발생하는지 측정한 것이다. 만약 이 문서 내에서 단어가 다른 단어보다 더 많이 등장한다면, 이 단어는 다른 단어보다도 이 문서와의 관련성이 크다고 가정한다. a new car, used car, car.. 공감수 3 댓글수 1 2024. 11. 3.
[딥러닝 자연어처리] n-그램 https://youtu.be/4f9XC8HHluE?feature=sharedn-그램 문장을 n개의 토큰(word, characters..)으로 구성된 연속적인 문장으로 자른 것 1-gram(unigram)fine thank youWord level = [ fine, thank, you]Character level = [f,i,n,e,t,h,a,n,k,y,o,u] 2-gram(bigram)fine thank youWord level = [fine thank, thank you]Character level = [fi, in, ne, e , t, th, ha, an, nk, k, y, yo, ou] (공백 포함) 3-gram(trigram)fine thank youword level = [fine thank.. 공감수 0 댓글수 0 2024. 11. 3.
[딥러닝 자연어처리] Bag of Words https://youtu.be/dKYFfUtij_U?feature=shared Bag of words한 문장 안에 들어있는 단어의 빈도수를 기반으로 표현한 행렬, 문장을 수치로 변형한 값 "Awesome thank you!" 를 BoW로 표현하면 아래와 같다. Awesome thank you great not bad good111000 Bag of Words 의 Sentence similarityawesome thank you [1,1,1,0,0,0,0]great thank you [0,1,1,1,0,0,0]==> 두 문장 간의 유사도 = 각 행렬을 곱한 것을 더한 값 = 1+1 = 2 LimitationSparsity : 각 문장 단어별로 한 열을 차지 하기 때문에 zeros 가 많을 수 있다. 벡터.. 공감수 0 댓글수 0 2024. 11. 2.
[프로그래머스/파이썬] 신고 결과 받기 참고 과정이 세세히 적혀있고 생각했던 풀이의 연장선이라 감사히 참고하였다. https://velog.io/@syhan28/2022-KAKAO-%EA%B3%B5%EC%B1%84-%EC%8B%A0%EA%B3%A0-%EA%B2%B0%EA%B3%BC-%EB%B0%9B%EA%B8%B0%ED%8C%8C%EC%9D%B4%EC%8D%AC 문제 https://programmers.co.kr/learn/courses/30/lessons/92334 코딩테스트 연습 - 신고 결과 받기 문제 설명 신입사원 무지는 게시판 불량 이용자를 신고하고 처리 결과를 메일로 발송하는 시스템을 개발하려 합니다. 무지가 개발하려는 시스템은 다음과 같습니다. 각 유저는 한 번에 한 명의 programmers.co.kr 소스코드 from coll.. 공감수 0 댓글수 0 2022. 3. 14.
데이터 시각적 분석은 왜 중요한가요? 숫자가 그림이 되는 순간 어렵고 멀게만 느껴지 데이터가 한눈에 쏙 들어오고, 오래오래 머릿속에 남는 마법을 경험했습니다. 엑셀과 경직된 PPT로 보던 숫자들이 다양한 모습으로 변신하는 것을 본 이후로는, 모든 숫자가 양질의 정보가 되어 전달되기 위해서는 무엇보다 시각화가 중요하다는 것을 느꼈습니다. 보기 좋은 떡이 먹기도 좋다는 속담처럼, 숫자도 어떤 그릇에 어떻게 담느냐에 따라 전해지는 정보의 질은 달라진다고 믿습니다. 책 데이터 시각화 분석 태블로로 끝내기를 읽다 가져온 글입니다. 공감수 0 댓글수 0 2022. 2. 1.
파이썬의 공간복잡도과 시간복잡도 https://smlee729.github.io/python/data%20structure/2015/03/02/1-list-allocation.html Python의 List 구조 성능분석 | Jacob's Coding Playground 문득 코딩을 하다가, 꽤나 큰 시간차가 발생되게 하는 원인이 list에 관련된 함수들 때문이라는 것을 알고, 이것에 대한 분석을 해야겠다는 생각이 들었습니다. 물론 다행히도 심각한 성능의 결 smlee729.github.io 백준 문제 10989번 문제를 풀다가 파이썬의 append로는 메모리 제한이 걸린다는 점, 더 나아가 Python의 list 에 관련된 함수들이 시간이나 공간복잡도를 높히는데 한 몫 한다는 걸 알게 되었다. 그래서 여럿 블로그를 보다가 위의 블로그.. 공감수 0 댓글수 0 2022. 1. 4.
인터프리터와 컴파일러 vscode에서는 인터프리터와 컴파일러가 다 되는걸까? shift + enter를 누르면 해당 줄만 실행이 되고 (한줄 한줄 실행이 된다) ctrl + f5를 하면 전체 파일이 한번에 실행된다. 찾아보니, ctrl + f5 는 디버깅하지 않고 실행하는 것 (즉, 빨간 점은 무시하고 그냥 실행된다) 이건 좀 차근 차근 알아봐야 겠다 vscode에서 디버거 하는 법 ! 그리고 shift + enter를 통해 인터프리터 모드를 지원하는 듯 하다. 참고하기 https://docs.microsoft.com/ko-kr/visualstudio/debugger/navigating-through-code-with-the-debugger?view=vs-2022 디버거를 사용하여 코드 탐색 - Visual Studio (W.. 공감수 0 댓글수 0 2021. 12. 28.
아나콘다 vscode 환경변수 가상환경 라이브러리 관계 문제가 생기면 생각하지 않고 그저 블로그에 나온 내용들 찾고 트라이 해보려니 해결이 잘 안되는 것 같다. 왜 그렇게 해결하는지 생각하고 실행해야 할 듯 ㅎㅎ 우선 내가 겪은 문제는 '가상환경' 설정과 관련된 문제였다. 처음에는 이게 가상환경과 관련된 문제인지도 몰랐지만 ㅋㅋ 아래 블로그를 참고해서 많은 도움을 받았다. https://lapina.tistory.com/3?category=758039 [파이썬] 파이썬 개발환경 구축 완료(?) [파이썬] 파이썬 개발환경 구축 중 1. 한참동안 놓고있던 파이썬을 다시 해보려고 컴퓨터를 켰다. Anaconda 가 설치 되어있었고, Atom으로 web 공부를 하고있었으며, AWS를 이용해 RDB 를 공부하고 있었 lapina.tistory.com 암튼 문제는 'c.. 공감수 0 댓글수 0 2021. 12. 28.
DataFrame에서 특정 행, 열 선택 데이터 프레임 : 행과 열로 구성된 2차원 데이터 구조 DataFrame 에서 열 또는 행을 선택하는 방법은 다음과 같다. 컬럼명 또는 행의 index를 사용하는 방법 > DataFrame.loc[] 사용 > DataFrame.loc[ 행, 열 ] 열 또는 행의 순서(위치) 사용하는 방법 > DataFrame.iloc[] 사용 . DataFrame.iloc[ 행, 열 ] DataFrame.loc 사용하기 loc 이용해서 필요한 열 추출하기 [ ] 안의 앞에는 전체를 의미하는 " : " 를, 뒷자리에는 선택할 열 이름으로 구성된 list를 넣어주면 된다. 이는 모든 행(:)의 선택한 열만 보겠다는 의미 df = df.loc[: , ['성별코드', '신장', '체중']] df = df[['성별코드', '신장.. 공감수 0 댓글수 0 2021. 9. 27.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.