전이 학습이란 학습이 되어있는 모델로 재학습을 하는 것을 말한다.예를 들어 미리 학습되어 있는 BERT 모델을 수집, 전처리한 메일 데이터를 이용해 스팸 분류 모델로 만드는 것이 있다.업스트림 테스크여기서 BERT 모델을 선행 학습하는 것을 업스트림 테스크를 프리트레인(pre-train)이라한다.업스트림 테스크에는 다음 단어 맞추기, 빈칸 채우기 등이 있다.다운스트림 테스크문서 분류문서 분류 모델은 자연어를 입력 받아 해당 입력이 긍정, 중립, 부정과 같은 어떠한 범주에 속하는지 확률을 반환한다.자연어 추론두 문장의 관계가 참 또는 거짓일 확률을 반환한다.개체명 인식자연어(문서, 문장) 중 기관명, 인명, 지명 등 어떤 범주에 속하는지 확률값을 반환질의응답자연어(질문+지문)을 입력받아 각 단어가 정답의 ..

자연어처리 모델은 어떠한 자연어 입력을 어떠한 범주에 확률혹은다음에 어떠한 단어가 올지 확률을 구하는 함수이다.어떠한 범주일 확률을 구한다에는문서 분류, 문장 쌍 분류, 개체명 인식, 질의응답, 문장 생성 등이 있다.

FAISS는 벡터 데이터 검색 라이브러리입니다.대규모 벡터에 대한 연산을 효율적으로 처리하도록 설계되었습니다.벡터 저장을 통해 탐색, 클러스터링, 벡터 분할 등의 기능을 제공합니다.from langchain_community.vectorstores import FAISSfrom langchain.embeddings import HuggingFaceEmbeddingsimport faiss# 1) FAISS 인덱스 로드index = faiss.read_index("faiss_indexes/coffee.ivf_pq.index")# 2) 임베딩 모델 준비embeddings = HuggingFaceEmbeddings( model_name="sentence-transformers/all-MiniLM-L6-v..

목적계절에 따른 기온 변화가 수도 사용량에 미치는 영향 분석가설여러 가지 요인이 수도 사용에 영향을 미치겠지만, 위생 관리, 수분 섭취, 여름철 온도 조절 등 여러 이유로 기온과 수도 사용량 사이에 연관관계가 존재할 것으로 예상했습니다.이를 데이터를 통해 검증하기 위해 분석을 진행했습니다.데이터 수집한국소비자원 수도 에너지 사용량 데이터https://www.data.go.kr/data/15100600/fileData.do출처 : 공공 데이터 포털기상청 기온 분석 데이터 출처 : 기상청https://data.kma.go.kr/stcs/grnd/grndTaList.do데이터 확인파이썬을 활용하여 데이터를 확인했습니다.import pandas as pd# 1. 데이터 불러오기water_df = pd.read_..