FAISS는 벡터 데이터 검색 라이브러리입니다.대규모 벡터에 대한 연산을 효율적으로 처리하도록 설계되었습니다.벡터 저장을 통해 탐색, 클러스터링, 벡터 분할 등의 기능을 제공합니다.from langchain_community.vectorstores import FAISSfrom langchain.embeddings import HuggingFaceEmbeddingsimport faiss# 1) FAISS 인덱스 로드index = faiss.read_index("faiss_indexes/coffee.ivf_pq.index")# 2) 임베딩 모델 준비embeddings = HuggingFaceEmbeddings( model_name="sentence-transformers/all-MiniLM-L6-v..

목적계절에 따른 기온 변화가 수도 사용량에 미치는 영향 분석가설여러 가지 요인이 수도 사용에 영향을 미치겠지만, 위생 관리, 수분 섭취, 여름철 온도 조절 등 여러 이유로 기온과 수도 사용량 사이에 연관관계가 존재할 것으로 예상했습니다.이를 데이터를 통해 검증하기 위해 분석을 진행했습니다.데이터 수집한국소비자원 수도 에너지 사용량 데이터https://www.data.go.kr/data/15100600/fileData.do출처 : 공공 데이터 포털기상청 기온 분석 데이터 출처 : 기상청https://data.kma.go.kr/stcs/grnd/grndTaList.do데이터 확인파이썬을 활용하여 데이터를 확인했습니다.import pandas as pd# 1. 데이터 불러오기water_df = pd.read_..

임베딩이란 텍스트와 같은 이산적 데이터를 고차원 공간의 연속적인 수치 벡터로 변환하는 방법이다.Embed는 포함시키다, 깊숙히 박다 라는 뜻이 있다.텍스트나 이미지 등을 벡터 공간에 넣는 것을 의미하는 것이 임베딩이다.벡터 공간에 이산적 데이터를 포함 시켜 데이터 사이의 유사도를 수치적으로 표현한다.이를 통해 다양한 방법들로 유사한 데이터를 찾는 것이 임베딩 벡터의 목표라 할 수 있다.텍스트 데이터를 예로 들자면 과일(딸기, 사과, 용과)들의 언어의 유사도를 수치적으로 표현하는 것이다.임베딩의 특징밀집 표현(Dense Representation):임베딩은 원-핫 인코딩과 같은 희소 벡터와 달리 요소의 값이 0이 아닌 연속값으로 존재한다.원-핫 인코딩: https://coding-valley.tistory..

데이터베이스의 특징통합된 데이터(Intergrated data): 동일한 내용이 중복되지 않고 통합저장된 데이터(Stored data): 컴퓨터가 접할 수 있는 저장매체에 저장공용 데이터(Shared data): 여러 사용자가 다른 목적으로 데이터를 공동 이용변화하는 데이터(Operational data, 운영 데이터): 데이터의 삽입, 수정, 삭제를 통해 최신 데이터를 유지데이터베이스의 다양한 측면에서의 특성정보의 축적 및 전달기계 가독성: 대량, 구조화된 정보를 컴퓨터 등이 읽고 쓸 수 있음검색 가능성: 필요한 정보를 검색 가능원격 조작성: 네트워크를 이용, 온라인 이용 가능정보이용신속한 획득, 원하는 정보를 정확하고 경제적으로 검색 가능정보관리정보의 구조화 정리, 저장, 검색 가능, 추가나 갱신 용..