임베딩이란 텍스트와 같은 이산적 데이터를 고차원 공간의 연속적인 수치 벡터로 변환하는 방법이다.Embed는 포함시키다, 깊숙히 박다 라는 뜻이 있다.텍스트나 이미지 등을 벡터 공간에 넣는 것을 의미하는 것이 임베딩이다.벡터 공간에 이산적 데이터를 포함 시켜 데이터 사이의 유사도를 수치적으로 표현한다.이를 통해 다양한 방법들로 유사한 데이터를 찾는 것이 임베딩 벡터의 목표라 할 수 있다.텍스트 데이터를 예로 들자면 과일(딸기, 사과, 용과)들의 언어의 유사도를 수치적으로 표현하는 것이다.임베딩의 특징밀집 표현(Dense Representation):임베딩은 원-핫 인코딩과 같은 희소 벡터와 달리 요소의 값이 0이 아닌 연속값으로 존재한다.원-핫 인코딩: https://coding-valley.tistory..

데이터베이스의 특징통합된 데이터(Intergrated data): 동일한 내용이 중복되지 않고 통합저장된 데이터(Stored data): 컴퓨터가 접할 수 있는 저장매체에 저장공용 데이터(Shared data): 여러 사용자가 다른 목적으로 데이터를 공동 이용변화하는 데이터(Operational data, 운영 데이터): 데이터의 삽입, 수정, 삭제를 통해 최신 데이터를 유지데이터베이스의 다양한 측면에서의 특성정보의 축적 및 전달기계 가독성: 대량, 구조화된 정보를 컴퓨터 등이 읽고 쓸 수 있음검색 가능성: 필요한 정보를 검색 가능원격 조작성: 네트워크를 이용, 온라인 이용 가능정보이용신속한 획득, 원하는 정보를 정확하고 경제적으로 검색 가능정보관리정보의 구조화 정리, 저장, 검색 가능, 추가나 갱신 용..

데이터의 특성특성설명예존재적 특성있는 그대로 객관적 사실시험 점수당위적 특성추론, 예측, 전망, 추정을 위한 근거평균 점수데이터의 유형데이터 구분형태예정성적 데이터언어, 문자텍스트정량적 데이터수치, 도형, 기호cm, 직사각형정형, 비정형, 반정형의 차이구분연산 가능 유무정형화된 틀 유무예정형 데이터OOCSV, 엑셀비정형 데이터XXsns 데이터, 댓글, 영상반정형 데이터XO센서 데이터, JSON 암묵지내면화개인의 지식, 경험을 노하우로 고도화 시키는 과정공통화다른 개인이나 집단과의 공통적 지식은 생성형식지표출화개인의 지식을 책이나 외부 매체를 통해 표출하는 과정연결화개인의 경험을 외부의 지식과 연결하는 과정 DIKW 피라미드데이터(Data): 개별적으로는 중요하지 않은 객관적 사실정보(Information..

학습시의 에러를 평가할 때 에러의 값이 서로 상쇄되는 것을 방지하기 위해MSE, MAE 등을 사용한다.MSE(Mean Squared Error)는 에러의 값의 제곱을 하여 음의 수를 없앤다.위의 그림처럼 MSE의 경우 a의 변화에 더 민감하게 반응하여 이상치와 가깝게 지나가는 모델을 만든다.MAE(Mean Absolute Error)는 에러의 값을 절대값으로 만들어 음의 수를 없앤다.반면 MAE는 a의 값에 선형적으로 변화하여데이터의 전체적인 흐름에 맞는 모델을 생성한다.