IT/영어 공부노트

보도자료 | 개인정보보호위원회 > > 위원회 소식>보도‧해명 (pipc.go.kr) 개인정보보호위원회개인정보위, 안전조치 의무를 위반한 3개 사업자 제재- 인터넷 홈페이지 주기적 점검으로 개인정보 유‧노출 방지 당부- 만 14세 미만 아동의 개인정보 처리시 법정대리인 동의 필수  개인정보www.pipc.go.kr  1. 한화호텔앤드리조트(과징금 1억 8,531만원, 과태료 300만원)유출내용2023년 4월 경 개인정보 유출사고 발생홈페이지 DB 인터페이스 오류로 6월 30일까지 예약된 일부 고객의 예약 정보가 노출됨7일 홈페이지 공지로 사과문 게재 → 8일 개인정보 유출 사실에 대한 2차 사과문으로 유출된 항목과 시점, 경위, 보상방안, 2차피해예방 등 안내 → 9일 개인정보 유출 사실에 대한 FAQ로 ..

회사 내에 외부인이 출입하는 경우, 이에 대한 물리보안 프로세스가 필요합니다. 회사 마다 현재 시행하고 있는 보안 컴플라이언스의 수준에 따라 외부인 출입 절차를 세우는 순서는 다르겠지만,일반적으로 아래와 같은 업무를 수행해야 할 것입니다. 물리보안 중 외부인 출입 관련하여 보안을 새로 정립하시는 분들에게 작은 도움이 되고자 글을 작성합니다. 회사마다 적용하는 방식은 다를 수 있으며, 저의 말이 모두 정답은 아닌 점 인지하시고 글을 읽어주시길 바랍니다.  1. 보호구역 지정접견구역, 제한구역, 통제구역을 지정해야 합니다. 접견구역 : 외부인도 출입 가능한 구역(접견장소, 로비 등)제한구역 : 내부 직원의 출입은 허용되지만 외부인의 출입이 통제된 구역(사무실 내)통제구역 : 내부 직원 안에서도 일부만 출입이..

이놈들만 있다면 어디든 갈 수 있어    1. Freepik   사진 필요할 때 제일 먼저 찾아보는 곳퀄리티가 좋음   Freepik | 훌륭한 디자인을 더 빠르게 제작하세요수백만 개의 무료 그래픽 리소스. ✓ 사진 ✓ AI 이미지 ✓ 벡터 ✓ 아이콘 ✓ 템플릿 ✓ 동영상. 실시간 AI 아트 제너레이터를 사용해보세요. #freepikkr.freepik.com 2. Fixabey 놀라운 무료 이미지 - Pixabay - Pixabay 3. Pexels무료이미지, 저작권 없는 이미지, 무료 이미지 사이트 | Pexels  4. Undraw  IT관련해서 쓰기좋은 일러스트가 많음  Illustrations | unDrawThe design project with open-source illustrations ..

랭체인 실습하는데 자꾸 The kernel appears to have died. It will restart automatically 메시지가 뜨면서 커널 재시작 하고, 안넘어가는거다,, 같은 부분에서!! 짜증나서 찾아본 오류 해결방법 윈도우 기준입니다~~  https://min23th.tistory.com/11 [주피터노트북/jupyter notebook] 커널 죽는 문제 the kernel appears to have died. it will restart automatically모델을 jupyter lab에서 돌리는데 어느 순간부터 위 그림같이 커널이 죽는 문제가 발생했다 커널이 죽는 이유는 주어진 메모리 할당량을 초과했기 때문이다. 보통의 경우에는 방법 1(config파일 내min23th.tis..

일잘알,,,, 되고싶다!!!!!!!!!!!!!!!!!!!!!!!!  직무 특성 상 뉴스/기사를 자주 봐야한다 하면 추천드리는 뉴스스크랩! 뉴스스크랩 하겠다고 보는 뉴스사이트들 매일 들어가서 각각 확인하고 이러기 귀찮잖아요feedly를 씁시다 !!!! Feedly: Track the topics and trends that matter to you Feedly: Track the topics and trends that matter to youMarket-leading solution for monitoring topics that matterfeedly.com  1. Feedly란?우선, 피들리는 RSS 리더입니다. RSS란, 블로그처럼 컨텐츠 업데이트가 자주 일어나는 웹사이트에서, 업데이트된 정보를 쉽..

책을 읽고 정리한 내용으로, 개인 공부 목적의 포스팅입니다. ~책 보러가기~RAG 구현 시 필요 요소는 데이터, 임베딩, 벡터 DB이다. 1. 임베딩이란?Embedding은 복잡한 데이터를 간단한 형태로 바꾸는 것으로, 컴퓨터가 이해할 수 있도록 정보를 숫자(벡터)로 바꾸는 것 이다.  예를들어'사과', '바나나', '컴퓨터' 를 [과일, 기술]로 바꾼다면, '사과' [1.0, 0.0]'바나나' [0.9, 0,1]'컴퓨터' [0.1, 0.9] 임베딩을 위해선 임베딩 모델이 필요하다. 2. 임베딩 모델 예시 Word2Vec단어를 컴퓨터가 이해할 수 있는 숫자인 벡터로 변환한다. 이를 통해 컴퓨터는 단어 사이의 관계를 이해하고, 비슷한 의미를 가진 단어들을 찾을 수 있다.  GloVe(Global Vecto..

책을 읽고 정리한 내용으로, 개인 공부 목적의 포스팅입니다. ~책 보러가기~1. 파인튜닝(Fine-Tuning)기존의 LLM을 특정한 작업이나 상황에 맞게 조금 더 훈련시키는 과정이다. LLM을 특별한 상황에 더 잘 맞게 가르치는 것! 전문적으로 사용하고 싶은 분야를 추가적으로 학습시키는 것으로, 더 정확하고 효과적으로 대응할 수 있다.  한마디로 최적화 ! 단점학습을 위해 과도한 비용이 필요됨데이터 준비가 어려움  해서 LLM의 경우 RAG를 더 선호하는 편이다.  2. RAG(Retrieval-Augmented Generation)정보 검색과 생성을 결합한 인공지능 모델이다. RAG는 정보검색과 텍스트 생성 두 단계로 나뉜다.  정보검색단계질문 : 사용자로부터 질문이 입력된다쿼리 : 모델은 대규모의 ..

책을 읽고 정리한 내용으로, 개인 공부 목적의 포스팅입니다. ~책 보러가기~ 1.  RAG란?RAG(Retrieval-Augmented Generation)는 LLM이 텍스트를 생성할 때 관련 정보를 찾아보고, 그 정보를 활용하여 새로운 텍스트를 만드는 기술로, LLM이 더 정확하고 신뢰할 수 있는 내용을 생성하도록 돕는다. 2.  RAG 과정RAG는 정보검색과 텍스트 생성의 두 단계로 나뉜다. 정보검색 : AI가 대규모 정보로부터 관련 데이터를 찾음텍스트 생성 : 찾은 정보를 기반으로 새로운 텍스트 생성1) 질문입력 → 2) 검색 → 3) 유사도 검색 → 4) 랭킹 처리 → 5)결과 반환/텍스트 생성정보검색1) 질문입력 query : 사용자는 질문을 하거나 키워드를 입력한다.  2) 검색검색 엔진은 해..

책을 읽고 정리한 내용으로, 개인 공부 목적의 포스팅입니다. ~책 보러가기~LLM은 보안 및 규제 측면에서 제약이 많아 아래의 사항을 고려하여 사용해야 한다.  1. 정보 필터링LLM을 이용하는 사용자의 질문은 반드시 필터링을 해야 한다. 특히 개인정보가 입력되지 않도록 필터링 하는 것이 중요하다. ex) 개인정보가 감지되면 제거하거나 변경 2. 할루시네이션할루시네이션은 AI중 특히나 언어 모델이 부정확하거나 관련 없는 정보를 생성하는 현상을 가리킨다. 할루시네이션은 정보 검색 결과만 정확하다면 어느정도 해결할 수 있다. 또한 LLM 구현 과정 중 마지막에 할루시네이션 필터링을 추가함으로써 할루시네이션을 방지할 수 있다.  3. 편향과 공정성LLM은 학습된 데이터가 공정하지 못하다면, 모델 또한 공정하지..

책을 읽고 정리한 내용으로, 개인 공부 목적의 포스팅입니다. ~책 보러가기~1. LLM 개발 라이프 사이클데이터 수집 및 준비 → 모델 설계 →  모델 학습 → 평가 및 검증 → 배포 및 유지 보수 ① 데이터 수집 및 준비모델이 학습할 수 있는 형태로 데이터를 수집하고 가공한다.  데이터 수집데이터 식별데이터 수집데이터 정제데이터의 품질을 결정하는 핵심적인 과정이다. 중복 제거노이즈 제거 : 무작위적이고 관련 없는 정보(오타, 잘못된 문장 부호, 비정상적인 문자)데이터 전처리데이터를 LLM에 적합한 형태로 만드는 과정토큰화 : 텍스트를 작은 단위로 나눔정규화 : 대소문자 통일, 어간 추출등을 통해 단어의 기본 형태로 변환데이터 형식 변경데이터의 형식을 일치시킴 (ex, 날짜 형식 통일) ② 모델 설계매우..