[도서 리뷰] 박태웅의 AI 특강

 

 

AI의 학습방법

• 잠재된 패턴이 있는곳에 어디서나 위력을 발휘할 수 있다.
• 데이터가 많은곳
• 글 → 사진 → 영상 .. 그 다음은?
• 엄격한 형식이 있는 분야가 더 유리
• 확률이 필요하지 않은 분야에서는 약하다
• 확률적으로 찾을 필요가 없는 명백한 사실을 하는 작업에는 어울리지 않는다.

GPT의 한계

Hallucination - Ai의 거짓말

• 트랜스퍼 모델의 한계
• 트랜스퍼 모델 - 가장 그럴듯한 답을 찾는 모델

웹상의 흐릿한 JPEG

• 파일을 압축하는 방법
• 인코딩 → 디코딩
• 이러한 과정 속에서 데이터 손실이 일어남
• 사진, 오디오, 비디오 파일에서는 정확도가 중요하지 않기때문에 손실 압축 사용
• 데이터 유사성이 있으면 하나로 치환한다.
• 이미지 저하가 아닌 다른 정보를 저장
• 손실 압축 알고리즘으로 데이터 사용량을 100배 이상 줄임
• 흐릿하지만 사진의 전체 해상도를 해치지 않는다.
• 보간법(보충해서 채워넣는 것)
• 압축과정에서 손실된 픽셀 정보를 이미지 프로그램으로 재구성해 표시할때, 근처에 있는 픽셀을 바탕으로 평균치를 계산해 결과값 산출
• Chat GPT는 이러한 보간법에 익숙하다.
• 사칙연산 데이터를 저장하고 싶다면, 백만가지 예시보다는 사칙연산 원리를 추출한 계산기 프로그램 코드가 적절
• GPT는 단순 계산은 못한다. → 웹상의 정보가 없기 때문에
• 우리에게는 압축 손실이 일어나는 것이 손실 없는 압축보다 더 똑똑해보인다.
• 문장을 풍요롭게 창조 가능
• ‘흐릿함’이 저작권 문제를 피하는데 더 유용할지도 모름
• GPT를 통한 콘테츠 창작 - 흐릿한 것으로 더 ‘흐릿한’것을 만듬
• GPT로 다음 언어 모델을 학습 시킬때가 임계점
• 원본이 있는데 흐릿한 jpeg를 사용할 이유는??

Chat GPT는 웹상의 흐릿한 JPEG

프롬프트 인젝션 공격

거대 언어 모델이 가진 능력

• 매개변수가 100억개를 넘어가는 모델에서만 나타남
• 느닷없이 나타나는 능력
• 생각의 연결고리 현상
  • 이 연결고리를 만들어내는것이 중요
  • 프롬프트 엔지니어링이라는 새로운 분야가 생김
  • 일정 크기 이상의 언어 모델이어야 한다.

ETC

어플리케이션에서 사용 가능한 기능

• 요약
• 추론
• 텍스트변환
• 확장

프롬프트 엔지니어링

• Jupyter 를사용해 프롬프트 엔지니어링을 경험 할 수 있다
• 역활 부여, 포멧을 지정, 구체적인 일을 시킬 때 가장 좋은 결과

ChatGPT Prompt Engineering 요약

https://www.youtube.com/watch?v=SvBR0OGT5VI

거대언어모델의 백화제방

Open AI

llama

• 메타가 만든 오픈소스로 공개된 LLM

https://github.com/openlm-research/open_llama

Alpaca

• llama에 instruction tuning이 추가된 모델
• 파인튜닝이 정말 쉽다.

오리지날의 실종

• AI로 그린 그림으로 학습된 모델은 성능이 더 나빠진다.
• 인공지능은 잠재된 패턴을 찾아낸다.

잊힐 권리와 지적재산권 침해

1. 데이터를 맘대로 사용
2. 개인정보를 가지고 있는지. 있어도 삭제할 방법이 없음
3. 학습한 데이터가 저작권이 있을 수 있다.
4. 사용자의 프롬프트를 저장한다.