Deep learning 한계

한계

1. 많은 데이터와 컴퓨팅을 요구

• 비효율성: 단순한 데이터 하나를 인식하기위해 수백만장의 사진이 필요하다.
• 환경오염: 2012년에서 18년사이 계산량 30만배가 증가했다, 지구온난화 촉진

• 해결방안
  • 적은 데이터로 훈련을 추구한다.
  • zero-shot learning, few shot learning, 자기지도학습, 강화학습, 메타학습

2. 데이터와 알고리즘에 편향

• 성능은 지식과 데이터의 양과 질이 결정하며, 지식/학습데이터 획득에 많은 노력이 필요하다.
• 알고리즘/학습데이터에는 편향이 잠재되어있으며, 의식적이건, 무의식적이건 편향이 존재한다.

3. 비윤리적인 것을 배우는 대화형 챗봇

• MS Tay
• 이루다

4. 학습된 것만 아는 것.

• 훈련 데이터에 없는 케이스는 학습시킬 수 없는 문제가 있다.
• 자율주행 모드로 주행하던 테슬라 자동차가 고속도로 트럭과 충돌하는 문제
• 죽은 운전자를 태우고 500km이상을 이동하는 문제

5. 일반화 불가능

• 훈련 데이터를 기반으로하기때문에 조금의 변화도 일반화하지 못하다.
• 작은 상황 변화에 취약하다.

6. 작은 변형에 결정변화

• Noise(salt-pepper)를 조금 추가하기만 해도 이전의 결정이 바뀌는 문제가 있다.

7. 인과관계가 아닌 연관관계만 사용

• 인과관계 모델링 활용에 취약한데, 스위치의 ON-OFF가 연관관계라는 것은 알지만, 인과관계라는 것을 모른다.

• 이것으로 인해 가정상황에 취약하다.

8. 사람은 world모델을 사용

• 인공지능과 달리 사람은 커오면서 만들어진 자신만의 world model이 있다.
• 인공지능은 이러한 world model의 물리법칙, 계층구조, 인과관계 등 상식적 추론에 약하다.
• 사람은 인지작용에서 모델에 의존하기때문에 이런 모델에 차이가 있다.

GPT-3 수영복 입고 법정에 간 변호사

• GPT3은 주어진 문장 이후에 나올 문장을 예측하는 언어모델이다. 이 예측 언어모델은 인터넷의 방대한 문장으로 학습되었다.
• 따라서 그 문장이 서술하는 세상, 문화, 감정을 이해하지 못한다.(인터넷 world에 한정되어있기때문.)
• 따라서 세상 모델을 인공지능에 학습시켜야한다.

9. 알려진 지식과의 통합에 취약하다.

• 사전지식, 상식, 알려진 법칙, 정해진 규정 등 이미 알려진 것과 통합에 취약하다.
• 특히 순차적으로 얻어지는 동적환경의 지식의 활용에 약점을 보인다.

• 오히려 확률기반 naive bayes규칙이 딥러닝모다 잘 판단할 수 있다.

• 모든, 누구나 같은 정량화된 추상화에 약점을 가진다.

10. 엔지니어링 도구로는 부족

• 전통 공학적 개발 기법
  1. 명세->설계->구현->평가
     • 이 단계에는 논리적판단과 점진적 추가와 개선, 투명성 등이 우수하다.
  2. 조합을 통해 복잡한 시스템을 만드는 기법
     • 성능 평가, 보장이 가능하다.

• 기계학습 개발 기법
  1. 데이터 수집->학습->평가
     • 확률적 판단. 제한된 상황에서 시스템 구축에는 용이하다.
     • 하지만 명세작성이 어렵고
     • 알려진 지식과 결합이 어렵다.
  2. 훈련 데이터와 유사한 상황이 아니면 작동하지 않는다.