하늘 보면서 살자구요

챗GPT의 등장 이후로 AI 기술이 확대되고 있다. 기업이 자체적으로 개발하기도 하지만 상당수 챗GPT를 API로 활용하는 경우도 있다. 특히 스타트업에서 자체 개발이 힘들어 API를 자주 사용한다. 국내 스타트업들도 이러한 경향성이 늘고 있다고 한다. 오픈AI의 사업 방향에 회사가 종속된 샘이다. 그렇다고 자체 개발을 할 수 있는 상황도 아니다. 프로그래밍 언어도 영어를 기반으로 하고 있고, 데이터베이스도 한글을 기반으로 한 국내보다 영어를 기반으로 한 해외 사이트가 훨씬 많아서 AI 개발에 차질이 있을 수 밖에 없다. 앞다퉈 '챗GPT 쓰자'…한국 IT, 이대로 가도 괜찮나 국내 정보기술(IT) 생태계에서 인공지능(AI) 챗봇 ‘챗GPT’ 열풍이 거세다. 스타트업은 앞다퉈 챗GPT 기술을 연계한 서비..

1주차에서 살펴봤듯이 제공되는 데이터베이스는 보통 CSV 혹은 JSON, XML 형식이다. 하지만 일반 개인이 DB로의 직접 접근을 허용하지는 않고 API라는 방식을 통해 간접적으로 이용할 수 있게 한다. 웹 기반 API에는 CSV보다 JSON이나 XML을 많이 사용한다. 웹 기반 API 즉, HTTP를 이용하게 되면 데이터는 텍스트 형식으로 전달된다. 따라서 데이터를 받은 후 파이썬 객체로 바꿔야 한다. 인증키를 받고, HTTP GET 방식으로 호출 URL을 작성하면 해당 파일을 열람할 수 있다. 이후 이 데이터는 그대로 사용하지 않고 다루기 쉽고, 보기 좋은 형태로 정제해야 한다. 하지만 데이터베이스에 원하는 정보가 없고, 웹에서 하나하나 얻어야 한다면 웹크롤링(웹 스크래핑)이라는 방법을 사용해야 한..