판다스(pandas) 라이브러리는 데이터 분석을 위해 많이 사용되는 모듈입니다. 우리는 오늘 데이터 분석이 아닌 엑셀파일로 데이터를 저장하는 방법에 대해 알아봅니다. xlsx, csv파일을 읽어 온 후 DataFrame으로 데이터를 처리할 수 있습니다. 혹은 웹 크롤링을 하여 가져올…
Tag: Python
파이썬 언어로 크롤링시, 셀레늄(selenium)을 사용하여 자동 로그인 기능 및 웹사이트 열고 특정 키워드를 검색하는 방법에 대해 알아봅니다. 셀레늄을 사용하는 이유 1. request를 사용할 경우 페이지가 로드 되기도 전에 종료될 수 있기 때문입니다. 2. reuest의…
필요에 의해 웹사이트를 크롤링해야할 때가 있습니다. 크롤링은 많은 업무 시간을 단축시켜주는 효과가 있습니다. 좋은 방향으로 이용하시는 것을 추천드립니다. 파이썬 언어로 크롤링 하는 방법 다음은 뉴스타파 뉴스 웹사이트의 “세금도둑추적2020” 뉴스 크롤링 하는 예제입니다. 뉴스부분의 HTML을…
명령프롬프트창(CMD)에서 pip install 명령어를 실행하면 설치과정의 진행상태바가 나타납니다. 0%에서 시작해서 100%에 도달하는 프로그레스바(Progress Bar)를 보셨죠?. 프로그레스바를 사용하기위해 tqdm모듈을 설치 후 사용하면 되는데요 tqdm 설치 방법 부터 사용법까지 알아볼까요? tqdm 라이브러리 설치 및 사용방법 1.…
파이썬으로 웹크롤링을하여 가져온 자료를 엑셀파일(xls)로 저장하기 위해 판다스(pandas) 모듈(라이브러리)을 설치 하고 난 후 엑셀로 출력하는 스크립트를 실행하였습니다. 하지만 기대했던 것과 달리 오류가 발생하였습니다. 파이썬 스크립트 import pandas # df = pandas.DataFrame(data_lst, columns=[‘뉴스제목’, “기사 날짜”,…
오늘은 파이썬 언어로 마우스를 조작(컨트롤)하는 방법과 키보드를 제어하는 방법에 대해 알아봅니다. 마우스와 키보드를 제어하기 위해pyautogui 라이브러리(모듈)을 설치해야합니다. 그런 다음 import pyautogui 선언하여 라이브러리를 사용할 수 있습니다. 윈도우 콘솔(CMD)창 혹은 파이참 터미널 창에서 다음 명령어를…
코로나로 요즘 재택근무를 하고 있어요. 회사의 컴퓨터는 화면보호기가 5분동안 움직임이 없으면 바탕화면 잠금화면으로 넘어가게 되어있어요. 보안 때문에 그렇게 처리하고 있지만, 재택근무시에 화장실을 가거나 자리를 잠시 비우게 되면 화면 보호기가 동작하여 잠근화면으로 변경됩니다. 그렇게되면 사내…
크롤링을 하기위해서 beautifulsoup를 설치하게 됩니다. 파이참 툴을 사용중이라면 미설치된 라이브러리에 빨간줄이 생깁니다. 마우스 커서를 올리면 install package BeautifulSoup 처럼 파란색 글씨가 나타납니다. 클릭하여 설치할 수 도 있고, 단축키인 Alt+Shift+Enter 를 눌러서 설치할 수 도…
파이썬에서 홈(home) 디렉토리(home directory)를 확인하는 방법에 대해 알아봅니다. 첫번째 방법으로 os.path 모듈(라이브러리)을 import 후 expanduser()함수를 사용하여 접근합니다. 인자값으로 ‘~’를 사용할 경우 다음과 같은 결과를 얻을 수 있습니다. 파이썬 홈 디렉토리의 경우에, 운영체제를 윈도우를 사용하는…
파이썬에서 리스트(list) 자료형에 대해 알아봅니다. 리스트형 자료형은 굉장히 많이 사용됨으로 반드시 익혀두세요. 파이썬 리스트 타입의 자료형(List) 파이썬에서 리스트는 배열이라고 생각하면 됩니다. a = [] b = [1,2,3,4,5] c = [‘Hello’,’World’] d = [1,2,3, [‘Hello’,…