파이썬언어를 사용하여 코딩시 내가 찾고자 하는 특정 문자열의 포함여부를 하는 방법에 대해 알아봅니다. 아울러 리스트(list)와 딕셔너리(dictionary) 자료형 타입에서 문자열 포함여부에 대해 알아봅니다. 파이썬 특정 문자열 포함여부 확인하는 방법 1. in, not in 키워드 사용하기…
판다스(pandas) 라이브러리는 데이터 분석을 위해 많이 사용되는 모듈입니다. 우리는 오늘 데이터 분석이 아닌 엑셀파일로 데이터를 저장하는 방법에 대해 알아봅니다. xlsx, csv파일을 읽어 온 후 DataFrame으로 데이터를 처리할 수 있습니다. 혹은 웹 크롤링을 하여 가져올…
파이썬 언어로 크롤링시, 셀레늄(selenium)을 사용하여 자동 로그인 기능 및 웹사이트 열고 특정 키워드를 검색하는 방법에 대해 알아봅니다. 셀레늄을 사용하는 이유 1. request를 사용할 경우 페이지가 로드 되기도 전에 종료될 수 있기 때문입니다. 2. reuest의…
필요에 의해 웹사이트를 크롤링해야할 때가 있습니다. 크롤링은 많은 업무 시간을 단축시켜주는 효과가 있습니다. 좋은 방향으로 이용하시는 것을 추천드립니다. 파이썬 언어로 크롤링 하는 방법 다음은 뉴스타파 뉴스 웹사이트의 “세금도둑추적2020” 뉴스 크롤링 하는 예제입니다. 뉴스부분의 HTML을…
명령프롬프트창(CMD)에서 pip install 명령어를 실행하면 설치과정의 진행상태바가 나타납니다. 0%에서 시작해서 100%에 도달하는 프로그레스바(Progress Bar)를 보셨죠?. 프로그레스바를 사용하기위해 tqdm모듈을 설치 후 사용하면 되는데요 tqdm 설치 방법 부터 사용법까지 알아볼까요? tqdm 라이브러리 설치 및 사용방법 1.…
파이썬으로 웹크롤링을하여 가져온 자료를 엑셀파일(xls)로 저장하기 위해 판다스(pandas) 모듈(라이브러리)을 설치 하고 난 후 엑셀로 출력하는 스크립트를 실행하였습니다. 하지만 기대했던 것과 달리 오류가 발생하였습니다. 파이썬 스크립트 import pandas # df = pandas.DataFrame(data_lst, columns=[‘뉴스제목’, “기사 날짜”,…
오늘은 파이썬 언어로 마우스를 조작(컨트롤)하는 방법과 키보드를 제어하는 방법에 대해 알아봅니다. 마우스와 키보드를 제어하기 위해pyautogui 라이브러리(모듈)을 설치해야합니다. 그런 다음 import pyautogui 선언하여 라이브러리를 사용할 수 있습니다. 윈도우 콘솔(CMD)창 혹은 파이참 터미널 창에서 다음 명령어를…
코로나로 요즘 재택근무를 하고 있어요. 회사의 컴퓨터는 화면보호기가 5분동안 움직임이 없으면 바탕화면 잠금화면으로 넘어가게 되어있어요. 보안 때문에 그렇게 처리하고 있지만, 재택근무시에 화장실을 가거나 자리를 잠시 비우게 되면 화면 보호기가 동작하여 잠근화면으로 변경됩니다. 그렇게되면 사내…
구글파이어베이스에 오랜만에 로그인하여 오류보고서를 검토하였습니다. 몇 달 동안 쌓인 오류들을 확인하였고, 그 중에 눈에 띄는 새로운 오류가 보고 있었습니다. 이 오류는 구글 픽셀2폰(Pixel 2) 에서 발생된 것으로 확인되었습니다. 안드로이드 11이 설치된 폰입니다. 루팅된 폰도…
크롤링을 하기위해서 beautifulsoup를 설치하게 됩니다. 파이참 툴을 사용중이라면 미설치된 라이브러리에 빨간줄이 생깁니다. 마우스 커서를 올리면 install package BeautifulSoup 처럼 파란색 글씨가 나타납니다. 클릭하여 설치할 수 도 있고, 단축키인 Alt+Shift+Enter 를 눌러서 설치할 수 도…