Python 썸네일형 리스트형 [Python/Selenium] (업데이트)Selenium으로 KBO 경기 일정 크롤링하기 2024.07.01 - [Minding's Programming/Knowledge] - [Python/Selenium] Selenium으로 KBO 경기 일정 크롤링하기 [Python/Selenium] Selenium으로 KBO 경기 일정 크롤링하기야구장 소개 홈페이지를 만드는 데 경기 일정도 한 페이지에 보여주는 곳이 있으면 좋겠다고 생각이 들었다. KBO 홈페이지에 있는 경기 일정을 주기적으로 크롤링해 이 홈페이지에 노출시키고자minding-deep-learning.tistory.com 이 글은 위 링크의 크롤링 코드를 보완한 코드와 함께 어떻게 보완했는지에 대한 설명을 위한 글이다. 전체 코드 from selenium import webdriverfrom selenium.webdriver.chrome.. 더보기 [Python/Selenium] Selenium으로 KBO 경기 일정 크롤링하기 https://minding-deep-learning.tistory.com/180 [Python/Selenium] (업데이트)Selenium으로 KBO 경기 일정 크롤링하기2024.07.01 - [Minding's Programming/Knowledge] - [Python/Selenium] Selenium으로 KBO 경기 일정 크롤링하기 [Python/Selenium] Selenium으로 KBO 경기 일정 크롤링하기야구장 소개 홈페이지를 만드는 데 경기 일정도 한 페minding-deep-learning.tistory.com위 글은 본문의 코드를 보완한 코드이다. 야구장 소개 홈페이지를 만드는 데 경기 일정도 한 페이지에 보여주는 곳이 있으면 좋겠다고 생각이 들었다. KBO 홈페이지에 있는 경기 일정을 .. 더보기 [Python/Bleach] Bleach 라이브러리 이용해 HTML 태그 삭제하기 네이버 뉴스 API를 통해 뉴스 데이터를 수집하다보니, 뉴스 제목에 해당하는 title에 HTML 태그가 그대로 들어와 문자열에 포함되는 경우가 있었다. 이 문자열 그대로 홈페이지에 노출할 예정이었다 보니, 해당 문자열을 필터를 통해 HTML 태그를 지울 필요가 있었다. 그럴때는 Bleach의 clean메서드를 이용하면 해결할 수 있다. from bleach import cleanarticle = '가나다라'print(clean(article, tags=[], strip=True))>>>'가나다라' 더보기 [Python/FastAPI/ODMantic] TypeError: field Config is defined without type annotation 인프런의 '파이썬 동시성 프로그래밍 : 데이터 수집부터 웹 개발까지 (feat. FastAPI)' 강의를 수강하다가 발생한 에러코드.서버를 실행할 때 마다 위와 같은 에러가 발생했다.https://art049.github.io/odmantic/modeling/ Modeling - ODManticModeling Models To create a Model, simply inherit from the Model class and then specify the field types and eventually their descriptors. Collection Each Model will be linked to its own collection. By default, the collection name wil.. 더보기 [FastAPI] 파이썬 멀티 프로세싱 해당 글은 인프런의 ' 파이썬 동시성 프로그래밍 : 데이터 수집부터 웹 개발까지 (feat. FastAPI)'을 수강하며 정리한 글이다. 파이썬 멀티 프로세싱 동시성과 병렬성 개념 정리 와 파이썬 멀티 스레딩 사용해보기를 통해서 파이썬이 왜 병렬적 멀티 스레딩 연산을 하지 못하는 지에 대해 알아보았다. '동시성'의 개념을 이용한 I/O bound 코드에 있어 멀티 스레딩은 가능했지만, 파이썬은 GIL이라는 개념이 있기 때문에 스레드로 병렬 연산을 하지 못했다. (Cpu bound 코드와 같이 하나의 계산을 여러 번 반복하는 일 등) 파이썬에서 병렬 연산을 위해서는 프로세스 자체를 복사해 사용하는 '멀티 프로세싱'을 사용할 수 있다. 스레드 연산으로는 구현하기 힘든 병렬 연산을 멀티 프로세싱에서는 할 수 .. 더보기 [FastAPI] 파이썬 멀티 스레딩 사용해보기 해당 글은 인프런의 ' 파이썬 동시성 프로그래밍 : 데이터 수집부터 웹 개발까지 (feat. FastAPI)'을 수강하며 정리한 글이다. 파이썬 멀티 스레딩 우선 멀티 스레딩이란, 이전 글에서 정리한 '동시성'의 개념에서 비롯된 프로그래밍 개념이다. 하나의 프로세스 내에서 여러 개의 스레드가 동시에 작업을 실시해 속도 향상 등의 성능 개선 효과를 기대할 수 있다. 각 스레드가 독립적으로 실행하지만 자원을 공유하기 때문에, 효율적이면서도 충돌 가능성의 위험이 있다. 싱글 스레딩의 예시 # 파이썬 싱글스레딩 예시 import requests import time import os import threading def fetcher(session, url): print(f"{os.getpid()} proces.. 더보기 [FastAPI] 동시성과 병렬성 개념 정리 FastAPI를 공부하는데 필요한 동시성과 병렬성에 대해 정리해보았다. 해당 글은 인프런의 ' 파이썬 동시성 프로그래밍 : 데이터 수집부터 웹 개발까지 (feat. FastAPI)'을 수강하며 정리한 글이다. 동시성 (Concurrency) - 동시성은 한 번에 여러 작업을 동시에 다루는 것을 의미한다. - 즉, 하나의 주체가 스위칭을 통해 여러 작업을 진행한다는 것이다. (코루틴이 대표적인 예시) - A작업을 하는 동안 B작업으로 스위칭, A작업이 끝나지 않았다면 C작업으로 스위칭... - 멀티 스레딩의 개념이지만 싱글 스레드에서 사용되기도 한다. - 싱글 코어뿐 아니라 멀티 코어에서도 동시성 사용 가능하다. - 한 주체가 임의적으로 여러 작업을 진행하는 것이기때문에 일종의 논리적 개념이라고 할 수 있.. 더보기 [FastAPI] 동기와 비동기, 코루틴 개념 정리 FastAPI를 본격적으로 사용해보기에 앞서 알아보아야 할 개념인 동기와 비동기의 차이, 그리고 코루틴 함수에 대해서 공부해보았다. 동기와 비동기 - 동기(sync) '코드가 동기적으로 동작한다'라는 말의 뜻은 '코드가 반드시 작성된 순서로 실행된다.'라는 뜻과 동일하다고 생각하면 된다. A,B,C의 순서로 코드가 작성되어 있다면, A 함수가 실행되고 끝나면 B가 실행되는 플로우로 진행된다. import time def delivery(name, mealtime): print(f"{name}에게 배달완료!") time.sleep(mealtime) # n초 대기 print(f"{name} 식사완료, {mealtime}시간 소요...") print(f"{name} 그릇 수거 완료") def main(): d.. 더보기 이전 1 ··· 3 4 5 6 7 8 9 ··· 12 다음
