24. 파이썬의 파일 입출력 라이브러리

1. os

- os 모듈은 운영 체제와 상호 작용하는 많은 함수와 유틸리티를 제공

- 파일, 디렉터리 또는 운영 체제에 관한 작업을 수행

import os

# 1) 현재 경로 확인
os.getcwd()

# 2) 폴더 안에 있는 파일 리스트를 만들어 줌
os.listdir(os.getcwd())

# 3) 경로 만들기
# 경로명과 파일명을 붙여서 파일 접속경로를 만들어 줌
data_dir = './data/'
file_path = os.path.join(data_dir, 'output.txt')
print(file_path)

 

2. glob

- glob 모듈은 파일과 폴더 이름을 찾을 때 사용

- "전역적으로 찾기"라는 의미의 "global"에서 유래

- 특정 패턴에 일치하는 파일이나 폴더 이름을 쉽게 찾아줌

import glob
import fileinput  # 여러 개의 파일을 한번에 처리할 때 유용

# 해당 경로의 파일(디렉토리) 이름을 리스트로 반환
print(glob.glob(os.path.join('data/', '*.txt')))

# data 폴더 안의 모든 txt파일을 리스트로 받아서 출력
# fileinput.input() : 파일 목록을 순서대로 읽고, 각 줄을 처리합니다.
with fileinput.input(glob.glob(os.path.join('data/', '*.txt'))) as f:
    for line in f:
        print(line)

* glob으로 data폴더안의 있는 모든 txt파일 이름들을 리스트로 나열

* filieinput으로 glob에서 찾은 파일의 내용을 모두 읽음

(결과)

 

2-1) 각 파일의 첫 번째 라인을 찾아 변경하기

txt_files = glob.glob(os.path.join('data/', '*.txt'))
print(txt_files)

with fileinput.input(txt_files, inplace=True) as f:
    for line in f:
        if f.isfirstline():   # 방금 읽은 줄이 첫째 줄이면 True
            print('첫번째 라인이야!', end='\n')
        else:
            print(line, end='')

[ fileinput.input()옵션 ]
inplace = True : 원본파일을 직접 수정, 백업 생성 x
inplace = False : 원본은 그대로, 임시파일에 변경 내용 적용
backup = .bak 을 이용해 백업파일 생성 가능

 

2-2) 검색된 라인을 변경하기

with fileinput.input(txt_files, inplace=True) as f:
    for line in f:
        if line == '첫번째 라인이야!\n':
            print('검색된 라인을 변경했음', end='\n')
        else:
            print(line, end='')

 

2-3) 키워드를 포함한 라인을 검색해서 해당 라인 변경하기

with fileinput.input(txt_files, inplace=True) as f:
    for line in f:
        if '2.' in line:
            print('두번째 줄입니다', end='\n')
        else:
            print(line, end='')

 

2-4) 키워드를 찾아 원하는 텍스트로 치환하기

with fileinput.input(txt_files, inplace=True) as f:
    for line in f:
        if '3.' in line:
            print(line.replace('3.', '세번째.'), end='')
        else:
            print(line, end='')

 

2-5) txt 파일 찾기

# txt 파일 찾기 : 현재 경로
for filename in glob.glob('*.txt'):
    print(filename)

# txt 파일 찾기 : 하위 경로
for filename in glob.glob('**/*.txt'):
    print(filename)

# txt 파일 찾기 : 현재와 하위 경로 모두 포함
for filename in glob.glob('**/*.txt', recursive=True):
    print(filename)
    
# 파일명 글자수로 찾기
for filename in glob.glob('?????.*', recursive=True): # 글자수 5개
    print(filename)

for filename in glob.glob('??????.*', recursive=True): # 글자수 6개
    print(filename)

# 문자열 패턴 포함 파일명 찾기
for filename in glob.glob('[a-z][a-z][a-z][a-z][a-z].*', recursive=True): # 알파벳 글자수 5개
    print(filename)

for filename in glob.glob('**/te*.*'):
    print(filename)

for filename in glob.glob('**/*ex*.*'):
    print(filename)

 

3. pickle

- pickle 모듈은 파이썬 객체 구조를 직렬화하고 역직렬화하는 프로세스를 제공

- 다른 말로하면, 파이썬 객체(리스트, 딕셔너리, 클래스 인스턴스 등)를 바이트 스트림으로 변환하고,

- 그 바이트 스트림을 다시 파이썬 객체로 복원할 수 있습니다.

* 바이트 스트림 : 누구나 받아서 처리할 수 있는 바이트들의 모임, 다른 언어에서도 처리 가능

import pickle

data = ['apple', 'banana', 'orange']

# 직렬화
with open('list.pkl', 'wb') as f:   # binary형태로 write
    pickle.dump(data, f)
    # dump : data 변수를 f 파일 객체에 바이너리 형태로 저장

# 역직렬화
with open('list.pkl', 'rb') as f:   # binary형태로 read
    data = pickle.load(f)
    # load : 바이너리 형태의 파일을 역직렬화하여 다시 불러옴

print(type(data))
print(data)

 

data = {}
data[1] = {'id':1, 'userid':'apple', 'name':'김사과', 'gender':'여자', 'age':20}
print(data)

# 직렬화
with open('dick.pkl', 'wb') as f:
    pickle.dump(data, f)
    
# 역직렬화
with open('dick.pkl', 'rb') as f:
    data = pickle.load(f)

print(type(data))
print(data)

 

4. shutil

- shutil 모듈은 파이썬에서 고수준 파일 연산을 수행하기 위한 유틸리티 모듈

- 기본적인 os 모듈에서 제공하는 기능을 확장하여, 파일 및 디렉터리를 복사, 이동, 삭제하는 데 사용할 수 있는 더 다양한 함수를 제공

import shutil

# 파일 복사
shutil.copy('./data/text1.txt', './data/text1_복사본.txt')

# 파일 이동하기
shutil.move('./data/text1_복사본.txt', './text1_복사본.txt')

# 확장명 바꾸기
shutil.move('./text1_복사본.txt', './text1_복사본.py')

# 확장명 바꾸기
shutil.move('./text1_복사본.py', './text1_복사본.txt')

 

5. fnmatch

- fnmatch 모듈은 파일 이름과 패턴 매칭 기능을 제공

- 특정 조건에 맞는 파일 이름을 쉽게 찾고 필터링

import fnmatch

for filename in os.listdir('./data'):
  if fnmatch.fnmatch(filename, '????[0-9].txt'):  # 내가 검색하고자하는 패턴
    print(filename)

 

6. 데이터 압축

- 파이썬에서는 데이터 압축 및 아카이브 생성을 위한 여러 모듈을 제공

- 이러한 모듈들을 사용하면 다양한 압축 및 아카이브 형식으로 데이터를 처리할 수 있음

 

6-1. zlib : 데이터를 압축하거나 해제

import zlib

data = 'Hello Python!' * 10000
print(len(data))

# 압축 encode
compress_data = zlib.compress(data.encode(encoding='utf-8'))
print(len(compress_data))

# 해제 decode
org_data = zlib.decompress(compress_data).decode('utf-8')
print(len(org_data))

 

6-2. gzip : 내부적으로 zlib 알고리즘 사용

import gzip

# 크기 : 130kb
with open('org_data.txt', 'w') as f:
  f.write(data)
  
# gzip으로 압축 (크기 : 318b)
# zlib.compress(data.encode('utf-8'))
with gzip.open('org_data.txt.gz', 'wb') as f:
  f.write(data.encode('utf-8'))
  
# gzip으로 해제
with gzip.open('org_data.txt.gz', 'rb') as f:
  org_data = f.read().decode('utf-8')

print(len(org_data))

 

6-3. zipfile : 여러개 파일을 zip확장자로 압축

import zipfile

# 파일 합치고 압축하기
with zipfile.ZipFile('./data/새파일.zip', 'w') as myzip:
  myzip.write('./data/text1.txt')
  myzip.write('./data/text2.txt')
  myzip.write('./data/text3.txt')
  
# 압축 해제하기
with zipfile.ZipFile('./data/새파일.zip') as myzip:
  myzip.extractall('압축해제')

 

6-4. tarfile : 여러개 파일을 tar 확장자로 압축

import tarfile

# 파일 합치고 압축하기 (tar파일로)
with tarfile.open('./data/tar압축.tar', 'w') as mytar:
    mytar.add('./data/text1.txt')
    mytar.add('./data/text2.txt')
    mytar.add('./data/text3.txt')

# 압축 해제하기
with tarfile.open('./data/tar압축.tar') as mytar:
  mytar.extractall('tar파일')