TUTOR 리덕토의 배움세상

bzip2이라는 확장자가 있다. gzip과 비슷하게 하나의 파일만을 압축할 수 있으며, bz2라는 확장자명을 가진다. (오 모듈 이름이랑 똑같다.) 압축 과정은 다른 정보보안 이론과정에 자세하게 소개하는 것으로 하고 Python에서 bz2의 사용법을 알아보자

파일 압축/해제관련

• bz2.open(filename, mode="rb"...) : 파일 혹은 데이터를 바이트 혹은 텍스트로 오픈하는 모드이다. 리턴 값은 File 객체이다. 
• bz2.BZ2FILE(filename, mode="r") : 위에 객체 반환과 같으나, 무조건 binary로 open 한다.

증분 압축/해제관련

• bz2.BZ2Compressor(compresslevel=9) : 증분 압축기 객체를 반환한다.  compress(data)와 flush()를 사용하고 이 객체는 사라진다.
• bz2.BZ2Decompressor() : 증분 압축 해체기 객체를 반환한다. decompress(data)를 통해서 압축 해제된 data를 바이트 열로 가져올 수 있다.

일괄 압축/해제관련

• bz2.compress(data,xompresslevel=9) : 일괄 압축을 수행한다.
• bz2.decompress(data) : 압축된 data를 압축 해제해서 바이트 열을 반환한다.
  
  

사용 예제

import bz2

### 일괄 압축으로 압축하여 target.bz2에 작성
raw = b"I Love Python"
with open("target.bz2","wb") as f:
    f.write(bz2.compress(raw))

### 압축된 target.bz2 에서 문자열 읽기
with open("target.bz2","rb") as f:
    data = f.read()
    print(bz2.decompress(data).decode())

* 일괄 압축은 데이터를 인수로 주면서 바로 압축이 수행되고, 증분 압축방식은 압축기 개체가 생성되고 나서 데이터가 추가되는 방식이다.

출처 : https://docs.python.org/ko/3/library/bz2.html#incremental-de-compression

사실 백과사전이라 할 것까지는 없다. Python의 백과사전은 언제까지나 Github와 google일 것이다. pydoc은 Python document의 약자인데, Python에서 사용되는 Keyword, 내장 모듈 등의 설명서를 나타낸다. 크게 2가지 사용법을 알아보겠다.

사용법 - 1 Python 인터프리터로 해석 

필자는 Python개발도구로 IDLE을 보통 사용한다. IDLE에서 다음과 같은 코드를 입력하자

>>> import pydoc
>>> pydoc.help()

Welcome to Python 3.9's help utility!

If this is your first time using Python, you should definitely check out
the tutorial on the Internet at https://docs.python.org/3.9/tutorial/.

Enter the name of any module, keyword, or topic to get help on writing
Python programs and using Python modules.  To quit this help utility and
return to the interpreter, just type "quit".

To get a list of available modules, keywords, symbols, or topics, type
"modules", "keywords", "symbols", or "topics".  Each module also comes
with a one-line summary of what it does; to list the modules whose name
or summary contain a given string such as "spam", type "modules spam".

help> 

pydoc에는 내장함수가 help하나 밖에 없다. help를 실행한 순간 help전용 대화형 인터프리터가 나온다. 예시로 yield 키워드를 help로 찾아보겠다.

help> yield
The "yield" statement
*********************

   yield_stmt ::= yield_expression

A "yield" statement is semantically equivalent to a yield expression.
The yield statement can be used to omit the parentheses that would
otherwise be required in the equivalent yield expression statement.
For example, the yield statements

   yield <expr>
   yield from <expr>

are equivalent to the yield expression statements

   (yield <expr>)
   (yield from <expr>)

Yield expressions and statements are only used when defining a
*generator* function, and are only used in the body of the generator
function.  Using yield in a function definition is sufficient to cause
that definition to create a generator function instead of a normal
function.

For full details of "yield" semantics, refer to the Yield expressions
section.

help> 

yield에 대한 사용법이 나온다. 리눅스 계열의 man명령어와 비슷하다고 볼 수 있겠다.  키워드 말고도 모듈도 검색할 수 있다.

help> pydoc
Help on module pydoc:

NAME
    pydoc - Generate Python documentation in HTML or text for interactive use.

MODULE REFERENCE
    https://docs.python.org/3.9/library/pydoc
    
    The following documentation is automatically generated from the Python
    source files.  It may be incomplete, incorrect or include features that
    are considered implementation detail and may vary between Python
    implementations.  When in doubt, consult the module reference at the
    location listed above.

DESCRIPTION
    At the Python interactive prompt, calling help(thing) on a Python object
    documents the object, and calling help() starts up an interactive
    help session.
    
    Or, at the shell command line outside of Python:
    
    Run "pydoc <name>" to show documentation on something.  <name> may be
    the name of a function, module, package, or a dotted reference to a
    class or function within a module or module in a package.  If the
    argument contains a path segment delimiter (e.g. slash on Unix,
    backslash on Windows) it is treated as the path to a Python source file.
    
    Run "pydoc -k <keyword>" to search for a keyword in the synopsis lines
    of all available modules.
    
    Run "pydoc -n <hostname>" to start an HTTP server with the given
    hostname (default: localhost) on the local machine.
    
    Run "pydoc -p <port>" to start an HTTP server on the given port on the
    local machine.  Port number 0 can be used to get an arbitrary unused port.
    
    Run "pydoc -b" to start an HTTP server on an arbitrary unused port and
    open a Web browser to interactively browse documentation.  Combine with
    the -n and -p options to control the hostname and port used.
    
    Run "pydoc -w <name>" to write out the HTML documentation for a module
    to a file named "<name>.html".
    
    Module docs for core modules are assumed to be in
    
        https://docs.python.org/X.Y/library/
    
    This can be overridden by setting the PYTHONDOCS environment variable
    to a different URL or to a local directory containing the Library
    Reference Manual pages.

DATA
    __all__ = ['help']
    help = <pydoc.Helper instance>

DATE
    26 February 2001

AUTHOR
    Ka-Ping Yee <ping@lfw.org>

CREDITS
    Guido van Rossum, for an excellent programming language.
    Tommy Burnette, the original creator of manpy.
    Paul Prescod, for all his work on onlinehelp.
    Richard Chamberlain, for the first implementation of textdoc.

FILE

이런 식으로 말이다.

사용법 - 2 웹페이지를 사용

웹페이지를 호스팅 하여 pydoc을 활용할 수 있다. python 2.X에는 pydocgui라는 tkinter(python의 gui프로그래밍을 도와주는 모듈)로 제작된 별도의 모듈이 있었는데, 3.X 버전부터는 명령 프롬포트에 다음과 같은 명령으로 localhost에 웹페이지를 호스팅 한다.

C:\Users>python -m pydoc -p 12345

이렇게 하면 12345번 포트인 http://localhost:12345에 python documentation이 호스팅 된다. 내부는 이런 모습이다.

자! 이번 시간에는 python의 백과사전인 pydoc에 대해서 알아보았다. 물론 대부분의 경우 공식 API홈페이지나 Github의 형님들의 힘을 빌리겠지만, 네트워크가 안 되는 상황이나, 구글 신의 힘을 빌려도 잘 모르겠는 사용법은 같이 참고할 수 있으면 좋다. 

* 여담인데, pydoc에 문법에 맞추어 내가 추가한 모듈의 사용법을 추가할 수도 있다. 물론 pydoc은 로컬에 한정한다.

Python도 역시 여러 가지 웹 기능을 제공한다. socket과 같은 네트워킹 목적으로 python을 사용하는 사람도 있고, httplib나 requests처럼 특정 사이트와의 패킷 교환을 담당해 주는 라이브러리가 그 대표적인 예시라고 할 수 있겠다. 이번 시간에는 그중 조금 독특한, 네트워크를 컴퓨터 환경에 맞게 사용할 수 있게 해주는 webbrowser를 알아보자

목적

webbrowser 모듈은 웹 기반 문서를 사용자에게 표시할 수 있는 고수준 인터페이스를 제공합니다. 대부분은, 이 모듈의 open() 함수를 호출하면 올바른 작업이 수행됩니다.

- Python 공식 홈페이지 https://docs.python.org/ko/3/library/webbrowser.html -

간단하게 말하면, 내 컴퓨터 환경에 맞추어 웹 통신을 할 수 있게 해준다는 이야기이다.

다음의 코드를 따라 쳐보자

>>> import webbrowser
>>> webbrowser.open("www.google.com")
True

이러면 기본으로 지정된 브라우저로 www.google.com이 열린다. 

webbrowser의 제공함수

webbrowser는 다음과 같은 내 컴퓨터에 사용되는 웹 브라우저를 통한 웹 기능을 제공한다.

1. webbrowser.open(url, new=0, autoraise=True) : 웹브라우저로 url을 open한다.

 - url : open할 url

 - new : 1이면 가능한 새로운 브라우저가 open 2면 탭으로 추가됨

 - autoraise 가 True면 창이 올라간다.(최대화같은데 모르겠다. 변화가 없더라)

1-1. webbrowser.open_new(url) : webborowser.open(url,new=1)과 같다.

1-2. webbrowser.open_new_tab(url) : webbrowser.open(url,new=2)와 같다.

2. webbrowser.register(name, constructor, instance, *, preferred=False) : 기본으로 열릴 브라우저를 선택한다. 기본 브라우저는 아래 공식 API를 참조하기 바란다.

docs.python.org/ko/3/library/webbrowser.html

제어기 객체

webbrowser는 브라우저를 열어줄 제어기(Controller) 객체를 이용할 수 있다.

### webbrowser와 소통할 수 있는 controller를 가져온다. 
### controller는 webbrowser가 제공하는 위의 기능을 모두 사용할 수 있다. 
>>> controller = webbrowser.get()

* 출처 : Python API Webbrowser docs.python.org/ko/3/library/webbrowser.html

이번 모듈 탐구 시간에 처음으로 네트워크를 사용한 Python을 써본 거 같다. webbrowser가 사용되는 경우가 흔한 상황은 아닌데, 쓸 때 기억이 안 나면 짜증 나긴 한다.

정규표현식을 모르고 있는 사람은 아래 포스팅을 읽고 오자

2021.04.17 - [정보보안-이론] - 정규표현식에 대하여

필자도 정규표현식을 많이 안 써봤지만. Python도 정규표현식을 당연히 지원한다. re(Regular Expression)이라는 모듈을 알아보자.

Python에서 re사용법 

POSIX와 거의 동일하다. 아래는 Python에서 패턴문자가 의미하는 것이다.

re객체의 사용

Python에서 정규표현식을 사용하기 위해서는 우선 정규표현식객체를 생성해야 된다. compile 명령을 다음과 같이 사용한다.

>>> import re
>>> re_object = re.compile("a{3}.*c$")

### re.compile(pattern)으로 사용한다.
### 위 패턴은 3번의 a반복과 0번이상의 아무문자 c로 끝나는 패턴들이다.

이렇게 생성이 된 re객체는 다음과 같은 식으로 사용될 수 있다.

match

>>> pat = re_object.match("aaaddc")
>>> pat
<re.Match object; span=(0, 6), match='aaaddc'>
### 문자열 aaaddc는 re_object의 패턴과 정합하니 pat을 생성한다.

>>> pat = re_object.match("a4aaddc")
>>> pat
None
### 문자열 a4aaddc는 re_object의 패턴과 정합하지 않으니, pat이 None이다.

match로 생성된 match객체는 다음과 같은 method를 가진다.

 match.group() : 정합된 문자열을 반환한다.

 match.start() : 정합된 문자열의 시작위치를 반환한다.

 match.end() : 정합된 문자열의 마지막위치를 반환한다.

 match.span() : 정합된 문자열 위치의 (시작, 끝)을 튜플로 반환한다.

* match객체를 아래처럼 바로 생성할 수 있다.

>>> re_object = re.match("(a{3}.)c$", "aaabbc")

search

>>> pat = re_object.search("123 aaaddc")
>>> pat
<re.Match object; span=(4, 10), match='aaaddc'>
### search는 패턴에 정합하는 문자열의 위치를 span(튜플임당)구조로 알려준다

findall

>>> re_object = re.compile("a{3}.c")
>>> pat = re_object.findall("aaabbc 123 aaaeec 123")
>>> print(pat)
["aaabbc", "aaaeec"]

### findall은 패턴에 부합되는 모든 결과를 list로 반환한다.
### 좋은 설명을 위해서 re_object를 다시 생성하였다.

finditer

>>> re_object = re.compile("a{3}.c")
>>> pat = re_object.finditer("aaabbc 123 aaaeec 123")
>>> pat
<callable_iterator object at 0x000001E22720F5E0>

### findall과 같은데, iterable한 객체를 반환한다. 객체는 하나하나가 match로 yield된다.

정규식 생성의 옵션

다음과 같은 옵션들이 있다. 

1. VERBOSE, X : 정규식을 여러 줄로 적고, 주석을 달아 세부적인 설명이 가능토록 해준다.

2. MULTILINE, M : 시작검색(^)이나 끝 검색($)이 여러 줄에(new line으로 구분되는) 각 줄에 해당되게 해 준다.

3. IGNORECASE, I : 대소문자 구별 없이 검색을 하게 해 준다.

4. DOTALL, S : 점(.)이 New Line을 포함해서 검색할 수 있게 해 준다.

* 출처 : Python API docs.python.org/3/library/re.html

re모듈의 사용법에 대해 알아보았다. 정규표현식을 잘 사용하시는 분들의 것을 보면 무슨 암호문 같다. 사용법을 알고 능숙하게는 사용하지는 못하더라도, 읽을 수 있는 정도는 알아두자.

sys모듈은 Python 인터프리터의 환경설정 등에 접근한다. 흔히 사용하는 sys.modules 나 sys.path 뿐만이 아니라 더욱 폭넓은 기능과 정보들을 가지고 있으니, 이번 시간을 통해서 자세히 알아보도록 하자

sys에서 제공하는 정보

1. sys.argv : Python 스크립트에 전달된 명령 줄의 인자를 LIST형태로 전달한다. 스크립트 이름은 sys.argv[0]를 가지고 뒤에 전달이 되면 순서대로 sys.argv [1], [2]가 된다. 만약 실행형 옵션인 -c를 설정하면 sys.argv [0]는 "-c"가 된다.

2. sys.byteorder : 현재의 바이트표기법이 little인지 big인지를 표시한다.

3. sys.builtin_module_names : 현재 Python 인터프리터로 가져온 모든 모듈의 이름을 제공하는 문자열을 튜플로 반환한다.

4. sys.copyright : Python Interpreter의 저작권을 문자열로 반환한다.

5. sys.dont_write_bytecode : 이게 True면 모듈 import 시. pyc를 만들지 않는다.

6. sys.pycache_prefix : 이게 설정되면(디렉터리 문자열로 설정)  __pycache__에 pyc가 생성되는 것이 아니라, 같은 디렉터리 문자열에 pyc가 생성이 된다.

7. sys.float_info : 실수는 운영환경에 따라 표현의 깊이 달라진다. 그 표현 깊이를 반환한다.

8. sys.hash_info : 해시 알고리즘을 계산하는 머신의 정보를 튜플로 반환한다.

9. sys.int_info : 정수 표현의 수준을 튜플로 반환한다.

10. sys.maxunicode : 가장 큰 유니코드의 코드 값을 반환한다.

11. sys.modules : 이미 로드된 모듈을 저장한 Dictionary이다. API에서는 modules Dictionary를 직접 바꾸는 것은 추천하지 않는다.

12. sys.path : 모듈이 탐색될 수 있는 경로를 가진 LIST이다. sys.path에 경로가 추가되면, 그 위치에서 모듈을 절대 경로를 생략하고 import 할 수 있다.

13. sys.platform : Python이 실행되는 플랫폼을 문자열로 반환한다.

14. sys.thread_info : 스레드 구현에 관련된 정보를 담은 Tuple

15. sys.version : Python 인터프리터의 버전 번호와 빌드 번호 등을 포함한 문자열, 유사한 기능으로 sys.api_version, sys.version_info, sys.winver

sys에서 제공하는 함수

1. sys.exit([args]) : SystemExit이라는 Exception을 발생시켜 Python에서 빠져나온다. 따라서 이를 try - except으로 예외 처리하면 Python은 종료되지 않는다.

2. sys.getallocatedblocks() : 현재 Pythond이 메모리에서 차지한 공간을 출력한다. 메모리 Leak 등을 검사하는 데 사용된다.

3. sys.getdefaultencoding() : 현재 기본 문자열 인코딩 타입을 반환한다.

4. sys.getrecursionlimit() : 스택의 재귀 깊이를 반환한다. setrecursionlimit(int)로 설정할 수도 있다.

5. sys.getsizeof(object) : 객체의 크기를 바이트 단위로 반환한다. 객체가 참조하는 다른 객체의 크기를 포함하지 느 않는다.

6. sys.intern(String) : String을 메모리 사전에 등록한다. 이는 성능 최적화를 위한 것으로, 만약 'ABC"라는 문자열이 intern으로 등록되면, a="ABC', b="ABC"라고할 때 a와 b는 같은 메모리 위치를 가진다.

7. sys.is_finalizing() : Python이 종료 중이면 True, 아니면 False를 반환한다.

표준 스트림

1. sys.stdin : 표준 입력 스트림(객체다)

2. sys.stdout : 표준 출력 스트림(객체다)

3. sys.stderr : 표준 에러 스트림(객체다)

* 출처 : docs.python.org/ko/3/library/sys.html

이번 시간에는 Python인터프리터와 실행환경에 관련된 sys에 관하여 조금 깊게 알아보았다. 위에 기술된 정보나 함수 외에도 저수준의 제공 기능(함수의 breakpoint, hook, audit 등)을 또한 제공하니, API를 읽어보는 것을 추천한다.

와 글이 날아갔다. 다시 쓴다. os는 Python에 내장되어있는 모듈 중 하나로, 저수준의 파일과 디렉터리 작업을 지원한다.(고수준의 기능과 확장성, 이식성이 필요하다면 shutil이라는 더 적합한 모듈이 있다.)

옛날 Latte에는 DOS OS를 이용한 window를 사용을 했다.(그 때의 Window는 이런 이쁘장한 화면 없었다~ 이 말이야)

검은 화면에 글자로 상호작용하는, 지금으로 치면 cmd명령프롬포트가 사용자와의 인터페이스 역할을 해주었다. os는 python수준에서 컴퓨터의 파일 시스템과 파일에 접근 / 처리를 지시할 수 있는 Python수준의 기능을 제공한다. 그러면 바로 만나보자

* 이 모듈탐구시간에는 WINDOW에서 사용되는 os모듈 함수들만을 다룬다 *
* 파일디스크립터 함수는 나도 잘 모르는 것이라 제대로 된 이해를 하기 전까지 정리하지 않을 것이다 *

환경변수 관련 함수

1. os.environ() : 문자열로 환경변수를 반환한다.
2. os.environb() : 바이트로 환경변수를 반환한다.
3. os.getenv(key) : key에 해당하는 환경변수 value를 반환한다. 두 번째 파라미터로 default=None을 넣을 수 있는데, KeyError시 default값을 반환한다.
4. os.getenvb(key) : key에 해당하는 환경변수 value를 바이트로 반환한다. 역시 두 번째 파라미터로 default=None을 넣을 수 있다.
5. os.putenv(key,value) : key에 해당하는 환경변수 value를 추가한다.
* 환경변수란 시스템에 전역으로 정의된 변수를 의미한다. 예를 들면 명령프롬포트에 notepad.exe(System32 폴더 아래)를 쳐서 현재 디렉터리에 없는 notepad.exe를 실행할 수 있는 이유는 기본적으로 탐색할 디렉터리인 PATH라는 환경변수에 C:\Windows\System32가 추가되어있기 때문이다.

호스트 정보 알아내기

1. os.getlogin() : 현재 로그인한 사용자의 이름을 반환한다.
2. os.cpu_count() : 시스템의 CPU수를 반환한다. 없으면 None을 반환한다.(응? 없을 수 있나?)

디렉터리 탐색

1. os.getcwd() : 현재 작업경로를 절대 경로로 반환한다.
2. os.getcwdb() : 현재 작업경로를 절대 경로로 바이트 반환한다.
3. os.chdir(path) : 현재 작업경로를 path로 설정한다.(상대 경로도 인정한다)
4. os.listdir(path) : path 디렉토리에 있는 항목들의 이름을 담고 있는 LIST를 반환한다. path가 생략되면 현재 디렉터리를 탐색
5. os.scandir(path) : path 디렉토리에 있는 항목들의 이름을 담고 있는 순서 없는 Iterator를 반환한다. path가 생략되면 현재 디렉터리이며, 현재 경로인 ".", 상위 경로인 ".."은 포함하지 않고, scandir.close()로 종료된다.
5. os.lstat(filename) : 주어진 경로에 대해 lstat 명령어를 실행한다(파일의 속성을 가져오는 명령어 이다)
6. os.readlink(path) : path인 심볼릭 링크가 가리키는 경로를 문자열로 반환한다.

* scandir로 생성된 Iterator는 DirEntry라는 객체로 반환되는데, name, path, inode 등 파일 속성에 대한 정보를 가지고 있다.

파일, 디렉터리 조작

1. os.mkdir(path) : path라는 디렉터리를 생성한다.
2. os.makedirs(name) : 재귀적으로 name의 디렉터리를 생성한다.(ex : 상위 폴더가 없으면 그것도 만들고, 위에 것도 만든다.)
3. os.remove(path) : 파일 path를 제거한다. path가 디렉터리인 경우 Exception이 발생된다.
4. os.rmdir(path) : 디렉터리 path를 제거한다. 디렉터리가 존재하지 않거나 비어있지 않으면 Exception이 발생된다.
5. os.removedirs(name) : 재귀적으로 name의 디렉터리를 제거한다.(ex : 상위 폴더도 없애고, 그 위 것도 없애고)
6. os.rename(src, dst) : src를 dst로 이름을 바꾼다 이미 dst가 존재하는 경우 Exception이 발생된다.
7. os.renames(old, new) : old를 new로 재귀적으로 이름을 바꾼다.(만약 new에 없는 디렉터리 경로가 있으면 생성한다.)
8. os.symlink(src, dst) : dst를 가리키는 소프트 링크 src를 생성한다
9. os.truncate(path, length) : 강제로 path파일을 length 크기에 맞춘다.(이거 무슨 침대 있지 않았나?) 자르는 것이다.

프로세스 조작

1. os.abort() : 현재 실행 중인 프로세스에 SIGABRT 시그널을 보낸다.
2. os.add_dll_directory(path) : DLL탐색경로에 path를 추가한다.(안 써봐서 이건 모르겠다.)
3. os.execl(path, args...) : 현재 프로세스를 대체해서 새로운 프로세스를 생성한다. 이는 Python에 결과를 반환하지 않는다. (ex : os.execl("notepad.exe")는 현재 Python이 종료되고, 메모장이 실행된다.
4. os._exit(n) : 종료 코드 n으로 프로세스를 종료시킨다.
5. os.kill(pid, sig) : 프로세스 pid에 시그널 sig를 전송한다. 그룹 단위로 전송하는 killpg도 있다.
6. os.popen(cmd) : 이거 할 말 많은 함수인데, 명령 프롬포트와 파이프라인을 연결한다. Python에서 다른 명령줄(cmd)을 실행할 때 사용된다. subprocess모듈과 깊은 관련이 있고, 관련 내용은 모듈 탐구가 아닌, 다른 포스팅으로 자세하게 소개하겠다.
7. os.startfile(path) : 파일 탐색기에서 path를 두 번 클릭하는 것과 같은 결과이다. 따라서 os.startfile()은 시작하자마자 끝난다.
8. os.system(command) : 프로그램이 별도의 명령 프롬포트(cmd)(사실 여기선 SHELL이 맞는 말이다.)을 실행하여 command를 실행한다. 이 또한 위 popen처럼 별도의 포스팅에서 서술한다.
9. os.times() : 모든 프로세스 시간을 반환한다.
10. os.waitpid(pid, 0) : 지정된 pid의 프로세스가 종료될 때까지 기다린다.

* 출처 : https://docs.python.org/ko/3/library/os.html

한 번씩 써 본 함수만 적은 건데 엄청나게 많은 함수가 있고 포스팅에 적힌 os모듈은 반의반도 기술되지 않은 것이기에 놀라울 따름이다. 공식 홈페이지 문서는 꼭 찾아볼 것!