Keras는 깊은 학습 모델을 개발하고 평가하기 위해 고급 신경 네트워크 API를 제공하는 Tensorflow를위한 강력하고 사용하기 쉬운 깊은 학습 라이브러리입니다.

KERAS를 최적화하여 다양한 깊은 학습 모델을 만드는 방법을 배우려면 아래 섹션을 확인하십시오.

섹션 :
1.기본 예제
2.데이터
삼.사전 처리
4.모델 아키텍처
5.컴파일 모델
6.모델 훈련
7.예측
8.모델의 성능을 평가하십시오
9.모델을 저장 / 다시로드하십시오

Basic Example

아래 코드는 KERAS를 사용하여 데이터 집합에서 깊은 학습 모델을 만들고 실행하는 기본 단계를 보여줍니다.

코드의 단계는 다음과 같습니다. loadi엔g 데이터를 전처리하고, 모델을 생성하고, 모델에 레이어를 추가하고, 데이터에 모델을 구성하고, 트레이닝 된 모델을 사용하여 테스트 세트에 대한 예측을하고, 마침내 모델의 성능을 평가하는 데이터를

& gt; & gt;numpy를 np로 가져 오기
& gt; & gt;Keras.Models 가져 오기 순차적으로
& gt; & gt;Keras.Layers에서 가져 오기 밀도
& gt; & gt;Keras.Datasets에서 Boston_Housing 가져 오기
& gt; & gt;(x_train, y_train), (x_test, y_test) = boston_housing.load_data ()
& gt; & gt;모델 = 순차 ()
& gt; & gt;model.add (빽빽한 (12, 활성화 = 'RELU', input_dim = 8))
& gt; & gt;model.add (빽빽한 (1))
& gt; & gt;model.compile (Optimizer = 'rmsprop', loss = 'mse', metrics = [ 'ma']))
& gt; & gt;model.fit (x_train, y_train, batch_size = 32, epochs = 15)
& gt; & gt;model.predict (x_test, batch_size = 32)
& gt; & gt;Score = model.evaluate (x_test, y_test, batch_size = 32)

Data

데이터를 숫자 배열로 저장하거나 숫자 배열 목록으로 저장해야합니다.이상적으로는 Sklearn.cross_validation의 train_test_split 모듈에도 해당하는 교육 및 테스트 세트의 데이터를 분리합니다.

예제 데이터 집합의 경우 Keras 라이브러리에 통합 된 Boson Housing DataSet을 사용할 수 있습니다.

& gt; & gt;Keras.Datasets에서 Boston_Housing 가져 오기
& gt; & gt;(x_train, y_train), (x_test, y_test) = boston_housing.load_data ()

Preprocessing

데이터 집합을 가져온 후 모델이 적합 할 준비가되지 않을 수 있습니다.이 경우 모델에 대한 데이터를 준비하기 위해 사전 처리를해야합니다.

범주 구성 기능 인코딩

0과 n_classes-1 사이의 값을 가진 대상 레이블을 인코딩합니다.

& gt; & gt;keras.utils 가져 오기 to_categorical.
& gt; & gt;y_train = to_categorical (y_train, num_classes)
& gt; & gt;y_test = to_categorical (y_test, num_classes)

Train and Test Sets

데이터 세트를 X 및 Y 변수 모두에 대한 교육 및 테스트 세트로 분할합니다.

& gt; & gt;SKLEARN.MODEL_SELECTION IMPORT TRAT_TEST_SPLIT.
& gt; & gt;x_train, x_test, y_train, y_test = train_test_split (x, y,
test_size = 0.33, random_state = 42)

Standardization

표준화는 평균 및 확장을 단위 분산으로 제거하여 기능입니다.

& gt; & gt;SKLEARN.PREPROPESSING 가져 오기 StandardScaler에서
& gt; & gt;스케일러 = StandardScaler (). 맞춤 (x_train)
& gt; & gt;Standardized_x = scaler.transform (x_train)
& gt; & gt;표준화 된 _x_test = scaler.transform (x_test)

Model Architecture

이 섹션에서는 레이어별로 다른 깊은 학습 모델 레이어를 구축하는 방법을 배우게됩니다.

순차 모델

순차적 인 모델은 각 층이 정확히 하나의 입력 텐서 및 하나의 출력 텐서를 갖는 평평한 층의 일반 스택에 적합합니다.이것은 일반적으로 어떤 모델에서도 추가 할 첫 번째 레이어입니다.

& gt; & gt;Keras.Models 가져 오기 순차적으로
& gt; & gt;모델 = 순차 ()

Artificial Neural Network (ANN)

깊은 학습 모델을 위해 사용되었습니다분류과회귀.

바이너리 분류 :

아래 코드는 바이너리 분류에 사용되는 ANN 모델의 예입니다 (0 또는 1로 클래스를 식별하십시오).코드는 모델에 3 개의 계층을 추가합니다.첫 번째는 입력 레이어이며 12 개의 노드가 있으며, 제 2 계층은 8 개의 노드를 가지며, 마지막 층은 출력 노드 또는 예측 된 것인 것입니다.

& gt; & gt;Keras.Layers에서 가져 오기 밀도
& gt; & gt;model.add (짙은 (12, input_dim = 8, kernel_initializer = '유니폼',
활성화 = 'RELU')))
& gt; & gt;model.add (빽빽한 (8, kernel_initializer = 'uniform', 활성화 = 'RELU'))
& gt; & gt;model.add (짙은 (1, kernel_initializer = 'uniform', 활성화 = 'sigmoid'))

멀티 클래스 분류 :

아래 코드는 다중 클래스 분류에 사용되는 앤 모델의 예입니다.코드는 모델에 4 개의 레이어를 추가합니다.첫 번째는 입력 레이어이며 52 개의 노드가 있으며, 두 번째는 오버 퍼팅을 줄이는 데 사용되는 드롭 아웃 층이며, 제 3 계층은 52 개의 노드를 가지며, 마지막 층은 특정 관찰이 10 가지 중 하나로 이동하는 확률 인 10 개의 노드를 가지고 있습니다.클래스.

& gt; & gt;Keras.Layers 가져 오기 드롭 아웃
& gt; & gt;model.add (조밀 한 (52, 활성화 = 'RELU'), input_shape = (78,))
& gt; & gt;model.add (드롭 아웃 (0.2))
& gt; & gt;model.add (빽빽한 (52, 활성화 = 'RELU'))
& gt; & gt;model.add (짙은 (10, 활성화 = 'softmax'))

회귀 :

아래 코드는 회귀에 사용되는 앤 모델의 예입니다.코드는 모델에 2 개의 레이어를 추가합니다.첫 번째는 64 개의 노드를 갖는 입력 계층이고, 제 2는 예측 된 값인 단지 1 개의 노드를 갖는 출력 계층이다.

& gt; & gt;model.add (조밀함 (64, 활성화 = 'RELU', input_dim = train_data.shape [1]))
& gt; & gt;
model.add (빽빽한 (1))

Convolution Neural Network (CNN)

깊은 학습 모델그림의 분류.이 모델은 상당히 복잡하며 아래 코드에서 볼 수있는 꽤 많은 레이어가 포함되어 있습니다.그 코드는 CNN 모델이 보이는 것의 기본 예를 제공합니다.

각 계층이 무엇을 확인하는지 이해하고 싶다면Keras 문서.

>>> from keras.layers import Activation,Conv2D,MaxPooling2D,Flatten >>> model2.add(Conv2D(32,(3,3),padding='same',input_shape=x_train.shape[1:])) 
>>> model2.add(Activation('relu')) 
>>> model2.add(Conv2D(32,(3,3))) 
>>> model2.add(Activation('relu')) 
>>> model2.add(MaxPooling2D(pool_size=(2,2))) 
>>> model2.add(Dropout(0.25)) 
>>> model2.add(Conv2D(64,(3,3), padding='same')) 
>>> model2.add(Activation('relu')) 
>>> model2.add(Conv2D(64,(3, 3))) 
>>> model2.add(Activation('relu')) 
>>> model2.add(MaxPooling2D(pool_size=(2,2))) 
>>> model2.add(Dropout(0.25)) 
>>> model2.add(Flatten()) 
>>> model2.add(Dense(512)) 
>>> model2.add(Activation('relu')) 
>>> model2.add(Dropout(0.5)) 
>>> model2.add(Dense(num_classes)) 
>>> model2.add(Activation('softmax'))

Recurrent Neural Network (RNN)

깊은 학습 모델시간 시리즈.

아래 코드는 시계열에 사용되는 RNN 모델의 예입니다.코드는 모델에 3 개의 계층을 추가합니다.첫 번째 레이어는 입력 레이어이고, 두 번째 레이어는 긴 단기 메모리라고 불리는 것이며 세 번째 레이어는 출력 레이어이거나 모델에서 예측 된 것입니다.

& gt; & gt;keras.klayers 수입 embedding, lstm.
& gt; & gt;model.add (Empedding (20000,128))
& gt; & gt;model.add (lstm (128, dropout = 0.2, recurrent_dropout = 0.2))
& gt; & gt;model.add (빽빽한 (1, 활성화 = 'sigmoid'))

Compile Model

모델이 구성된 후에는 모델을 컴파일합니다.컴파일하면 모델을 훈련하고 평가하는 데 사용될 교육 구성 (최적화, 손실, 메트릭)을 사용하려는 작업을 지정합니다.

Ann : 바이너리 분류

바이너리 분류에 사용되는 Ann 모델에 대해 이러한 교육 구성을 사용하십시오.

& gt; & gt;model.compile (Optimizer = 'Adam',
손실 = 'binary_crossentropy',
메트릭 = [ '정확도'])

ANN: Multi-Class Classification

멀티 클래스 분류에 사용되는 앤 모델에 대해 이러한 교육 구성을 사용하십시오.

& gt; & gt;model.compile (Optimizer = 'rmsprop',
손실 = 'categorical_crossentropy',
메트릭 = [ '정확도'])

ANN: Regression

회귀 분석에 사용되는 앤 모델에 대해 이러한 교육 구성을 사용하십시오.

& gt; & gt;model.compile (Optimizer = 'rmsprop',
손실 = 'MSE',
메트릭 = [ 'mae'])

Recurrent Neural Network

RNN 모델에 대해 이러한 교육 구성을 사용하십시오.

& gt; & gt;model.compile (loss = 'binary_crossentropy',
Optimizer = 'Adam',
메트릭 = [ '정확도'])

Model Training

모델을 컴파일 한 후에는 이제 교육 세트에 맞게 맞게됩니다.배치 크기는 한 번에 모델에 얼마나 많은 관찰을 입력하는지 결정하고 epochs는 모델이 교육 세트에 맞게 원하는 횟수를 나타냅니다.

& gt; & gt;model.fit (x_train,
Y_Train,
batch_size = 32,
epochs = 15)

Prediction

숙련 된 모델을 사용하여 테스트 세트를 예측합니다

& gt; & gt;model.predict (x_test, batch_size = 32)

Evaluate Your Model’s Performace

테스트 세트에서 모델이 얼마나 잘 수행되는지 결정하십시오.

& gt; & gt;Score = model.evaluate (x_test, y_test, batch_size = 32)

Save/Reload Models

깊은 학습 모델은 훈련하고 실행하는 데 꽤 오랜 시간이 걸릴 수 있으므로 완료되면 다시 저장하고 다시로드 할 수 있으므로 해당 프로세스를 통과 할 필요가 없습니다.

& gt; & gt;keras.models 가져 오기 load_model.
& gt; & gt;model.save ( 'model_file.h5')
& gt; & gt;my_model = load_model ( 'my_model.h5')

Python은 현재 및 가까운 장래에 데이터 과학에 관해서 상위 개입니다.깊은 학습을위한 가장 강력한 라이브러리 중 하나 인 Keras에 대한 지식은 종종 오늘날 데이터 과학자들에게 요구 사항입니다.

이 치트 시트를 처음에 가이드로 사용하고 필요할 때 다시 돌아 오면 Keras Library를 마스터하는 방법에 잘 될 것입니다.

Keras 라이브러리와 함수에 대해 더 자세히 알고 싶다면 설명서를 확인하지 않았습니다.keras.,여전히 많은 유용한 기능이 있으므로 배워야합니다.

2K + 사람들이있는 내 이메일 목록에 가입하여 데이터 과학 치트 시트 소책자가 무료로 완전한 파이썬을 얻을 수 있습니다.

팁과 트릭

팬더는 가장 널리 사용되는 도서관 중 하나입니다.데이터 과학생태계.이 다양한 라이브러리는 파이썬에서 데이터를 읽고 탐색하고 조작 할 수있는 도구를 제공합니다.팬더에서 데이터 가져 오기에 사용되는 기본 도구는 다음과 같습니다.read_csv ()...에이 함수는 쉼표로 구분 된 값, a.k.a, csv 파일의 파일 경로를 입력 한 다음 직접 팬더의 데이터 프레임을 반환합니다.ㅏ쉼표로 구분 된 값(CSV.)파일구분 된 것입니다텍스트 파일A.반점값을 분리합니다.

그만큼pandas.read_csv ()…을 … 한 것 매우 미세한 데이터 가져 오기를 허용하는 약 50 가지 선택적 호출 매개 변수.이 기사는 적은 알려진 매개 변수와 데이터 분석 작업에서 사용 중 일부를 터치합니다.

pandas.read_csv () 매개 변수

기본 매개 변수를 사용하여 팬더에서 CSV 파일을 가져 오는 구문은 다음과 같습니다.

PANDAS를 PD로 가져 오십시오
df = pd.read_csv (filepath)

1. verbose

그만큼말 수가 많은매개 변수,로 설정된 경우진실다음과 같이 CSV 파일 읽기에 대한 추가 정보를 인쇄합니다.

• 유형 변환,
• 메모리 정리, 및
• 토큰 화.

PANDAS를 PD로 가져 오십시오
df = pd.read_csv ( 'fruits.csv', verbose = true)

2. Prefix

헤더는 모든 열의 내용에 대한 정보가 들어있는 CSV 파일의 행입니다.이름이 제안되면 파일 맨 위에 나타납니다.

때로는 데이터 집합에 헤더가 포함되어 있지 않습니다.이러한 파일을 읽으려면 다음을 설정해야합니다.머리글명시 적으로 매개 변수;그렇지 않으면 첫 번째 행이 헤더로 간주됩니다.

df = pd.read_csv ( 'fruings.csv', header = 없음)
Df.

결과 데이터 프레임은 컬럼 이름 대신 열 번호로 구성되어 0부터 시작됩니다.또는 우리는 그를 사용할 수 있습니다접두사매개 변수는 열 번호에 추가 할 접두어를 생성합니다.

df = pd.read_csv ( 'fruings.csv', header = 없음, 접두어 = '열')
Df.

대신에기둥선택한 이름을 지정할 수 있습니다.

3. mangle_dupe_cols

데이터 프레임이 중복 된 열 이름으로 구성된 경우, ‘x’, ‘x’등mangle_dupe_cols.이름을 ‘x’, ‘x1’로 자동 변경하고 반복되는 열을 구별합니다.

df = pd.read_csv ( 'file.csv', mangle_dupe_cols = true)
Df.

그 중 하나2015 년데이터 프레임의 열은 AS 로의 이름을 삭제합니다2015.1.…에

4. chunksize.

그만큼pandas.read_csv ()기능은 A.chunksize.매개 변수그것은 청크의 크기를 제어합니다.팬더에서 메모리 데이터 집합을로드하는 데 도움이됩니다.chunking을 사용하려면 처음에 청크의 크기를 선언해야합니다.이것은 우리가 반복 할 수있는 객체를 반환합니다.

chunk_size = 5000.
batch_no = 1.
pd.read_csv ( 'yellow_tripdata_2016-02.csv', chunksize = chunk_size)의 chunk의 경우 :
chunk.to_csv ( 'chunk'+ str (batch_no) + '. csv', index = false)
batch_no + = 1.

위의 예에서는 5000의 청크 크기를 선택합니다. 이는 한 번에 5000 줄의 데이터 만 가져올 수 있습니다.우리는 각각 5000 열의 다중 청크를 얻고 각 청크는 팬더 데이터 프레임으로 쉽게로드 될 수 있습니다.

df1 = pd.read_csv ( 'chunk1.csv')
df1.head ()

아래에 설명 된 기사에서 청킹에 대해 자세히 알아볼 수 있습니다.

5. 압축

많은 시간, 우리는 압축 된 파일을받습니다.잘,pandas.read_csv.이러한 압축 파일을 쉽게 처리 할 필요없이 쉽게 처리 할 수 있습니다.기본적으로 압축 매개 변수는 다음으로 설정됩니다미루다,자동으로 파일의 종류를 추론 할 수 있습니다그물,지퍼,BZ2.,xz.파일 확장명에서.

df = pd.read_csv ( 'sample.zip')또는 긴 형태 :df = pd.read_csv ( 'sample.zip', 압축 = 'zip')

6. thousands

데이터 집합의 열에 A.천분리 기호,pandas.read_csv ()그것을 정수가 아닌 문자열로 읽습니다.예를 들어 판매 열에 쉼표 구분 기호가 포함 된 위치에있는 데이터 집합을 고려하십시오.

이제 위의 데이터 집합을 팬더 데이터 프레임으로 읽으려면매상열은 쉼표로 인해 문자열로 간주됩니다.

df = pd.read_csv ( 'sample.csv')
df.dtypes.

이것을 피하기 위해, 우리는 명시 적으로pandas.read_csv ()쉼표는 쉼표가 수천 개의 장소 표시기입니다.수천 명의매개 변수.

df = pd.read_csv ( 'sample.csv', 수천 = ',')
df.dtypes.

7. skip_blank_lines

빈 줄이 데이터 집합에 있으면 자동으로 건너 뜁니다.빈 줄을 NAN으로 해석하도록 원한다면skip_blank_lines.옵션은 false입니다.

8. 여러 CSV 파일을 읽습니다

이것은 매개 변수가 아니지만 유용한 팁입니다.팬더를 사용하여 여러 파일을 읽으려면 일반적으로 별도의 데이터 프레임이 필요합니다.예를 들어 아래 예제에서는 우리는pd.read_csv ()두 개의 별도의 파일을 두 개의 별개의 데이터 프레임으로 읽으려면 두 번 기능을 수행하십시오.

DF1 = PD.READ_CSV ( 'DATASET1.CSV')
df2 = pd.read_csv ( 'dataset2.csv')

이러한 여러 파일을 함께 읽는 한 가지 방법은 루프를 사용하는 것입니다.다음과 같이 파일 경로 목록을 만들고 목록을 반복합니다.

filenames = [ 'dataset1.csv', 'dataset2, csv']
데이터 프레임 = FILENAMES의 f에 대한 [PD.READ_CSV (f)]

많은 파일 이름이 비슷한 패턴을 가지고있을 때지구본파이썬 표준 라이브러리의 모듈은 편리합니다.우리는 먼저 그를 수입해야합니다지구본내장에서 기능지구본기준 치수.우리는 패턴을 사용합니다멋진 * .csv.접두사로 시작하는 모든 문자열을 일치시킵니다맵시 있는접미사로 끝납니다.csv.그 ‘*'(별표)야생 카드 문자입니다.그것은 0을 포함하여 모든 수의 표준 문자를 나타냅니다.

글로벌 가져 오기
filenames = glob.glob ( '멋진 * .csv')
파일 이름
----------------------------------------------------------------)------------------------------------
[ '멋진 Pharma.csv',
'멋진 it.csv',
'멋진 뱅크 .csv',
'nifty_data_2020.csv',
'nifty fmcg.csv']

위의 코드를 사용하면 멋진 CSV 파일 이름을 선택할 수 있습니다.이제 목록 이해 또는 루프를 사용하여 모든 것이 즉시 읽을 수 있습니다.

데이터 프레임 = FILENAMES의 f에 대한 [PD.READ_CSV (f)]

Conclusion

이 기사에서는 pandas.read_csv () 함수의 몇 가지 매개 변수를 살펴 보았습니다.그것은 유익한 기능이며 우리가 드물게 사용할 수있는 많은 인구 빌드 매개 변수가 제공됩니다.그렇게하지 않는 주요 이유 중 하나는 문서를 읽을 수 없기 때문입니다.중요한 정보가 포함될 수있는 중요한 정보를 발굴하기 위해 문서를 자세히 설명하는 것이 좋습니다.

Covid-19는 우리에게 우리에게 집중하고 생명 과학과 생명 공학 산업에 대한 포커스를 만들었습니다.

건강은 우리의 가장 소중한 자산이며 건강을 유지하는 데는 비용이 들지 않습니다.그래서 생명 과학과 생명 공학 산업은 거대하고 매우 다양합니다.많은 하위부터…에가장 알려진 분야는 약물 발견 및 제조, 치료학, 진단, 치료학, 유전체학 및 프로테오믹스, 수의학 과학뿐만 아니라 화장품, 의료 기술 및 유통도 있습니다.

엄청난 양의 데이터가 Inh.이자형이 산업에 임대하십시오.데이터는 임상 시험, 약물, 치료법, 진단, 유전체학, 건강 관리 제공자 및 모든 개인 운동 데이터의 증가와 함께 사용할 수 있습니다.

생명 과학과 생명 공학은 많은 분야에서 큰 데이터 산업에 있습니다.

반면에 새로운 치료법, 약물 또는 백신을 개발하는 데 드는 비용은 거의 10 억 달러의 달러와 희귀 한 질병을 위해 2 자리 10 억 달러를 시작합니다.비교, Biontech와 Moderna를 위해 각 회사는 백신 개발을 위해 거의 10 억 달러의 외부 자금을 받았습니다.총 개발 비용은 대중이 아니지만 그 중 배수를 가정합니다.

이것들은 엄청난 투자량이며, 업계는 비용과 비용을 줄이고 치료법과 치료법을 더 빠르게 만들기위한 모든 노력을 기울이고 있습니다.따라서 업계는 기술 산업으로 데이터 주도적입니다.

그래서 생명 과학과 생명 공학 산업은 데이터 과학자들을위한 낙원입니다.플레이어는 많은 양의 데이터가 있으며 데이터 과학자는 매일 큰 데이터 영역에서 작동합니다.

많은 데이터 과학자 들이이 업계에 익숙하지 않습니다.하나의 엔트리 장벽은 해당 분야에서 주제를 이해하고 작업하는 데 필요한 매우 전문화 된 지식입니다.

둘째, 인과 관계 및 정밀도는 중요성이 높고 깊은 수학 및 (바이오) 통계적 배경이 많이 필요합니다.알고리즘이 대규모 기술 회사 중 하나의 서비스 사용자에게 잘못된 광고로 이어지면 아무 일도 일어나지 않습니다.알고리즘이 마약 개발의 잘못된 결정으로 인도하면 투자 또는 죽은 사람에 대한 대규모 손실이 발생할 수 있습니다.

나는 수년 동안 생명 과학과 생명 공학 산업에서 데이터 과학 컨설턴트로 일했습니다.그리고 나는 항상 내가 항상 가장 복잡하고 흥미로운 문제를 해결하기 때문에 그것을 좋아했습니다.

이 흥미 진진한 산업에 대한 통찰력을 가져 오려면 8 개의 실제 데이터 과학 사용 사례를 제시합니다.이렇게하면 응용 프로그램의 인상을주고 해당 분야에 대한 필수 비즈니스 지식을 익히십시오.

제약, 생명 과학 및 생명 공학에 데이터 과학자가 부족합니다.결국, 나는 당신이 기술 산업만큼이나 급수적 인 흥미 진진한 산업으로 움직이는 동기를 부여 할 수 있습니다.

1. 미생물 치료제의 개발

우리는 박테리아, 곰팡이, 바이러스 및 기타 단일 세포 유기체와 같은 소위 미생물을 소위 미생물 소위 소위 미생물을 보유하고 있습니다.미생물의 모든 유전자는 미생물로 알려져 있습니다.이들 유전자의 수는 수조이고, 예를 들어, 인체의 박테리아는 인간보다 100 배 이상의 독특한 유전자를 갖는다.

미생물은 인간의 건강에 막대한 영향을 미치고, 불균형은 파킨슨 병이나 염증성 장 질환과 같은 많은 장애를 일으키고 있습니다.그러한 불균형이 여러 가지자가 면역 질환을 일으키는 것도 추정됩니다.그래서 미생물 연구는 매우 유행이 많은 연구 분야입니다.

미생물에 영향을 미치고 미생물 치료제를 역전시키기 위해 미생물 치료제를 개발하기 위해 미생물의 유전자와 우리의 몸에 영향을 미치는 것이 필요합니다.오늘날 모든 유전자 시퀀싱 가능성을 통해 데이터의 테라 바이트는 이용 가능하지만 아직 조사되지는 않습니다.

미생물 표적 처리를 개발하고 미생물 약물 상호 작용을 예측하기 위해서는 하나의 요구가 먼저 그러한 상호 의존성을 알아야합니다.그리고 이것은 기계 학습이 오는 곳입니다.

첫 번째 단계는 패턴을 찾는 것입니다.한 가지 예는 모터 뉴런 질병, 즉 골격근 활동을위한 세포를 파괴하는 장애, 즉 근육을 더 이상 통제 할 수없는 장애를 일으키는 장애의 불균형이다.일반적으로 1000 명 이상의 개인 매개 변수가 포함됩니다.Supervised ML 및 보강 학습은 해당 단계의 주 알고리즘입니다.

투약 형태, 약물 용해도, 약물 안정성 및 약물 관리와 치료법을 설계하기 위해 약물 투여 및 제조와 같은 수백 가지 요인을 고려해야합니다.예를 들어, 임의의 숲은 종종 마약 안정성을 중심으로 질문에 사용됩니다.

마지막 단계는 치료법의 개인화입니다.이를 위해서는 미생물 및 약물의 반응과 상호 작용을 예측해야합니다.원칙 구성 요소 분석 다음에 감독 된 학습 알고리즘이 뒤 따르는 것은 표준 기술입니다.이 단계에서 가장 큰 도전은 여전히 모델을 훈련시키는 큰 데이터베이스가 부족합니다.

2. 류마티스 관절염 블록버스터의 정밀 약

블록버스터는 10 억 달러 이상의 적어도 연간 매출을 창출하는 엄청난 인기있는 약물입니다.블록버스터는 당뇨병, 고혈압, 일반적인 암 유형 또는 천식과 같은 일반적인 질병을 다룹니다.일반적으로 시장에서 많은 경쟁 제품이 있습니다.

“정밀 의학”은 특정 치료법에 반응하는 특정 특성을 공유하는 개인 그룹에 대한 치료법입니다 (아래 그래픽을 참조하십시오짐마자

다른 약물과의 차별화를 위해, 제품의보다 구체적인 표적 및 마케팅을 위해, 질병 억제와 관련하여 우수한 환자 그룹이 결정된다.목표는 모든 마케팅 분석 프로젝트와 동일합니다.사용 된 데이터는 소위 실제 데이터 (RWD), 즉 치료 된 환자의 데이터가 아니라 임상 시험이 아니라.

주요 방법은 원하는 출력 값이 있기 때문에 학습 방법을 감독합니다.회귀 분구 / 물류 회귀, 지원 벡터 기계 및 랜덤 포리스트의 일반적인 방법 외에도 많은 양의 데이터를 통해 Convolutional 신경망 (CNN)과 같은 심층 학습 알고리즘이 적용됩니다.CNN은 종종 다른 방법을 능가합니다.

삼. 모바일 건강 상태에서 심부전을 예측합니다

심부전은 일반적으로 비상 사태 또는 병원 입학을 이끌고 있습니다.그리고 노화 된 인구로 인구의 심부전의 백분율이 증가 할 것으로 예상됩니다.

심부전을 겪는 사람들은 대개 기존의 질병을 가지고 있습니다.따라서 텔레나드 인 시스템이 환자를 모니터하고 상담하고 혈압, 체중 또는 심박수와 같은 모바일 건강 데이터가 수집되어 전송되는 것은 드문 일이 아닙니다.

대부분의 예측 및 예방 시스템은 고정 규칙을 기반으로합니다. 예를 들어 특정 측정치가 미리 정의 된 임계 값을 초과하면 환자가 경고합니다.그러한 예측 시스템은 높은 수의 거짓 경고, 즉 거짓 긍정을 갖는 자명하다.

경고가 대부분 병원 입원으로 이어지기 때문에 너무 많은 거짓 경고가 건강 비용을 증가시키고 환자의 예측에 대한 신뢰가 악화됩니다.결국, 그녀는 의료 도움을 권고 한 후에 멈출 것입니다.

따라서 나이, 성별, 흡연자 또는 균육, 균육 및 혈액의 나트륨, 칼륨 또는 헤모글로빈 농도와 같은 환자의 기준 데이터 및 심장 박동, 체중 (수축기 및 이완기)과 같은 모니터링 된 특성을 기반으로합니다.혈압, 또는 신체 활동에 대한 혈압, 또는 신체 활동에 대한 답변, 순진한 베이를 기반으로 한 분류자가 마침내 개발되었습니다.

거짓 경고는 73 % 감소했으며AUC (곡선 아래의 영역 “)약 70 %의

4. 정신병 예측, 진단 및 치료

그것은에서의 것으로 추정된다글로벌 인구의 최소 10 %정신 장애가 있습니다.정신 질환으로 인한 경제적 손실은 약 10 조까지 달약합니다.정신 장애는 다른 사람들, 불안, 우울증, 물질 사용 장애, 예를 들어 오피오이드, 양극성 장애, 정신 분열증 또는 식습 장애를 포함합니다.

따라서 정신 장애의 탐지와 가능한 한 일찍 탐지하는 것이 중요합니다.두 가지 주요 접근 방식이 있습니다 : 진단을 지원하기 위해 정신과 의사를위한 질병과 도구를 탐지하는 소비자를위한 앱이 있습니다.

소비자를위한 앱은 일반적으로 컴퓨터 학습 알고리즘으로 향상된 대화식 샤 봇입니다.앱은 소비자의 구어력을 분석하고 도움을 요청하는 권장 사항이 제공됩니다.권장 사항은 과학적 증거를 기반으로해야하므로 제안서와 개별 언어 패턴의 상호 작용 및 대응은 가능한 한 정확하게 예측해야합니다.

적용되는 방법은 다릅니다.첫 번째 단계는 거의 항상 감정 분석입니다.더 간단한 모델에서는 랜덤 숲과 순진한 베이가 사용됩니다.이 모델은 최대 3 개의 숨겨진 레이어가있는 신경 네트워크가 엄청나게 능숙합니다.

5. 뇌졸중의 바이오 마커를위한 연구 출판 및 데이터베이스 검색

뇌졸중은 장애와 사망의 주된 이유 중 하나입니다.성인 인물의 평생 위험은 한 번 뇌졸중의 약 25 %입니다.그러나 뇌졸중은 매우 이질적인 장애입니다.그래서, 개별화 된 사전 뇌졸중과 뇌졸중 관리가 치료법의 성공을 위해 중요합니다.

이 개별화 된 치료를 결정하기 위해 사람의 표현형, 즉, 관찰 가능한 특성을 선택해야합니다.그리고 이것은 보통 바이오 마커에 의해 달성됩니다.소위 바이오 마커는 환자가 층화 될 수 있도록 측정 가능한 데이터 포인트입니다.예는 질병의 심각도 점수, 라이프 스타일 특성 또는 게놈 특성입니다.

이미 알려진 바이오 마커가 이미 게시되거나 데이터베이스에 있습니다.또한 모든 다른 질병에 대한 바이오 마커의 탐지에 대해 매일 수백 명의 과학 간행물이 있습니다.

연구는 엄청나게 비싸고 장애를 예방하기 위해 중요합니다.그래서, 생명 공학 회사는 특정 질병에 가장 효과적이고 효율적인 해당 바이오 마커를 이해해야합니다.정보의 양은 매우 거대합니다. 이는 수동으로 수행 할 수 없습니다.

데이터 과학은 데이터베이스 및 출판물에서 관련 바이오 마커를 찾기 위해 정교한 NLP 알고리즘을 개발하는 데 도움이됩니다.그러한 바이오 마커가 특정 유형의 뇌졸중과 관련이있는 경우 콘텐츠를 이해하는 것 외에도, 출판 된 결과의 품질에 대한 판단이 달성되어야합니다.이것은 전반적으로 매우 복잡한 작업입니다.

6. 3D Bioprinting.

Bioprinting은 생명 공학 분야의 또 다른 뜨거운 주제입니다.디지털 청사진을 기반으로 프린터는 피부, 장기, 혈관 또는 뼈와 같은 층별 생활 조직을 인쇄하기 위해 바이오 링크라고도하는 셀 및 자연적 또는 합성 생체 재료를 사용합니다.

기관 기부에 따라 프린터에서보다 윤리적으로 비용 효율적으로 생산 될 수 있습니다.또한 약물 검사는 동물 또는 인간 테스트보다 합성 구조 조직에서 수행됩니다.전체 기술은 높은 복잡성으로 인해 초기 성숙도에 있습니다.이 인쇄의 복잡성에 대처하기 위해 가장 필수적인 부분 중 하나는 데이터 과학입니다.

인쇄 프로세스 및 품질은 고유 한 변형 또는 다양한 인쇄 매개 변수가있는 바이오 링크의 속성과 같은 수많은 요소에 의존합니다.예를 들어 사용 가능한 출력을 얻는 성공을 높이기 위해 인쇄 프로세스를 최적화하는 것,베이지안 최적화은 적용되다.

인쇄 속도는 프로세스의 핵심 구성 요소입니다.샴 네트워크 모델최적화 된 속도를 결정하기 위해 배포됩니다.재료를 검출하기 위해, 즉, 조직 결함, 컨볼 루넥 신경망은 층별 조직의 이미지에 적용된다.

사전 생산, 생산 및 후 생산 공정 중에 더 많은 응용 프로그램이 있지만이 세 가지 예는 이미 복잡성과 고급 모델이 필요합니다.제 의견 으로이 분야는 데이터 과학자들에게 생명 공학에서 가장 흥미로운 것들 중 하나입니다.

7. 난소 암 치료의 맞춤 치료

“개인화 된”은 한 개인의 요구와 일치하는 치료가 적용된다는 것을 의미합니다 (위의 그래픽을 참조하십시오짐마자의료 치료는 환자의 개별화 된 특성을 기반으로 점점 더 많습니다.

이러한 특성은 질병 아형, 개인 환자의 위험, 건강 예후 및 분자 및 행동 바이오 마커입니다.우리는 환자가 층화 될 수 있도록 환자들이 측정 가능한 데이터 포인트임을 측정 할 수있는 데이터 포인트임을 나타 냈습니다.그 데이터를 기반으로 한 환자에게 가장 좋은 개별 처리가 결정됩니다.

난소 암으로 한 환자의 경우 일반적인 화학 요법은 효과적이지 않았습니다.그래서, 하나는 게놈 시퀀싱을 수행하기로 결정 하여이 암을 유발하는 잘못된 뉴클레오타이드 염기를 찾기로 결정했습니다.Big Data Analytics를 사용하면 해리 포터의 “철학자의 돌”의 7798 권의 단어의 숫자에 해당하는 인간의 3 억 개의베이스 쌍 사이의 수정을 발견했습니다.

적용되는 방법은 일반적으로 소위 공분산 모델이며 종종 임의의 숲과 같은 분류 자와 결합됩니다.흥미롭게도,이 변형은 약물이 존재하지만 난소 암이 아닌 폐암으로부터 알려져있다.따라서 폐암 치료가 적용되었고 환자가 회복되었습니다.

8. 공급망 최적화

마약의 생산은 시간, 특히 특정 물질 및 생산 방법을 기반으로하는 오늘날의 하이테크 치료법을 필요로합니다.또한 전체 프로세스가 여러 단계로 분해되며, 그 중 몇 가지는 전문가 제공자에게 아웃소싱됩니다.

우리는 현재 COVID-19 백신 생산을 보장합니다.백신 발명가는 청사진을 제공하며 생산은 멸균 생산 전문 기업의 식물에 있습니다.백신은 임상 조건 하에서 작은 복용량을 채우는 회사에 탱크로 전달되며 마지막으로 다른 회사가 공급을합니다.

또한, 약물은 제한된 시간 동안 만 저장 될 수 있으며, 예를 들어 냉장실에서 특별한 저장 조건 하에서 종종 저장 될 수 있습니다.

적절한 생산 능력을 갖는 적절한 시간에 적절한 생산 능력을 갖는 올바른 입력 물질을 갖는 올바른 입력 물질을 갖는 전체 계획은 매우 복잡한 시스템입니다.그리고 이것은 각각 특정 조건을 가진 수백 가지와 수천 개의 치료법을 위해 관리되어야합니다.

계산 방법은 이러한 복잡성을 관리하는 데 필수적입니다.예를 들어, 최적의 파트너 회사의 생산 공정에서 선택하는 것은 지원 벡터 기계와 같은 감독 학습에 의해 수행됩니다.

동적 수요 예측은 종종 소위 소위에 의존합니다벡터 회귀를 지원합니다생산 최적화 자체가 신경망을 배치합니다.

결론

현대 기술과 과학이 오늘날을 달성 할 수있는 것은 매우 매력적입니다.그것은 데이터 과학과 함께 가장 상당한 가치를 펼칩니다.

방법으로, 우리는 랜덤 포리스트, 순진한 베이 및 지원 벡터 기계가 자주 사용되는 감독 학습 방법이 종종 사용되며, 보강 학습, NLP 및 심층 학습이 지배적입니다.

또한, 높은 차원 데이터에 대처하고 주성분 분석 및 공분산 모델과 같은 검색을위한 계산 방법이 필요합니다.

혁신의 국경에서 일하는 것은 베이지안 최적화, 컨볼 루션 신경망 또는 샴 네트워크와 같은 특정 주제에 대한 지식이 필요합니다.

이 필드에 대한 가장 중요한 항목 장벽은 주제별 지식이므로 (원시) 데이터를 이해합니다.가장 빠른 경로가 익숙해지는 것은 과학적 간행물과 알려지지 않은 각 표현식을 읽고 부지런히 조회합니다.그 필드에서 일할 때 전문가의 말로 말해야합니다.

그런 다음 오직 데이터 과학자만큼 엄청난 영향을 미칠 수 있습니다.그러나 이것은 또한 가장 보람있는 측면이기도합니다.

나는 생명 과학과 생명 공학 산업보다 직장에 더 많은 영향을 미칠 수 없었습니다.

내 이야기를 좋아하니?여기에서 더 많은 것을 찾을 수 있습니다.

비파이썬의 IG 데이터 분석은 르네상스를 갖고 있습니다.그것은 모두이 기사에서 제시하고있는 도구 뒤에있는 빌딩 블록 중 하나 인 숫자 인 NUMPY로 시작되었습니다.

2006 년에 큰 데이터는 특히 Hadoop의 출시로 천천히 견인력을 얻은 주제였습니다.팬더는 데이터 프레임으로 곧 뒤를이었습니다.2014 년은 큰 자료가 주류가되었을 때의 해였으며, Apache Spark는 그 해에 해당되었습니다.2018 년에는 파이썬의 데이터 분석을 위해 Dask와 다른 라이브러리가있었습니다.

매월 나는 지느러미디내가 배우기를 열망하는 새로운 데이터 분석 도구.장기적으로 많은 시간을 절약 할 수 있으므로 시간 또는 2 시간을 보낼 수있는 가치있는 투자입니다.또한 최신 기술을 계속 연락하는 것도 중요합니다.

이 기사가 마스크에 관한 것이라고 기대하는 동안 당신은 잘못되었습니다.나는 당신이 알아야 할 데이터 분석을 위해 또 다른 파이썬 라이브러리를 발견했습니다.

파이썬처럼 SQL에 능숙 해지는 것이 똑같이 중요합니다.당신이 그것에 익숙하지 않은 경우, 당신은 여분의 돈이 있고,이 과정을 확인하십시오 :Master SQL, 빅 데이터 분석을위한 핵심 언어…에

파이썬의 큰 데이터 분석은 르네상스를 가지고 있습니다

다른 데이터 분석 도구에 대해 내 기사를 놓친 경우 :

VAEX를 만나십시오

VAEX는 게으른 핵심 데이터 프레임 (PandaS와 유사)을위한 고성능 Python 라이브러리로 큰 표 형식 데이터 집합을 시각화하고 탐색합니다.

초당 10 억 줄 이상의 행에 대한 기본 통계를 계산할 수 있습니다.큰 데이터의 대화식 탐색을 허용하는 여러 시각화를 지원합니다.

VAEX와 DASK의 차이점은 무엇입니까?

VAEX는 DASK와 유사하지 않지만 상단 팬더 데이터 프레임을 기반으로하는 DASK 데이터 프레임과 유사합니다.이것은 그 마술사를 의미합니다팬더 문제를 상속받습니다, 높은 메모리 사용량과 같습니다.이것은 VAEX의 경우가 아닙니다.

VAEX는 메인 메모리가 적은 시스템에서 더 큰 데이터 프레임을 처리 할 수 있도록 데이터 프레임을 복사하지 않습니다.

VAEX와 DASK는 모두 게으른 가공을 사용합니다.유일한 차이점은 VAEX가 필요할 때 필드를 계산하는 것입니다. Compute 함수를 명시 적으로 사용해야하는 Dask.

데이터는 HDF5 또는 Apache 화살표 형식이어야합니다. VAEX를 최대한 활용해야합니다.

VAEX를 설치하는 방법?

VAEX를 설치하려면 다른 Python 패키지를 설치하는 것만 큼 간단합니다.

PIP 설치 VAEX

Let’s take Vaex to a test drive

큰 데이터 파일을 만들려면 100 만 개의 행과 1000 개의 열이있는 팬더 데이터 프레임을 만들어 봅시다.

VAEX 가져 오기
PANDAS를 PD로 가져 오십시오
numpy를 np로 가져 오기n_rows = 1000000.
n_cols = 1000.
df = pd.dataFrame (np.random.randint (0, 100, size = (n_rows, n_cols)), columns = [ 'col % d'% i 범위 (n_cols)]df.head ()

이 데이터 프레임은 얼마나 많은 메모리를 사용합니까?

df.info (memory_usage = '깊이')

우리가 vaex로 나중에 읽을 수 있도록 디스크에 저장합시다.

file_path = 'big_file.csv'
df.to_csv (file_path, index = false)

우리는 속도가 팬더와 유사하므로 전체 CSV를 VAEX로 직접 읽는 것으로 많은 것을 얻지 못할 것입니다.둘 다 내 랩톱에서 약 85 초를 필요로합니다.

우리는 CSV를 HDF5 (계층 적 데이터 형식 버전 5)로 변환하여 VAEX의 이점을 확인해야합니다.VAEX에는 소규모 덩어리를 변환하여 주 메모리보다 큰 파일을 지원하는 변환 기능이 있습니다.

Pandas로 큰 파일을 열 수없는 경우 메모리 제약 조건으로 인해 HDF5로 덮어 VAEX로 처리 할 수 있습니다.

dv = vaex.from_csv (file_path, convert = true, chunk_size = 5_000_000)

이 함수는 HDF5 파일을 만들고 디스크에 지속됩니다.

DV의 데이터 유형은 무엇입니까?

유형 (DV)# 출력
vaex.hdf5.dataset.hdf5MemoryMapped.

이제 VAEX로 7.5GB 데이터 집합을 읽으려고합니다. 이미 DV 변수에 이미 있으므로 다시 읽을 필요가 없습니다.이것은 단지 속도를 테스트하는 것입니다.

dv = vaex.open ( 'big_file.csv.hdf5')

VAEX는 위의 명령을 실행하기 위해 1 초 미만이 필요했습니다.그러나 지연 로딩 때문에 VAEX가 실제로 파일을 읽지 않았습니다.

COL1의 합계를 계산하여 읽을 것을 강요합시다.

suma = dv.col1.sum ()
수마# 출력
# 배열 (49486599)

나는 이것을 정말로 놀랐다.VAEX는 합계를 계산하기 위해 1 초 미만이 필요했습니다.어떻게 가능합니까?

이러한 데이터를 열면 디스크의 파일 크기에 관계없이 순간적입니다.VaEx는 메모리에서 읽는 대신 데이터를 메모리 맵핑합니다.이것은 사용 가능한 RAM보다 큰 대형 데이터 세트를 사용하는 최적의 방법입니다.

플로팅

데이터를 플로팅 할 때 VAEX도 빠릅니다.특수 플로팅 기능 PLOT1D, PLOT2D 및 PLOT2D_CONTOUR가 있습니다.

dv.plot1d (dv.col2, figsize = (14, 7))

Virtual columns

VAEX는 새 열을 추가 할 때 가상 열을 만듭니다.

dv [ 'col1_plus_col2'] = dv.col1 + dv.col2
DV [ 'COL1_PLUS_COL2']]

Efficient filtering

VAEX는 훨씬 더 많은 메모리 효율 인 데이터를 필터링 할 때 데이터 프레임 복사본을 만들지 않습니다.

DVV = DV [dv.col1 & gt;90]

Aggregations

집계는 팬더보다 약간 다르게 작동하지만 더 중요한 것은 뻔뻔스럽게 빨리됩니다.

col1 ≥ 50 이진 가상 가상 열을 추가합시다.

DV [ 'COL1_50'] = DV.COL1 & gt; = 50

VAEX는 그룹별로 단일 명령으로 집계를 결합합니다.아래 명령은 “COL1_50″열에 의해 데이터를 그룹화하고 COL3 열의 합계를 계산합니다.

dv_group = dv.groupby (dv [ 'col1_50'], agg = vaex.agg.sum (dv [ 'col3']))
dv_group.

Joins

VAEX는 메모리 복사본을 저장하지 않고 데이터를 조인하여 주 메모리를 저장합니다.Pandas 사용자는 조인 기능에 익숙합니다.

dv_join = dv.join (dv_group, on = 'col1_50')

Conclusion

결국, 당신은 다음과 같이 묻습니다 : 우리는 팬더에서 VAEX로 전환해야합니까?대답은 큰 아니오입니다.

Pandas는 여전히 파이썬에서 데이터 분석을위한 최고의 도구입니다.가장 일반적인 데이터 분석 작업을위한 잘 지원되는 기능이 있습니다.

더 큰 파일에 관해서, 팬더는 가장 빠른 도구가 아닐 수도 있습니다.이것은 VAEX가 뛰어 내리는 훌륭한 장소입니다.

VAEX는 데이터 분석 도구 상자에 추가 해야하는 도구입니다.

팬더가 너무 느리거나 간단히 충돌하는 분석 작업에서 작업 할 때 VAEX를 도구 상자에서 가져오고 가장 중요한 항목을 필터링하고 팬더로 분석을 계속하십시오.

가기 전에

-SQL에서 날짜 시리즈를 만드는 방법[조]-데이터 과학자 및 amp에 대한 무료 기술 테스트;기계 학습 엔지니어-사이버 보안 (60 % OFF)에서 경력을 향상시킵니다 [코스]-Microsoft Azure [코스]를 사용하는 클라우드 개발자가 되십시오.-빅 데이터 분석의 핵심 언어 인 마스터 SQL [코스]

위의 링크 중 일부는 제휴 링크이며 구입을 위해 구입을 위해 그들을 통과하면위원회를 벌 수 있습니다.나는 당신의 구매로부터받는위원회로 인해 품질로 인해 과정을 링크한다는 것을 명심하십시오.

나를 따라 가라트위터, 내가 정기적으로 여기서트위터데이터 과학 및 기계 학습에 대해서.