๋ฐฐ๊ฒฝ
์ฐจ๋์ ์ ํธ๋์ ์ค์ ๊ตฌ๋งคํ๋ ค๋ ์ฐจ๋๊ณผ์ ์๊ด๊ด๊ณ๊ฐ ์กด์ฌํจ์ ํ์ธํ์๊ณ , ๊ฐ์ธ๋ณ ์ทจํฅ์ ๋ฐ๋ผ ์ฐจ๋ ์ถ์ฒ์์ ๋์๊ฐ ์ฐจ๋๋ณ ํน์ ์ฐ๋ น๋์ ์ ํธ๋, SNS ์์์์ ์ธ๊ธ ๋น๋ ๋ฑ์ ๋ํ ๋ถ์์ด ๊ฐ๋ฅํ์๋ค.
์กฐ๊ฑด๋ถ ์ฐ์ฐ์ ํ์ฉํ๊ณ , ์๊ณ ๋ฆฌ์ฆ์ ์ฌ์ฉํ๋ ์์๋ฅผ ๋ณด๋ค ์ธ๋ถํํ์ฌ ์ถ์ฒ ์ ํ๋ ํฅ์์ ๋๋ชจํ์๋ค.
์ด๋ค ์ ์ ๋ฐํ์ผ๋ก ์ฐจ๋์ ์ถ์ฒํ๊ณ , ๊ฐ์ค์น๋ฅผ ์ด๋ป๊ฒ ์ค์ ์ถ์ฒ ์๊ณ ๋ฆฌ์ฆ์ ๊ณ ์ํ ๊ฒ์ธ์ง ์ค๋น๊ฐ ํ์ํ๋ค.
1. hadoop
2. mapreduce
3. r
4.ํผ์ด์จ ์๊ด๊ณ์
5.ํํฐ๋ง ์๊ณ ๋ฆฌ์ฆ
6.์์คํ ์ํคํ ์ฒ
7.์๊ณ ๋ฆฌ์ฆ ์์๋
8.์๊ณ ๋ฆฌ์ฆ ์์ฌ์ฝ๋
9.๋ฐ์ดํฐ ์ ์ฌ,๊ฐ๊ณต,์ฝ๋ ๋ฐ์ดํฐ ์ถ์ถ, ์๊ณ ๋ฆฌ์ฆ ๊ตฌํ
1. hadoop
Apache Hadoop ์ ๋น ๋ฐ์ดํฐ ์ฒ๋ฆฌ๋ฅผ ์ํ ๋ค์์ ์ปดํจํฐ ํด๋ฌ์คํฐ์์ ๋์ํ๋ ๋ถ์ฐ ์์ฉ ํ๋ก๊ทธ๋จ์ ์ง์ํ๋ ์ํํธ์จ์ด์ด๋ค.
์ฑ๋ฅ์ ๋๊ณ ๋ฎ์์ ์๊ด์์ด ๋ค์์ ์ปดํจํฐ๋ก ๋ณ๋ ฌ ์ฒ๋ฆฌ๊ฐ ๊ฐ๋ฅํ๋๋ก ๊ตฌํ๊ฐ๋ฅํ๋ค.
2. mapreduce
MapReduce๋ ๋ฐ์ดํฐ ๋ถ์ฐ ํ๊ฒฝ์ ๋ฐ์ดํฐ ๋ ธ๋์์ ๋ณ๋ ฌ์ ์ผ๋ก ์ฐ์ฐ์ ์ํํ๋ ๊ธฐ๋ฅ์ ์ ๊ณตํ๋ ์ํํธ์จ์ด ํ๋ ์์ํฌ์ด๋ค.
3. r
4.ํผ์ด์จ ์๊ด๊ณ์
5.ํํฐ๋ง ์๊ณ ๋ฆฌ์ฆ
6.์์คํ ์ํคํ ์ฒ
7.์๊ณ ๋ฆฌ์ฆ ์์๋
8.์๊ณ ๋ฆฌ์ฆ ์์ฌ์ฝ๋
9.๋ฐ์ดํฐ ์ ์ฌ,๊ฐ๊ณต,์ฝ๋ ๋ฐ์ดํฐ ์ถ์ถ, ์๊ณ ๋ฆฌ์ฆ ๊ตฌํ
ํ์ฌ ๊ตฌ์์ค์ธ ์ฐจ๋ ์ถ์ฒ ์๋น์ค
์ฐจ๋์ ๊ด์ฌ์ด ๋ง์ ์ฌ๋๋ค๋, ์ถ์ฒ์ด ์๋๋ผ๋, ํ์์ ํญ์ด ๋์ด์ง๊ธฐ๋ง ํ ๋ฟ, ๊ทธ๊ฑธ ์ ํ์ผ๋ก ์ด์ด์ง๊ธฐ ๊น์ง๋ ์์ง ๋จ์ ๋จ๊ณ๊ฐ ์กด์ฌํ๋ค๊ณ ์๊ฐํ๋ค. ๊ทธ๋์ ์ถ๊ฐ์ ์ธ ๋ถ์ ์๋ฃ๋ฅผ ์ ๊ณตํ๋ฉด์ ์ ํ์ ๊ฒฐ์ ์ ์์ด, ๋ค์ํ ๊ด์ ์ ์ ์ํด์ฃผ๊ณ ์ ํ๋ค.
์ถ์ฒ ์๊ณ ๋ฆฌ์ฆ(์๋๋ก ๋ด๋ ค๊ฐ์๋ก ์ต์ )
Apriori ์๊ณ ๋ฆฌ์ฆ
ํ์ ํํฐ๋ง(SVD)
spark๋ฅผ ์ด์ฉํ ๋น ๋ฐ์ดํฐ(fp-growth, matrix factorization)
๋ฅ๋ฌ๋์ ์ด์ฉํ ์ถ์ฒ์์คํ (ํ์ ํํฐ๋ง, item2vec, doc2vec, youtube recommendation, wide&deep model)
๊ฐ์ธํ ์ถ์ฒ์์คํ (factorization machine, hierarchical rnn, ๊ฐํํ์ต, ๋ฅ๋ฌ๋)
'๐WEB & ML & DL ํ๋ก์ ํธ > ๐ต2์ฐจ ํ๋ก์ ํธ(LG)' ์นดํ ๊ณ ๋ฆฌ์ ๋ค๋ฅธ ๊ธ
์ ํ๋ธ ์๋์ฐจ ์์ ๋๊ธ ๋ฐ ์ข์์ ํ ์คํธ ๋ง์ด๋ (0) | 2021.12.11 |
---|---|
์๋์ฐจ ์ ํ๋ธ ๋ฆฌ๋ทฐ ๋ฐ์ดํฐ - ๊ฐ์ฑ๋ถ์(Sentimental Analysis) (0) | 2021.12.08 |
KNN ์๋์ฐจ ๋ถ๋ฅ ๋ฐ ์์ธก (0) | 2021.12.02 |
์๋์ฐจ ๊ฐ์ฑ๋ถ์ ํค์๋ (0) | 2021.11.20 |
๋ ผ๋ฌธ ์ง์์ ์ธ ์ ๋ฐ์ดํธ (1) | 2021.11.15 |